SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

Het paper introduceert SOLARIS, een innovatief kader dat door het vooraf berekenen van latent representaties voor toekomstige gebruiker-item-interacties de hoge rekentijd van complexe aanbevelingsmodellen ontkoppelt van de kritieke latency, waardoor Meta deze modellen nu efficiënt kan inzetten voor miljarden dagelijkse verzoeken met een meetbare omzetstijging.

De kern

🌟 Wat is SOLARIS? De "Super-Keuken" van Meta

Stel je voor dat Meta (Facebook, Instagram, WhatsApp) een enorme, supermoderne keuken heeft. In deze keuken werken twee soorten chefs:

1. De "Grootmeester" (Foundation Model): Dit is een genie van een chef. Hij kan de allerbeste gerechten bedenken, maar hij is traag, kost veel geld om te onderhouden en heeft veel tijd nodig om een gerecht te bereiden. Hij is te duur om direct aan de deur te staan voor elke klant.
2. De "Snelle Serveerders" (Vertical Models): Dit zijn de chefs die direct aan de deur staan. Ze moeten razendsnel een gerecht op tafel zetten voor de klant die wacht. Ze zijn snel, maar minder slim dan de Grootmeester.

Het probleem:
Vroeger probeerden de Snelle Serveerders te leren van de Grootmeester door alleen de uitslag van het gerecht te kopiëren (bijvoorbeeld: "Dit gerecht smaakt 8/10"). Dit heet "kennisdistillatie". Het probleem is dat je hierdoor veel informatie kwijtraakt. Het is alsof je alleen de foto van het gerecht ziet, maar niet de geur, de textuur of de ingrediënten. De Snelle Serveerders werden hierdoor niet echt beter.

Daarnaast was de Grootmeester te traag om direct te helpen als een klant iets bestelde. De klant zou te lang moeten wachten.

De oplossing: SOLARIS
Meta heeft SOLARIS bedacht. Dit is een slim systeem dat de Grootmeester laat werken terwijl niemand kijkt, zodat de Snelle Serveerders direct de beste informatie hebben.

🚀 Hoe werkt het? (De 3 Slimme Trucs)

1. De "Speculatieve" Voorbereiding (Zoals een restaurant dat vooruitkijkt)

Stel je voor dat een restaurant weet dat mensen die een pizza bestellen, vaak ook een cola drinken. In plaats van te wachten tot de klant de cola bestelt, zet de kok alvast een glas cola klaar.

SOLARIS doet precies dit:

• Het systeem kijkt naar wat mensen waarschijnlijk gaan doen.
• De Grootmeester berekent in de achtergrond (terwijl de serveerders rustig zijn) de perfecte "receptuur" (de embedding) voor deze waarschijnlijke bestellingen.
• Deze recepturen worden opgeslagen in een koelkast (cache).
• Het resultaat: Als een klant daadwerkelijk binnenkomt, hoeft de Snelle Serveerder niet te wachten op de Grootmeester. Hij pakt de al berekende receptuur uit de koelkast en gebruikt die direct. Dit kost geen extra tijd voor de klant.

2. De "Grote Familie" (Samenvoegen van kennis)

Soms is de Grootmeester niet in staat om voor iedere mogelijke combinatie van klant en product een recept te maken (er zijn te veel mensen en te veel producten).

• Truc: Als er geen recept is voor "Juf Jansen en deze specifieke schoen", kijkt SOLARIS naar wat Juf Jansen eerder heeft gekocht, of wat andere mensen met een vergelijkbaar profiel hebben gekocht.
• Het systeem maakt een gemiddeld recept op basis van wat Juf Jansen in de afgelopen 24 uur heeft gedaan, of wat haar "buren" (mensen met vergelijkbare interesses) hebben gedaan.
• Zo krijgt de Snelle Serveerder toch een goed advies, zelfs als er geen exacte match was.

3. De "Kwaliteitscontrole" (Alleen de beste voorbereiden)

De Grootmeester kan niet alles tegelijk berekenen. SOLARIS gebruikt een slimme filter (een "Verifier").

• Het systeem vraagt zich af: "Is deze klant waarschijnlijk geïnteresseerd in dit product?"
• Als het antwoord "nee" is, wordt er geen tijd verspild aan het berekenen van een recept.
• Als het antwoord "ja" is, wordt de Grootmeester ingeschakeld om de perfecte receptuur te maken.
• Dit zorgt ervoor dat de dure rekenkracht wordt gebruikt voor de zaken die echt geld opleveren.

📈 Wat is het resultaat?

Door dit systeem in te zetten bij Meta's advertenties:

• Sneller: Klanten hoeven niet te wachten, de advertenties verschijnen direct.
• Slimmer: De Snelle Serveerders krijgen nu de "diepe kennis" van de Grootmeester, niet alleen de oppervlakkige antwoorden.
• Meer winst: Omdat de advertenties beter passen bij wat mensen willen, klikken ze vaker. Meta heeft hierdoor 0,67% meer omzet gemaakt. Dat klinkt als een klein percentage, maar bij Meta betekent dat honderden miljoenen dollars extra per jaar.

🎯 Samenvattend in één zin

SOLARIS is als een slimme assistent die vooruitkijkt, de beste antwoorden van een super-slimme expert alvast opschrijft en die op het juiste moment aan de snelle verkoper geeft, zodat de klant nooit hoeft te wachten en altijd de beste service krijgt.

Technische samenvatting

Probleemstelling

Recente vooruitgang in aanbevelingssystemen (RecSys) heeft geleid tot fundamentele modellen (Foundation Models of FMs) met ongekende complexiteit. Hoewel deze modellen superieure prestaties leveren, zijn hun rekenkundige eisen te groot voor real-time servering.

• Huidige Beperking: Praktijkers zijn vaak gedwongen om kennisdistillatie (knowledge distillation) toe te passen, waarbij een groot FM wordt "overgebracht" naar een kleiner, verticaal model (VM).
• Knelpunten van Distillatie:
  1. Beperkte Overdracht: Traditionele soft-label distillatie bereikt slechts een overdrachtsratio van 20-25% en is sterk gekoppeld aan specifieke taken.
  2. Beperkte Beschikbaarheid: Kennisoverdracht vindt alleen plaats tijdens het trainingsproces. Tijdens de inferentie (het daadwerkelijke serveren van requests) is er geen mogelijkheid om kennis te delen, wat leidt tot gemiste kansen voor optimalisatie.

Methodologie: SOLARIS

SOLARIS (Speculative Offloading of Latent-bAsed Representation for Inference Scaling) is een nieuw raamwerk dat is geïntroduceerd om deze uitdagingen aan te pakken. Het is geïnspireerd op speculative decoding uit Large Language Models (LLMs) en heeft als doel de dure inferentie van het FM te ontkoppelen van de latency-kritieke serverpad.

De kernarchitectuur bestaat uit drie hoofdcomponenten:

1. Speculatieve Voorberekening (Asynchronous Precompute):

   • In plaats van embeddings te genereren op het moment van een request, voert SOLARIS een achtergrondservice uit die voorspelt welke user-item interacties waarschijnlijk in de toekomst zullen voorkomen.
   • Een Verifier Model (vaak het huidige verticale model) filtert de kandidaten: alleen user-item paren met een hoge voorspelde relevantie worden geselecteerd voor vooraf berekening.
   • Deze embeddings worden asynchroon gegenereerd en opgeslagen in een gedistribueerde cache, gekoppeld aan <user, item> paren.
   • TTL (Time-to-Live): Om de versheid van de data te garanderen, worden embeddings verlopen na een bepaalde tijd (enkele uren), gebaseerd op de observatie dat gebruikersvoorkeuren binnen dit tijdsbestek stabiel blijven.

2. Directe Embedding-overdracht:

   • SOLARIS verlegt de focus van soft-labels naar het direct overdragen van user-item interactie embeddings uit de laatste gedeelde laag van het FM.
   • Deze embeddings worden gecomprimeerd via een autoencoder tot een compacte vector en fungeren als extra inputfeatures voor de verticale modellen tijdens de inferentie.

3. Hiërarchische Feature Verrijking (Coverage Boosting):

   • Omdat asynchroon voorberekenen niet 100% dekking kan garanderen (vanwege de schaal van gebruikers en items), introduceert SOLARIS twee strategieën om de dekking te verhogen zonder lineaire kosten:
     • Geaggregeerde User-Embedding: Als een specifieke <user, item> embedding ontbreekt, wordt een gemiddelde embedding van die gebruiker berekend over interacties van de afgelopen 24 uur.
     • Similarity-Based Embedding: Gebruikmakend van een KNN (k-nearest neighbors) algoritme op een vooraf berekende clustering-tabel, worden embeddings van vergelijkbare gebruikers ("buren") gebruikt om ontbrekende data in te vullen.

Belangrijkste Bijdragen

• Ontkoppeling van Kosten en Latentie: Het scheidt de dure FM-inferentie van het real-time serverpad, waardoor kennisoverdracht mogelijk wordt zonder extra latency voor de eindgebruiker.
• Inferentie-tijd Kennisoverdracht: Het doorbreekt de beperking dat kennisoverdracht alleen tijdens training plaatsvindt; SOLARIS maakt het mogelijk om tijdens het serveren te profiteren van de rijke representaties van het FM.
• Hoge Overdrachtsratio: Door direct embeddings te delen in plaats van soft-labels, wordt de overdrachtsratio aanzienlijk verbeterd.
• Schaalbaarheid: Het systeem is ontworpen om te werken met miljarden dagelijkse requests in Meta's advertentie-infrastructuur.

Resultaten

Het systeem is uitgebreid getest in de productieomgeving van Meta (advertentiesysteem):

• Prestatieverbetering:
  • CTR (Click-Through Rate): Consistente verbeteringen op alle onderzochte platforms (Facebook Feed, Reels, Instagram). Bijvoorbeeld, een reductie in Binary Cross-Entropy (BCE) loss van 0,09% voor Facebook Feed.
  • CVR (Conversion Rate): Duidelijke verbeteringen in conversiepredictie, zowel voor on-platform als offsite conversies (reductie BCE loss van 0,10% voor Facebook Feed + Reels).
  • Overdrachtsratio: SOLARIS bereikt een overdrachtsratio van 42% tot 44%, wat een verdubbeling is ten opzichte van eerdere distillatie-methoden (20-25%).
• Dekking en Impact:
  • De basisdekking van vooraf berekende embeddings is ongeveer 40-50%.
  • Door hiërarchische verrijking (geaggregeerde en similariteit-gebaseerde embeddings) stijgt de effectieve dekking naar 85-90%.
  • Bedrijfsresultaat: De implementatie resulteerde in een 0,67% toename in de totale advertentie-omzet (global ads revenue), wat neerkomt op een waarde in de orde van grootte van $100 miljoen.
  • De dekking van features leidde tot een significante verbetering in log loss (0,05% verbetering bij een dekkingstijging van 30%).

Betekenis en Conclusie

SOLARIS vertegenwoordigt een paradigmaverschuiving in het schalen van foundation modellen voor aanbevelingssystemen. Het bewijst dat het mogelijk is om de rekenkracht van enorme, complexe modellen te benutten voor real-time inferentie zonder de latency-eisen te schenden.

• Technische Innovatie: Het combineert speculative decoding-principes met embeddingsharing en hiërarchische imputatie om de "kenniskloof" tussen training en inferentie te dichten.
• Praktische Toepassing: Het biedt een bewezen, schaalbare oplossing voor bedrijven die worstelen met de kosten van het serveren van grote modellen, en toont aan dat kennisoverdracht tijdens het serveren (inference-time) een krachtige hefboom is voor bedrijfsresultaten.
• Toekomstperspectief: Hoewel het systeem momenteel voornamelijk gericht is op de laatste fase van ranking, zijn er plannen om de dekking uit te breiden naar eerdere stadia van de aanbevelingspijplijn en hybride strategieën (zoals ad-to-ad) te onderzoeken.