SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

Das SOLARIS-Framework ermöglicht die Echtzeit-Inferenz komplexer Empfehlungsmittelmodelle durch spekulatives Vorausberechnen von Nutzer-Item-Embeddings, was bei Meta zu einer messbaren Umsatzsteigerung führte.

Das Wesentliche

Das große Problem: Der „Super-Chef", der zu langsam ist

Stell dir vor, Meta (Facebook, Instagram) hat einen riesigen, extrem intelligenten Super-Chef (das sogenannte Foundation Model). Dieser Chef kennt jeden Nutzer und jedes Produkt auf der Welt. Er kann vorhersagen, worauf du klicken wirst, besser als jeder andere.

Aber es gibt ein Problem: Dieser Chef ist so komplex und rechnet so langsam, dass er nicht schnell genug antworten kann, wenn du gerade auf dein Handy schaust. Wenn du auf Instagram scrollst, dauert es zu lange, bis der Chef sagt: „Zeig diesem Nutzer diese Werbung."

In der Vergangenheit mussten die Ingenieure einen kleinen, schnellen Junior-Mitarbeiter (das Vertical Model) einstellen, der die Arbeit erledigt. Der Chef hat dem Junior dann nur eine kurze Zusammenfassung gegeben (z. B. „Zeig ihm Sportartikel"). Das funktionierte, aber der Junior lernte nur das Oberflächliche und verpasste die feinen Details, die der Chef eigentlich wusste.

Die Lösung: SOLARIS – Der „Vorausschauende Assistent"

SOLARIS ist wie ein vorausschauender Assistent, der die Lücke zwischen dem langsamen Super-Chef und dem schnellen Junior-Mitarbeiter schließt. Die Idee dahinter ist ähnlich wie bei der „spekulativen Decodierung" in KI-Sprachmodellen, aber hier angewendet auf Werbung.

Stell dir SOLARIS so vor:

1. Die „Wahrscheinlichkeits-Radar" (Spekulative Vorausberechnung)

SOLARIS weiß: Wir können nicht warten, bis du auf eine Werbung klickst, um den Chef zu fragen. Das wäre zu spät.
Stattdessen sagt SOLARIS: „Okay, basierend auf dem, was dieser Nutzer gerade tut, ist es wahrscheinlich, dass er in den nächsten 10 Minuten Werbung für Schuhe oder Kaffee sehen wird."

Bevor du überhaupt auf das Handy schaust, berechnet SOLARIS im Hintergrund (während du schläfst oder arbeitest) genau, was der Super-Chef über diese Kombination aus „Nutzer + Schuh" denken würde. Er speichert diese „Gedanken" (Embeddings) in einem schnellen Lagerhaus.

• Der Vergleich: Es ist wie ein Restaurant, das schon die Zutaten für die Gerichte vorbereitet, die die Gäste wahrscheinlich bestellen werden, bevor sie überhaupt die Speisekarte ansehen. Wenn du dann „Ich möchte Pizza" sagst, ist sie sofort fertig, weil sie schon vorbereitet war.

2. Der „Notfall-Plan" (Hierarchische Anreicherung)

Was passiert, wenn SOLARIS sich geirrt hat? Was, wenn du plötzlich auf eine Werbung für „Yoga-Matten" klickst, die niemand vorhergesehen hat? Das Lager ist leer.

Hier kommt der zweite Trick von SOLARIS ins Spiel:

• Sammeln: Wenn keine spezifische Vorhersage für „Nutzer + Yoga-Matte" existiert, schaut SOLARIS: „Was hat dieser Nutzer sonst noch gekauft?" und mittelt diese Informationen.

• Nachbarn: Wenn das auch nicht hilft, schaut SOLARIS: „Wer ist diesem Nutzer ähnlich?" und nutzt die Vorhersagen für diese ähnlichen Leute.

• Der Vergleich: Stell dir vor, du fragst einen Freund nach einem Restaurant. Er kennt das genaue Restaurant nicht (leeres Lager). Also sagt er: „Ich kenne es nicht, aber ich kenne jemanden, der genau wie du ist, und der hat dort gegessen. Oder: Du magst Pizza, also empfehle ich dir ein italienisches Restaurant, das du noch nicht kennst, aber das zu deinem Geschmack passt."

Warum ist das so großartig?

1. Kein Warten: Da die harte Arbeit des Super-Chefs schon im Hintergrund erledigt wurde, muss der Junior-Mitarbeiter beim Klick nicht warten. Die Antwort kommt sofort.
2. Besseres Wissen: Der Junior-Mitarbeiter bekommt nicht nur eine grobe Anweisung, sondern die tiefgründigen „Gedanken" des Super-Chefs. Er wird dadurch fast so klug wie der Chef, bleibt aber schnell wie ein Junior.
3. Riesiger Erfolg: Meta hat SOLARIS in ihrem Werbesystem eingesetzt. Das Ergebnis? Die Werbung war so viel besser, dass sie 0,67 % mehr Einnahmen generiert hat. Bei der Größe von Meta entspricht das hundert Millionen Dollar pro Jahr.

Zusammenfassung in einem Satz

SOLARIS ist ein cleveres System, das die Arbeit eines langsamen, aber genialen KI-Giganten im Voraus erledigt und speichert, damit die schnelle Werbung auf deinem Handy sofort die besten Empfehlungen geben kann – ohne dass du eine Sekunde warten musst.

Technische Zusammenfassung

1. Problemstellung

Moderne Empfehlungssysteme (RecSys) setzen zunehmend auf Foundation Models (FMs), die durch ihre enorme Komplexität und Fähigkeit, heterogene Daten zu verarbeiten, überlegene Leistung versprechen. Der Einsatz dieser Modelle im Echtzeit-Betrieb (Real-Time Serving) ist jedoch aufgrund der hohen Rechenkosten und Latenzanforderungen oft unpraktisch.

Die Industrie nutzt daher traditionell Knowledge Distillation (Wissensdestillation), bei der ein großes Lehrer-Modell (FM) ein kleineres Schüler-Modell (Vertical Model, VM) trainiert. Diese Methode stößt jedoch an zwei wesentliche Grenzen:

1. Begrenzter Transfer und Generalisierbarkeit: Herkömmliche Soft-Label-Distillation erreicht nur einen Transfer-Wirkungsgrad von ca. 20–25 %. Die gelernten Informationen sind oft zu stark an spezifische Aufgaben gebunden.
2. Begrenzte Verfügbarkeit: Wissensübertragung findet traditionell nur während des Trainings statt. Zum Zeitpunkt der Inferenz (wenn der Nutzer eine Anfrage stellt) kann das teure FM nicht mehr genutzt werden, um das VM zu verbessern.

2. Methodik: SOLARIS

SOLARIS (Speculative Offloading of Latent-bAsed Representation for Inference Scaling) ist ein Framework, das diese Grenzen überwindet, indem es das Prinzip des Spekulativen Decodings (bekannt aus LLMs) auf Empfehlungssysteme überträgt. Das Ziel ist es, die teure Inferenz des Foundation Models vom latenzkritischen Pfad zu entkoppeln.

Die Architektur basiert auf drei Kerninnovationen:

A. Direkte Embedding-basierte Übertragung

Statt nur Soft-Labels (Wahrscheinlichkeitsverteilungen) zu übertragen, extrahiert SOLARIS direkt die User-Item-Interaktions-Embeddings aus der letzten gemeinsamen Schicht des Foundation Models. Diese Embeddings enthalten reichhaltiges, generalisierbares Wissen über Nutzerpräferenzen und werden als zusätzliche Eingabemerkmale in die Vertical Models (VMs) eingespeist. Dies ermöglicht einen deutlich höheren Transfer-Wirkungsgrad.

B. Spekulative Vorberechnung (Asynchronous Precompute)

Da es unmöglich ist, für jedes mögliche User-Item-Paar in Echtzeit ein FM-Embedding zu berechnen, führt SOLARIS eine asynchrone Hintergrundberechnung durch:

• Spekulation: Ein Hintergrunddienst analysiert laufend eingehende Nutzeranfragen und identifiziert Kandidaten-Items, die mit hoher Wahrscheinlichkeit in naher Zukunft benötigt werden.
• Verifizierungs-Modell: Ein leichtgewichtiges Modell (basierend auf den aktuellen Vorhersagen des Vertical Models) filtert diese Kandidaten. Nur Paare mit hoher vorhergesagter Relevanz werden für die Embedding-Berechnung ausgewählt.
• Caching: Die berechneten Embeddings werden in einem verteilten Cache gespeichert.
• TTL (Time-to-Live): Um die Frische der Daten zu gewährleisten, haben die Caches eine begrenzte Lebensdauer (typischerweise wenige Stunden), basierend auf der Annahme, dass Nutzerpräferenzen kurzfristig stabil bleiben.

C. Hierarchische Feature-Anreicherung (Coverage-Strategien)

Da selbst die spekulative Berechnung nicht 100 % der User-Item-Paarungen abdecken kann (insbesondere bei Long-Tail-Items oder neuen Nutzern), nutzt SOLARIS zwei Strategien zur Lückenfüllung, um die Abdeckung zu maximieren:

1. Aggregierte User-Embeddings: Wenn kein spezifisches <User, Item>-Embedding vorhanden ist, wird ein aggregiertes User-Embedding berechnet, das den Durchschnitt aller bekannten Interaktionen des Nutzers der letzten 24 Stunden darstellt.
2. Ähnlichkeitsbasierte Embeddings (KNN): Ein Clustering-Modell identifiziert ähnliche Nutzer. Fehlt ein Embedding, wird es durch die Embeddings der ähnlichsten Nachbarn (basierend auf Cosine-Ähnlichkeit) imitiert (z. B. gewichteter Durchschnitt der Nachbarn).

3. Wichtige Beiträge

• Inferenz-Zeit-Wissensübertragung: SOLARIS ermöglicht erstmals die Nutzung von Foundation-Model-Repräsentationen direkt während des Live-Traffics, ohne die Latenz zu erhöhen.
• Hoher Transfer-Wirkungsgrad: Durch den direkten Transfer von Embeddings statt Soft-Labels wird der Transfer-Wirkungsgrad von ~25 % auf 42–44 % gesteigert (eine Verdopplung gegenüber bisherigen Methoden).
• Skalierbarkeit: Das System ist so konzipiert, dass es Milliarden von täglichen Anfragen in der Meta-Werbeinfrastruktur bewältigen kann, indem es Rechenlast in den Hintergrund verlagert und Caching-Strategien nutzt.
• Produktionsreife: Die nahtlose Integration in bestehende Multi-Stage-Ranking-Pipelines ohne zusätzliche Latenz.

4. Ergebnisse

Das Framework wurde in der Produktionsumgebung von Meta (Werbesystem) mit Milliarden täglicher Anfragen getestet:

• Verbesserung der Modellleistung: Auf über 10 Produktionsmodellen wurde eine relative Verbesserung des Log-Loss (RLL) von bis zu 0,2 % erzielt.
• Umsatzsteigerung: Die Einführung von SOLARIS führte zu einer globalen Umsatzsteigerung der Werbeeinnahmen von 0,67 % (in der Größenordnung von 100 Millionen US-Dollar).
• Abdeckung:
  • Die reine spekulative Vorberechnung deckt ca. 40–50 % der Paare ab.
  • Durch die aggregierten User-Embeddings steigt die Abdeckung auf 85–90 %.
  • Durch die Ähnlichkeitsbasierte Suche (KNN) wird die effektive Abdeckung weiter erhöht.
• Robustheit: Die Verbesserungen zeigten sich konsistent über verschiedene Aufgaben hinweg (CTR und CVR) und auf verschiedenen Plattformen (Facebook Feed, Reels, Instagram).

5. Bedeutung und Ausblick

SOLARIS demonstriert, dass Foundation Models auch in latenzkritischen, hochskalierenden Empfehlungssystemen effektiv eingesetzt werden können, ohne auf Knowledge Distillation im traditionellen Sinne angewiesen zu sein. Es löst das Dilemma zwischen Rechenkosten und Modellqualität, indem es die Inferenzkosten in den Hintergrund verlagert und durch intelligente Vorhersagen (Spekulation) und Caching kompensiert.

Einschränkungen und Zukunft:
Aktuell ist SOLARIS primär für das finale Ranking (Final Stage) optimiert. In früheren Stufen (Retrieval/Early Ranking), wo die Anzahl der Kandidaten um den Faktor 100 höher ist, stellen Ressourcen und Abdeckung noch größere Herausforderungen dar. Zukünftige Arbeiten zielen darauf ab, die Abdeckung durch hybride Strategien (z. B. Ad-to-Ad statt nur User-to-User) weiter zu verbessern.

Zusammenfassend stellt SOLARIS einen Paradigmenwechsel dar, der es ermöglicht, die „teuersten" Modelle der KI-Welt für den Echtzeit-Einsatz in der Industrie nutzbar zu machen.