SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

Il paper presenta SOLARIS, un framework innovativo ispirato al *speculative decoding* che precalcola asincronamente le rappresentazioni di modelli fondazionali per le interazioni utente-item, consentendo l'uso in tempo reale di modelli complessi nel sistema pubblicitario di Meta e generando un aumento del 0,67% delle metriche di fatturato.

L'essenziale

Immagina di gestire un enorme ristorante (il sistema di raccomandazione di Meta) che deve servire milioni di clienti ogni giorno. Ogni cliente vuole un piatto personalizzato in base ai suoi gusti, ma la cucina è complessa e ci sono migliaia di ingredienti.

Il Problema: Il "Chef Genio" è troppo lento

Fino a poco tempo fa, per cucinare il piatto perfetto, il ristorante usava uno Chef Genio (il Foundation Model). Questo chef è un mago: conosce ogni ingrediente, sa esattamente cosa piacerà a ogni cliente e crea piatti incredibili.
Tuttavia, c'è un grosso problema: lo Chef Genio è lentissimo. Se dovessimo chiedergli di preparare il piatto per ogni singolo cliente mentre è seduto al tavolo, il cliente morirebbe di fame in attesa.

Per risolvere questo, i ristoranti usavano un trucco: prendevano le ricette dello Chef Genio e le insegnavano a uno Sous-chef (il Vertical Model, un modello più piccolo e veloce). Ma questo trucco aveva due difetti:

1. Lo Sous-chef imparava solo a memoria le ricette, perdendo la "magia" e la creatività dello Chef Genio.
2. Lo Sous-chef poteva cucinare solo ciò che gli era stato insegnato prima di aprire il ristorante. Se arrivava un cliente con un gusto nuovo, lo Sous-chef era perso.

La Soluzione: SOLARIS (Il "Cameriere Speculativo")

SOLARIS è come un nuovo sistema di camerieri intelligenti che cambia le regole del gioco. Invece di aspettare che il cliente ordini per poi chiedere allo Chef Genio cosa fare, SOLARIS indovina cosa il cliente potrebbe volere prima ancora che entri nel ristorante.

Ecco come funziona, passo dopo passo:

1. La Previsione (Speculative Decoding)

Immagina che i camerieri di SOLARIS abbiano un "sesto senso". Guardano i clienti che stanno arrivando e pensano: "Ehi, quel signore là sembra che vorrebbe una pizza, e quella signora potrebbe cercare un sushi".
Invece di aspettare l'ordine, i camerieri corrono in cucina e chiedono allo Chef Genio di preparare in anticipo le basi per queste pizze e questi sushi.

• Il trucco: Lo Chef Genio lavora in "secondo piano" (asincronamente), mentre il ristorante è aperto. Non rallenta il servizio perché non deve aspettare l'ordine del cliente per iniziare a lavorare.

2. Il "Pacco Pronto" (Embedding Precomputation)

Quando il cliente finalmente si siede e ordina, il cameriere non deve correre in cucina. Ha già il pacco pronto (l'embedding) che lo Chef Genio ha preparato in anticipo.
Il Sous-chef (il modello veloce) prende questo pacco, lo guarda e sa esattamente cosa fare. Il risultato? Il cliente riceve un piatto cucinato con la saggezza dello Chef Genio, ma servito alla velocità di un cameriere esperto.

3. Cosa succede se ci sbagliamo? (Hierarchical Feature Enrichment)

Cosa succede se il cameriere ha indovinato male e il cliente voleva un'insalata invece della pizza? Il pacco pronto non c'è.
Invece di dire "Non so cosa fare", SOLARIS usa due strategie intelligenti:

• La Media dei Gusti (Aggregated Embedding): Se non ha il pacco per quella specifica insalata, guarda cosa ha ordinato lo stesso cliente nelle ultime 24 ore. "Ah, ieri ha mangiato verdure, quindi probabilmente gli piacciono le verdure". Prende le informazioni generali del cliente per fare una buona stima.
• Il Vicino di Casa (Similarity-Based): Se non sa cosa piace al cliente, guarda il vicino di casa (un altro cliente simile). "Quel signore lì è identico a te, e gli piace l'insalata. Quindi anche a te piacerà". Usa le informazioni di persone simili per riempire i buchi.

I Risultati: Perché è un successo?

Grazie a SOLARIS, Meta ha potuto usare la potenza dei suoi "Chef Genio" (modelli enormi e complessi) direttamente nel servizio reale, senza rallentare nulla.

• Velocità: I clienti non aspettano.
• Qualità: I piatti sono più buoni (più pertinenti).
• Soldi: Questo sistema ha fatto guadagnare a Meta circa 100 milioni di dollari in più, semplicemente perché ha saputo offrire pubblicità più pertinenti a più persone, senza che il sistema si bloccasse.

In Sintesi

SOLARIS è come avere un assistente magico che prepara i piatti in anticipo basandosi su ciò che potrebbe accadere, e se sbaglia a indovinare, usa l'intelligenza collettiva (gusti passati o gusti di amici simili) per assicurarsi che il cliente sia comunque felice.

Ha permesso a Meta di usare i suoi "super-cervelli" artificiali in tempo reale, trasformando un processo che prima era troppo lento e costoso in una macchina da guerra efficiente che guadagna soldi ogni secondo.

Sommario tecnico

1. Il Problema

I recenti progressi nei modelli fondazionali (Foundation Models - FM) hanno rivoluzionato i sistemi di raccomandazione su larga scala, offrendo capacità di modellazione senza precedenti e una migliore personalizzazione. Tuttavia, la loro complessità computazionale rende il loro utilizzo in tempo reale (online serving) impraticabile a causa dei vincoli di latenza.

Di conseguenza, l'industria si affida tradizionalmente alla distillazione della conoscenza (Knowledge Distillation) per trasferire le capacità dei modelli grandi a modelli verticali (VM) più piccoli ed efficienti. Questo approccio presenta due colli di bottiglia critici:

1. Basso rapporto di trasferimento e scarsa generalizzabilità: La distillazione basata su "soft-label" (distribuzioni di probabilità) trasferisce tipicamente solo il 20-25% della conoscenza e i risultati sono spesso vincolati a compiti specifici.
2. Limitata disponibilità e copertura: Il trasferimento della conoscenza avviene esclusivamente durante l'addestramento (quando sono disponibili le etichette), perdendo l'opportunità di condividere conoscenza al momento dell'inferenza (inference time).

2. Metodologia: SOLARIS

SOLARIS (Speculative Offloading of Latent-bAsed Representation for Inference Scaling) è un nuovo framework ispirato al speculative decoding usato nei Large Language Models (LLM). L'obiettivo è decouplare il costo computazionale dell'inferenza del modello fondazionale dal percorso critico per la latenza, permettendo il trasferimento di conoscenza in tempo reale.

L'architettura si basa su tre innovazioni chiave:

A. Trasferimento Diretto basato su Embedding

A differenza della distillazione tradizionale che usa soft-label, SOLARIS trasferisce direttamente gli embedding di interazione utente-item dal modello fondazionale ai modelli verticali. Questi embedding catturano rappresentazioni ricche e generalizzabili delle interazioni, ottenendo un rapporto di trasferimento significativamente superiore.

B. Precomputazione Speculativa Asincrona

Poiché generare embedding per ogni possibile coppia utente-item è proibitivo, SOLARIS utilizza un approccio speculativo:

• Precomputazione in background: Un servizio asincrono prevede quali coppie utente-item appariranno nelle richieste future (basandosi sui candidati più rilevanti) e genera i loro embedding in anticipo.
• Meccanismo Verificatore: Un modello leggero (il modello verticale corrente) funge da "verificatore", decidendo quali coppie utente-item meritano di essere precalcolate e memorizzate nella cache, scartando quelle a bassa rilevanza prevista.
• Cache TTL: Gli embedding vengono memorizzati in una cache distribuita con un Time-To-Live (TTL) di alcune ore, sfruttando la stabilità delle preferenze utente a breve termine.

C. Arricchimento Gerarchico delle Feature

Per gestire i casi in cui un embedding diretto non è disponibile (copertura incompleta), SOLARIS implementa strategie di fallback:

1. Embedding Aggregato Utente: Se manca l'embedding specifico per la coppia, viene calcolato un embedding utente aggregato (media degli embedding delle interazioni recenti dell'utente), aumentando la copertura al 90%.
2. Embedding basato su Similarità: Utilizza una tabella di clustering precomputata (basata su KNN) per trovare utenti simili. Se manca l'embedding per un utente, viene recuperato e adattato da quello di un utente simile, estendendo la copertura del 30%.

3. Contributi Chiave

• Decoupling Inference/Training: SOLARIS permette il trasferimento di conoscenza durante l'inferenza (online), non solo durante l'addestramento.
• Alto Rapporto di Trasferimento: Passa dal 20-25% della distillazione soft-label a un 42-44% di trasferimento di conoscenza.
• Scalabilità Industriale: Il sistema è stato progettato per gestire miliardi di richieste giornaliere senza violare i vincoli di latenza, integrandosi perfettamente nelle pipeline di ranking multi-stadio di Meta.
• Copertura Estesa: Grazie all'arricchimento gerarchico, la copertura delle feature sale dal 50% (solo precomputazione diretta) a oltre il 90%.

4. Risultati Sperimentali

Il framework è stato valutato nell'ambiente di produzione di Meta, servendo modelli pubblicitari globali:

• Miglioramento delle Metriche di Business: Ha portato a un aumento del 0,67% delle entrate globali per la pubblicità (ordine di grandezza di 100 milioni di dollari).
• Riduzione della Loss: Su oltre 10 modelli di produzione, si è osservato un miglioramento relativo della log loss (RLL) fino allo 0,2%.
• Performance per Task:
  • CTR (Click-Through Rate): Riduzione della loss binaria (BCE) dello 0,09% su Facebook Feed e 0,05% su Instagram.
  • CVR (Conversion Rate): Riduzione della loss dello 0,10% per le conversioni su piattaforma e 0,05% per quelle offsite.
• Impatto della Copertura: Gli esperimenti offline hanno dimostrato che un aumento del 30% nella copertura delle feature porta a un miglioramento significativo della loss (0,05%), confermando il potenziale di guadagno revenue legato all'espansione della copertura.

5. Significato e Impatto

SOLARIS rappresenta un cambio di paradigma nell'uso dei modelli fondazionali nei sistemi di raccomandazione su larga scala. Dimostra che è possibile sfruttare la potenza computazionale dei modelli più grandi (che erano considerati troppo costosi per l'uso online) rendendoli accessibili in tempo reale attraverso tecniche di offloading speculativo.

Il successo di SOLARIS risiede nella sua capacità di bilanciare complessità computazionale, latenza e qualità della raccomandazione, trasformando un vincolo infrastrutturale in un vantaggio competitivo tangibile per le entrate pubblicitarie. Inoltre, l'approccio proposto è generalizzabile oltre il dominio della pubblicità, offrendo una soluzione scalabile per qualsiasi sistema di raccomandazione che richieda modelli complessi in produzione.