OneSearch-V2: The Latent Reasoning Enhanced Self-distillation Generative Search Framework

1. Problema e Contesto

Il paper affronta le limitazioni di OneSearch, un framework di ricerca generativa (Generative Retrieval - GR) già implementato su scala industriale da Kuaishou. Sebbene l'approccio generativo offra vantaggi come l'ottimizzazione end-to-end e l'efficienza computazionale rispetto alle architetture a cascata multi-stadio, OneSearch (versione V1) presenta tre criticità fondamentali che ne limitano le prestazioni:

1. Comprensione insufficiente delle query complesse: Le query di ricerca spesso contengono 2-3 parole chiave ambigue o negazioni (es. "attrezzatura fitness per interni" o "senza integratori"). Il modello V1, che esegue un'inferenza diretta in un singolo passaggio, manca della capacità di comprendere profondamente queste intenzioni semantiche ambigue.
2. Ragionamento sulle intenzioni utente insufficiente: Il modello si basa pesantemente su pattern storici di co-occorrenza e sul "fitting" dei log, fallendo nel ragionare su contesti utente specifici (es. evitare fiori allergenici per un utente allergico). L'uso esplicito del Chain-of-Thought (CoT) migliorerebbe le prestazioni, ma introdurrebbe un costo computazionale e una latenza proibitivi per la distribuzione online.
3. Sistema di reward fragile e distorto: Il sistema di reward basato su log storici è soggetto a bias di distribuzione, "reward hacking" e non si adatta tempestivamente a nuove intenzioni di ricerca, portando a un sovradattamento su preferenze storiche ristrette e a bolle informative.

2. Metodologia: OneSearch-V2

Per superare queste sfide, gli autori propongono OneSearch-V2, un framework di ricerca generativa potenziato dal ragionamento latente e dall'auto-distillazione. L'architettura si basa su tre innovazioni chiave:

A. Modulo di Comprensione della Query Potenziato dal Pensiero (Thought-Augmented Query Understanding)

Invece di generare un CoT testuale completo durante l'inferenza (che sarebbe troppo lento), il sistema utilizza un LLM esterno per generare CoT basati su parole chiave (Keyword-based CoT) in modo asincrono.

• Pipeline: Analisi della query (intento, categoria, attributi), estrazione di parole chiave ad alta densità informativa e calibrazione delle preferenze utente.
• Uso: Questi tuple <query, utente, parole chiave> servono come corpus di allineamento semantico durante l'addestramento (SFT) e come segnali supplementari per l'inferenza in tempo reale (tramite RAG), migliorando la comprensione delle query a coda lunga e ambigue.

B. Pipeline di Auto-Distillazione con Ragionamento Internalizzato

Questa è l'innovazione centrale per ottenere capacità di ragionamento senza costi di inferenza aggiuntivi.

• Meccanismo: Viene utilizzato un approccio di auto-distillazione asimmetrica. Il modello funge sia da "insegnante" (che riceve l'input arricchito con le parole chiave CoT) che da "studente" (che riceve solo la query grezza).
• Obiettivo: Lo studente viene addestrato a imitare la distribuzione di output dell'insegnante (che ha più informazioni) utilizzando solo l'input limitato. In questo modo, la capacità di ragionamento viene codificata nei pesi del modello e internalizzata come "intuizione", eliminando la necessità di generare token di ragionamento espliciti durante il servizio online.
• Stabilizzazione: Per mitigare l'instabilità causata dall'asimmetria informativa, vengono applicati:
  • R-Drop: Per garantire la coerenza delle previsioni in presenza di dropout.
  • FGM (Fast Gradient Method): Per migliorare la robustezza agli input avversari.
  • Focal Loss: Per gestire lo squilibrio delle classi nella vocabolario degli ID Semantici (SIDs).

C. Sistema di Ottimizzazione dell'Allineamento delle Preferenze tramite Feedback Comportamentale

Sostituisce il modello di reward separato (che causa bias) con un sistema di ottimizzazione diretto basato sul feedback utente.

• Reward Compositi: Combina segnali di rilevanza query-item, CTR (Click-Through Rate) e conversioni (ordini/acquisti).
• TPMA-GRPO (Token-Position Marginal Advantage): Una modifica all'algoritmo GRPO (Group Relative Policy Optimization). A differenza del GRPO standard che assegna un vantaggio uniforme all'intera sequenza, TPMA assegna vantaggi marginali basati sulla posizione del token.
  • Considera la struttura causale gerarchica degli SIDs (dalle categorie generali agli attributi specifici).
  • Utilizza un "Prefix Gate": se il prefisso della sequenza generata è errato, il gradiente per i token successivi viene soppresso, evitando di ottimizzare rami errati.

3. Risultati Sperimentali

Valutazioni Offline

• Prestazioni: OneSearch-V2 ha mostrato un miglioramento significativo rispetto alla V1 e alle baseline.
  • Hit Rate@10 (Ordini): +2.68% (da 20.46% a 23.14%).
  • MRR@10 (Ordini): +1.66% (da 9.85% a 11.51%).
  • Validità degli SIDs: Il tasso di SIDs validi generati è aumentato fino al 99.20% per gli ordini.
• Ablation Study: Ha confermato che l'auto-distillazione è il principale motore di miglioramento, e che la combinazione di R-Drop, FGM e Focal Loss è essenziale per la stabilità.

Test Online A/B (Kuaishou Mall)

I test in produzione hanno validato l'efficacia commerciale del framework:

• CTR degli Articoli (Item CTR): +3.98%
• Tasso di Conversione Acquirente (Buyer CVR): +2.90%
• Volume Ordini: +2.11%
• GMV (Gross Merchandise Value): +3.45%
• Qualità dell'Esperienza (Valutazione Manuale): +1.65% nel tasso di pagine "buone" e +1.37% nella rilevanza query-item.

Impatto Specifico: I miglioramenti sono stati particolarmente evidenti per:

• Query a coda lunga (+5.37% di CTR).
• Utenti a bassa attività.
• Articoli "freddi" (nuovi, senza interazioni storiche), con un +6.16% di CTR, dimostrando la capacità del modello di superare i bias dei log storici.

4. Significato e Contributi Chiave

Il lavoro di OneSearch-V2 è significativo per diversi motivi:

1. Ragionamento Latente Efficiente: Dimostra che è possibile internalizzare capacità di ragionamento complesso (tipicamente costose in termini di token) direttamente nei pesi del modello attraverso l'auto-distillazione, mantenendo la latenza di inferenza invariata.
2. Superamento dei Limiti dei Log: Il sistema non dipende più esclusivamente dal "fitting" dei log storici, ma utilizza un ragionamento semantico e un feedback diretto per adattarsi a nuove intenzioni e query ambigue, riducendo le bolle informative.
3. Ottimizzazione Gerarchica: L'introduzione del TPMA-GRPO risolve il problema dell'assegnazione del credito nelle sequenze gerarchiche, migliorando la precisione nella generazione di ID semantici complessi.
4. Scalabilità Industriale: Il framework è stato implementato con successo su una piattaforma di e-commerce di grandi dimensioni senza richiedere modelli di reward separati o aumentare i costi di servizio, offrendo un miglioramento diretto delle metriche di business (CTR, CVR, GMV).

In sintesi, OneSearch-V2 rappresenta un passo avanti fondamentale verso sistemi di ricerca generativa che combinano la potenza del ragionamento semantico con l'efficienza operativa necessaria per il deployment su larga scala.