Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance

Sintesi Tecnica: Pensare in Ampio, Agire Velocemente

Definizione del Problema
La modellazione efficace della rilevanza è fondamentale per la ricerca nell'e-commerce, tuttavia i modelli tradizionali faticano con query a coda lunga e ambigue. Sebbene i Large Language Models (LLM) potenziati dal ragionamento Chain-of-Thought (CoT) abbiano mostrato promettenti miglioramenti in termini di accuratezza e interpretabilità, due critiche limitazioni ne ostacolano l'implementazione nel mondo reale:

1. Limitazione della Prospettiva Singola: Gli approcci CoT esistenti si affidano tipicamente a una singola prospettiva di ragionamento monolitica. Ciò non riesce a catturare la natura multifasettica della rilevanza nell'e-commerce, che richiede di bilanciare simultaneamente l'intento dell'utente, il matching degli attributi strutturati e le specifiche regole di business.
2. Inefficienza della Distillazione: Gli attuali metodi di distillazione della conoscenza che utilizzano razionali generati da LLM spesso scartano la struttura CoT durante l'inferenza. Trattano il ragionamento come un segnale di addestramento transitorio piuttosto che come una capacità interna, perdendo l'utilità del processo di ragionamento per il servizio online. Inoltre, gli LLM stessi soffrono di un'elevata latenza di inferenza, rendendoli impraticabili per i sistemi di ricerca in tempo reale.

Metodologia
Gli autori propongono un framework che "pensa in ampio" durante l'addestramento e "agisce velocemente" durante l'inferenza, composto da due componenti primarie:

1. Multi-Perspective Chain-of-Thought (MPCoT) per l'Addestramento del Teacher
Il framework impiega un potente LLM teacher (Qwen3-14B) addestrato a generare razionali diversificati da tre distinte prospettive:

• Intento dell'Utente: Si concentra sulle necessità funzionali e sull'allineamento con i casi d'uso.
• Analisi Strutturata: Esegue una verifica sistematica, attributo per attributo, tra la query e il prodotto.
• Regole di Business: Applica euristiche specifiche della piattaforma per risolvere le ambiguità (ad esempio, distinguere i prodotti principali dagli accessori).

Il modello teacher subisce un processo di ottimizzazione in due fasi:

• Supervised Fine-Tuning (SFT): Il modello viene addestrato su un dataset aggregato di razionali CoT di alta qualità e specifici per ogni prospettiva. Questo costringe il modello a interiorizzare percorsi di ragionamento diversificati.
• Direct Preference Optimization (DPO): Per affrontare i casi in cui diverse prospettive portano a previsioni contrastanti, il modello viene ulteriormente raffinato tramite DPO. Questa fase costruisce coppie di preferenza in cui le risposte "scelte" provengono da prospettive corrette e quelle "rifiutate" da prospettive errate, insegnando al modello ad adattarsi e selezionare il percorso di ragionamento ottimale in base al contesto.

2. Latent Reasoning Knowledge Distillation (LRKD) per il Deployment dello Student
Per trasferire le capacità del teacher a un modello student leggero (ad esempio, BERT) senza incorrere nella latenza di generazione, gli autori introducono LRKD.

• Architettura: Il modello student è un cross-encoder aumentato da un Latent Reasoning Extractor addestinabile. Questo estrattore mappa le rappresentazioni dei token contestualizzati dello student in un vettore di ragionamento latente strutturato.
• Obiettivo di Addestramento: Lo student è addestrato utilizzando una funzione di perdita duale:
  1. Classification Loss: Cross-entropy standard per la previsione delle etichette di rilevanza.
  2. Latent Guidance Loss: Una perdita Mean Squared Error (MSE) che allinea il vettore di ragionamento latente dello student con l'embedding denso del CoT generato dal teacher (codificato da un modello di sentence embedding congelato come BGE-M3).
• Inferenza: A differenza dei metodi precedenti, l'estrattore di ragionamento latente viene mantenuto durante l'inferenza. Esso permette allo student di interiorizzare semantiche di ragionamento sofisticate in una forma compatta e non generativa, consentendo un deployment a bassa latenza.

Contributi Chiave

1. Framework MPCoT: Un nuovo framework di ragionamento che genera razionali complementari da più prospettive, dimostrando che la fusione di punti di vista diversi (Intento dell'Utente, Analisi Strutturata, Regole di Business) porta a giudizi di rilevanza più robusti rispetto agli approcci a prospettiva singola.
2. Meccanismo LRKD: Una tecnica di distillazione che preserva le semantiche di ragionamento in un modello student leggero tramite un estrattore latente. Questo evita l'elevata latenza della generazione di testo pur mantenendo l'utilità del ragionamento CoT durante il servizio online.
3. Validazione Empirica: Validazione completa su dataset di e-commerce multilingue (AliExpress e ESCI) e un test A/B online su larga scala.

Risultati

• Performance Offline: Il combinato MPCoT teacher e LRKD student ha raggiunto risultati allo stato dell'arte sui dataset AliExpress ed ESCI. Il teacher MPCoT ha superato i più forti baseline a prospettiva singola con una media di +1,96% in Accuratezza e +3,5% in F1. Le varianti dello student LRKD (specificamente basate su GAT e Poly-encoder) hanno costantemente superato gli esistenti baseline di distillazione (CED-KD, MKD) e i modelli BERT standard, con la variante GAT che ha migliorato l'accuratezza di +2,37 punti e la F1 di +3,91 punti rispetto al baseline.
• Efficienza: I modelli student hanno mantenuto una bassa latenza (circa 132–148 ms) rispetto al teacher LLM (46.800 ms), con un aumento marginale dei parametri.
• Impatto Online: In un test A/B live sulla piattaforma di ricerca pubblicitaria di AliExpress che serve decine di milioni di utenti, il metodo ha fornito miglioramenti statisticamente significativi:
  • +1,42% in Revenue Per Mille (RPM).
  • +0,48% in Click-Through Rate (CTR).
  • +0,4% in Relevance Satisfaction (RS) score.

Significato
Il paper sostiene che il suo approccio colma con successo il divario tra le elevate capacità di ragionamento degli LLM e i rigorosi requisiti di latenza della ricerca e-commerce industriale. Spostandosi oltre il ragionamento a prospettiva singola e preservando le strutture di ragionamento nello spazio latente del modello student, il framework offre una soluzione pratica per gestire query complesse e ambigue che i modelli tradizionali perdono. I risultati dimostrano che "pensare in ampio" (tramite l'addestramento multi-prospettiva) e "agire velocemente" (tramite la distillazione latente) può simultaneamente migliorare le prestazioni commerciali (ricavi) e l'esperienza utente (rilevanza soddisfatta) senza il costo computazionale di eseguire grandi LLM in tempo reale.