Riepilogo Tecnico: Mind the Gap: Colmare i Silos Comportamentali con gli LLM nelle Raccomandazioni Multi-Verticali

1. Definizione del Problema

Negli ecosistemi di e-commerce multi-verticali come DoorDash, l'espansione in nuovi domini (ad es. alimentari, retail, bellezza) crea una sfida significativa per la personalizzazione: il problema del "cold start" (partenza a freddo). Gli utenti spesso mancano di uno storico di engagement nei nuovi verticali emergenti, rendendo difficile generare raccomandazioni pertinenti. Al contrario, queste piattaforme possiedono ricchi dati comportamentali da verticali consolidati e ad alto traffico (ad es. l'ordinazione di ristoranti). La sfida centrale affrontata da questo lavoro è come trasferire efficacemente la conoscenza latente dai verticali ricchi di dati a quelli poveri di dati per migliorare la qualità delle raccomandazioni senza fare affidamento su interazioni storiche dirette nel nuovo dominio.

2. Metodologia

Gli autori propongono un framework innovativo che utilizza i Large Language Models (LLM) per eseguire l'ingegneria delle caratteristiche semantiche, sintetizzando caratteristiche di affinità dell'utente strutturate da dati comportamentali non strutturati.

2.1 Generazione Aumentata da Recupero Gerarchica (RAG)

Il sistema impiega una pipeline RAG gerarchica per mappare i segnali utente non strutturati (storia degli ordini nei ristoranti e query di ricerca) su una tassonomia interna del prodotto a quattro livelli (L1–L4).

• Inferenza a Cascata: Il processo opera tramite una strategia di inferenza a cascata. Il modello identifica prima le affinità tassonomiche ampie e di alto livello (L1, L2). Queste classificazioni ad alta confidenza vincolano lo spazio di ricerca generativo per i successivi recuperi più granulari a livelli inferiori (ad es. L3). Questo raffinamento iterativo previene la generazione di sottocategorie plausibili ma errate.
• Focus sulle Caratteristiche: Per il ranker Multi-Task Learning (MTL) in produzione, il sistema punta specificamente alle affinità L2 e L3, poiché L1 è spesso troppo generico e L4 soffre di eccessiva scarsità di dati.

2.2 Sintesi Generativa delle Caratteristiche

Il framework genera due classi distinte di caratteristiche per integrare la rappresentazione dell'utente:

1. Profilo di Affinità Cross-Verticale a Lungo Termine: Cattura le preferenze latenti e storiche inferite dalla storia cumulativa degli ordini nei ristoranti.
2. Profilo di Intento a Breve Termine: Modella gli interessi recenti e transitori derivati dall'attività di ricerca sulla piattaforma.

2.3 Prompt Engineering e Controllo

Per garantire output ad alta fedeltà e deterministici, gli autori hanno implementato rigorosi controlli di prompt engineering:

• Input Contestuale: I prompt concatenano i nomi dei ristoranti e gli articoli ordinati cronologicamente, dando priorità al comportamento recente, insieme alle query di ricerca.
• Filtraggio della Confidenza: Il modello riceve l'istruzione di assegnare un punteggio di confidenza a ciascuna affinità generata. Solo le tassonomie che superano una soglia di confidenza di 0,8 vengono incluse. Ciò funge da meccanismo di autocorrezione per filtrare associazioni spurie.
• Vincoli di Output: Il modello è limitato all'output di ortografie tassonomiche esatte da un elenco fornito, evitando l'invenzione di categorie inesistenti.

2.4 Integrazione nella Produzione MTL

Le caratteristiche derivate dagli LLM sono integrate nel modello di ranking MTL esistente in produzione:

• Augmentation delle Caratteristiche: Le nuove caratteristiche sparse ($u_{LLM}$), che rappresentano le affinità dell'utente, vengono concatenate con i vettori di engagement dell'utente esistenti ($u_{eng}$) e i vettori delle caratteristiche degli item ($i_{eng}$).
• Strategia di Embedding: Le caratteristiche categoriche a lunghezza variabile (liste di ID tassonomici) sono mappate in vettori densi tramite una tabella di embedding condivisa e aggregate utilizzando il mean pooling per gestire tensori di input irregolari.
• Architettura del Modello: Il vettore delle caratteristiche aumentato alimenta un trunk MLP condiviso seguito da teste di predizione specifiche per il task, ottimizzando congiuntamente obiettivi come il click-through rate, l'aggiunta al carrello e l'acquisto.

2.5 Ottimizzazione

• Selezione del Modello: Un'analisi costo-prestazioni ha identificato GPT-4o-mini come il modello ottimale, offrendo una qualità comparabile a GPT-4o a un costo computazionale sensibilmente inferiore.
• Riduzione dei Costi: L'implementazione del prompt caching (per istruzioni statiche e tassonomia) e della materializzazione delle caratteristiche "just-in-time" (aggiornamento delle affinità solo in presenza di nuove azioni dell'utente) ha ridotto i costi computazionali complessivi di circa l'80%.

3. Valutazione Sperimentale

3.1 Valutazione Offline

Il modello proposto è stato valutato rispetto a un modello baseline MTL addestrato esclusivamente su engagement storico e attributi degli item utilizzando un dataset di holdout di 15 giorni.

• Metriche: Le prestazioni sono state misurate tramite l'Area Sotto la Curva ROC (AUC-ROC) e il Mean Reciprocal Rank (MRR).
• Analisi per Coorti:
  • Popolazione Complessiva: Il modello proposto ha ottenuto un incremento relativo del 4,4% nell'AUC-ROC e un incremento del 4,8% nel MRR.
  • Consumatori Cold-Start: Questa coorte ha registrato un incremento del 4,0% nell'AUC-ROC e un incremento dell'1,1% nel MRR, validando l'ipotesi che le preferenze di gusto storiche possano essere trasferite efficacementmente tra i verticali.
  • Consumatori "Power": Questo gruppo ha beneficiato maggiormente del segnale delle query di ricerca, ottenendo un incremento del 5,2% nell'AUC-ROC e un incremento del 2,2% nel MRR.

3.2 Deployment in Shadow Mode Online

Per validare i risultati offline, il sistema è stato distribuito in modalità shadow contro il traffico live.

• Risultati: Il modello aumentato con LLM ha dimostrato un miglioramento del 4,3% nell'AUC-ROC e un incremento del 3,2% nel MRR rispetto al baseline per la popolazione generale, confermando l'efficacia nel mondo reale.

3.3 Valutazione della Qualità delle Caratteristiche

Le valutazioni qualitative e quantitative hanno confermato la rilevanza delle caratteristiche generate:

• Valutazione Umana: Le caratteristiche derivate dalle query di ricerca sono state valutate come "Altamente Personalizzate" nel 70,7% dei casi, rispetto al 53,0% per gli ordini nei ristoranti.
• LLM-as-a-Judge: Utilizzando GPT-4o per valutare la rilevanza, le query di ricerca hanno nuovamente superato la cronologia degli ordini (61,6% altamente personalizzato contro 56,6%), allineandosi all'intento esplicito della ricerca.

4. Contributi Chiave e Significato

Il paper sostiene di offrire un percorso pratico per costruire sistemi di raccomandazione più olistici e adattivi, affrontando il divario dei dati comportamentali nei marketplace multi-verticali.

• Framework Innovativo: L'introduzione di una pipeline RAG gerarchica per derivare caratteristiche tassonomiche a più livelli da dati utente non strutturati.
• Ponte Semantico: Dimostrare che gli LLM possono agire efficacemente come ponte semantico, trasferendo la conoscenza dai verticali ricchi di dati (ristoranti) a quelli poveri di dati (alimentari/retail) per risolvere il problema del cold-start.
• Fattibilità in Produzione: Il lavoro prova che le caratteristiche generate da LLM possono essere integrate nei modelli di ranking MTL in produzione con significativi guadagni di performance, gestendo al contempo i costi computazionali attraverso una selezione strategica del modello e il caching.
• Insight Comportamentale: I risultati validano che le affinità latenti dell'utente inferite da un verticale possono migliorare significativamente la personalizzazione in un altro, specialmente per gli utenti privi di una storia diretta nel dominio target.

5. Lavoro Futuro

Gli autori delineano tre direzioni specifiche per la ricerca futura:

1. Prompting Avanzato: Investigare paradigmi come il Chain-of-Thought e l'auto-correzione, ed esplorare il fine-tuning specifico del dominio di modelli più piccoli ed efficienti.
2. Integrazione nel Funnel: Integrare le caratteristiche generative più precocemente nel funnel di raccomandazione, specificamente nella fase di recupero dei candidati (candidate retrieval), per creare un sistema end-to-end più sinergico.
3. Dinamiche Temporali: Esplorare le dinamiche temporali delle affinità per costruire modelli di raccomandazione più adattivi e sensibili alla sessione.