Riepilogo Tecnico: ProfiLLM

1. Formulazione del Problema

Il documento affronta la sfida di integrare i Large Language Models (LLM) nei sistemi di dispatching (smistamento) per il ride-hailing industriale al fine di migliorare l'abbinamento tra ordini e conducenti. Le attuali pipeline di produzione si affidano pesantemente a caratteristiche numeriche strutturate (es. distanza, prezzo) per prevedere esiti comportamentali (accettazione, cancellazione, completamento) per coppie candidato ordine–conducente (OD). Tuttavia, i segnali comportamentali decisivi — come l'avversione abituale di un conducente verso regioni specifiche o la sensibilità temporale di un passeggero — sono intrinsecamente contestuali e semantici, rendendoli difficili da catturare con caratteristiche numeriche create manualmente.

Sebbene gli LLM possano distillare traiettorie comportamentali complesse in profili semantici, l'implementazione di un dispatcher in tempo reale con latenza di millisecondi affronta tre vincoli interconnessi:

1. Scala dei Dati vs. Limiti di Contesto: I log su scala di piattaforma (es. 44,3 milioni di record in una singola città in 38 giorni) superano le finestre di contesto di qualsiasi LLM.
2. Distribuzione dei Dati Long-Tail: La maggior parte degli utenti (96% dei passeggeri nello studio) è a bassa frequenza, priva di una storia di interazione sufficiente per un profiling affidabile per singolo utente.
3. Disallineamento dell'Utilità: Profili fluidi e superficiali generati dagli LLM non migliorano necessariamente l'utilità della predizione a valle; in alcuni casi, profili LLM ingenui degradano le prestazioni del modello (es. calo dell'AUC fino a -7,57%).

Il problema centrale è operazionalizzare un profiling dell'utente allineato all'utilità che sia scalabile su milioni di utenti, gestisca dati sparsi e si integri in un contratto offline-online rigoroso dove l'inferenza online aggiunge un overhead sub-millisecondo con zero chiamate LLM online.

2. Metodologia: ProfiLLM

ProfiLLM è una pipeline di dati agentica basata su LLM progettata per colmare il divario tra profiling semantico e matching in tempo reale. Impone una separazione rigorosa: tutto il ragionamento dell'LLM avviene offline, mentre il sistema online serve solo embedding di profili pre-calcolati a livello di cluster. Il framework consiste in due moduli primari:

2.1 Estrazione della Conoscenza Globale Aumentata da Strumenti (Offline)

Per affrontare le sfide di scala e di grounding, un agente LLM è dotato di un toolkit di 27 strumenti analitici (categorizzati in strumenti statistici, spazio-temporali, contestuali e causali). L'agente segue un paradigma Esplora → Approfondisci → Valida → Sintetizza per elaborare massicci log storici:

• Esplora: Calcola metriche a livello di piattaforma e identifica pattern preliminari.
• Approfondisci: Conduce analisi focalizzate su pattern temporali, eterogeneità spaziale e segmentazione degli utenti.
• Valida: Applica test di ipotesi statistica e analisi causale per mantenere solo i risultati significativi.
• Sintetizza: Produce tre artefatti riutilizzabili:
  1. Conoscenza Globale ($K$): Benchmark di piattaforma, regolarità temporali e relazioni causali.
  2. Regole di Clustering Adattivo degli Utenti ($A$): Classificatori interpretabili basati su regole che raggruppano gli utenti per somiglianza comportamentale (es. ore di attività, regioni frequenti). Questo affronta il problema del long-tail aggregando i dati a livello di cluster piuttosto che a livello individuale.
  3. Prior Regionali ($R$): Statistiche di offerta-domanda a livello di griglia.

2.2 Esplorazione del Profilo Allineata all'Utilità (Offline)

Per ogni cluster di utenti, il sistema genera e perfeziona i profili basandosi sulla conoscenza globale estratta:

• Generazione dei Candidati: L'LLM genera $K$ profili candidati diversificati per ogni cluster, strutturati in Analisi (pattern comportamentali), Profilo (descrizione semantica) e Logica (regole decisionali booleane eseguibili).
• Valutazione dell'Utilità: Invece di addestrare modelli di predizione completi per ogni candidato, il sistema utilizza la componente Logica come proxy leggero. Mescola le predizioni del modello base con le predizioni basate su regole per calcolare un'AUC fusa. Questo identifica i profili che catturano segnali invisibili alle caratteristiche strutturate.
• Raffinamento Iterativo: I migliori candidati vengono raffinati iterativamente in base al feedback dell'errore di predizione.
• Fine-tuning DPO: Coppie di preferenza vengono costruite confrontando i profili con diversi guadagni di utilità. Un passaggio di fine-tuning tramite Direct Preference Optimization (DPO) allinea il generatore LLM con l'utilità della predizione a valle, permettendo a un modello compatto (es. Qwen3-8B) di superare backbone più grandi e non allineati.

2.3 Servizio Online

Il dispatcher online opera senza inferenza LLM:

1. Assegnazione al Cluster: Una valutazione deterministica delle regole assegna un utente a un cluster.
2. Ricerca dell'Embedding: Il sistema recupera l'embedding $d$-dimensionale pre-calcolato del profilo del cluster.
3. Predizione: L'embedding viene concatenato con le caratteristiche strutturate e inviato al modello di predizione multi-task esistente.
4. Matching: Vengono calcolati i pesi e l'algoritmo di Kuhn-Munkres risolve l'assegnazione.
   L'overhead totale è sub-millisecondo (< 0,01 ms per coppia).

3. Contributi Chiave

• Prima Pipeline di Profiling LLM Implementata: ProfiLLM è il primo sistema che implementa il profiling dell'utente basato su LLM in un dispatcher di ride-hailing in produzione, rispettando i rigorosi vincoli di latenza tramite una strategia di disaccoppiamento offline-online.
• Estrazione della Conoscenza Aumentata da Strumenti: Un modulo innovativo in cui un agente LLM compone autonomamente catene di 27 strumenti analitici per estrarre conoscenza globale e regole di clustering da volumi di dati che superano il limite di contesto dell'LLM.
• Esplorazione Allineata all'Utilità: Un meccanismo che tratta l'utilità della predizione come un segnale di ottimizzazione di prima classe. Utilizza un proxy leggero basato sulla logica e il fine-tuning DPO per garantire che i profili generati migliorino la predizione a valle piuttosto che essere solo linguisticamente fluidi.
• Gestione Scalabile del Long-Tail: Spostando il profiling dal singolo utente al livello di cluster, il sistema profila efficacemente gli utenti a bassa frequenza che mancano di una storia individuale sufficiente.

4. Risultati Sperimentali

Il sistema è stato valutato sui dati di produzione di DiDi in tre città brasiliane (Città A, B, C) ed è stato implementato in un test A/B online di 14 giorni nella Città A.

• Prestazioni di Predizione: ProfiLLM ha ottenuto un miglioramento relativo dell'AUC fino al +6,14% nella predizione degli esiti (specificamente per la cancellazione dei passeggeri) rispetto ai baseline basati solo su strutture. I baseline LLM ingenui hanno spesso degradato le prestazioni, evidenziando la necessità del meccanismo di allineamento dell'utilità.
• Risultati della Simulazione: Nelle simulazioni di dispatching, ProfiLLM ha prodotto un guadagno del Gross Merchandise Value (GMV) fino al +4,35% e miglioramenti significativi nei tassi di completamento.
• Test A/B Online (Città A): In 14 giorni, il sistema ha dimostrato miglioramenti costanti nel mondo reale:
  • +0,47% di GMV.
  • +0,33% di Tasso di Completamento.
  • -0,82% di tasso di Cancellazione Prima dell'Accettazione.
    Riduzioni delle cancellazioni post-accettazione sia per i conducenti che per i passeggeri.
• Efficienza dei Costi: La strategia di aggiornamento basata su DPO ha ridotto i costi offline di 10,6× rispetto alle sessioni di esplorazione iniziali. Il percorso online aggiunge un costo trascurabile, posizionando ProfiLLM-DPO sulla frontiera di Pareto tra i compromessi costo-qualità rispetto a backbone LLM più grandi.

5. Significato e Rivendicazioni

Il documento afferma che ProfiLLM riesce ad operazionalizzare gli LLM per il decision-making industriale risolvendo il trilemma di "finestra di contesto", "long-tail" e "allineamento dell'utilità". La sua importanza risiede nel dimostrare che:

1. Il Profiling Semantico è Viabile su Scala: I profili generati da LLM possono catturare segnali comportamentali (come l'avversione regionale) che le caratteristiche strutturate perdono, a condizione che siano radicati nella conoscenza globale e aggregati a livello di cluster.
2. L'Allineamento dell'Utilità è Critico: La fluidità superficiale non è un proxy per l'utilità; ottimizzare i profili direttamente per le metriche di predizione a valle (tramite proxy logici e DPO) è essenziale per evitare la degradazione delle prestazioni.
3. Il Disaccoppiamento Offline-Online è Necessario: Le applicazioni industriali in tempo reale possono sfruttare il ragionamento complesso degli LLM solo se l'inferenza è strettamente confinata all'elaborazione batch offline, servendo solo embedding leggeri online.

Gli autori posizionano ProfiLLM non solo come un miglioramento teorico, ma come una soluzione pratica e implementata che migliora i ricavi e l'esperienza dell'utente in un ambiente ad alta posta in gioco e bassa latenza, senza modificare gli algoritmi di matching core.