Sintesi Tecnica: SeqLLM

Problema

Le piattaforme di pagamento su larga scala, come WeChat Pay, affrontano una sfida critica nel controllo del rischio dei commercianti: lo screening di decine di milioni di commercianti ogni giorno, dove gli errori sono costosi in entrambe le direzioni. I falsi positivi danneggiano le attività legittime, mentre i falsi negativi permettono la persistenza di attività illecite. I casi più difficili non possono essere risolti analizzando isolatamente i profili testuali (ad esempio, descrizioni dei commercianti, reclami) o le sequenze comportamentali (ad esempio, cronologie delle transazioni). Questi casi richiedono un ragionamento congiunto su prove testuali eterogenee e flussi di eventi temporali prolungati.

Sebbene i Large Language Models (LLM) eccellano nel ragionamento testuale, non possono elaborare nativamente le sequenze comportamentali. Al contrario, i modelli comportamentali dedicati catturano pattern temporali ma mancano di capacità di ragionamento linguistico e di spiegazione. I tentativi esistenti per colmare questo divario iniettando token comportamentali negli LLM spesso si affidano al Pre-addestramento Continuo (CPT). Tuttavia, il CPT alla scala richiesta per le applicazioni industriali (decine di milioni di sequenze) porta al oblio catastrofico (catastrophic forgetting), degradando severamente le capacità linguistiche e di ragionamento generali del modello. Le attuali pipeline "adatta-e-ripara" (che utilizzano dati di dominio misto e distillazione) non riescono a recuperare pienamente queste capacità perdute, specialmente all'aumentare del corpus comportamentale.

Metodologia: SeqLLM

Gli autori propongono SeqLLM, un framework progettato per iniettare la modellazione nativa di sequenze comportamentali in un LLM pre-addestrato preservandone al contempo la competenza linguistica. Il framework è composto da tre componenti principali:

1. Vocabolario Comportamentale Discreto Compatto

Invece di serializzare gli eventi in linguaggio naturale (il che crea contesti lunghi e sovraccarica i token delle parole), SeqLLM codifica ogni evento come una sequenza di token a livello di campo (field-level tokens).

• Struttura: Ogni evento è suddiviso in campi (ad esempio, tempo, importo, canale, stato) e ogni valore di campo è mappato su un token dedicato (ad esempio, <Importo:200-500 CNY>).
• Vantaggi: Questo approccio comprime gli eventi (da decine di token a circa 9 in media), evita collisioni con il vocabolario originale delle parole e supporta la generalizzazione compositiva (nuove combinazioni di campi rimangono espressibili).

2. Proiettore Comportamentale Leggero con Allineamento a Due Stadi

Per garantire che l'LLM comprenda questi nuovi token, un proiettore leggero allinea i token allo spazio semantico dell'LLM utilizzando un curriculum di traduzione-e-ragionamento:

• Inizializzazione basata sul testo: I token comportamentali sono inizializzati utilizzando l'embedding mediato (mean-pooled) delle loro descrizioni testuali leggibili, riscalati per corrispondere alla distribuzione degli embedding del backbone.
• Stadio 1 (Traduzione): Il modello viene addestrato per tradurre i token comportamentali nuovamente in descrizioni di linguaggio naturale, ancorando i token nello spazio semantico dell'LLM.
• Stadio 2 (Ragionamento): Il modello viene addestrato su query di ragionamento multi-evento (ad esempio, identificare pattern attraverso le transazioni) per imparare come interpretare e ragionare su sequenze di questi token.
• Meccanismo: Un proiettore MLP condiviso con una connessione residua mappa tutti i token comportamentali, imponendo un vincolo di allineamento coerente che permette al backbone di comporre i token tra campi ed eventi.

3. Iniezione di Capacità Guidata dal Prefisso

Per apprendere la modellazione delle sequenze senza erodere la capacità linguistica, SeqLLM sostituisce il CPT standard con il Fine-Tuning Supervisionato (SFT) guidato dal prefisso.

• Meccanismo: Invece di applicare la perdita del next-token sull'intero flusso comportamentale (il che aggiorna il backbone in modo ampio), il modello viene addestrato sulla generazione condizionata dall'istruzione. Viene fornita un'istruzione in linguaggio naturale (prefisso del task) e il modello predice gli eventi futuri (il suffisso) basandosi sugli eventi passati (il prefisso).
• Applicazione della Perdita: La perdita è calcolata solo sui token di risposta (gli eventi futuri predetti).
• Vantaggio: Questo confina l'apprendimento della sequenza a specifici contesti di task attivati dal prefisso, prevenendo l'interferenza ampia con la conoscenza linguistica pre-addestrata che causa l'oblio catastrofico. Fondamentalmente, questo metodo non richiede una fase separata di "recupero delle capacità" o massicce quantità di dati linguistici ausiliari.

Contributi Chiave

1. Formulazione della Modellazione Congiunta Testo-Comportamento: Il documento definisce un regime per decisioni ad alto rischio dove il rischio emerge solo dall'interazione tra prove testuali e lunghi flussi di eventi, uno scenario sistematicamente ignorato dalle pipeline unimodali.
2. Il Framework SeqLLM: Un framework generale che comprende un vocabolario compatto a livello di campo, un proiettore residuo basato sul testo con un curriculum di traduzione-e-ragionamento, e l'iniezione di capacità guidata dal prefisso.
3. SFT Guidato dal Prefisso come Alternativa Scalabile: Gli autori stabiliscono che l'SFT guidato dal prefisso può iniettare la modellazione di sequenze su larga scala preservando la capacità linguistica, eliminando la necessità della pipeline "adatta-e-ripara" utilizzata nel lavoro precedente.
4. Impatto Industriale e su Scala Pubblica: Il framework è interamente implementato in produzione e validato su benchmark pubblici, dimostrando prestazioni ed efficienza superiori rispetto ai migliori baseline esistenti.

Risultati

Implementazione Industriale presso WeChat Pay

• Screening del Rischio dei Commercianti: SeqLLM è implementato in una cascata 0.6B–8B. In una valutazione ombra di tre mesi, ha migliorato la precisione dello screening dal 92,0% al 97,5% rispetto a un baseline LLM basato su DeepSeek (solo testo). Dopo il lancio, il tasso di ricorso è sceso dal 12% a circa il 2%, con zero esenzioni osservate.
• Rilevamento delle Frodi: Quando utilizzato per inizializzare gli embedding comportamentali in un rilevatore di frodi a valle, gli embedding pre-addestrati di SeqLLM hanno migliorato la Precision@Top-0.01% di 26,8 punti percentuali, la Precision@Top-0.1% di 7,6 punti percentuali, la Recall@Top-0.1% di 12,9 punti percentuali e la Recall@Top-1% di 33,1 punti percentuali, rappresentando il miglioramento più significativo nella storia del modello.
• Ritenzione del Linguaggio: A differenza del CPT, che ha fatto scendere i punteggi C-Eval da 0,78 a 0,27, SeqLLM ha mantenuto un punteggio C-Eval di 0,783 pur ottenendo prestazioni di modellazione di sequenze comparabili (HR@10 ~0,80).

Benchmark Pubblici

• Raccomandazione (MovieLens & Amazon): SeqLLM ha superato il baseline User-LLM fino al 32% relativo in Recall@5 pur mantenendo capacità linguistiche significativamente più forti (MMLU, C-Eval, AGIEval).
• Benchmark RecIF: SeqLLM+RL ha migliorato il Pass@32 del 14,2% rispetto all'intera pipeline OneRec-8B utilizzando 4,8 volte meno GPU-days e non richiedendo una fase di distillazione separata.
• Comprensione Semantica: Sul set RecProbe costruito, SeqLLM ha superato significativamente OneRec-8B nel matching di argomenti video e nel ranking degli interessi, dimostrando una superiore base semantica dei token comportamentali.

Significato

Il documento afferma che SeqLLM stabilisce una via scalabile verso modelli unificati di linguaggio e sequenze comportamentali. Decoupling (disaccoppiando) l'apprendimento della sequenza dall'aggiornamento linguistico generale del backbone tramite SFT guidato dal prefisso, esso risolve il compromesso tra l'acquisizione di nuove capacità e la ritenzione di quelle esistenti. Ciò consente l'implementazione di LLM in domini multimodali ad alto rischio (come il controllo del rischio finanziario) dove affidabilità, spiegabilità e integrazione di diverse modalità di dati sono critiche, senza il costo proibitivo dell'oblio catastrofico o di complesse pipeline di recupero.