Query as Anchor: Scenario-Adaptive User Representation via Large Language Model

1. Il Problema

L'apprendimento della rappresentazione degli utenti su scala industriale deve bilanciare la robustezza universale con la sensibilità specifica al compito. Le paradigmi esistenti presentano diverse limitazioni critiche:

• Embedding Statici e Task-Agnostic: I metodi attuali generano rappresentazioni statiche che faticano a conciliare requisiti divergenti di diversi scenari downstream (es. valutazione del credito, marketing, gestione del rischio) all'interno di uno stesso spazio vettoriale.
• Divario Modale e Semantico: I dati comportamentali degli utenti sono sparsi, simbolici ed eterogenei (log di transazioni, click, ricerche), mentre i Large Language Models (LLM) sono pre-addestrati su dati linguistici densi. Questo disallineamento limita la capacità degli LLM di generare rappresentazioni adattive.
• Complessità di Deployment: I sistemi industriali spesso richiedono modelli specifici per ogni task, aumentando l'overhead di manutenzione e impedendo la generalizzazione cross-domain.

2. Metodologia: Query-as-Anchor

Gli autori propongono Query-as-Anchor (Q-Anchor), un framework che sposta la modellazione degli utenti da una codifica statica a una sintesi dinamica e consapevole della query. L'architettura si basa su tre pilastri principali:

A. Dataset di Pre-training: UserU

Per colmare il divario tra dati comportamentali e semantica LLM, è stato costruito UserU, un dataset di pre-training su scala industriale. Combina due componenti:

1. Dati di Predizione Comportamentale ($D_{future}$): Coppie query-risposta dove la query chiede di prevedere le azioni future dell'utente basandosi sul suo storico (90 giorni di dati multimodali: transazioni, mini-programmi, percorsi di navigazione, ecc.).
2. Dati Sintetici Query-Risposta ($D_{uqa}$): Generati tramite LLM, questi dati allineano i profili utente a domande di comprensione dell'utente (es. "Quali sono le preferenze finanziarie di questo utente?"), utilizzando un processo di riflessione per garantire la coerenza con i dati reali.

B. Architettura Q-Anchor Embedding

Il modello utilizza un'architettura a doppio torre basata su LLM:

• Codificatore Gerarchico (Coarse-to-Fine): I dati grezzi multimodali vengono elaborati in tre livelli: token di evento, token di modalità (aggregati) e rappresentazione globale dell'utente. Questo permette di catturare sia i dettagli atomici che le tendenze comportamentali.
• Dual-Tower con Query-as-Anchor:
  • Torre Anchor: Riceve il profilo gerarchico dell'utente e la query naturale (il "direttorio" del task) come ancoraggio semantico alla fine della sequenza.
  • Torre Semantica: Codifica la risposta target in un vettore denso.
• Ottimizzazione Joint: Il modello è addestrato con un obiettivo combinato:
  • Loss Contrastiva (InfoNCE): Allinea l'embedding dell'utente condizionato alla query con la risposta semantica target.
  • Next-Token Prediction (NTP): Un task ausiliario che richiede al modello di ricostruire la risposta, arricchendo la densità semantica.

C. Adattamento e Inference Efficiente

• Soft Prompt Tuning: Per adattarsi a logiche aziendali specifiche senza ri-addestrare l'intero modello, viene introdotto un meccanismo di soft prompt basato su cluster. Questi token apprendibili guidano l'attenzione del modello verso le modalità rilevanti per lo scenario specifico (es. aumentare l'attenzione sulle transazioni per il rischio frodi).
• Accelerazione KV-Cache: Poiché la parte pesante (il profilo utente gerarchico) è condivisa, viene calcolata una volta e salvata nella cache KV. Per ogni nuova query (scenario), il modello calcola solo la coda della sequenza (la query), riducendo drasticamente la latenza e permettendo l'inference multi-scenario con overhead trascurabile.

3. Contributi Chiave

1. UserU: Un dataset di pre-training su larga scala che allinea comportamenti eterogenei con la semantica di comprensione dell'utente tramite predizione futura e sintesi QA.
2. Framework Query-as-Anchor: Un approccio che separa la codifica del comportamento dall'obiettivo specifico, permettendo a un singolo modello di generare embedding adattivi per diversi contesti decisionali.
3. Efficienza e Scalabilità: Introduzione di tecniche di soft prompt tuning e ottimizzazione KV-cache che abilitano l'adattamento a scenari specifici senza costi computazionali proibitivi.
4. Validazione Industriale: Dimostrazione pratica su Alipay con test A/B online su larga scala.

4. Risultati

Il modello è stato valutato su 10 benchmark industriali di Alipay (coinvolgimento utente, rischio, marketing) e in due test A/B online.

• Prestazioni Offline: Q-Anchor (con Prompt Tuning) ha raggiunto le migliori prestazioni (SOTA) su tutti i 10 task, superando i migliori modelli di embedding generici (es. Llama-Embed-Nemotron-8B) e modelli specifici per utenti.
  • AUC Medio: 0.8225 (vs 0.7488 del baseline migliore).
  • KS Medio: 0.5267 (vs 0.3805 del baseline).
  • I miglioramenti sono stati particolarmente evidenti in scenari complessi come il rilevamento di frodi e la sensibilità al marketing.
• Analisi di Scalabilità:
  • Le prestazioni migliorano con la quantità di dati di pre-training, ma non monotonicamente con la dimensione del modello (il modello da 0.5B ha performato meglio di quelli da 1.5B e 3B a causa di gradienti più stabili).
  • Il Soft Prompt Tuning raggiunge la saturazione delle prestazioni con soli 6 token apprendibili e 500 step di training.
• Test A/B Online:
  • Scenario IVR (Cash Reserve): Aumento del 12.5% nel tasso di prelievo e del 5.3% nel saldo medio per utente.
  • Rischio di Insolvenza: Miglioramento del punteggio KS del 1.96% nella pipeline di scoring del credito.

5. Significato e Impatto

Questo lavoro dimostra che è possibile superare i limiti degli embedding statici tradizionali utilizzando gli LLM in modo dinamico.

• Paradigma "One-Model-for-Many": Sostituisce la necessità di mantenere decine di modelli specifici per scenario con un'unica rappresentazione universale adattabile tramite query leggere.
• Interpretabilità: Il prompt tuning modifica visibilmente l'attenzione del modello (es. focalizzandosi sulle transazioni per il rischio), rendendo il processo decisionale più trasparente.
• Efficienza Industriale: L'uso della cache KV e dell'aggiornamento incrementale dei profili utente rende la soluzione economicamente sostenibile per sistemi con centinaia di milioni di utenti, riducendo l'overhead di deployment e mantenendo una latenza minima.

In sintesi, Query-as-Anchor rappresenta un passo avanti significativo verso sistemi di intelligenza industriale che sono sia potenti nella comprensione semantica che efficienti nell'adattamento a scenari reali dinamici.