HorizonBench: Long-Horizon Personalization with Evolving Preferences

1. Il Problema: Personalizzazione a Lungo Orizzonte e Preferenze Evolutive

Il paper affronta una sfida fondamentale nell'interazione uomo-AI: la capacità dei modelli linguistici (LLM) di tracciare le preferenze utente che evolvono nel tempo su un arco temporale esteso (mesi).

• Contesto: Gli utenti interagiscono con assistenti AI per lunghi periodi, e le loro preferenze cambiano a seguito di eventi di vita (es. un nuovo lavoro, un trasferimento, un cambiamento di stato emotivo).
• La Sfida: I modelli attuali spesso falliscono nel distinguere tra una preferenza statica e una dinamica. Quando un utente cambia idea a causa di un evento, il modello tende a recuperare la preferenza originaria (retrieval failure) o, peggio, a recuperare la preferenza corretta ma non aggiornarla mentalmente (belief-update failure).
• Limiti delle risorse esistenti: I benchmark attuali mancano di dati realistici a lungo termine con "ground truth" (verità fondamentale) sulle cause dei cambiamenti. Non permettono di diagnosticare se un errore è dovuto alla mancata estrazione dell'informazione o all'incapacità di aggiornare lo stato mentale dell'utente.

2. Metodologia: Il Generatore di Dati e HORIZONBENCH

Gli autori introducono un approccio innovativo basato su un generatore di dati che inverte il processo standard: invece di inferire lo stato mentale dai dialoghi, genera i dialoghi partendo da una rappresentazione strutturata dello stato mentale.

A. Il Grafico dello Stato Mentale (Mental State Graph)

Il cuore del sistema è un grafo strutturato che mantiene lo stato dell'agente utente, includendo:

• Profilo Persona e Connessioni Sociali.
• Preferenze Tipizzate: Collegate da edge di dipendenza (es. un cambiamento di carriera influenza le preferenze lavorative, abitudini di viaggio e priorità finanziarie).
• Eventi di Vita: Azionano cambiamenti nello stato.
• Provenienza (Provenance): Ogni cambiamento di preferenza è tracciato causalmente all'evento che l'ha generato.
• Tracciamento dell'Espressione: Il sistema distingue tra quando una preferenza evolve (cambia internamente) e quando viene espressa verbalmente. Se una preferenza evolve ma non viene riespressa, diventa "stale" (obsoleta) e diventa un candidato per il "temporal recall".

B. Pipeline di Generazione

1. Campionamento Eventi: Gli eventi sono campionati condizionatamente allo stato dell'agente e alla storia, evitando ripetizioni irrealistiche.
2. Evoluzione delle Preferenze: Un evento di vita può modificare simultaneamente 2-5 preferenze. Vengono generati dialoghi brevi in cui l'utente menziona l'evento senza ridefinire esplicitamente le nuove preferenze, costringendo il modello a inferire il nuovo stato.
3. Generazione del Dialogo: Vengono creati episodi conversazionali di 6 mesi (in media ~4.300 turni, ~163k token) condizionati dal grafico dello stato mentale aggiornato.
4. Filtraggio e Validazione: Vengono generati item di benchmark a scelta multipla (5 opzioni). Un filtro di consenso di 5 LLM elimina gli item risolvibili senza la storia completa, garantendo che la risposta corretta richieda il tracciamento dell'evoluzione.

C. HORIZONBENCH (Il Benchmark)

• Dimensione: 4.245 item da 360 utenti simulati.
• Struttura: Ogni item presenta una storia conversazionale di 6 mesi e chiede al modello di scegliere la risposta dell'assistente che meglio si allinea con le preferenze attuali dell'utente.
• Distrattori Hard-Negative: Include opzioni basate sulle preferenze pre-evoluzione (quelle originali e ora obsolete), rendendo difficile distinguere tra recupero corretto e mancato aggiornamento.
• Dimensioni Controllate: Il benchmark varia indipendentemente tre fattori:
  1. Stato di Evoluzione: Preferenze statiche vs. evolutive.
  2. Esplicitazione: Preferenze espresse direttamente vs. implicite (attraverso indizi contestuali).
  3. Lunghezza del Contesto: Da brevi a lunghissime finestre temporali.

3. Risultati Sperimentali

Il paper valuta 25 modelli all'avanguardia (tra cui Claude, Gemini, GPT-5, o3, ecc.) su HORIZONBENCH.

• Prestazioni Generali: Il modello migliore, Claude-opus-4.5, raggiunge solo il 52.8% di accuratezza. La maggior parte dei modelli (10 su 25) performa peggio della linea di base casuale (20% per 5 opzioni), indicando una confusione sistematica.
• Fallimento nell'Aggiornamento delle Credenze (Belief-Update Failure):
  • Quando i modelli sbagliano su preferenze evolute, selezionano il distrattore "pre-evoluzione" (la vecchia preferenza) in oltre il 38% dei casi (molto superiore al 25% atteso per errore casuale).
  • Questo dimostra che i modelli recuperano la preferenza originale ma falliscono nell'integrare l'evento di vita che l'ha resa obsoleta.
• Analisi delle Cause:
  • Non è solo un problema di memoria: Anche riducendo la finestra temporale a 0-14 giorni (dove il recupero della memoria è facile), il divario tra prestazioni su preferenze statiche ed evolutive si amplia (-5.7 punti percentuali). Questo conferma che il collo di bottiglia è la capacità di tracciamento dello stato, non solo la memoria a lungo termine.
  • Indipendenza dall'Esplicitazione: Il fallimento persiste sia quando le preferenze sono espresse chiaramente sia quando sono implicite.
  • Indipendenza dalla Sottigliezza: Il problema rimane anche quando le opzioni di risposta sono molto simili tra loro.

4. Contributi Chiave

1. Generatore di Dati "State-First": Un nuovo paradigma che costruisce conversazioni partendo da un grafo di stato mentale strutturato, fornendo una provenienza causale per ogni cambiamento di preferenza, impossibile da ottenere con dati reali.
2. HORIZONBENCH: Il primo benchmark diagnostico per la personalizzazione a lungo orizzonte, dotato di distrattori "hard-negative" (preferenze obsolete) e dimensioni controllate per isolare i fallimenti di recupero da quelli di aggiornamento.
3. Identificazione del "Belief-Update Failure": La scoperta empirica che l'incapacità di aggiornare lo stato mentale dell'utente in risposta a eventi di vita è il principale collo di bottiglia per la personalizzazione, persistendo attraverso diverse famiglie di modelli e lunghezze di contesto.

5. Significato e Implicazioni

Il lavoro di HORIZONBENCH cambia la prospettiva sulla valutazione degli agenti AI personalizzati:

• Oltre il Recupero: Dimostra che avere una memoria a lungo termine (long-context) non è sufficiente. Gli agenti devono possedere capacità di Teoria della Mente e tracciamento dello stato per gestire la dinamicità umana.
• Diagnosi Precisa: Fornisce agli ricercatori uno strumento per distinguere se un modello fallisce perché "dimentica" l'informazione o perché non riesce a "aggiornare" la sua comprensione della realtà dell'utente.
• Direzioni Future: Suggerisce che le architetture future devono integrare rappresentazioni esplicite dello stato delle preferenze che vengono aggiornate dinamicamente in base agli eventi, piuttosto che affidarsi esclusivamente al recupero passivo di token dal contesto.

In sintesi, il paper evidenzia che per creare veri compagni AI capaci di relazioni a lungo termine, è necessario superare la semplice memorizzazione e sviluppare modelli capaci di comprendere e adattarsi all'evoluzione psicologica e situazionale dell'utente.