💬 NLP

Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

Il paper introduce OmniBehavior, il primo benchmark basato su dati reali per la simulazione del comportamento umano, rivelando che i modelli linguistici attuali faticano a replicare la complessità delle azioni a lungo termine e tendono a omogeneizzare le personalità verso un ideale positivo, perdendo le differenze individuali.

Autori originali: Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin

Pubblicato 2026-04-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire un doppio digitale perfetto di una persona reale, un "avatar" così realistico da poter simulare come reagirebbe in qualsiasi situazione: mentre guarda video, fa shopping online, parla con l'assistenza clienti o guarda le pubblicità.

Gli scienziati hanno provato a usare le Intelligenze Artificiali più potenti (chiamate LLM, o "cervelli digitali") per creare questi doppi. Ma c'è un grosso problema: finora, i test per vedere se questi avatar funzionano davvero erano come giocare a scacchi in una stanza vuota. Si testava l'IA solo in situazioni isolate e finte, senza vedere come si comporta nella vita reale, piena di imprevisti e collegamenti strani.

Ecco di cosa parla questo studio, spiegato come se fosse una storia:

1. Il Problema: La "Tunnel Vision" (Visione a Tunnel)

Fino ad oggi, i ricercatori guardavano il comportamento umano come se fosse una serie di fotogrammi staccati.

L'esempio: Chiedevano all'IA: "Se un utente guarda un video di gatti, lo metterà in 'Mi piace'?"
La realtà: Nella vita vera, le persone non sono robot che reagiscono a un singolo stimolo. Se un utente guarda un video di gatti, potrebbe essere perché ha visto un annuncio di cibo per gatti tre giorni fa, o perché ha letto una recensione su un forum la settimana scorsa. Le nostre azioni sono come un filo continuo che attraversa diversi mondi (video, negozi, chat, ricerche).

I vecchi test erano come chiedere a un attore di recitare una scena di un film, ma senza aver mai letto la sceneggiatura completa. L'attore (l'IA) faceva la sua parte, ma non capiva la trama.

2. La Soluzione: OmniBehavior (Il Grande Diario di Bordo)

Gli autori di questo studio (dall'Accademia delle Scienze Cinese e da Kuaishou, un gigante dei video cinesi) hanno creato qualcosa di rivoluzionario chiamato OmniBehavior.

Immagina di aver raccolto i diari di bordo di 200 persone reali per tre mesi interi. Hanno guardato ogni loro click, ogni ricerca, ogni acquisto, ogni commento, collegando tutto in un unico flusso enorme.

Non è un film finto: È la vita reale, con tutti i suoi rumori, i suoi tempi lunghi e i suoi collegamenti strani tra cose diverse.
L'obiettivo: Usare questo "diario di bordo" per testare se un'IA riesce davvero a capire come pensa e agisce una persona reale, non solo in un momento, ma nel lungo periodo.

3. La Scoperta Sconcertante: L'IA è troppo "Perfetta"

Quando hanno fatto fare il test alle Intelligenze Artificiali più famose (come Claude, GPT, Gemini), è emerso un risultato curioso e un po' preoccupante.

L'IA non sta simulando bene gli esseri umani. Invece di essere "umane", stanno diventando troppo gentili e noiose.
Ecco le tre "bugie" principali che l'IA sta raccontando:

L'iper-attività (Il "Sì" eterno): L'IA pensa che tutti gli esseri umani siano entusiasti. Se mostri un prodotto, l'IA dice quasi sempre "Lo compro!" o "Mi piace!". Nella realtà, la maggior parte delle persone ignora le cose o dice di no. L'IA è come un fan sfegatato che non sa mai rifiutare un invito.
L'omologazione (Tutti uguali): L'IA tende a creare una "persona media". Se guardi i dati reali, vedi che le persone sono diverse: c'è chi è arrabbiato, chi è timido, chi è scettico. L'IA invece crea tutti uguali, come se avessero tutti lo stesso carattere noioso e gentile. Ha cancellato le "personalità strane" e gli estremi.
Il bias Utopico (Il mondo rosa): Quando un utente reale è arrabbiato perché un pacco non arriva, scrive cose dure, usa un linguaggio diretto e a volte sgarbato. L'IA, invece, risponde sempre con un sorriso di plastica: "Caro cliente, mi dispiace molto, come posso aiutarla?". L'IA ha paura di essere scortese, quindi crea un mondo utopico dove nessuno si arrabbia mai davvero.

4. Perché è Importante?

Immagina di usare questo "doppio digitale" per progettare un nuovo negozio online o un sistema di sicurezza.

Se il tuo simulatore è troppo gentile, penserai che il tuo negozio sia perfetto e che nessuno si arrabbi mai.
Quando lo apri al pubblico reale, però, ti troverai sommerso da reclami, persone furiose e comportamenti che non avevi previsto.

In Sintesi

Questo studio ci dice che le Intelligenze Artificiali attuali sono bravissime a recitare la parte dell'essere umano ideale, ma falliscono miseramente nel simulare l'essere umano reale, con le sue imperfezioni, la sua rabbia, la sua pigrizia e la sua complessità.

Per creare un vero "doppio digitale", non basta far leggere all'IA più libri possibili. Dobbiamo insegnarle a capire che la vita reale non è un film di Hollywood dove tutto va bene, ma un caos affascinante fatto di collegamenti strani, decisioni lente e, a volte, di molta poca gentilezza.

OmniBehavior è il primo "esame di realtà" per vedere se queste macchine sono pronte a entrare nel nostro mondo, o se sono ancora bloccate in una bolla di perfezione artificiale.

1. Il Problema

L'emergere dei Large Language Models (LLM) ha aperto la strada alla possibilità di creare simulatori di utenti generici. Tuttavia, le valutazioni attuali soffrono di tre limitazioni fondamentali:

Scenari Isolati: I benchmark esistenti si concentrano su singoli domini (es. solo e-commerce o solo streaming video), ignorando la natura olistica del comportamento umano che attraversa diversi contesti.
Dati Sintetici: Molti dataset sono generati artificialmente, mancando della complessità, del rumore e delle dinamiche temporali dei dati reali.
Finestre Temporali Brevi: Le interazioni sono spesso modellate come eventi isolati, trascurando le catene causali a lungo termine che guidano le decisioni umane (es. un acquisto effettuato giorni dopo aver visto un video).

Di conseguenza, i modelli attuali non riescono a catturare la diversità individuale, le interazioni negative o le dinamiche a lungo termine, portando a simulazioni irrealistiche.

2. Metodologia: OmniBehavior Benchmark

Per colmare questo divario, gli autori introducono OmniBehavior, il primo benchmark per la simulazione di utenti costruito interamente su dati reali (log di interazione della piattaforma Kuaishou).

Costruzione del Dataset

Fonte: Log di oltre 400 milioni di utenti attivi di Kuaishou, raccolti tra settembre e novembre 2025.
Scalatura: Campionamento di 200 utenti rappresentativi (selezionati tramite clustering K-Means su demografia, livello di attività e preferenze) con tracce comportamentali complete di 3 mesi.
Struttura dei Dati:
- 5 Scenari: Navigazione video, Live streaming, Pubblicità, E-commerce, Ricerca.
- 22 Azioni Distinte: Da azioni passive (visualizzazione) a interattive (commenti, acquisti, chat con assistenza clienti).
- Lunghezza: Sequenze medie di 8.143 azioni, con alcune che superano le 100.000 interazioni.
Preprocessing: Un pipeline rigoroso include pulizia a due livelli (rimozione di tocchi accidentali e correzione di testo OCR/ASR tramite LLM), anonimizzazione delle entità sensibili e rimozione di contenuti tossici.

Definizione del Task

Il benchmark formula la simulazione come un task di predizione condizionata all'utente: dato un profilo utente ( $p_u$ ), una sequenza storica di comportamenti ( $H_u$ ) e il contesto di uno scenario specifico ( $c_t$ ), l'LLM deve prevedere il comportamento futuro ( $y_t$ ).
I comportamenti sono classificati in tre tipi:

Binari: (es. Like, Acquisto) -> Valutati con F1-score.
Continui: (es. Durata di visualizzazione) -> Valutati con NMAE (Normalized Mean Absolute Error).
Testuali: (es. Risposte all'assistenza clienti) -> Valutati tramite LLM-as-a-judge su fedeltà dell'intento, mimetismo della persona e allineamento semantico.

3. Risultati Chiave

Performance dei Modelli

L'analisi di numerosi LLM (inclusi Claude-4.5, GPT-5.2, Gemini-3, DeepSeek-V3, Qwen3) rivela un divario significativo rispetto al comportamento umano reale:

Punteggi Bassi: Il modello migliore, Claude-4.5-Opus, ottiene un punteggio complessivo di soli 44.55. La maggior parte dei modelli si attesta tra 32 e 41.
Limiti del Contesto Lungo: L'aumento della finestra contestuale (da 32K a 128K token) non migliora significativamente le prestazioni, indicando che i modelli attuali faticano a ragionare su sequenze ultra-lunghe e a mantenere la coerenza causale.
Gestione della Memoria: Strategie standard come la sintesi (summarization) o il RAG (Retrieval-Augmented Generation) offrono miglioramenti marginali o negativi, poiché perdono dettagli comportamentali critici o ignorano le dipendenze causali.

Analisi del Comportamento Umano Reale

Lo studio sui dati reali di OmniBehavior ha evidenziato tre scoperte fondamentali:

Dipendenza Cross-Scenario: Integrare più scenari aumenta la copertura degli interessi degli utenti del 20-30% rispetto ai dati a scenario singolo.
Struttura Causale a Lungo Termine: Oltre l'80% dei percorsi di conversione (es. acquisto) attraversa più scenari e si estende su diversi giorni, smentendo l'ipotesi di sessioni isolate.
Divergenza dai Dati Sintetici: I dati sintetici mostrano evoluzioni degli interessi rigide e programmatiche, mentre i dati reali presentano una "morbidezza stocastica" e un'evoluzione naturale.

Bias Strutturale: "Positivity-and-Average"

Il contributo più critico è l'identificazione di un bias sistematico nei simulatori basati su LLM:

Iper-attività (Hyper-activity): Gli LLM sovrastimano drasticamente la probabilità di azioni positive (es. like, acquisto) rispetto alla realtà (dove le interazioni positive sono rare, <10%). Questo li rende inadatti a prevedere l'abbandono (churn).
Omogeneizzazione della Persona: I modelli tendono a convergere verso un "utente medio" positivo, cancellando le differenze individuali e le code lunghe (long-tail) del comportamento. Le distanze inter-utente nei dati simulati sono molto inferiori rispetto ai dati reali.
Bias Utopico: A causa dei meccanismi di allineamento (RLHF), gli LLM simulano un linguaggio eccessivamente educato, evitando conflitti, espressioni di rabbia o frustrazione, che invece sono comuni nelle interazioni reali con l'assistenza clienti.

4. Contributi Principali

OmniBehavior: Il primo benchmark open-source basato su log industriali reali che integra tracce comportamentali a lungo termine, cross-scenario ed eterogenee.
Analisi Empirica: Dimostrazione che la modellazione accurata delle preferenze richiede dati cross-scenario e a lungo termine, e che i dati sintetici falliscono nel catturare l'evoluzione dinamica degli interessi.
Valutazione SOTA: Una valutazione completa che stabilisce baseline rigorose, mostrando che anche i modelli più avanzati non riescono a simulare fedelmente il comportamento umano complesso.
Identificazione del Bias: La scoperta del "bias di positività e media", che limita l'applicabilità degli LLM in scenari reali che richiedono la simulazione di interazioni negative, conflitti o comportamenti di nicchia.

5. Significato e Implicazioni

Questo lavoro funge da avvertimento critico per l'uso degli LLM nelle scienze sociali e nella modellazione comportamentale.

Validità Ecologica: Senza affrontare i bias strutturali (positività e omogeneizzazione), i simulatori LLM rischiano di essere "specchi dei nostri ideali" piuttosto che "mappe della nostra realtà", portando a valutazioni errate di sistemi interattivi (es. raccomandatori, sistemi di moderazione).
Direzione Futura: La ricerca futura deve concentrarsi non solo sull'aumento della lunghezza del contesto, ma sullo sviluppo di meccanismi di memoria che preservino la struttura causale e temporale, e su tecniche di addestramento che permettano di modellare la diversità umana, inclusi i comportamenti negativi e le code lunghe.

In sintesi, OmniBehavior stabilisce un nuovo standard per la valutazione della fedeltà dei simulatori di utenti, evidenziando che la vera sfida non è solo la capacità linguistica, ma la capacità di comprendere e replicare la complessità, il rumore e la diversità del comportamento umano nel mondo reale.