Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

Titel: Towards Real-world Human Behavior Simulation

Auteurs: Jiawei Chen et al. (Chinese Academy of Sciences, Kuaishou Technology)
Datum: April 2026 (Preprint)

---

1. Het Probleem

Hoewel Large Language Models (LLMs) veelbelovend zijn als universele gebruikerssimulatoren, lijden bestaande benchmarks aan drie fundamentele tekortkomingen die hen ongeschikt maken voor het modelleren van authentiek menselijk gedrag:

• Geïsoleerde scenario's: Bestaande datasets focussen vaak op één domein (bijv. alleen e-commerce of alleen video-browsing), terwijl menselijk gedrag een continuüm is dat over meerdere scenario's verspringt.
• Korte horizon: Simulaties zijn vaak beperkt tot korte sessies, terwijl echte beslissingen (zoals een aankoop) vaak voortkomen uit lange, causale ketens van interacties over dagen of weken.
• Synthetische data: Veel benchmarks gebruiken gegenereerde of gesynthetiseerde data die de complexiteit, ruis en lange-tail verdelingen van echte menselijke interacties niet weerspiegelen.

Dit leidt tot een "tunnelvisie" bij modellen, waardoor ze falen in het voorspellen van complexe, cross-scenario gedragpatronen en systematische biases vertonen.

2. Methodologie: OmniBehavior Benchmark

Om deze kloof te dichten, stellen de auteurs OmniBehavior voor, het eerste gebruikerssimulatie-benchmark dat volledig is opgebouwd uit real-world data.

Dataverzameling en Constructie

• Bron: Data afkomstig van het Kuaishou-platform (een van 's werelds grootste video-platforms met >400 miljoen dagelijkse actieve gebruikers).
• Periode: Interactie logs van 1 september tot 30 november 2025 (3 maanden).
• Selectie: 200 representatieve gebruikers geselecteerd via K-means clustering op basis van demografie, activiteitsniveau, interesses en scenario-preferenties.
• Scenarios: De data omvat 5 geïntegreerde scenario's:
  1. Video Browsing
  2. Live Streaming
  3. Advertenties
  4. E-commerce (inclusief klantenservice)
  5. Zoekgedrag
• Acties: 22 verschillende gebruikersacties (bijv. likes, shares, aankopen, chatberichten, zoekopdrachten).
• Verwerking:
  • Data Cleaning: Een tweestapsproces (gedragsniveau en tekstniveau) om ruis (zoals per ongeluk klikken of OCR-fouten) te verwijderen.
  • Anonymisatie: Strikte verwijdering van gevoelige entiteiten (namen, telefoonnummers) met behulp van lokale LLM's.
• Dataset Statistieken: Gemiddelde sequentielengte van 8.143 acties per gebruiker, met een totale context van ongeveer 32.000 tokens per gebruiker.

Evaluatie Taak

De taak is gedefinieerd als geconditioneerde gebruikersvoorspelling:

• Input: Gebruikersprofiel ($p_u$), historische gedragssequentie ($H_u$), en de context van het huidige scenario ($c_t$).
• Output: Voorspelling van de gebruiker's gedrag in dat scenario ($\hat{y}_t$).
• Gedragstypes:
  1. Binair: Klikken, liken, kopen (F1-score).
  2. Continu: Kijktijd (Normalized Mean Absolute Error - NMAE).
  3. Tekst: Klantenservice reacties (evaluatie via LLM-as-a-judge op intentie, persona, kennis en semantiek).

3. Belangrijkste Bijdragen

1. OmniBehavior Benchmark: Een uniek, open-source benchmark gebaseerd op echte industriële logs die lange-horizon, cross-scenario en heterogene patronen integreert.
2. Empirisch Bewijs voor Cross-Scenario Afhankelijkheid: Analyse toont aan dat het integreren van meerdere scenario's de interesse-coverage met 20-30% vergroot en dat 81,8% van de conversiepaden meerdere scenario's overschrijdt.
3. Systematische Evaluatie van SOTA LLM's: Een uitgebreide test van zowel gesloten (Claude-4.5, GPT-5.2, Gemini-3) als open-source modellen (GLM-4.7, DeepSeek-V3, Qwen3).
4. Ontdekking van Structurele Bias: Identificatie van een fundamentele "positivity-and-average" bias in huidige LLM-simulatoren.

4. Resultaten en Bevindingen

Algemene Prestaties

• Huidige LLM's presteren slecht op realistische simulatie. Zelfs het best presterende model (Claude-4.5-Opus) haalt slechts een totaalscore van 44,55.
• De meeste modellen scoren onder de 40% op binaire voorspellingstaken (zoals 'like' of 'share').
• Context Lengte: Het uitbreiden van de contextvensters (van 32K naar 128K tokens) leidt niet noodzakelijk tot betere prestaties. Modellen lijken moeite te hebben met het benutten van ultra-lange sequenties ("Lost in the Middle" probleem).
• Geheugenbeheer: Bestaande strategieën zoals RAG (Retrieval-Augmented Generation) en samenvattingen (Summarization) bieden slechts marginale verbeteringen en missen vaak de causale structuur van het gedrag.

De "Positivity-and-Average" Bias

De paper onthult drie kritieke structurele biases in LLM-simulatoren ten opzichte van echte gebruikers:

1. Hyper-activiteit: LLM's overschatten de kans op positieve interacties aanzienlijk. Waar echte gebruikers een positieve interactie-ratio hebben van <10%, voorspellen modellen vaak 40-60%. Dit maakt ze ongeschikt voor het voorspellen van churn of negatief gedrag.
2. Persona Homogenisatie: Echte gebruikers vertonen grote verschillen in gedrag (inter-user variance >> intra-user variance). LLM-gesimuleerde gebruikers overlappen echter sterk; ze convergeren naar een "gemiddeld persoon" en verliezen lange-tail en unieke gedragspatronen.
3. Utopische Bias: Door alignement-mechanismen zijn LLM's onrealistisch beleefd en positief. Ze vermijden conflict en negatieve emoties, zelfs in situaties waar echte gebruikers boosheid of frustratie tonen (bijv. bij klantenservice over vertragingen).

5. Betekenis en Conclusie

Dit werk biedt een kritisch waarschuwingssignaal voor de toepassing van AI in sociale wetenschappen en gedragsmodellering.

• Realiteit vs. Idealisme: Huidige LLM's fungeren meer als spiegels van onze idealen (beleefd, actief, positief) dan als kaarten van onze realiteit (divers, soms passief, conflictueus).
• Toekomstige Richting: Voor hoogwaardige simulaties moeten modellen niet alleen grotere contextvensters hebben, maar ook mechanismen ontwikkelen om causale ketens over scenario's heen te modelleren en de "positivity filter" te doorbreken om lange-tail en negatief gedrag authentiek weer te geven.

OmniBehavior stelt een nieuwe standaard neer voor het evalueren van de ecologische validiteit van gebruikerssimulatoren in industriële toepassingen.