Technische Samenvatting: HumanLLM: Naar een Gepersonaliseerd Begrip en Simulatie van de Menselijke Natuur

Probleemstelling

Hoewel Large Language Models (LLMs) een opmerkelijke bekwaamheid hebben bereikt in objectieve taken zoals coderen, wiskunde en tekstsamenvatting, vertonen ze significante beperkingen in het simuleren van menselijk gedrag en cognitie. Standaard LLM's zijn vooraf getraind op enorme, ongecontextualiseerde webcorpora, die er niet in slagen de continue, gesitueerde context van de beslissingen, gedachten en het gedrag van een individu over tijd te vatten. Bijgevolg worstelen deze modellen ermee om motivaties accuraat te voorspellen, innerlijke toestanden af te leiden of toekomstige acties te voorspellen in complexe sociale scenario's. Bestaande pogingen om LLM's te humaniseren vertrouwen vaak op beperkte datasets uit gecontroleerde psychologische experimenten, economische spellen of fictieve narratieven, die de complexiteit, spontaniteit en langetermijndynamiek van authentieke menselijke ervaringen in de echte wereld niet volledig weerspiegelen.

Methodologie

1. De Cognitive Genome Dataset

Om de datamismatch aan te pakken, hebben de auteurs de Cognitive Genome Dataset geconstrueerd, een grootschalige corpus afgeleid van echte gebruikersdata van vier diverse platforms: Reddit, Twitter, Blogger en Amazon. De constructie van de dataset volgt een rigoureuze drie-fasen pijplijn:

• Data Filtering: Ruwe data ondergaat regelgebaseerde filtering (bijv. het verwijderen van bots, korte posts en advertenties) en modelgebaseerde herschrijving met Llama-3.3-70B-Instruct om ruis, HTML-tags en gevoelige informatie te verwijderen. Een modelgebaseerd scoringssysteem filtert verder op kwaliteit en veiligheid, waarbij alleen hoogwaardige, niet-schadelijke inhoud wordt behouden.
• Data Synthese: Geïnspireerd door Lewins Vergelijking ($B = f(P, E)$), synthetiseert de pijplijn data in drie componenten:
  • Gebruiker ($P$): Genereert vier niveaus van gebruikersprofielen: User Persona (beknopte identiteit), User Profile (gedetailleerde achtergrond), User Stories (narratieven van levensgebeurtenissen) en Writing Style samenvattingen.
  • Scenario ($E$): Extraheert gestructureerde triplets van achtergrond, personages en plots uit individuele records om de situationele context te vangen.
  • Social QA ($B$): Construeert vraag-antwoord triplets gericht op gebruikersacties, innerlijke mentale toestanden en sociaal redeneren (attributie van gedrag) gebaseerd op de specifieke gebruiker en het scenario.
• Data Kwaliteitscontrole: Een automatische evaluatie met behulp van Qwen-2.5-72B beoordeelt de gesynthetiseerde data op metrieken waaronder Hallucinatie, Dekking, Beknoptheid, Relevantie, Getrouwheid, Nieuwigheid en Lekken. Alleen samples die strikte drempelwaarden halen (algemene score > 8, anderen > 7) worden behouden, wat resulteert in een definitieve dataset van meer dan 5,5 miljoen gebruikerslogs.

2. HumanLLM Model Training

Op basis van de Cognitive Genome Dataset definiëren de auteurs zes complementaire leertaken om het spectrum van menselijke activiteit te dekken:

1. Profile Generation: Het afleiden van gedetailleerde profielen vanuit minimale persona's.
2. Scenario Generation: Het reconstrueren van volledige sociale verhalen vanuit personages en achtergronden.
3. Social Question Answering: Het voorspellen van gebruikersacties, gedachten of redeneringen gegeven een persona en scenario.
4. Writing Imitation: Het genereren van nieuwe tekst in een specifieke gebruikersstijl.
5. Personalized Commenting: Het genereren van contextbewuste reacties op nieuwe posts.
6. Item Selection: Het voorspellen van gebruikersvoorkeuren vanuit een geschiedenis van interacties.

Trainingsstrategie:
De auteurs finetunen verschillende open-source LLM's (waaronder Qwen2.5, Qwen3, Phi-3 en Llama-3.1) op deze dataset. Om catastrofaal vergeten van algemene capaciteiten te voorkomen — een veelvoorkomend probleem bij het finetunen op gespecialiseerde data — gebruiken de auteurs een model merging strategie. In plaats van gezamenlijke finetuning met algemene instructiedata (wat suboptimale generalisatie opleverde), voeren zij een 1:1 gewichts-merge uit tussen het gefinetunede model en het originele instructie-getunede basismodel. Deze aanpak combineert verbeterde sociale intelligentie met robuuste algemene capaciteiten.

Belangrijkste Bijdragen

• Cognitive Genome Dataset: De eerste grootschalige, multi-platform dataset die specifiek is samengesteld voor de simulatie van gepersonaliseerd menselijk gedrag, bevattende honderdduizenden gebruikers en miljoenen gesynthetiseerde scenario's en sociale QA-paren.
• HumanLLM Foundation Model: Een nieuw fundatiemodel ontworpen voor de gepersonaliseerde verstaanis en simulatie van de menselijke natuur, getraind via een multi-task learning framework op de Cognitive Genome Dataset.
• Model Merging Aanpak: Een demonstratie dat model merging effectiever is dan gezamenlijke finetuning met algemene instructies voor het behouden van algemene intelligentie terwijl sociale redenering wordt verbeterd.
• Uitgebreide Evaluatie: Uitgebreide validatie over in-domain taken, out-of-domain sociale intelligentie benchmarks en real-world applicatiescenario's.

Experimentele Resultaten

In-Domain Prestaties

Op vijf kerntaken (Item Selection, Profile Generation, Scenario Generation, Social QA en Writing Imitation) presteren HumanLLM-varianten consequent beter dan hun basismodellen en bestaande menselijke gedachtsmodellen (Centaur, BE.FM).

• HumanLLM$_{Qwen2.5-7B}$ behaalde de hoogste gemiddelde score (27,38%), wat een significante verbetering laat zien ten opzichte van het basismodel (308,05% winst in gemiddelde prestaties).
• Het model demonstreerde superieure capaciteiten in het voorspellen van gebruikersvoorkeuren, het afleiden van levenslopen en het imiteren van schrijfstijlen vergeleken met basismodellen en zelfs GPT-4o in specifieke in-domain contexten.

Out-of-Domain (OOD) Generalisatie

Geëvalueerd op MotiveBench (motivationele redenering) en TomBench (theory of mind), vertoonde HumanLLM verbeterde generalisatie:

• HumanLLM$_{Qwen3}$ behaalde de hoogste gemiddelde scores op beide benchmarks onder de geteste open modellen.
• Het model vertoonde consistente winsten over verschillende LLM-backbones, wat aangeeft dat de trainingsaanpak sociale redenering verbetert buiten de oorspronkelijke trainingsdistributie.
• In tegenstelling hiertoe vertoonden modellen zoals BE.FM een instabiele prestatie over benchmarks, wat wijst op een beperkte generalisatie wanneer ze getraind zijn op smallere databronnen zoals economische spellen.

Real-World Applicaties

Kwalitatieve en kwantitatieve evaluaties in drie applicatiescenario's bevestigden het nut van HumanLLM:

1. Profile Generation: Produceerde trouwere, realistischere en uitgebreidere gebruikersprofielen dan basismodellen, waarbij demografische hallucinaties werden vermeden.
2. Human Explainer: Genereerde verklaringen van menselijk gedrag die contextueel relevanter, logisch consistenter en beter afgestemd waren op referentieantwoorden.
3. Personalized Writing: Slaagde erin gebruikersstijlen te imiteren en kritieke details en redeneerpatronen in gegenereerde content te reproduceren.

Betekenis en Claims

Het paper stelt dat HumanLLM een belangrijke stap vormt richting mensgerichte AI-systemen. Door LLM's te funderen in authentieke, grootschalige, real-world gebruikersdata in plaats van losgekoppelde tekstfragmenten of fictieve narratieven, bereikt het model een genuanceerder begrip van de wisselwerking tussen individuele identiteit, omgeving en gedrag.

De auteurs claimen dat HumanLLM dient als een superieure sociale datagenerator, menselijke uitlegger en gebruikerssimulator. Deze capaciteit heeft diepgaande implicaties voor:

• Het bevorderen van sociale wetenschappen door middel van grootschalige sociologische simulaties.
• Het ontwikkelen van gepersonaliseerde AI-metgezellen en emotionele ondersteuningsagenten.
• Het verbeteren van aanbevelingssystemen met realistische gebruikerssimulaties.
• Het genereren van marketingintelligentie door gesimuleerde klantfeedback.

Het werk suggereert dat het benutten van diverse, real-world gebruikersdata essentieel is om de kloof te overbruggen tussen algemene LLM's en de specifieke, empathische en contextbewuste intelligentie die vereist is voor authentieke menselijke interactie.