Technische Samenvatting: Zijn LLM-agenten gedragsmatig coherent?

Probleemstelling

De snelle vooruitgang van Large Language Models (LLM's) heeft de "substitutiethese" aangewakkerd: de hypothese dat synthetische agenten geldige vervangers kunnen zijn voor echte menselijke deelnemers in sociaal en gedragswetenschappelijk onderzoek. Hoewel eerdere studies hebben aangetoond dat LLM's enquêteantwoorden kunnen genereren die overeenkomen met menselijke demografie of geaggregeerde meningen, blijft een fundamenteelere vraag onbeantwoord: Behouden LLM-agenten empirische gedragsconsistentie in verschillende experimentele settings? Specifiek: als een agent een latente profieltoewijzing krijgt (bijvoorbeeld specifieke voorkeuren en persoonlijkheidstrekken), weerspiegelt dan zijn conversatiegedrag in multi-agent interacties dat profiel getrouw volgens gevestigde menselijke gedragsmodellen? Dit artikel betoogt dat oppervlakkige uitlijning onvoldoende is; agenten moeten gedragscoherentie aantonen—het vermogen om trekgedreven consistentie te handhaven door complexe, multi-turn sociale dynamieken—om levensvatbare vervangers te zijn.

Methodologie

De auteurs stellen een nieuw experimenteel kader voor dat is ontworpen om de gedragscoherentie van LLM-agenten te toetsen door hun interne staten te vergelijken met externe interacties. Het kader bestaat uit vijf opeenvolgende fasen:

1. Onderwerpselectie: Negen onderwerpen worden geselecteerd, gecategoriseerd op niveau van controversieelheid ($C \in \{1, 2, 3\}$), variërend van laag (bijvoorbeeld "Coca-Cola vs. Pepsi") tot hoog (bijvoorbeeld "Immigratie").
2. Agentconstructie: Agenten worden gegenereerd met gecontroleerde demografische profielen (leeftijd, geslacht, locatie, opleiding, stedelijkheid) en expliciete bias-instructies ($B \in \{1, 2, 3\}$) met betrekking tot het onderwerp.
3. Extractie van Latente Staten: Voorafgaand aan de interactie worden de Voorkeur ($P$) en Openheid ($O$) van elke agent opgehaald.
   • $P$: Een score (1–5) die aangeeft in hoeverre men het eens is met een stelling over het onderwerp.
   • $O$: Een score (1–9) afgeleid van Ja/Nee-vragen over receptiviteit voor nieuwe ideeën en sociale beïnvloeding (gebaseerd op de Openheid-trek uit de Big Five).
4. Koppeling van Agenten: Agenten worden mechanisch gekoppeld om alle mogelijke combinaties van $(P, O, B)$-tupels te vormen, zodat diverse interacties ontstaan (bijvoorbeeld uitgelijnde versus afwijkende voorkeuren, variërende openheidsniveaus).
5. Conversatie en Evaluatie: Paren voeren multi-turn dialogen. Een LLM als rechter scoort de Eensheid ($A$) bij elke beurt op een schaal van 1–5.

De studie evalueert het gedrag van agenten tegen zes specifieke menselijke gedragshypothese afgeleid uit de literatuur over sociale psychologie. Deze hypothesen voorspellen hoe variabelen zoals voorkeurskloven, bias-instructies, gedeelde sentimenten, controversieelheid van het onderwerp en openheid de uitkomsten van eensheid moeten beïnvloeden. Het kader onderscheidt tussen "Oppervlakkige" tests (geaggregeerde trends) en "Diepgaande" tests (granulaire, conditionele consistentie).

Belangrijkste Bijdragen

• Een Coherentiekader: Het artikel introduceert een systematische methode om LLM-agenten niet alleen te evalueren op statische responsuitlijning, maar op dynamische gedragsconsistentie over variërende interne staten en externe contexten.
• Empirisch Bewijs van Incoherentie: De studie levert robuust bewijs dat huidige LLM's geen gedragscoherentie handhaven wanneer ze worden blootgesteld aan complexe, multi-variabele tests, zelfs wanneer ze eenvoudigere, geaggregeerde checks doorstaan.
• Systematische Faalpatronen: De auteurs identificeren specifieke patronen van falen, zoals het onvermogen om meningsverschillen te handhaven ondanks tegenstrijdige voorkeuren en de inconsistente vertaling van gedeeld sentiment naar eensheid.

Experimentele Resultaten

De studie testte modellen van de Qwen3-, Llama3- en Gemma3-families over verschillende parametergroottes (van 0,6B tot 32B). De resultaten onthullen een consistent patroon: Oppervlakkige tests slagen, maar diepgaande tests falen.

1. Voorkeurskloof vermindert Eensheid (Slag): Op geaggregeerd niveau toonden paren met uitgelijnde voorkeuren ($gap=0$) hogere eensheid dan die met afwijkende voorkeuren, in overeenstemming met menselijke gedragsmodellen.
2. Asymmetrie in Bias-instructies (Faalt): Hoewel bias-instructies succesvol eensheid versterkten onder uitgelijnde agenten, slaagden ze er niet in om meningsverschil te versterken onder agenten met maximale voorkeurskloven. In plaats van te polariseren, convergeerden bevooroordeelde agenten vaak, wat een asymmetrie onthult in hoe bias gedrag beïnvloedt.
3. Gedeeld Sentiment, Divergente Bestemmingen (Faalt): Menselijke modellen voorspellen dat gedeeld negatief sentiment (bijvoorbeeld beide agenten een onderwerp sterk afwijzen) eensheidsniveaus zou moeten opleveren die vergelijkbaar zijn met gedeeld positief sentiment. De resultaten toonde een directionele bias: agenten met gedeelde positieve voorkeuren waren significant meer eens dan die met gedeelde negatieve voorkeuren, zelfs wanneer de voorkeurskloven identiek waren.
4. Controversieelheid bij Gedeelde Voorkeur (Faalt): Wanneer agenten identieke voorkeuren deelden, zou de controversieelheid van het onderwerp de eensheidsniveaus niet moeten beïnvloeden. Echter, eensheidsscores varieerden significant op basis van de controversieelheid van het onderwerp, wat aangeeft dat de interne staten van agenten niet stabiel blijven in verschillende onderwerpcontexten.
5. Openheid Verhoogt Eensheid (Slag): Op geaggregeerd niveau correleerde hogere gecombineerde openheid met hogere eensheid, wat overeenkomt met menselijke gedragsverwachtingen.
6. Lage Openheid en Grote Voorkeurskloof (Faalt): De hypothese dat "stijfhoofdige" agenten (lage openheid) met tegenstrijdige meningen de laagste eensheid zouden moeten produceren, werd geschonden. In veel gevallen produceerden paren met lage openheid en grote voorkeurskloven hogere eensheid dan verwacht, en vertoonden ze niet de voorspelde weerstand.

Deze falen werden waargenomen over modelfamilies en groottes heen, wat suggereert dat gedragsincoherentie een algemeen kenmerk is van huidige LLM-architecturen en geen artefact van een specifiek model of schaal.

Betekenis en Beweringen

Het artikel concludeert dat hoewel LLM-agenten menselijke reacties succesvol kunnen nabootsen in geïsoleerde, statische settings (bijvoorbeeld enquêtes), ze geen trekgedreven coherentie handhaven in dynamische, multi-agent interacties. De "substitutiethese" is daarom kritiek beperkt: agenten kunnen wel de schijn van menselijk sociaal gedrag in het groot nabootsen, maar missen de onderliggende empirische consistentie die vereist is om menselijke gedragsmodellen in complexe scenario's getrouw te repliceren.

De auteurs beweren dat naarmate gedragsmodellen complexer of fijner worden, LLM's menselijk gedrag steeds minder repliceren. Dit vertegenwoordigt een kritieke kloof in hun vermogen om vervangers te zijn voor echte deelnemers in onderzoek met menselijke proefpersonen, met name voor studies die vertrouwen op de stabiliteit van persoonlijkheidstrekken en de dynamiek van sociale meningsverschillen. Het artikel stelt geen nieuwe toepassingen of toekomstige architecturale oplossingen voor, maar dient als een waarschuwend oordeel over de huidige staat van synthetische agenten in de sociale wetenschap.