Mind the Gaps: Mixture-of-Minds for Human Simulation

Technische Samenvatting: Anacreon – Mixture-of-Minds voor Menselijke Simulatie

Probleemstelling
Het artikel behandelt de hardnekkige "individuele–aggregatiekloof" in de voorspelling van menselijk gedrag. Terwijl statistische methoden uitblinken in het voorspellen van populatieniveau-trends (bijv. verzekeringsrisico, mortaliteitscijfers), falen ze in het vastleggen van individuele heterogeniteit. Omgekeerd erven simulaties met Large Language Models (LLM's) vaak deze beperking: ze herstellen de centrale tendensen van een populatie, maar vlaken de diversiteit, onzekerheid en minderheidsstandpunten af die echte individuen definiëren. Bovendien lijden standaard LLM-simulaties onder twee kritieke faalmodi:

1. Prompt Brittleness (Prompt-broosheid): Gesimuleerde reacties verschuiven op basis van de exacte bewoording, framing of de volgorde van opties, in plaats van stabiele voorkeuren te reflecteren.
2. Bias (Vooringenomenheid): Modellen hebben de neiging om dominante groepen over te representeren, gemarginaliseerde identiteiten te karikaturiseren en vertonen een "sycophantische" positieve bias door Reinforcement Learning from Human Feedback (RLHF).

Bestaande benaderingen, zoals "silicon samples" of agent-gebaseerde modellen, geven vaak prioriteit aan aggregatieve plausibiliteit boven individuele getrouwheid, wat leidt tot gecomprimeerde variantie en zwakke correlaties met menselijke reacties op nieuwe stimuli.

Methodologie: De Anacreon-pipeline
Anacreon is een publiekssimulatiemodel dat is ontworpen voor nauwe, specifiek gedefinieerde domeinen. Het beweegt weg van een enkel dicht model naar een "Mixture-of-Minds"-architectuur. De pipeline bestaat uit vier fasen:

1. Authorship Embedding en Clustering:

   • Een zaadpopulatie wordt geselecteerd uit een corpus van publieke tekst op basis van de rijkdom aan data.
   • Een transformer wordt getraind met een contrastieve authorship-representatie-doelstelling (InfoNCE) om embeddings te genereren waarbij individuen maximaal gescheiden zijn.
   • Het volledige corpus wordt gepartitioneerd in clusters op basis van de dichtstbijzijnde zaad-individu. Dit creëert onderscheidende groepen van vergelijkbare gedragsprofielen.

2. Data-augmentatie:

   • Attribute Harvesting (Kenmerkextractie): Een LLM-as-judge extraheert demografische gegevens en psychologische eigenschappen (bijv. Big Five) uit de tekst. Een propriëtaire harness gebruikt meerderheidsstemmen over meerdere runs om hallucinaties te minimaliseren; attributen blijven ongedefinieerd als de consensus laag is.
   • Survey Mining (Enquête-extractie): Standaard enquêtevragen worden uit de tekst gehaald, waarbij vrije tekstreacties worden omgezet in bekende antwoordopties met meerkeuze of Likert-stijl items.
   • Chain-of-Emotion (CoE): Elk record wordt geaugmenteerd met een kort spoor van emotionele staten en beoordelingen die door de stimulus worden opgeroepen. Dit volgt een constructieve keuzevisie waarbij mensen contextafhankelijke subsets van attributen wegen.
   • Bias Mitigatie: Om de positieve bias van LLM's tegen te gaan, worden niet-neutrale vragen tweemaal in de dataset opgenomen: één keer positief geframed en één keer negatief geframed.

3. Mixture-of-Minds Training:

   • In plaats van één globaal model wordt voor elk cluster een specifieke high-rank LoRA-adapter getraind bovenop een Gemma 4 12B base model.
   • Tijdens de training wordt de volgorde van de antwoordopties voor enquêtevragen willekeurig gehusseld om te voorkomen dat het model positionele biases aanleert.
   • Het systeem leert effectief ongeveer 110 miljard parameters over 420 clusters (400 behouden na het wegfilteren van incoherente clusters).

4. Checkpoint Selectie:

   • Het beste model-checkpoint wordt geselecteerd door een composietscore te maximaliseren die drie metrieken balanceert op gehouden data: Top-1 accuratesse (meerkeuze), Ordinale Alignment (Likert-schalen) en de Perplexity van de Chain-of-Emotion (om er zeker van te zijn dat het model convergeert op het emotionele spoor).

Belangrijkste Bijdragen

• Mixture-of-Minds Architectuur: Het artikel introduceert een methode om een corpus rond zaad-individuen te clusteren en gespecialiseerde adapters voor elk cluster te trainen, waardoor heterogeniteit behouden blijft in plaats van dat het wordt gemiddeld.
• Chain-of-Emotion Augmentatie: Het integreert een gestructureerd emotioneel spoor (stimulus $\to$ emotie $\to$ reactie) om voorspellingen te funderen in de psychologische evolutie van het individu.
• Robuustheidsmechanismen: Het adresseert expliciet prompt-broosheid via optie-husseling en vermindert positieve bias via duale framing (positief/negatief) van enquêtevragen.
• Domeinbeperking: Het werk pleit voor en demonstreert de effectiviteit van het beperken van simulatie tot nauwe, goed gespecificeerde populaties (bijv. MKB-ondernemers) om ervoor te zorgen dat voorspellingen geworteld zijn in echte data in plaats van speculatieve generalisatie.

Resultaten
Geëvalueerd op een B2B-publieksmodel van MKB-ondernemers met behulp van een grote, extern verkregen enquête:

• Ordinale Alignment: Anacreon bereikte een state-of-the-art score van 0,775 op de ordinale alignment metriek ($1 - \text{MAD}/R$). Dit overtreft eerdere systemen, waaronder Twin-2K-500 (0,717), Socrates-Qwen-14B (0,740) en de digitale-twin mega-studie (0,748).
• Top-1 Accuratesse: De mediane cluster bereikte 0,679 op meerkeuze-voorkeurvragen, vergelijkbaar met de 0,657 behaald door interview-gebaseerde agents in eerder werk.
• Bias en Variantie:
  • Het model behoudt een kleine positieve gemiddelde fout (+0,437 semantische schaalposities), wat aanzienlijk lager is dan bij base LLM's, maar niet volledig geëlimineerd.
  • De standaarddeviatie van de fouten binnen clusters is ongeveer 1,85 schaalposities. De auteur merkt op dat dit matig hoger is dan de menselijke test-retest betrouwbaarheid (ca. 1,27), maar stelt dat een getrouwe simulator de menselijke variantie moet reproduceren in plaats van te imploderen tot een enkel punt.
  • Slechte prestaties waren niet geconcentreerd in een specifieke demografische groep, wat suggereert dat beperkingen voortkomen uit de datakwaliteit binnen clusters in plaats van demografische bias.
• Convergentie: De Chain-of-Emotion perplexity mediaan was nabij de 6,0, wat aangeeft dat de modellen de emotionele ketens die tot antwoorden leiden betrouwbaar reconstrueren binnen het beperkte domein.

Betekenis en Claims
Het artikel claimt dat Anacreon een stap zet naar het "trekken van aggregatieve inzichten uit getrouwe gesimuleerde individuen." Door een taalmodel te funderen in echte kwalitatieve data voor een nauw domein, simuleert het een populatie goed genoeg om een nieuwe state-of-the-art te vestigen voor nauwkeurigheid op individueel niveau.

De auteur benadrukt dat de waarde van deze aanpak ligt in het vermogen om de "grens van de eigen competentie" te herkennen. Omdat het model is getraind op specifieke clusters, kan het identificeren wanneer een query buiten de ondersteuning van de trainingsdata valt en weigeren te antwoorden, waardoor de "overreach" van algemene simulators wordt vermeden. Het werk stelt dat individuele getrouwheid het primaire doel is; zodra individuen getrouw worden gesimuleerd, kunnen aggregatieve populatieverdelingen worden afgeleid via post-stratificatie weging, in plaats van te proberen één enkel model direct populatieverdelingen te laten leren.

Het artikel concludeert bescheiden: Anacreon lost de grens tussen aggregatieve en individuele voorspelling niet op, maar het "verplaatst" deze door aan te tonen dat nauwe, gegronde simulatie een hoge getrouwheid kan bereiken waar brede, ongegronde simulatie faalt.