Technische Samenvatting: Synthetische Persoonlijkheden uit Heterogene Paneldata

1. Probleemstelling

Hoewel Large Language Models (LLM's) een veelbelovende weg bieden voor het opschalen van marktonderzoek, lijden bestaande literatuur over "digitale tweelingen" onder twee kritieke beperkingen met betrekking tot de operationele relevantie voor marketingpraktijk:

1. Mismatch in Databronnen: De meeste gedetailleerde individuele tweelingen worden gebouwd op op maat gemaakte, specifiek verzamelde datasets (bijv. multi-wave enquêtes die specifiek zijn ontworpen voor de constructie van tweelingen of langdurige AI-interviews). Dit negeert de realiteit dat bedrijven al over enorme hoeveelheden heterogene paneldata beschikken die zijn verzameld via CRM-systemen, loyaliteitsprogramma's en herhaalde enquêtes, welke niet ontworpen zijn voor de constructie van een digitale tweeling en een ongelijkmatige informatiedichtheid vertonen.
2. Methodologische Kloof: Hoewel methoden voor embedding, redeneermodi en informatiediepte anekdotisch zijn onderzocht, heeft geen enkele studie deze constructiekeuzes systematisch vergeleken op een gedeelde dataset en evaluatieset om te bepalen welke combinaties specifieke prestatiemetrieken aansturen.

Dit artikel onderzoekt of gedetailleerde individuele tweelingen kunnen worden geconstrueerd uit reeds bestaande, heterogene paneldata en identificeert het optimale constructie-methode-raster hiervoor.

2. Methodologie

Data en Steekproef

De studie maakt gebruik van het German Socio-Economic Panel (SOEP), een 41-jarige longitudinale huishoudelijke panel die de Duitse populatie vertegenwoordigt.

• Bron: SOEP-Core v40 EU Edition (2023 wave), die 10 thematische domeinen beslaat (bijv. werkgelegenheid, gezondheid, familie, inkomen).
• Steekproef: Een vaste willekeurige subsample van 500 deelnemers getrokken uit 16.055 gefilterde records.
• Datastructuur: Elke deelnemer heeft 949 bruikbare vraag-antwoordparen, verdeeld in:
  • 38 kerndemografische items (basiscontext).
  • 728 persona-context vragen (gebruikt voor constructie).
  • 183 uitgesloten evaluatievragen (gebruikt uitsluitend voor het testen van de voorspellingsnauwkeurigheid).

Constructie-methode Raster

De auteurs evalueren een 3 × 5 × 2 × 2 raster (60 cellen) waarbij vier constructiedimensies variëren:

1. LLM's (3): Drie open-weights modellen die draaibaar zijn op een enkele GPU (per mei 2026):
   • Qwen 3 (30B-A3B)
   • Gemma 4 (26B-A4B)
   • Ministral 3 (14B)
   • Noot: Alle inferentie werd lokaal uitgevoerd op een NVIDIA H100 om reproduceerbaarheid en naleving van datalicenties te garanderen.
2. Informatiediepte (5): Cumulatieve niveaus van persona-context, gerangschikt op basis van genormaliseerde Shannon-entropie (een maatstaf voor het vermogen van een vraag om tussen individuen te differentiëren):
   • Alleen basisdemografie.
   • Demografie + de bovenste 25% van de op entropie gerangschikte vragen.
   • Demografie + bovenste 50%.
   • Demografie + bovenste 75%.
   • Demografie + 100% (alle beschikbare persona-context data).
3. Embedding Methode (2):
   • Narratieve Samenvatting: Een dichte, via Chain-of-Density gecomprimeerde beschrijving van de geschiedenis van de deelnemer.
   • Dialoog Input: Ruwe vraag-en-antwoordparen geformatteerd als alternerende user/assistant chat-beurten.
4. Redeneermodus (2):
   • Niet-denkend (Non-Thinking): Direct antwoord.
   • Denkend (Thinking): Expliciete interne redeneerspoor (via specifieke checkpoints of gestructureerde prompting) vóór het uiteindelijke antwoord.

Evaluatiemetrieken

Prestaties werden gemeten tegen de grondwaarheid op de 183 uitgesloten vragen met behulp van drie metrieken die in eerdere tweelingliteratuur zijn vastgesteld:

1. Nauwkeurigheid (Accuracy): Een score (0–1) die de nabijheid tot het menselijke antwoord meet, aangepast voor nominale, ordinale en metrische schalen.
2. Rangorde Correlatie (Rank-Order Correlation): Fisher-z getransformeerde Pearson correlatie ($r$) die meet of de tweeling de relatieve rangorde van deelnemers reproduceert (heterogeniteit) in plaats van alleen het gemiddelde.
3. Dispersieratio (Dispersion Ratio): De ratio tussen de variantie van de tweelingrespons en de variantie van de menselijke respons, ter beoordeling of de tweeling de spreiding van menselijk gedrag vangt of convergeert naar het gemiddelde.

3. Belangrijkste Resultaten

Prestatiebenchmarks

• Beste Cel: De hoogste nauwkeurigheid (78,8%) en rangorde correlatie ($r = 0,590$) werden bereikt door Gemma 4 en Qwen 3 respectievelijk, beide in de Dialog + Thinking + 100% Depth configuratie.
• Algemene Schaal: Deze prestatieniveaus zijn vergelijkbaar met leidende gepubliceerde tweelingen die zijn gebouwd op doelgericht verzamelde data, wat aantoont dat vooraf bestaande paneldata een levensvatbaar substraat is voor hoogwaardige tweelingen.

Impact van Constructiekeuzes

• Informatiediepte: Zowel nauwkeurigheid als correlatie stegen monotoon met de informatiediepte, maar vertoonden afnemende meeropbrengsten.
  • De 75% entropie kwartiel ving het grootste deel van het signaal (ongeveer 584 van de 728 items) tegen een gematigde tokenkosten.
  • De overgang van 75% naar 100% diepte leverde slechts marginale winst op in nauwkeurigheid (+0,6 pp gemiddeld) en verminderde soms zelfs de winst in correlatie, waardoor de 75% diepte werd vastgesteld als een kostenefficiënt Pareto-punt.
• Embedding Methode: Het overschakelen van een narratieve samenvatting naar een ruwe dialooggeschiedenis verhoogde consistent de hold-out nauwkeurigheid over alle modellen en redeneermodi bij de 100% diepte.
• Redeneermodus: Expliciete denkmodi verhoogden aanzienlijk de rangorde correlatie (het reproduceren van individuele heterogeniteit), maar verbeterden niet consistent de ruwe nauwkeurigheidsscores.
• Modelprestaties:
  • Qwen 3 leidde gemiddeld over alle drie de metrieken.
  • Gemma 4 behaalde de best presterende nauwkeurigheidscel.
  • Ministral 3 vertoonde een lagere absolute prestatie maar volgde vergelijkbare trends.

Ablatiebevindingen

• Lege Persona: Wanneer de persona-inhoud werd verwijderd, bleef de nauwkeurigheid vlak (~0,65–0,66), ongeacht de diepte, en daalde de correlatie naar nul. Dit bevestigt dat de prestatiewinsten worden gedreven door de specifieke individuele data, en niet enkel door het opvolgen van instructies.
• Entropie Rangschikking: De specifieke rangschikking van vragen op basis van entropie had minder impact dan verondersteld; willekeurige selectie van kwartielen produceerde statistisch ononderscheidbare resultaten van de op entropie gerangschikte selectie.

4. Bijdragen en Betekenis

Het artikel claimt drie primaire bijdragen:

1. Datalevenvatbaarheid: Het toont aan dat gedetailleerde individuele tweelingen succesvol kunnen worden geconstrueerd uit bestaande, heterogene paneldata (zoals SOEP), in plaats van dat daarvoor doelgerichte, end-to-end dataverzameling nodig is. Dit opent het digitale tweelingparadigma voor bedrijven met bestaande CRM- en loyaliteitsdata.
2. Systematische Methode Mapping: Het biedt de eerste systematische vergelijking van constructie-hefbomen (embedding, redeneren, diepte) op een gedeelde dataset, waarbij wordt geïdentificeerd welke keuzes welke metrieken aansturen.
3. Actiegerichte Richtlijnen: De studie lokaliseert een duidelijk Pareto-punt bij de 75% entropie kwartiel, wat praktischaren een regel biedt voor contextbudgettering die de balans houdt tussen tokenkosten en voorspellende prestaties. Het suggereert verder dat ruwe dialooggeschiedenis en expliciete denkmodi cruciaal zijn voor het maximaliseren van respectievelijk heterogeniteit en nauwkeurigheid.

De auteurs concluderen dat de barrière voor tweelinggebaseerd marktonderzoek niet langer de datadesign is, maar eerder het itemvolume, de modelselectie en een kleine set van constructieniveau-beslissingen die dit artikel in kaart brengt.