Marginal Alignment Does Not Guarantee Joint-Distribution Fidelity: An Official-Reference Audit of Nemotron-Personas-Korea with Cross-Locale Replication

Technische Samenvatting: Marginale Uitlijning Garandeert Geen Getrouwheid van de Gezamenlijke Verdeling

Probleemstelling
Synthetische persona-datasets worden steeds vaker gebruikt als "silicon samples" om respondenten uit enquêtes te vervangen, opinieverdelingen te onderzoeken en Large Language Models (LLMs) te evalueren. Deze bronnen ontlenen hun geloofwaardigheid doorgaans aan claims van uitlijning met nationale demografische marginalen (bijv. leeftijd, geslacht, regio). Downstream gebruikers consumeren deze persona's echter als gezamenlijke structuren waarbij attributen zoals leeftijd, geslacht, beroep, opleiding en institutionele status met elkaar interageren. Het artikel betoogt dat marginale uitlijning niet impliceert dat de gezamenlijke verdelingen behouden blijven. Specifiek moet voor het geval dat synthetische persona's valide zijn als silicon samples, de interne gezamenlijke structuur de verifieerbare realiteit van de doelmaatschappij weerspiegelen, en niet slechts de marginale verdelingen. Het artikel identificeert een kritieke kloof: hoewel een dataset card kan claimen uitgelijnd te zijn met officiële statistieken, documenteert deze vaak generatieve aannames (zoals het behandelen van demografische factoren als onafhankelijk) die de gezamenlijke structuren verzwakken die essentieel zijn voor realistische simulatie.

Methodologie: De Independence-Assumption Footprint (IAF)
Om dit aan te pakken, stelt de auteur de Independence-Assumption Footprint (IAF) voor, een audit-primitief ontworpen om de kloof tussen marginale claims en de gezamenlijke realiteit te operationaliseren. Het IAF-protocol functioneert als volgt:

1. Disclosure-Anchored Audit: De audit richt zich op attribuutcombinaties die expliciet in de dataset card worden gedocumenteerd als zijnde onafhankelijk behandeld (bijv. "geslacht, inkomen, opleiding en vakgebied beïnvloeden de toewijzing van beroep onafhankelijk").
2. Vergelijking met Externe Referenties: Voor elke gedocumenteerde onafhankelijkheidsaanname vergelijkt de IAF de synthetische gezamenlijke verdeling met externe officiële of institutionele referenties.
   • Directe Gezamenlijke Tabellen: Waar beschikbaar (bijv. KOSIS beroep-per-geslacht tabellen), berekent de audit een Cramér's V-ratio ($R_V = V_{NPK} / V_{ref}$). Een ratio onder een heuristische drempelwaarde van 0,7 triggert een "FLAG", wat duidt op een verlies van associatiestuctuur vergeleken met de referentie.
   • Regel-geïmpliceerde Checks: Voor institutionele beperkingen waar directe contingentietabellen niet beschikbaar zijn (bijv. regels voor militaire dienstplicht), construeert de audit synthetische referentietabellen op basis van institutionele regels om consistentieschermen uit te voeren.
3. Negatieve Controles: Het protocol bevat vooraf gespecificeerde negatieve controles (bijv. geboortejaar $\times$ naam distributies) afgeleid van geciteerde bronnen om te verifiëren dat de auditprocedure in staat is om passable structuren te detecteren, om zo te garanderen dat fouten niet louter artefacten zijn van de auditmethode.
4. Cross-Locale Transferbaarheid: De IAF-diagnostiek wordt toegepast op zeven locaties (Korea, VS, Japan, India, Brazilië, Singapore, Frankrijk) en één niet-NPK bron (PersonaHub) om de draagbaarheid te testen, waarbij wordt opgemerkt dat de resultaten locatieafhankelijk zijn en gevoelig zijn voor de cardinaliteit van de referentietaxonomie.

Casestudy: Nemotron-Personas-Korea (NPK)
De primaire toepassing van IAF is op Nemotron-Personas-Korea (NPK), een dataset van één miljoen synthetische Koreaanse persona's. De NPK dataset card stelt expliciet dat demografische factoren de beroepstoewijzing onafhankelijk beïnvloeden, zonder dat er interactie-effecten worden gemodelleerd.

Belangrijkste Resultaten
De audit onthult dat hoewel NPK een sterke marginale uitlijning behoudt met Koreaanse officiële statistieken (KOSIS) voor leeftijd, geslacht en provincie, het een significante tekortkoming vertoont in de getrouwheid van de gezamenlijke verdeling:

• Geslacht $\times$ Beroep (KSCO): De gezamenlijke verdeling van geslacht en beroep vertoont een "gender flattening" effect. In door mannen gedomineerde beroepscategorieën (bijv. plantoperators, ambachtslieden) is het vrouwelijke aandeel in NPK 2,1 tot 3,0 keer hoger dan in de KOSIS-referentie. Omgekeerdد is het vrouwelijke aandeel in door vrouwen gedomineerde categorieën lager dan in de referentie. De Cramér's V-ratio ($R_V \approx 0,58$) valt ruim onder de 0,7 drempelwaarde, wat wijst op een ernstige verzwakking van de natuurlijke beroepssegregatie op basis van geslacht die in Korea voorkomt.
• Vakgebied $\times$ Beroep (KEIS GOMS): Een vergelijking van NPK met de Korea Employment Information Service (KEIS) Graduates Occupational Mobility Survey laat grote conditionele mismatches zien. Zo verschijnen ingenieursafgestudeerden bijvoorbeeld in de categorie "Plant Operators" met 3,80% in NPK versus 18,13% in de referentie, terwijl afgestudeerden in de sectoren Onderwijs/ICT/Gezondheid ondervertegenwoordigd zijn in de categorie "Professionals" met 35–42 procentpunten.
• Militaire Dienst (Institutionele Consistentie): De audit identificeert een institutionele inconsistentie met betrekking tot de militaire dienst. In Korea hebben mannen van 19–22 jaar een verplichte actieve dienstgraad van 26–29%. NPK vertoont een vlakke, lage graad van 1,13–1,70% over de leeftijdsgroepen 19–50, waardoor het levensloopverloop van de dienstplicht niet wordt gevangen.
• Negatieve Controles: De audit bevestigt dat NPK de gezamenlijke structuur van geboortejaar $\times$ naam (overeenkomstig met de statistieken van het Hooggerechtshof) en geslacht $\times$ burgerlijke staat succesvol reproduceert, wat aantoont dat de audit onderscheid kan maken tussen behouden en gedegradeerde structuren.
• Cross-Locale Bevindingen: Het patroon van "gender flattening" (het overmatig feminiseren van mannelijk gedomineerde rollen en het ondermatig feminiseren van vrouwelijk gedomineerde rollen) is richtinggevoelig consistent aanwezig in NPK-USA en NPK-Japan, hoewel de omvang varieert per locatie en de granulariteit van de referentietaxonomie.

Betekenis en Claims
Het artikel levert drie primaire bijdragen:

1. Methodologisch: Het introduceert IAF als een disclosure-anchored audit-primitief die de focus van validatie verschuift van marginale claims naar de getrouwheid van de gezamenlijke verdeling, specif{%}