Technisch overzicht: Wie moet er gegenereerd worden? Rechtvaardiging van demografische doelwitten in open-ended generatie

1. Probleemstelling: Het probleem van het ontbrekende doelwit

Het artikel behandelt een fundamentele lacune in de eerlijkheidsbeoordeling van open-ended generatieve modellen (tekst en beeld). Hoewel bestaande eerlijkheidsaudits de demografische compositie van modeloutputs meten ten opzichte van een doelverdeling, gaan zij er doorgaans van uit dat het doelwit wordt aangeleverd of vanzelfsprekend is. Dit creëert het probleem van het ontbrekende doelwit: wanneer een prompt een rol en een locatie specificeert maar demografische attributen (bijv. geslacht, ras) ongespecificeerd laat, produceert het model een empirische distributie ($\hat{q}_k$), maar is er geen gerechtvaardigde standaard ($P^*$) om deze tegen te evalueren.

De auteurs stellen dat klassieke criteria voor groepsrechtvaardigheid (bijv. demografische pariteit, gelijke kansen) input-zijde gevoelige attributen en beslissingen over bestaande individuen veronderstellen. Deze criteria selecteren geen geaggregeerde output-zijde doelwit voor fictieve generatie waar geen grondwaarheid over identiteit bestaat. Bijgevolg nemen huidige evaluaties vaak impliciet de huidige beroepsmatige samenstelling of gelijk-categorie-distributies aan als doelwitten, zonder te rechtvaardigen waarom die specifieke distributies de evaluatie zouden moeten beheersen.

2. Methodologie: Een raamwerk van vier verbintenissen

De auteurs formaliseren doelwitconstructie als een afzonderlijke evaluatietaak die vier logisch onderscheidbare verbintenissen vereist. Dit raamwerk scheidt de constructie van een doelwit van het oordeel over rechtvaardigheid.

2.1 De vier verbintenissen

1. Evaluatieobject, Gebruik en Output-eenheid:

   • Object: De distributie van representatieve mogelijkheden over herhaalde generaties, niet de nauwkeurigheid van het voorspellen van een specifieke echte persoon.
   • Gebruik: Voor de studie is een "hedendaags publiek-wereld gebruik" verklaard, waarbij de vraag wordt gesteld hoe generaties de mogelijkheid verdelen om een drager van een rol te zijn in een benoemde sociale wereld.
   • Eenheid: Elk gegenereerd focuskarakter is één observatie van de output.

2. Voorafgaande Toelaatbaarheid (Identificatie en Verdediging van de Relatie):

   • Een demografische prior (bijv. populatiesamenstelling, beroepssamenstelling) wordt alleen toegelaten als de evaluator de relatie identificeert waaronder deze wordt voorgesteld en verdedigt waarom die relatie de geïdentificeerde personen representatieve status verleent.
   • Geografisch Lidmaatschap: Toegelaten voor publiek-wereld gebruik. De locatie in de prompt identificeert het vertegenwoordigde publiek; de rol beperkt niet wie als lid van dat publiek telt.
   • Beroepsmatige Inbedding (Occupational Incumbency): Niet toegelaten voor publiek-wereld gebruik onder de interpretatie van inbedding. De huidige samenstelling van de beroepsbevolking is een afgeleid resultaat van arbeidsmarktprocessen (onderwijs, discriminatie, barrières) en rechtvaardigt zichzelf niet als een representatieve standaard zonder een onafhankelijk objectief (bijv. een simulatie van de beroepsbevolking).

3. Allocatie:

   • Zodra een domein is toegelaten, moet een regel bepalen hoe de representatieve massa wordt verdeeld.
   • Gelijke-Persoon Allocatie: Bij gebrek aan een verdedigde allocatie-relevante distinctie, ontvangen leden van het toegelaten publiek een gelijk gewicht. Dit leidt tot categorie-aandelen die proportioneel zijn aan de populatie-aandelen van het toegelaten publiek.
   • Rol-invariantie: Onder deze constructie is het doelwit rol-invariant ($P^*(A=a|G,R) = P^*(A=a|G)$) omdat de rol de toegelaten publiek of de allocatieregel niet verandert.

4. Operationalisering:

   • Het abstracte doelwit wordt geïnstancieerd met behulp van een verklaarde taxonomie, mapping en referentiebron (bijv. gegevens over de inwonende populatie uit census of VN-statistieken).
   • Het artikel maakt onderscheid tussen toelaatbaarheid (normatieve rechtvaardiging) en meetadequaatheid (of de bron-proxy de toegelaten publiek accuraat meet).

2.2 De Brugpremissen

Het artikel maakt onderscheid tussen de operationele score (de berekende discrepantie tussen $\hat{q}_k$ en het geconstrueerde doelwit $P^*_{geo}$) en de fairness estimand (de theoretische divergentie van een exhaustief gerechtvaardigd doelwit $P^\dagger$).

• Premisse A: Compositionele onrechtvaardigheid wordt gedefinieerd als de divergentie van de limiterende compositie van het model van het exhaustief gerechtvaardigde doelwit.
• Premisse B: De operationele score schat deze fairness estimand adequaat in. Het artikel erkent dat dit drie substituties vereist (eindige generatie, bron-proxy en niet-exhaustieve constructieruimte) en beweert niet dat deze volledig zijn opgelost.

3. Experimentele Opzet: AP-Bench

Om dit raamwerk te instantiëren, introduceren de auteurs AP-Bench, een benchmark bestaande uit 51.840 generaties van zes frontier-modellen (GPT-5.6, Claude Sonnet 5, Gemini 3.5 Flash, Kimi K3, Llama 4 Maverick, Qwen3.7-Max).

• Omvang: 12 geografische contexten, 6 rollen (CEO, arts, verpleegkundige, ingenieur, leraar, schoonmaker), en 30 samples per cel.
• Attributen: Ras/etniciteit, religie, seksuele geaardheid, en een gender-naar-sekse diagnostiek.
• Prompting: Zowel impliciete prompts (demografie ongespecificeerd) als joint-elicitation prompts (demografie expliciet gevraagd maar waarden ongespecificeerd).
• Doelwitconstructie: Accepteert de geografische prior onder een interpretatie van geografisch lidmaatschap en past een gelijke-persoon allocatie toe met behulp van gegevens over de inwonende populatie als de operationele bron.

4. Belangrijkste Resultaten

4.1 Substantiële Divergentie van Geografie-afgeleide Doelwitten

Onder joint elicitation vertonen modellen een significante divergentie van de geconstrueerde geografie-afgeleide doelwitten.

• De samengestelde drie-module Jensen-Shannon Divergentie ($JSD^2$) varieert van 0,508 tot 0,606 over de modellen heen.
• Deze divergentie is veel groter dan wat verklaard kan worden door eindige-steekproef variatie (bovenste 99% referentie-endpoint $\approx 0,033$).

4.2 Gevoeligheid voor de Keuze van de Comparator

Het artikel toont aan dat rechtvaardigheidsevaluaties zeer gevoelig zijn voor de keuze van het doelwit.

• Het vervangen van het geografie-afgeleide doelwit door een gelijk-categorie-comparator (het toekennen van een gelijke waarschijnlijkheid aan elke categorie ongeacht de populatieomvang) terwijl de generaties en meting constant blijven, produceert substantiële veranderingen in scores.
• De gemiddelde absolute cel-niveau verandering in $JSD^2$ varieert van 0,279 tot 0,355.
• Deze verschuiving verandert de rangschikking van modellen en de classificatie van cellen als "rechtvaardig" of "onrechtvaardig" onder verschillende tolerantiedrempels (12,8% tot 40,0% van de cellen verandert van classificatie).

4.3 Beroepsmatige versus Geografische Doelwitten

In een diagnostische analyse van Amerikaanse CEO-generaties:

• Modellen genereerden een hoog aandeel vrouwelijke/vrouw-karakters (77%–100%).
• Vergeleken met het beroepsmatige inbedding doelwit (33,0% vrouw), verschijnt dit als een "succes" (dichter bij pariteit).
• Vergeleken met het geografische lidmaatschap doelwit (49,8% vrouw), is de divergentie significant.
• Het artikel betoogt dat het adopteren van het beroepsmatige doelwit impliciet de evaluatie verbindt aan trouw aan historische arbeidsmarktuitkomsten, wat een aparte verdediging vereist (bijv. workforce fidelity) die niet aanwezig is in het verklaarde publiek-wereld gebruik.

5. Betekenis en Claims

Het artikel maakt bescheiden maar fundamentele claims over de staat van rechtvaardigheidsevaluatie:

1. Doelwitconstructie is onderdeel van de Evaluatie: Doelwitconstructie is geen voorbereidende stap maar een kerncomponent van de rechtvaardigheidsevaluatie. Het leveren van een doelwit zonder rechtvaardiging is onvoldoende.
2. Geen Universeel Doelwit: Het artikel biedt geen universeel doelwit. In plaats daarvan biedt het een raamwerk van rechtvaardiging (de vier verbintenissen) dat de normatieve aannames expliciet maakt die vereist zijn voordat een distributie als standaard kan dienen.
3. Afwijzing van Standaarddoelwitten: Het betoogt dat beroepsmatige inbedding niet als standaarddoelwit kan dienen voor publieke representatie zonder een onafhankelijk verdedigd objectief (zoals workforce fidelity). Geografisch lidmaatschap wordt toegelaten onder een "vertegenwoordigd-publiek" premisse voor het verklaarde gebruik.
4. Bewijslast: De primaire bijdrage is het verschuiven van de bewijslast. Evaluators moeten expliciet antwoord geven op: Wat wordt verdeeld? Wiens representatie telt (en waarom)? Hoe wordt massa gealloceerd? Welke bron instantiëren de doelwit?
5. Onderscheid met Schade: Het artikel verduidelijkt dat het meten van divergentie van een geconstrueerd doelwit een diagnostische stap is, en geen directe maatstaf voor representatieve schade. Het vaststellen van schade vereist aanvullende premissen over blootstelling, mechanisme en omvang.

De auteurs concluderen dat totdat evaluators expliciet kunnen rechtvaardigen waarom een specifieke distributie de standaard verdient, rechtvaardigheidsevaluaties incompleet blijven. Het raamwerk staat de afwijzing van specifieke doelwitten toe (bijv. beroep) terwijl het de mogelijkheid openhoudt voor andere verdedigde constructies (bijv. correctieve doelwitten), mits hun premissen expliciet worden vermeld.