Fairness in LLM-Generated Surveys

Technische Samenvatting: Rechtvaardigheid in door LLM's gegenereerde enquêtes

Probleemstelling
Large Language Models (LLM's) zijn opgekomen als levensvatbare alternatieven voor traditionele enquêtes voor het simuleren van socio-politieke en economische patronen, waarbij ze in staat zijn synthetische datasets te genereren die menselijke reacties weerspiegelen. De wereldwijde toepasbaarheid van deze modellen is echter betwistbaar vanwege onverkende vooroordelen die voortvloeien uit hun trainingsdata, die overwegend gericht is op de VS. Hoewel LLM's een hoge prestatie leveren in goed vertegenwoordigde contexten zoals de Verenigde Staten, blijft hun vermogen om socio-politiek gedrag in ondervertegenwoordigde regio's, zoals Chili, accuraat en rechtvaardig te modelleren, onverkend. Deze studie adresseert de kritieke kloof in het begrip van hoe LLM's presteren over diverse socio-demografische en geografische contexten, waarbij specifiek wordt onderzocht of deze modellen bestaande maatschappelijke vooroordelen in stand houden of specifieke populaties onvoldoende vertegenwoordigen.

Methodologie
De studie hanteert een vergelijkend kader gebruikmakend van publieke enquêtegegevens uit Chili (Centro de Estudios Públicos - CEP) en de Verenigde Staten (American National Election Studies - ANES). Het onderzoeksontwerp omvat drie voorspellingsexperimenten:

1. Presidentiële Verkiezingen: Het voorspellen van stemkeuzes in de Amerikaanse verkiezingen van 2020 en de Chileense presidentiële verkiezingen van 2021.
2. Abortie Mening: Het voorspellen van individuele standpunten over abortus op basis van socio-demografische kenmerken.
3. Constitutioneel Plebisciet: Het voorspellen van de uitkomsten van het Chileense constitutionele referendum van 2022.

Modellen en Prompts: De studie evalueert meerdere modellen, waaronder GPT-3.5-turbo, GPT-4-turbo, Llama-13b en Mistral (v0.2). Een "default prompt"-configuratie wordt gebruikt, die Chain-of-Thought (CoT) redenering, few-shot voorbeelden (5 willekeurige instanties) en Engels als primaire taal incorporeert, hoewel ook Spaans wordt getest. Om een eerlijke vergelijking tussen landen te garanderen, wordt een in-sample Random Forest getraind om een bovengrens op de voorspellingsnauwkeurigheid vast te stellen, wat dient als een baseline om de modelprestaties te normaliseren tegen de inherente voorspelbaarheid van de data.

Metrieken:

• Nauwkeurigheid (Accuracy): Meet de correctheid van voorspellingen op individueel niveau.
• Jensen-Shannon Gelijkenis (JSS): Meet de globale afstemming tussen voorspelde en werkelijke waarschijnlijkheidsverdelingen (patronen op groepsniveau).
• Algehele Nauwkeurigheidsgelijkheid (Overall Accuracy Equality): Een rechtvaardigheidscriterium dat evalueert of de voorspellingsnauwkeurigheid gelijk is over beschermde en onbeschermde groepen.
• Logistische Regressie: Wordt gebruikt om te analyseren hoe specifieke socio-demografische variabelen (geslacht, leeftijd, opleiding, politieke identiteit, etc.) en hun intersecties de waarschijnlijkheid van een correcte voorspelling beïnvloeden.

Belangrijkste Bijdragen

1. Nieuw Kader: Introductie van een kader voor het meten van socio-demografische vooroordelen in LLM's over verschillende geografische contexten.
2. Vergelijkende Evaluatie: Een directe vergelijking van de voorspellende capaciteiten van LLM's met vergelijkbare politieke en morele vragen uit Chili en de VS.
3. Analyse van Bias-mitigatie: Een onderzoek naar promptingtechnieken en fine-tuning strategieën om prestatieverschillen aan te pakken.

Resultaten

• Geografische Dispariteiten: Modellen presteren consequent beter op Amerikaanse datasets vergeleken met Chileense datasets over alle metrieken (Nauwkeurigheid en JSS). Deze kloof blijft bestaan zelfs na normalisatie voor de voorspelbaarheid van de dataset, wat wijst op een sterke bias naar de op de VS gerichte trainingsdata.
• Modelprestaties: Llama-13b kwam als het best presterende model naar voren, en overtrof vaak de in-sample Random Forest benchmark in het vastleggen van populatieniveau-trends (hoge JSS), hoewel het nog steeds moeite had met nauwkeurigheid op individueel niveau in Chili. Fine-tuning op Chileense data leverde slechts marginale verbeteringen op en introduceerde in sommige gevallen distributionele biases.
• Socio-Demografische Biases:
  • Chili: Significante biases werden waargenomen tegen vrouwen, ouderen, personen met een lager opleidingsniveau en religieuze individuen. Politieke identiteit speelde ook een grote rol, waarbij centristische standpunten minder accuraat werden voorspeld dan sterke links of rechts georiënteerde ideologieën. Intersectionele analyse toonde aan dat oudere, religieuze vrouwen met een laag opleidingsniveau de laagste voorspellingsnauwkeurigheid hadden.
  • Verenigde Staten: De prestaties waren stabieler over geslacht en leeftijd, maar vertoonden verschillen op basis van politieke identiteit (links georiënteerde standpunten werden nauwkeuriger voorspeld) en inkomen (personen met een laag inkomen werden minder accuraat voorspeld). Intersectionele analyse benadrukte een specifieke bias tegen niet-witte vrouwen.
• Individuele vs. Groepsvoorspelling: Hoewel LLM's een sterk vermogen toonden om macro-niveau verdelingen te repliceren (hoge JSS), hadden ze moeite met het vastleggen van de nuances van individuele socio-politieke identiteiten, wat resulteerde in een lagere individuele nauwkeurigheid vergeleken met trends op groepsniveau.

Betekenis en Claims
Het artikel claimt dat hoewel LLM's krachtige instrumenten zijn voor het simuleren van brede socio-politieke trends, hun huidige inzet in onderverteedeerde regio's risico's met zich meebrengt voor het in stand houden van ongelijkheid door biases in de trainingsdata. De studie stelt dat het "U.S.-centrische" karakter van de pre-training corpora de generaliseerbaarheid van deze modellen beperkt, waardoor ze minder effectief zijn in contexten zoals Chili waar culturele en linguïstische nuances verschillen.

De auteurs benadrukken dat het waarborgen van rechtvaardigheid vereist dat men verder kijkt dan generieke modelimplementatie. Ze pleiten voor de noodzaak van contextspecifieke strategieën, inclusief het verzamelen van meer diverse en representatieve trainingsdata, het opnemen van socio-demografische kenmerken tijdens fine-tuning, en het toepassen van rechtvaardigheidscriteria. De studie concludeert dat het aanpakken van deze dispariteiten essentieel is voor de ethische toepassing van AI in sociaalwetenschappelijk onderzoek, om te voorkomen dat modellen systematisch specifieke socio-demografische groepen benadelen of er niet in staat zijn ondervertegenwoordigde populaties te representeren.