Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions

Probleemstelling

Grote Taalmodellen (LLMs) bieden nieuwe kansen voor onderzoek naar publieke opinie door het voorspellen van enquêteantwoorden in de vroege fasen van het ontwerpproces. Eerdere methoden probeerden LLMs te sturen via prompt engineering (bijv. het beschrijven van een subgroep als input). Deze aanpak bleek echter beperkt succesvol:

1. Ze slaagden er niet in om de distributie van antwoorden van menselijke respondenten nauwkeurig te voorspellen.
2. Off-the-shelf LLMs neigen naar de meningen van welvarende, hoogopgeleide Amerikaanse subgroepen en produceren stereotiepe voorspellingen voor ondervertegenwoordigde groepen.
3. Ze kunnen de variatie binnen een specifieke subgroep niet goed vastleggen.

Bestaande datasets voor het fine-tunen van LLMs op opinie-data (zoals OpinionQA) zijn te klein (ongeveer 500 vragen) en te beperkt in thematische diversiteit om modellen effectief te trainen voor het voorspellen van gedetailleerde antwoorddistributies.

Methodologie

De auteurs stellen een nieuwe aanpak voor: directe supervised fine-tuning van LLMs op grote schaal gestructureerde enquête-data, in plaats van alleen prompt engineering.

1. De SubPOP Dataset:
Om dit mogelijk te maken, hebben de auteurs SubPOP (Subpopulation-level Public Opinion Prediction) gecreëerd. Dit is een aanzienlijk uitgebreide dataset:

• Omvang: 3.362 vragen en 70.000 paren van (subgroep, antwoorddistributie). Dit is 6,5 keer groter dan eerdere datasets.
• Bronnen: Data uit de American Trends Panel (ATP) van Pew Research Center (voor training) en de General Social Survey (GSS) van NORC (voor evaluatie).
• Structuur: De dataset bevat vragen over diverse onderwerpen gekoppeld aan demografische, sociaaleconomische en ideologische subgroepen (bijv. ras, geslacht, inkomen, politieke voorkeur).

2. Fine-Tuning Aanpak:

• Input: Een prompt bestaande uit een enquêtevraag en de beschrijving van een doel-subgroep.
• Output: De LLM moet een kansverdeling genereren over alle mogelijke antwoordopties (bijv. A, B, C, D, E), niet slechts één antwoord.
• Trainingsdoel: De modelvoorspelling $p_\theta$ wordt getraind om de empirische menselijke verdeling $p_H$ uit de enquête na te bootsen.
• Verliesfunctie: Er wordt gebruik gemaakt van de forward Kullback-Leibler (KL) divergentie als verliesfunctie:
  $$L(\theta) = \mathbb{E}_{q,g} [ D_{KL}(p_H(A_q|q,g) \parallel p_\theta(A_q|q,g)) ]$$
  De forward KL wordt gekozen omdat deze straffert als het model een antwoord met hoge menselijke waarschijnlijkheid onderschat, wat essentieel is voor het vastleggen van de volledige verdeling.

3. Evaluatiemetrics:
In plaats van alleen "one-hot accuracy" (het voorspellen van het meest waarschijnlijke antwoord), gebruiken de auteurs de Wasserstein Distance (WD). WD is geschikter omdat het rekening houdt met de ordinaal aard van antwoordopties (bijv. "Zeer waarschijnlijk" is dichter bij "Waarschijnlijk" dan bij "Zeer onwaarschijnlijk") en de volledige verdeling vergelijkt.

Belangrijkste Resultaten

De auteurs hebben vier verschillende LLMs (Llama-2-7B/13B, Mistral-7B, Llama-3-70B) getraind op SubPOP-Train en geëvalueerd op zowel de trainingsdomeinen als ongezette domeinen.

1. Significante Verbetering t.o.v. Baselines:

   • Fine-tuning op SubPOP verlaagt de Wasserstein Distance met 32% tot 46% ten opzichte van de beste baselines (zoals zero-shot en few-shot prompting, en Modular Pluralism).
   • De modellen presteren veel dichter bij de menselijke ondergrens (de intrinsieke variatie in steekproeven) dan eerdere methoden.

2. Sterke Generalisatie:

   • Ongeziene Onderwerpen: Modellen getraind op ATP-data generaliseren goed naar vragen over onderwerpen die niet in de trainingsdata zaten.
   • Ongeziene Enquêtes: Er is sterke generalisatie naar een volledig andere enquêtefamilie (GSS), wat aantoont dat het model de onderliggende patronen van publieke opinie heeft geleerd en niet alleen de stijl van Pew-vragen.
   • Ongeziene Subgroepen: Zelfs voor subgroepen die niet in de trainingsdata zaten (bijv. specifieke leeftijdsgroepen of religies), behaalde het model een relatieve verbetering van ongeveer 44-45% ten opzichte van prompting.

3. Stuurbaarheid (Steerability):

   • Experimenten tonen aan dat het model daadwerkelijk reageert op de subgroepinformatie in de prompt. De voorspellingen voor een specifieke groep (bijv. "Hoger opgeleid") wijken systematisch af van die voor een andere groep (bijv. "Minder dan middelbare school"), en dit patroon volgt de menselijke data. Dit geldt zelfs voor ongeziene subgroepen.

4. Schaalbaarheid:

   • Er is een positieve correlatie gevonden tussen de datasetgrootte en de prestaties. Hoewel er afnemende meeropbrengsten zijn, blijft de prestatie stijgen naarmate de dataset groter wordt, wat suggereert dat het verzamelen van meer data cruciaal is voor verdere verbetering.

Bijdragen en Significantie

• SubPOP Dataset: De publicatie van een schaalbaar, gestructureerd dataset van 70k subgroep-antwoordparen, wat een nieuwe standaard zet voor het trainen van LLMs op opinie-data.
• Methodologische Shift: Het bewijs dat directe supervised fine-tuning op distributiesuperieur is aan prompt engineering voor het voorspellen van publieke opinie-distributies.
• Praktische Toepassing: De methode stelt onderzoekers in staat om goedkopere en snellere "pilots" uit te voeren voor enquêtes. Ze kunnen subgroepen identificeren die over- of ondersampled moeten worden, en analysepijplijnen testen voordat ze dure menselijke enquêtes uitvoeren.
• Pluralistische Uitlijning: Het werk draagt bij aan het veld van "pluralistic alignment", waarbij modellen leren om de meningen van diverse bevolkingsgroepen te reflecteren zonder vooroordelen of stereotypen te versterken.

Conclusie:
Deze studie toont aan dat LLMs, wanneer ze correct worden getraind op grote, gestructureerde enquête-data, een krachtig hulpmiddel kunnen worden om de variatie in publieke opinie nauwkeurig te simuleren. Dit opent de weg voor efficiënter en representatiever sociaal-wetenschappelijk onderzoek, mits de modellen worden gebruikt als aanvulling op, en niet als vervanging voor, menselijke respondenten.