Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context

Titel: Kan LLM's Persona's met Omgekeerde Prestaties Simuleren? Een Systematisch Onderzoek naar Counterfactuele Instructievolging in de Context van Wiskundig Redeneren

Publicatie: Social Simulation with LLMs workshop bij COLM 2025.
Auteurs: Sai Adith Senthil Kumar et al. (George Mason University).

---

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker gebruikt om persona's te simuleren in virtuele omgevingen, vaak via prompt engineering. Echter, bestaand onderzoek en toepassingen focussen voornamelijk op het simuleren van persona's met hoge competentie en nauwkeurigheid, wat overeenkomt met de standaardtraining van LLM's om optimale prestaties te leveren.

Er is een kritiek gat in de literatuur: de capaciteit van LLM's om persona's te simuleren met omgekeerde prestaties (bijvoorbeeld studenten met een lage vaardigheid in wiskunde). Dergelijke simulaties zijn essentieel voor realistische educatieve scenario's (zoals "leren door te onderwijzen" aan minder vaardige peers), maar het is onbekend of LLM's instructies kunnen volgen om bewust fouten te maken of hun redeneervermogen te beperken. Het paper introduceert het concept "counterfactuele instructievolging": de vaardigheid van een model om zijn inherente neiging tot optimale oplossingen te onderdrukken en in plaats daarvan een suboptimale, maar contextueel veilige, uitkomst te genereren.

2. Methodologie

Taakopzet:
De auteurs gebruiken wiskundig redeneren (gebaseerd op het GSM8k-dataset) als representatief scenario. Ze evalueren of LLM's kunnen reageren op twee soorten instructies:

1. Hoge prestaties: Een student die nauwkeurig, zelfverzekerd en foutloos redeneert.
2. Lage prestaties (Counterfactueel): Een student die worstelt, twijfelt, rekenfouten maakt en minder zeker is.

Evaluatiemetrics:
Om de prestaties te meten, gebruiken ze twee complementaire metrics:

• Task Accuracy (Acc): Het percentage correcte antwoorden. Een daling bij lage-prestatie persona's zou kunnen wijzen op succesvolle counterfactuele volging.
• Degree of Contrast (DoC): Een nieuwe, contrastieve metric die meet hoe duidelijk een model het redeneergedrag van hoge- versus lage-prestatie persona's onderscheidt. Dit wordt beoordeeld door een LLM-as-a-judge (GPT-4o) die kijkt naar logica, zekerheid, aarzeling en fouten in het redeneerproces, ongeacht of het eindantwoord correct is. De scores lopen van 1 (geen contrast) tot 3 (sterk contrast).

Experimentele Opstelling:

• Modellen: Een breed scala aan open-weight (Llama 3.1-8B/70B) en gesloten bronmodellen (GPT-4o, GPT-4-turbo, GPT-3.5-turbo, OpenAI o1, Claude-3.5).
• Prompting Strategieën:
  • Zero-shot: Directe instructie.
  • One-shot: Inclusief een voorbeeld van een lage-prestatie antwoord.
  • Self-refinement: Het model wordt gevraagd zijn eigen antwoord te reflecteren en te herschrijven om beter te passen bij de persona.
  • Intersectional Setting: Toevoegen van raciale achtergronden (African American, White American, Hispanic) om te testen op bias en robuustheid.
  • Two-Stage Prompting: Eerst de prestatie-niveau simuleren, daarna de raciale achtergrond integreren.

3. Belangrijkste Resultaten

1. Inherentie naar Hoge Prestaties:
LLM's hebben een sterke natuurlijke neiging om hoge prestaties te leveren. Zelfs met expliciete instructies om slecht te presteren, blijven veel modellen zeer nauwkeurig.

• OpenAI o1 behoudt bijvoorbeeld een nauwkeurigheid van 99,0% over alle persona's heen, ongeacht de instructie.
• GPT-4-turbo daalt slechts met 4,6% bij lage-prestatie instructies.
• Alleen modellen zoals Claude-3.5 en Llama3.1-8B tonen aanzienlijke dalingen in nauwkeurigheid (tot wel 25-29% daling), maar dit is inconsistent.

2. Redeneerstijl vs. Antwoordnauwkeurigheid:
Een cruciale bevinding is dat een model geen fouten hoeft te maken in het eindantwoord om toch counterfactuele instructies te volgen.

• Modellen zoals OpenAI o1 genereren voor lage-prestatie persona's een duidelijk ander redeneerproces (volledig met aarzeling, twijfel en fouten in de tussenstappen), maar "redden" het uiteindelijk toch tot het juiste antwoord.
• De DoC-score is vaak hoog (bijv. 2.7 voor o1), wat aangeeft dat het model wel degelijk het gedrag van een slechte student nabootst, zelfs als de uitkomst perfect is.

3. Effect van Intersectionaliteit (Ras):
Wanneer raciale achtergronden worden toegevoegd aan de persona-instructies:

• Verkleining van de kloof: Het verschil in nauwkeurigheid tussen hoge- en lage-prestatie persona's wordt kleiner. Modellen worden minder geneigd om bewust fouten te maken als er ook een raciale context is.
• Bias: Er zijn ongelijke verschuivingen in nauwkeurigheid tussen verschillende raciale groepen. Bijvoorbeeld, bij GPT-4o daalt de nauwkeurigheid voor "White American" lage-prestatie persona's meer dan voor "African American" of "Hispanic" groepen, wat suggereert dat de simulatie van lage prestaties niet consistent is over verschillende demografische groepen.

4. Prompting Strategieën:

• Self-refinement helpt sommige modellen (zoals Claude-3.5) om meer fouten te maken, maar helpt andere (zoals o1) niet.
• Two-stage prompting (eerst niveau, dan ras) verzwakt het gedragscontrast aanzienlijk (lagere DoC-scores) in vergelijking met directe prompting.

4. Belangrijke Bijdragen

1. Definitie van Counterfactuele Instructievolging: Het paper introduceert en operationaliseert het concept van het simuleren van "omgekeerde" prestaties als een specifieke vorm van instructievolging, onderscheiden van jailbreaking.
2. Systematische Evaluatie: Het biedt de eerste uitgebreide evaluatie van LLM's op deze taak, inclusief een breed scala aan modellen en prompting technieken.
3. Nieuwe Metric (DoC): De introductie van de Degree of Contrast metric, die in staat is om verschillen in redeneerprocessen te detecteren die door traditionele nauwkeurigheidsmetrics worden gemist.
4. Inzicht in Bias en Robuustheid: Het toont aan dat de capaciteit om lage prestaties te simuleren kwetsbaar is voor demografische attributen (ras), wat wijst op dieperliggende biases in hoe LLM's persona's construeren.

5. Betekenis en Conclusie

De studie concludeert dat huidige state-of-the-art LLM's worstelen met het consistent simuleren van persona's met lage prestaties. Hoewel ze vaak wel in staat zijn om de stijl van een lage-prestatie persoon na te bootsen (aarzeling, twijfel), falen ze er vaak in om de nauwkeurigheid daadwerkelijk te verlagen zonder dat het model zichzelf corrigeert tot een correct antwoord.

Dit heeft belangrijke implicaties voor:

• Educatieve Applicaties: Het vertrouwen op LLM's voor het simuleren van leerlinggroepen met verschillende vaardigheidsniveaus kan misleidend zijn als de "zwakke" studenten toch te perfect presteren.
• Fairness en Bias: De inconsistentie in het simuleren van lage prestaties over verschillende raciale groepen suggereert dat LLM's bepaalde demografische groepen onbewust "voordelen" of "nadelig" behandelen in hun simulatie van competentie.
• Toekomstig Onderzoek: Er is behoefte aan nieuwe trainingsmethoden of fine-tuning technieken die LLM's beter in staat stellen om hun inherente neiging tot optimalisatie te onderdrukken en authentieke, suboptimale menselijke gedragingen te simuleren.

Kortom, hoewel LLM's uitstekend zijn in het nabootsen van hoe iemand denkt (de stijl), is het veel moeilijker voor hen om te simuleren hoe slecht iemand presteert zonder dat hun onderliggende kennis hen "redt".