Error as a Lens: Probing LLM Reasoning through Synthetic Misconception Generation

Technische Samenvatting: Fout als Lens: LLM-redenering Onderzoeken via Synthetische Misconceptie-Generatie

Probleemstelling
Toepassingen voor educatieve technologie – waaronder gepersonaliseerd tutoriële, lerarenopleiding en onderwijsresearch – zijn afhankelijk van toegang tot gerichte synthetische misconcepties. De verwerving van grote, gelabelde corpora van authentieke studentenfouten is echter ernstig beperkt door privacyregels, beperkingen van Institutionele Review Boards (IRB) en de ethische gevoeligheid van het opslaan van identificeerbare beoordelingsdata. Hoewel Large Language Models (LLM's) een schaalbare weg bieden om synthetische fouten te genereren, bestaat er een kritieke kloof: moderne LLM's kunnen eenvoudig willekeurige verkeerde antwoorden produceren, maar worstelen met het genereren van fouten die overeenkomen met specifieke, gespecificeerde cognitieve faalmodi. De centrale uitdaging is een raamwerk te creëren dat onjuiste antwoorden produceert die (i) echt verkeerd zijn, (ii) consistent zijn met een specifieke cognitieve faalmodus in plaats van willekeurig onjuist, en (iii) stabiel zijn over verschillende vakgebieden.

Methodologie: Het GA/EA-kader
De auteurs stellen een twee-agentenraamwerk voor dat is ontworpen om op taxonomie gerichte synthetische fouten te genereren. Het systeem ontkoppelt het opstellen van een foutieve oplossing van de verificatie van de klassenconsistentie.

1. Fouttaxonomie: Het kader maakt gebruik van een vijfklassige fouttaxonomie die is aangepast aan de herziene Bloom-taxonomie (Anderson et al., 2001). De behouden klassen zijn:

   • E1 (Mentale typfout/Saai werk): Reken- of transcripiefouten in een overigens correcte traject.
   • E2 (Kennislacune): Ontbrekende definities, termen of formules.
   • E3 (Misconceptie): Gebrekkige mentale modellen of ontbrekende concepten.
   • E4 (Verkeerde keuze): Onjuiste probleemclassificatie of selectie van het verkeerde oplossingsprocedé.
   • E5 (Structurele blindheid): Falen om componenten en hun interacties te onderscheiden.
     (Opmerking: Klassen die suboptimale maar correcte antwoorden beschrijven, zijn uitgesloten omdat ze geen onjuiste eindantwoorden vertegenwoordigen.)

2. Agentarchitectuur:

   • Generatie-agent (GA): Een voorgetrainde LLM die de taak heeft om een kandidaat-foutieve oplossing op te stellen, geconditioneerd op een specifieke doelfoutklasse. De auteurs maken gebruik van één multi-class GA in plaats van vijf specialistenagenten om "drift" naar zusterklassen te voorkomen, aangezien specialisten de cross-class context misten om aangrenzende faalmodi te onderscheiden.
   • Examinatie-agent (EA): Een rechter die het concept van de GA evalueert op twee assen: (a) of het antwoord echt onjuist is, en (b) of het overeenkomt met de doelfoutklasse. De EA opereert zonder de in-context voorbeelden van de GA te zien om oppervlaktepatroonmatching te voorkomen.

3. Pijplijnconfiguraties: De studie evalueert acht pijplijnconfiguraties (P0–P8) waarbij drie ontwerpassen variëren:

   • Antwoordgronding: Of de GA wordt blootgesteld aan de correcte oplossing.
   • Conditionering: Of de GA uitgebreide few-shot voorbeelden of externe tekstboekfragmenten ontvangt.
   • Feedbacklus: Of de EA afwijzingsignalen (inclusief het concept en de rechtvaardiging) terugkoppelt naar de GA voor iteratieve regeneratie (tot vijf pogingen).
   • EA-implementatie: Vergelijking van een geprompte LLM-rechter met een fijngefineerde BERT-base-uncased-classificator (P8) getraind op 1.600 menselijk geannoteerde voorbeelden.

Experimentele Opstelling
Het kader werd geëvalueerd op de TheoremQA-dataset, een door stellingen gedreven QA-dataset die wiskunde, natuurkunde, EE/CS en financiën bestrijkt.

• Tier-1 (Geverifieerde Benchmark): Een sweep van 20 vragen over alle 9 pijplijnen en 3 backends (OpenAI o3/GPT-4o mix, GPT-5, GPT-5-mini) met onbeperkte retry's en finale menselijke verificatie.
• Tier-2 (Schaalrun): Een run van 200 vragen op GPT-5 met een retry-cap van 5 pogingen om kosten en latentie op schaal te beoordelen.
• Maatstaf: De primaire maatstaf is de Gerichte-Foutratio, gedefinieerd als het fractie van generaties die zowel onjuist zijn als consistent met de gevraagde foutklasse. Antwoorden die correct zijn of onwetendheid erkennen (epistemische weigering), worden behandeld als falen.

Belangrijkste Resultaten

1. Moeilijkheid van Gerichte Generatie: Gerichte foutgeneratie is aanzienlijk moeilijker dan vrij-vormige generatie van onjuiste antwoorden. De naïeve baseline (P0) bleef 23–39 procentpunten onder het plafond voor alle backends.
2. De "Structurele Blindheid"-Flesnek: Klasse E5 (Structurele Blindheid) bleek de moeilijkste doelstelling voor alle configuraties, vooral voor zwakkere backends. Deze klasse vereist dat het model een probleem globaal verkeerd frameert terwijl het oppervlakkig coherent redeneren behoudt, een taak die verschilt van eenvoudige rekenfouten (E1) of formulevervangingen (E2).
3. Invloed van Ontwerpassen:
   • Antwoordgronding: Het verstrekken van het juiste antwoord aan de GA verbeterde over het algemeen de prestaties op sterkere backends (GPT-5), maar verslechterde de prestaties op zwakkere (o3+GPT-4o), aangezien de zwakkere modellen worstelden met het onderdrukken van het correcte traject, wat leidde tot "gedeeltelijk correct" redeneren dat de klassenconsistentiecontrole niet haalde.
   • Feedbacklus: De EA-feedbacklus (P3) bood de meest significante en consistente verbetering, vooral voor zwakkere backends. Het stelde de GA in staat om af te wijken van verworpen concepten, een vermogen dat eenvoudig temperatuur-gebaseerd sampling niet betrouwbaar kon bereiken.
   • Scaffolding: Uitgebreide voorbeelden en externe tekstboekfragmenten (P4–P7) leverden geen duidelijke verbeteringen op ten opzichte van de slankere P1/P3-configuraties op sterke backends, en verwaterden in sommige gevallen het klassesignaal.
4. Backend-dispariteiten: De kloof tussen backends was groot en asymmetrisch. GPT-5 bereikte een gemiddelde gerichte-foutratio van ~0,82, terwijl GPT-5-mini en o3+GPT-4o 12–14 punten achterbleven. Deze kloof werd gedreven door het vermogen om het juiste antwoord te onderdrukken en concepten te diversifiëren onder feedback, in plaats van pure probleemoplossende nauwkeurigheid.
5. Fijngefineerd versus Geprompte EA: De fijngefineerde BERT-classificator (P8) bood een implementatietrading. Het bereikte bijna single-pass acceptatie (hoge efficiëntie) en presteerde beter dan de geprompte EA op de zwakste backend, maar was minder aanpasbaar en dichte de E5-kloof op GPT-5 niet.

Betekenis en Aanspraken
Het artikel maakt één primaire methodologische bijdrage en één secundaire empirische observatie:

1. Methodologische Bijdrage: De auteurs presenteren een schaalbaar, herbruikbaar recept voor het bouwen van op klasse gestratificeerde synthetische foutdatasets in domeinen waar authentieke studentencorpora niet beschikbaar zijn. Door het opstellen te ontkoppelen van het beoordelen en menselijke supervisie naar de "rechter"-kant te verplaatsen (of een fijngefineerde classificator te gebruiken), stelt het kader elke voorgetrainde LLM in staat om te fungeren als een "vervangingstudent" voor het genereren van gecontroleerde misconcepties.

2. Empirische Observatie: Gerichte foutgeneratie is fundamenteel een controleerbaarheidsprobleem in plaats van een kennisverwervingsprobleem. De resultaten suggereren dat antwoordgronding en iteratieve feedbacklusser belangrijker zijn voor het genereren van specifieke fouttypen dan het verstrekken van uitgebreide context of tekstboekinhoud.

Beperkingen en Scope
De auteurs stellen expliciet dat dit kader op taxonomie gerichte synthetische fouten produceert, niet empirisch gevalideerde studentenachtige fouten. De studie meet niet of de gegenereerde oppervlaktevormen overeenkomen met wat authentieke studenten daadwerkelijk produceren. De evaluatie vertrouwt op één taxonomie en gesloten bronmodellen, en de "gerichte-foutratio" wordt gepresenteerd als een complementaire maatstaf voor op nauwkeurigheid gebaseerde benchmarks, waarbij gedragingen (gecontroleerde faalmodi) worden blootgelegd die standaard nauwkeurigheidsmaatstaven missen. Het werk positioneert zichzelf als een praktisch instrument voor het bouwen van downstream educatieve toepassingen, met de kanttekening dat validatie met echte studenten een noodzakelijke toekomststap blijft.