🤖 AI

When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness

Dit artikel presenteert een vergelijkende studie over zes benchmarks en vier modellen die aantoont dat hoewel natuurlijke taalverklaringen de prestaties van in-context leren over het algemeen verbeteren, hun effectiviteit aanzienlijk varieert op basis van de bron van de verklaring (waarbij externe LLM's vaak wedijveren met menselijke rationalen) en de selectiestrategie, waarbij specifiek wordt vastgesteld dat op getrouwheid gebaseerde filtering inconsistente resultaten oplevert en dat verschillende getrouwheidsmetrieken tot uiteenlopende conclusies kunnen leiden.

Oorspronkelijke auteurs: Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie is er een groeiende behoefte om niet alleen te begrijpen wat een computer zegt, maar ook waarom hij het zegt. Wanneer een groot taalmodel een vraag beantwoordt, produceert het vaak een reeks tekst die lijkt op een mens die een probleem doordenkt. Deze tekstreeksen worden natuurlijke taalverklaringen genoemd. Ze dienen een dubbel doel: ze helpen mensen de machine te vertrouwen door zijn logica te tonen, en ze kunnen de machine ook daadwerkelijk helpen beter na te denken. Dit tweede effect staat bekend als in-context leren. Stel je voor dat je een computer vraagt om een nieuwe puzzel op te lossen. Als je hem een paar voorbeelden van soortgelijke puzzels geeft samen met de juiste antwoorden, kan hij de nieuwe vaak oplossen zonder dat hij opnieuw getraind hoeft te worden. Dit is in-context leren. Stel je nu voor dat je aan die voorbeelden een paar zinnen toevoegt die uitleggen hoe het antwoord is bereikt. Maakt die extra uitleg de computer slimmer, of voegt het slechts ruis toe? Dit is de centrale vraag die onderzoekers proberen te beantwoorden terwijl ze krachtigere en betrouwbaardere AI-systemen bouwen.

Een team van onderzoekers van universiteiten in München, Londen en verspreid over Duitsland zette zich af om precies dit te testen. Ze wilden weten of het toevoegen van verklaringen aan de voorbeelden die aan een AI worden gegeven de prestaties van de AI daadwerkelijk verbetert, en zo ja, waar die verklaringen vandaan moeten komen. Ze testten vier verschillende AI-modellen van variërende groottes op zes verschillende soorten redeneertaken, variërend van algemene vragen en het detecteren van sarcasme tot het oplossen van complexe wiskundige tekstproblemen. De onderzoekers vergeleken drie belangrijke bronnen voor deze verklaringen: verklaringen geschreven door mensen, verklaringen gegenereerd door de AI zelf terwijl het probeerde het probleem op te lossen, en verklaringen gegenereerd door een apart, krachtig AI-model dat als helper fungeert. Ze testten ook of de kwaliteit van de verklaring ertoe deed, specifiek kijkend naar "getrouwheid" (faithfulness), wat een maatstaf is voor de vraag of de verklaring daadwerkelijk overeenkomt met de stappen die het model heeft genomen om tot zijn antwoord te komen.

De resultaten boden een duidelijk beeld van wat in de praktijk het beste werkt. Wanneer de taak het classificeren van informatie was, zoals het bepalen of een zin sarcastisch was of het bepalen van de relatie tussen twee beweringen, hielp het toevoegen van verklaringen aan de voorbeelden de AI meestal om beter te presteren. De bron van de verklaring maakte echter een aanzienlijk verschil. Verklaringen gegenereerd door een apart, krachtig AI-model boden vaak de grootste boost in nauwkeurigheid en presteerden net zo goed als, en soms zelfs beter dan, verklaringen geschreven door mensen. Dit is een belangrijke bevinding omdat menselijke verklaringen duur en traag zijn om te produceren, terwijl AI-gegenereerde verklaringen direct kunnen worden gemaakt. In contrast hiermee waren verklaringen gegenereerd door de AI zelf terwijl het probeerde het probleem op te lossen, veel minder betrouwbaar. Ze hielpen soms, maar waren vaak minder betrouwbaar dan die van een externe bron.

De onderzoekers onderzochten ook of het filteren van deze zelf gegenereerde verklaringen om alleen de "getrouwe" verklaringen te behouden — die de redenering van het model werkelijk weerspiegelen — de resultaten zou verbeteren. Ze ontdekten dat deze strategie slechts kleine gemiddelde winsten opleverde en zeer inconsistent was. Soms hielp het selecteren van de meest getrouwe verklaringen, maar andere keren maakte het de prestaties van het model juist slechter. De uitkomst hing sterk af van welke specifieke wiskundige test werd gebruikt om de getrouwheid te meten, de specifieke taak die het model uitvoerde, en de grootte van het model zelf. Dit sugggeert dat er geen enkele, perfecte manier is om de kwaliteit van een verklaring te beoordelen die voor elke situatie werkt. Bovendien testte het team hoe robuust het systeem was door verklaringen tussen verschillende voorbeelden te wisselen of door verklaringen van volledig andere onderwerpen te gebruiken. Hoewel de modellen niet volledig instortten wanneer ze deze verkeerd gekoppelde verklaringen kregen, daalde hun prestatie wel, wat aangeeft dat de verklaring semantisch moet aansluiten bij het specifieke voorbeeld om echt nuttig te zijn.

Bij de complexere taak van wiskundig redeneren veranderde de dynamiek. Hier was het voordeel van het toevoegen van verklaringen minder consistent en hing het sterk af van het specifieke model en de bron van de verklaring. Voor de grootste modellen bleef de standaardmethode van het model vragen om zelf stap voor stap na te denken zeer sterk. Echter, voor kleinere modellen konden hoogwaardige externe verklaringen een substantiële verbetering in prestaties bieden, waarbij ze fungeerden als een vorm van begeleiding die het kleinere model niet uit zichzelf kon genereren. De studie concludeert dat hoewel het toevoegen van verklaringen aan prompts een krachtig hulpmiddel is, het geen wondermiddel is. De beste aanpak hangt af van de taak en de beschikbare middelen. Voor veel praktische toepassingen biedt het gebruik van verklaringen gegenereerd door een apart, bekwaam AI-model een betrouwbare en kosteneffectieve manier om de prestaties te verbeteren, terwijl het vertrouwen op het model om zijn eigen redenering uit te leggen, zorgvuldige selectie vereist en minder voorspelbare resultaten oplevert.

Technische Samenvatting: Wanneer helpen verklaringen bij In-Context Learning?

Probleemstelling

Natuurlijke taalverklaringen (NLEs), of vrije tekst-rationales, worden steeds vaker gebruikt als input om het gedrag van Large Language Models (LLMs) te beïnvloeden tijdens In-Context Learning (ICL). Hoewel NLEs breed worden ingezet om de interpreteerbaarheid en de prestaties van modellen te verbeteren, blijft het onduidelijk hoe verschillende bronnen van NLEs (door mensen geannoteerd, door het model zelf gegenereerd, of extern gegenereerd door een ander LLM) zich verhouden in hun voorspellende bruikbaarheid. Bovendien zijn de rol van de kwaliteit van de verklaring — specifiek de getrouwheid (faithfulness: of een verklaring accuraat de besluitvormingsprocedure van het model reflecteert) — en de robuustheid van ICL tegen semantische mismatch (irrelevante of out-of-distribution rationales) nog onvoldoende onderzocht. Dit gebrek aan systematisch bewijs belemmert het vermogen van praktijkgebruikers om weloverwogen beslissingen te nemen met betrekking tot de nauwkeurigheid-kosten-afweging in met verklaringen verrijkte prompting-pipelines.

Methodologie

De auteurs presenteren een uitgebreide vergelijkende studie die de voorspellende bruikbaarheid van NLEs evalueert over zes diverse redeneer-benchmarks (ECQA, e-SNLI, SNARKS, Boolean Expressions, Causal Judgment en GSM8K) en vier instruction-tuned modellen van verschillende groottes (GPT-4o-mini, Llama-3.1-8B, Llama-3.3-70B en Mistral-7B).

Het experimentele kader omvat vier primaire stappen:

Few-shot Sample Selectie: De studie hanteert een foutgebaseerde selectiestrategie, waarbij $n=6$ samples worden gekozen die door het doelmodel foutief werden geclassificeerd in een zero-shot setting. Deze samples dienen als corrigerende signalen.
NLE Generatie: Drie bronnen van verklaringen worden gegenereerd voor de geselecteerde samples:
- Human-NLEs: Rationales uit bestaande uitlegbare datasets (waar beschikbaar).
- Self-NLEs: Gegenereerd door het doelmodel zelf met behulp van een post-hoc Chain-of-Thought (Ph-CoT) methode. Cruciaal is dat voor foutief geclassificeerde samples, de zelf-verklaringen opnieuw worden gegenereerd onder conditie van het gouden label (gold label) om een eerlijke vergelijking met andere bronnen te garanderen.
- LLM-NLEs: Gegenereerd door externe explainer-modellen (GPT-4o-mini of o3-mini) die geprompt zijn om rationales te bieden voor de correcte input-output paren.
NLE Selectiestrategieën: De studie test hoe het selecteren van voorbeelden op basis van de kwaliteit van de verklaring de prestaties beïnvloedt:
- Random Selectie: Baseline selectie zonder kwaliteitsbeoordeling.
- Most-Faithful Selectie: Het selecteren van self-NLEs met de hoogste scores op basis van twee geautomatiseerde getrouwheidsmetrieken ( $f_{m1}$ uit het LExT-framework en $f_{m2}$ gebaseerd op zelfconsistentie).
- Lowest-Faithful Selectie: Het selecteren van self-NLEs met de laagste scores om de inverse relatie te testen.
- Misalignment Stress Tests: Twee ablatie-instellingen waarbij rationales ofwel willekeurig binnen hetzelfde dataset worden verwisseld (in-domain mismatch), ofwel worden vervangen door rationales van een volledig andere dataset (Out-of-Distribution/OOD) om de robuustheid te testen.
Evaluatie: Prestaties worden gemeten via downstream taak-nauwkeurigheid, waarbij de met verklaringen verrijkte prompts worden vergeleken met baselines (Zero-Shot, standaard Few-Shot zonder rationales, en Zero-Shot Chain-of-Thought).

Belangrijkste Bijdragen

Omvattende Vergelijkende Studie: De eerste grootschalige evaluatie die human, self-gegenereerde en extern door LLM gegenereerde NLEs als in-context rationales vergelijkt over meerdere modellen en redeneertaken.
Modulair Evaluatiekader: Een reproduceerbaar framework dat foutgebaseerde sample-selectie, verklaring-kwaliteitsscore (getrouwheid) en prompt-constructie integreert om de impact van de NLE-bron en selectiestrategie te isoleren.
Analyse van Getrouwheidsmetrieken: Een gedetailleerd onderzoek naar hoe verschillende getrouwheidsmetrieken ( $f_{m1}$ en $f_{m2}$ ) overeenkomen of afwijken, en hoe deze afwijkingen de selectie van voorbeelden en de daaropvolgende modelprestaties beïnvloeden.
Robustness Stress Tests: Introductie van willekeurige en OOD rationale-swaps om de gevoeligheid van ICL voor semantische misalignment te kwantificeren.

Resultaten en Analyse

1. NLE Bron en Voorspellende Bruikbaarheid (RQ1)

Classificatietaken: Op classificatie-achtige benchmarks (ECQA, e-SNLI, SNARKS, Boolean, Causal Judgment) verbetert het toevoegen van NLEs aan few-shot prompts over het algemeen de nauwkeurigheid ten opzichte van standaard Few-Shot prompting.
Bronvergelijking: Extern gegenereerde LLM-NLEs (van GPT-4o-mini of o3-mini) bieden consequent de sterkste en meest stabiele downstream bruikbaarheid, waarbij ze vaak de menselijke geannoteerde rationales evenaren of zelfs overtreffen waar deze beschikbaar zijn. Self-gegenereerde NLEs vertonen meer variabiliteit en blijven over het algemeen achter bij externe bronnen, hoewel ze in specifieke settings competitief kunnen zijn.
Wiskundig Redeneren (GSM8K): De voordelen van NLEs zijn sterker model- en bronafhankelijk. Hoewel Chain-of-Thought (CoT) een sterke baseline blijft voor wiskunde, presteren LLM-gegenereerde NLEs over het algemeen beter dan self-NLEs, hoewel het gat aanzienlijk varieert per modelgrootte.

2. Getrouwheid en Selectie (RQ2)

Discrepantie tussen Metrieken: De twee getrouwheidsmetrieken ( $f_{m1}$ en $f_{m2}$ ) wijken substantieel van elkaar af (gemiddelde disovereenkomst $\sim$ 50%), wat aangeeft dat ze verschillende operationele aspecten van getrouwheid vastleggen. Deze discrepantie heeft een directe invloed op welke self-NLEs worden geselecteerd en hun resulterende bruikbaarheid.
Bruikbaarheid van Getrouwheidsgebaseerde Selectie: Het selecteren van self-NLEs op basis van gemeten getrouwheid levert over het algemeen kleine gemiddelde winsten op, maar is zeer gevoelig voor de specifieke metriek, taak en het model.
- Op GSM8K verbeterde $f_{m1}$ -gebaseerde selectie de prestaties aanzienlijk voor Llama-70B, maar verslechterde het de prestaties voor Mistral-7B.
- $f_{m2}$ -gebaseerde selectie liet gemengde resultaten zien: het verbeterde soms de prestaties en verminderde ze soms ten opzichte van random selectie.
Conclusie: Getrouwheidsgebaseerde selectie is geen universeel betrouwbaar filter; de effectiviteit ervan hangt sterk af van de gekozen metriek en de specifieende combinatie van model en taak.

3. Robuustheid tegen Misalignment (RQ3)

Partiële Robuustheid: Modellen vertonen een gedeeltelijke robuustheid tegen misaligned rationales. Hoewel willekeurig verwisselde in-domain rationales en OOD rationales de prestaties over het algemeen verminderen vergeleken met getrouwheidsgebaseerde selectie, storten de modellen niet volledig in.
Belang van Semantische Alignment: De prestatievermindering waargenomen bij OOD rationales (bijv. het koppelen van een wiskundig probleem aan een sarcasme-verklaring) bevestigt dat semantische alignment tussen de rationale en het voorbeeld een kritieke factor is voor prestatiewinst. In-domain random swaps laten gemengde effecten zien, wat suggereert dat zelfs mismatched in-domain rationales nog steeds enige taakrelevante aanwijzingen kunnen bieden.

Betekenis en Praktische Implicaties

Het paper concludeert dat de NLE-bron, de selectiestrategie en de getrouwheidsmetrieken cruciale ontwerpkeuzes zijn in verklaring-verrijkte ICL.

Praktische Begeleiding: Voor praktijkgebruikers bieden extern gegenereerde LLM-NLEs een praktisch, hoogwaardig alternatief voor dure menselijke annotatie, met name voor classificatietaken. Ze bieden stabiele prestaties zonder dat een complexe getrouwheids-scoring fase nodig is.
Zelf-verklaringen: Hoewel zelf-gegenereerde verklaringen kosteneffectief zijn, is hun bruikbaarheid minder betrouwbaar en zeer gevoelig voor selectiestrategieën. Het filteren van self-NLEs op basis van getrouwheid moet met voorzichtigheid gebeuren, aangezien de keuze van de metriek tot uiteenlopende uitkomsten kan leiden.
Alignment: De studie benadrukt dat semantische alignment cruciaal is; het gebruik van niet-gealigneerde rationales (zelfs uit dezelfde dataset) kan de voordelen van verklaring-verrijkte prompting tenietdoen.
Modelgrootte: Kleinere modellen (SLMs) vertonen meer uitgesproken prestatiewinsten door hoogwaardige externe verklaringen vergeleken met grotere modellen (LLMs), die meer redeneerpatronen lijken te internaliseren en minder afhankelijk zijn van externe ondersteuning.

In algemene zin biedt dit werk empirisch bewijs om de selectie en rapportage van verklaringen in prompting-pipelines te sturen, waarbij wordt benadrukt dat hoewel verklaringen het gedrag van een model kunnen vormen, hun bruikbaarheid afhankelijk is van de bron, kwaliteit en alignment van de rationale.