💬 NLP

Prompt-Counterfactual Explanations for Generative AI System Behavior

Dit artikel stelt een nieuw framework en algoritme voor voor het genereren van prompt-contrafactische verklaringen (PCE's) om te interpreteren hoe specifieke input-prompts de kenmerken van de output van generatieve AI beïnvloeden, waardoor effectievere prompt engineering, red-teaming en naleving van regelgeving mogelijk worden.

Oorspronkelijke auteurs: Sofie Goethals, Foster Provost, João Sedoc

Gepubliceerd 2026-01-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sofie Goethals, Foster Provost, João Sedoc

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar ietwat onvoorspelbare, creatieve assistent hebt. Je geeft het een prompt (een verzoek) en het schrijft een verhaal, een e-mail of een artikel. Soms is het resultaat perfect. Andere keren kan het per ongeluk te boos, te politiek of zelfs onbeleefd klinken.

De grote vraag is: Waarom deed het dat? Was het de manier waarop je vroeg? Was het een specifiek woord dat je gebruikte? Of was het gewoon een willekeurige ingeving?

Dit artikel introduceert een nieuwe tool genaamd Prompt-Counterfactual Explanations (PCE's) om die vraag te beantwoorden. Denk aan een "Wat als?"-machine voor je prompts.

Het Probleem: De "Black Box" en de "Rol van de Dobbelsteen"

Normaal gesproken, wanneer we proberen uit te leggen waarom een AI een beslissing heeft genomen, kijken we naar een eenvoudige input (zoals "Inkomen: $50k") en een eenvoudige output (zoals "Lening Afgewezen"). We kunnen zeggen: "Als je inkomen $60k was geweest, zou je bent goedgekeurd."

Maar Generatieve AI (zoals de chatbots die je kent) is anders.

Het is geen simpele schakelaar: Het zegt niet alleen "Ja" of "Nee"; het schrijft hele paragrafen.
Het is een rol van de dobbelsteen: Zelfs als je exact dezelfde vraag twee keer stelt, kan de AI je twee licht verschillende antwoorden geven. De ene kan beleefd zijn; de andere kan chagrijnig zijn.

Vanwege deze reden werken oude uitlegtools niet. Je kunt niet simpelweg zeggen: "Als je dit woord verwijdert, zal het antwoord veranderen," want de AI kan het antwoord toch al veranderen door louter toeval.

De Oplossing: De "Chef en de Proever"

De auteurs stellen een nieuwe manier voor om hiernaar te kijken. Stel je voor dat de AI een Chef is en er staat een Proever (een classifier) naast hem.

De Chef (De AI): Je geeft de Chef een recept (de prompt). De Chef bereidt een maaltijd (de output).
De Proever: De Proever proeft de maaltijd en geeft een score. Is het te pittig? Is het te politiek? Is het giftig/toxisch?
Het Experiment: De Chef bereidt hetzelfde recept 100 keer. Soms is de maaltijd pittig, soms is dat niet. De Proever geeft een gemiddelde score.

Nu komt de PCE-tool in beeld. Het vraagt: "Wat als we het woord 'pittig' uit het recept verwijderen?"

Het laat de Chef het nieuwe recept 100 keer bereiden.

Scenario A: De maaltijden zijn nog steeds pittig. Oké, het verwijderen van dat woord hielp niet.
Scenario B: De maaltijden zijn nu mild. Succes! De tool heeft ontdekt dat het woord "pittig" de hoofdschuldige was.

Dit proces wordt herhaald voor verschillende woorden of zinnen in je prompt totdat de tool de minimale set van wijzigingen vindt die nodig zijn om te voorkomen dat de AI een "slechte" output produceert (zoals toxiciteit of bias).

Wat ze vonden (De Casestudy's)

Het paper testte dit idee in drie real-world scenario's:

1. De Politieke Bias Test

De Opzet: Ze vroegen de AI om nieuwsberichten te schrijven op basis van koppen.
Het Resultaat: Ze ontdekten dat specifieke woorden in de koppen (zo ofwel "Netanyahu" of "Trump") de AI vaak aanstuurden om nieuwsberichten te schrijven die sterk naar rechts neigden.
De Magie: Toen ze die specifieke woorden vervingen door synoniemen (bijvoorbeeld "rechtszaak" veranderen in "juridische zaak"), werden de verhalen van de AI veel neutraler. Het bewees dat de woordkeuze in de prompt de bias aanstuurde, en niet alleen de interne hersenen van de AI.

2. De Toxiciteit Test

De Opzet: Ze probeerden prompts te vinden die de AI onbeleefde of haatdragende dingen lieten zeggen.
Het Resultaat: Zelfs met zeer veilige prompts maakte de AI af en toe een foutje. De PCE-tool identificeerde de kleine, specifieke woorden die de AI richting toxiciteit duwden.
De Magie: Dit helpt "Red Teamers" (mensen die proberen het systeem te breken om gebreken te vinden). In plaats van willekeurige woorden te raden om de AI te breken, kunnen ze de PCE-tool gebruiken om de exacte "zwakke plekken" in de taal te vinden die ervoor zorgen dat de AI faalt, wat het systeem veiliger maakt.

3. De Sentiment Test

De Opzet: Ze vroegen de AI om verhalen te schrijven op basis van lange, complexe prompts.
Het Resultaat: Soms schreef de AI erg droevige of boze verhalen.
De Magie: De tool keek niet alleen naar losse woorden, maar naar hele zinnen. Het vond dat het verwijderen van slechts één of twee specifieke zinnen uit de prompt een droevig verhaal in een blij verhaal veranderde. Dit toonde aan dat de tool complexe, lange instructies kan afhandelen, en niet alleen korte zinnen of woorden.

Waarom dit ertoe doet

Het paper betoogt dat we deze AI-systemen niet blindelings kunnen vertrouwen. We moeten weten waarom ze op een bepaalde manier gedrag vertonen.

Voor Ontwikkelaars: Het is als een debug-tool. Als de AI onbeleefd is, hoef je niet te gissen; je kunt precies zien welk woord in je prompt de oorzaak was.
Voor Veiligheid: Het helpt organisaties om hun AI te "stress testen" om te controleren of het niet per ongeluk iets schadelijks zegt.
Voor Controle: Het geeft mensen een manier om de AI te "sturen" door de prompt aan te passen, zodat de output binnen de veilige en gewenste grenzen blijft.

Kortom, dit paper geeft ons een vergrootglas om naar het "recept" te kijken dat we aan de AI geven, wat ons helpt precies te begrijpen welke ingrediënten ervoor zorgen dat de maaltijd niet smaakt zoals het hoort, zodat we het recept kunnen aanpassen voordat we het serveren.

Technische Samenvatting: Prompt-Counterfactual Verklaringen voor het Gedrag van Generatieve AI-systemen

Probleemstelling

Naarmate generatieve AI-systemen, met name Large Language Models (LLMs), worden geïntegreerd in kritieke toepassingen in de echte wereld, is er een cruciale behoefte om niet alleen te begrijpen wat deze systemen genereren, maar ook waarom. Traditionele Explainable AI (XAI)-technieken, specifiek counterfactual-verklaringen (CFEs), zijn ontworpen voor voorspellende systemen die discrete, deterministische beslissingen produceren. Het direct toepassen hiervan op generatieve AI is echter onhaalbaar vanwege vier fundamentele uitdagingen:

Outputcomplexiteit: Generatieve outputs zijn complex, ongestructureerd en hoogdimensionaal (bijv. volledige documenten), in tegenstelling tot de eendimensionale, discrete outputs van traditionele classificatiesystemen.
Inputstructuur: Standaard CFE-methoden behandelen inputs vaak als ongeordende feature-sets (bijv. bag-of-words), waarbij de sequentiële en linguïstische structuur die cruciaal is voor LLM's wordt genegeerd.
Vervangingsstrategie: Het definiëren van effectieve "counterfactuals" vereist flexibele strategieën voor het modificeren van input-"onderdelen" (bijv. masking, synoniemvervanging), wat per context varieert.
Niet-determinisme: Generatieve AI is stochastisch; identieke prompts kunnen verschillende outputs opleveren. Traditionele CFEs gaan uit van een deterministische mapping van input naar output, waardoor de vraag "welke verandering verandert de output?" ongedefinieerd is zonder een probabilistisch kader.

Het artikel richt zich op een specifieke subklasse van generatieve AI-gedragingen: of de output een specifieke eigenschap vertoont (bijv. toxiciteit, politieke bias, negatieve sentiment) zoals onthuld door een downstream classifier. Het doel is om minimale wijzigingen in de input-prompt te identificeren die de waarschijnlijkheid of de geaggregeerde score van deze eigenschap veranderen.

Methodologie: Het PCE-framework

De auteurs stellen een framework voor Prompt-Counterfactual Explanations (PCEs) voor die CFEs aanpast aan niet-deterministische generatieve systemen.

Kernconcept

Het framework behandelt het generatieve AI-systeem en een downstream classifier als één enkele pijplijn. Een PCE wordt gedefinieerd als een minimale set input-elementen (woorden, zinnen of frasen) waarvan de verwijdering of modificatie ervoor zorgt dat de geaggregeerde score van de downstream classifier onder een door de gebruiker gedefinieerde drempelwaarde zakt.

Het PCE-1 Algoritme

Het artikel introduceert een rechtlijnig algoritme (PCE-1) om deze verklaringen te genereren:

Initiële Scoring: De oorspronkelijke prompt $S$ wordt door het generatieve model $G$ gestuurd om $N$ samples te produceren. Een downstream classifier $C_m$ evalueert deze samples, en een aggregatiefunctie $f_{Cm}$ berekent een score (bijv. gemiddeld sentiment, proportie toxische outputs). Als deze score de drempelwaarde overschrijdt, gaat het proces door.
Element-niveau Sensitiviteit: Het algoritme iterereert door de elementen van de prompt (bijv. woorden). Voor elk element $e_i$ creëert het een gemodificeerde prompt $S \setminus e_i$ (meestal door het element te maskeren met underscores) en voert het het generatie- en classificatieproces opnieuw uit.
Constructie van de Verklaring:
- Enkele Elementen: Als het maskeren van een enkel element de geaggregeerde score onder de drempelwaarde brengt, wordt dit geregistreerd als een single-element verklaring.
- Multi-Element Subsets: Het algoritme construeert subsets van elementen die nog niet als single-element verklaringen zijn geïdentificeerd. Deze worden gesorteerd op cardinaliteit (voorkeur voor kleinere sets) en score-impact. Het test subsets om te zien of de verwijdering ervan de score onder de drempelwaarde brengt.
- Terminatie: De zoektocht stopt wanneer een doel aantal verklaringen is gevonden of wanneer een tijdslimiet is bereikt.

Het framework is flexibel wat betreft de definitie van de geaggregeerde score (gemiddelde, mediaan, waarschijnlijkheid van extreme gebeurtenissen) en de drempelwaarde, waardoor het kan worden aangepast aan verschillende risicoprofielen (bijv. het minimaliseren van gemiddelde toxiciteit versus het garanderen van nul toxische outputs).

Belangrijkste Bijdragen

Systematische Adaptatie: Dit is de eerste systematische adaptatie van standaard counterfactual-verstanden naar generatieve AI-systemen met downstream classifiers.
Oplossing voor Uitdagingen: Het artikel beschrijft expliciet de vier uitdagingen bij het toepassen van CFEs op generatieve AI en stelt een framework voor dat elk punt adresseert (via de downstream classificatie workflow, flexibele input-units, masking-strategieën en probabilistische scoring).
Algoritmische Implementatie: De presentatie van het PCE-1 algoritme, een proof-of-concept methode voor het genereren van prompt-counterfactuals.
Empirische Validatie: Demonstratie van de productie van PCE's over drie verschillende casestudy's met verschillende output-kenmerken en datadistributies.

Resultaten: Drie Casestudy's

De auteurs evalueerden het framework met behulp van LLaMA 3.1-8B en OLMo-2-0425-1B over drie domeinen:

1. Detectie van Politieke Neigingen

Setup: LLM's genereerden nieuwsberichten vanuit koppen; een classifier bepaalde de politieke neiging (Links/Centrum/Rechts).
Bevindingen: PCE's identificeerden specifieke woorden in koppen (bijv. "Netanyahu," "IMF," "Trump") die, wanneer deze gemaskeerd werden, de waarschijnlijkheid van een rechts-georiënteerde output aanzienlijk verminderden.
Generaliseerbaarheid: Koppen die de top 20 woorden bevatten die door PCE's zijn geïdentificeerd, waren significant waarschijnlijker om een bevooroordeelde output te genereren (49,8%) vergeleken met willekeurige koppen (38,3%).
Toepassing: Het vervangen van deze geïdentificeerde woorden door synoniemen in het proces van prompt engineering verminderde de rechts-georiënteerde score van 0,498 naar 0,314, wat het nut van PCE's voor bias-bewuste prompt engineering aantoont.

2. Toxiciteit Voorspelling

Setup: Gebruikmakend van de RealToxicityPrompts dataset, richtte de studie zich op zeldzame toxische generaties.
Bevindingen: PCE's identificeerden specifieke trigger-woorden (bijv. "Confederate," "Bannon") die, wanneer gemaskeerd, de frequentie van toxische outputs verminderden.
Toepassing (Red-Teaming): Het genereren van nieuwe prompts met woorden geëxtraheerd uit PCE's resulteerde in een hoger percentage toxische output (3,0%) vergeleken met willekeurige woordselectie (2,3%), wat suggereert dat PCE's als effectieve inspiratiebronnen kunnen dienen voor red-teaming en het ontdekken van kwetsbaarheden.

3. Sentiment Classificatie

Setup: LLM's genereerden verhalen vanuit langere prompts; het doel was om negatief sentiment te verminderen.
Bevindingen: Het framework identificeerde succesvol specifieke zinnen binnen lange prompts die negatief sentiment aanstuurden. Het maskeren van deze zinnen verminderde het gemiddelde negatieve sentiment vaak tot bijna nul.
Toepassing: Het parafraseren van de door PCE's geïdentificeerde specifieke zinnen (in plaats van willekeurige zinnen) resulteerde in een grotere reductie van negatief sentiment (0,28 vs. 0,31 voor willekeurige parafrasering), wat de precisie van de verklaringen valideert.

Betekenis en Claims

Het artikel positioneert PCE's als een fundamentele stap naar prompt-gerichte interpreteerbaarheid in generatieve AI. De auteurs beweren dat:

PCE's een noodzakelijke capaciteit bieden voor transparantie en verantwoording naarmate deze modellen worden toegepast in taken met hogere belangen.
Ze een praktisch hulpmiddel bieden voor prompt engineering, waardoor ontwikkelaars ongewenste output-kenmerken kunnen onderdrukken door het causale verband tussen specifieke prompt-elementen en modelgedrag te begrijpen.
Ze red-teaming inspanningen verbeteren door specifieke input-features aan te wijzen die schadelijk gedrag triggeren, wat gerichtere stress-testen mogelijk maakt.
Cruciaal is dat het werk onderscheid maakt tussen technische correctheid (het identificeren van input-elementen die de output-kenmerken causaal beïnvloeden) en contextuele bruikbaarheid (hoe belanghebbenden deze informatie gebruiken). Het artikel stelt het eerste als een vereiste voor het laatste vast.

De auteurs erkennen beperkingen, waarbij zij opmerken dat PCE's kunnen falen in het verklaren van biases die inherent zijn aan de training van het model en die blijven bestaan ongeacht prompt-wijzigingen, en dat de computationele kosten voor het genereren van PCE's hoog kunnen zijn voor grote prompts. Zij suggereren toekomstig werk gericht op het optimaliseren van de zoekefficiëntie en het uitbreiden van het framework naar andere modaliteiten (beeld, audio) en gepersonaliseerde LLM-contexten.