💬 NLP

COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models

COFT is een trainingsvrije methode tijdens het decoderen die maatschappelijke vooroordelen in de chain-of-thought-redenering van grote taalmodellen vermindert door counterfactual logit fusion te combineren met conformale kalibratie, waarbij een significante reductie van vooroordelen wordt bereikt terwijl de taakutiliteit behouden blijft en er geen hertraining van het model nodig is.

Oorspronkelijke auteurs: Arya Fayyazi, Mehdi Kamal, Massoud Pedram

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arya Fayyazi, Mehdi Kamal, Massoud Pedram

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, goed onderlegde bibliothecaris hebt (het Large Language Model) die je helpt bij het schrijven van verhalen, het beantwoorden van vragen of het oplossen van problemen. Deze bibliothecaris heeft miljoenen boeken van het internet gelezen. Hoewel ze ongelooflijk deskundig zijn, hebben ze ook de rommelige, onrechtvaardige stereotypen geabsorbeerd die in die boeken te vinden zijn (zoals denken dat bepaalde banen alleen voor mannen zijn, of aannames maken over mensen op basis van hun naam).

Wanneer je de bibliothecaris vraagt om hardop na te denken (Chain-of-Thought reasoning) voordat ze een antwoord geeft, kunnen ze onbedoeld deze onrechtvaardige stereotypen in hun denkproces fluisteren, zelfs als het uiteindelijke antwoord er goed uitziet.

COFT (Chain of Fair Thought) is een nieuw "verkeersagent"-systeem dat naast de bibliothecaris staat terwijl deze nadenkt. Het verandert de bibliothecaris niet en traint de hersenen niet opnieuw; het observeert simpelweg wat de bibliothecaris gaat zeggen en stuurt hen in real-time voorzichtig in de richting van eerlijkere keuzes.

Hier is hoe COFT werkt, uitgelegd in drie eenvoudige stappen met behulp van een creatieve analogie:

De Analogie: De "Dubbelcheck" Keuken

Stel je voor dat de bibliothecaris een chef is die een complex gerecht bereidt (het antwoord). Soms vraagt het recept om een ingrediënt dat een gevoelig onderwerp vertegenwoordigt (zoals een specifieke nationaliteit of gender). Als de chef dat ingrediënt gebruikt, kan het gerecht een bevooroordeelde smaak krijgen.

COFT werkt als een tweede chef die in een parallelle keuken werkt.

Stap 1: De "Blinddoek" Test (Counterfactual Masking)

Voordat de hoofdchef het volgende woord van het recept opschrijft, maakt COFT een "gemaskeerde" versie van de prompt.

De echte wereld: De prompt zegt: "De verpleegster (die een vrouw is) maakte haar rondes af..."
COFT's Gemaskeerde Versie: Het vervangt het gevoelige woord "vrouw" door een neutrale placeholder zoals [MASK]. Het wordt dan: "De verpleegster (die [MASK] is) maakte haar rondes af..."

Het systeem laat het brein van de bibliothecaris nu twee keer draaien: één keer met het echte woord, en één keer met het gemaskeerde woord. Dit is alsof je de chef vraagt: "Als ik het geslacht niet zou weten, zou je dan nog steeds dit volgende ingrediënt kiezen?"

Stap 2: De "Blender" (Logit Fusion)

Het systeem neemt de twee lijsten met potentiële volgende woorden (één uit de echte prompt, één uit de gemaskeerde prompt) en mengt deze samen.

Als de echte prompt sterk een bevooroordeeld woord suggereert (bijv. "verpleegster" + "zij"), maar de gemaskeerde prompt een neutraal woord suggereert, mengt de "blender" deze.
Dit creëert een compromislijst waarbij de oneerlijke, bevooroordeelde opties worden teruggebracht en de neutrale opties worden versterkt. Het is als het mengen van een sterke, pittige saus met een milde saus om een smaak te krijgen die niet te extreem is.

Stap 3: De "Veiligheidspoort" (Conformal Filtering)

Dit is het meest unieke deel. COFT raadt niet alleen; het gebruikt een wiskundige "veiligheidspoort" genaamd Conformal Prediction.

Stel je een beveiligingsbeambte voor bij de deur van de keuken. Deze beambte heeft een vooraf berekende regel: "Laat alleen ingrediënten door als zowel de echte chef als de gemaskeerde chef ermee instemmen dat ze veilig zijn."
Als een woord alleen populair is in de bevooroordeelde versie, maar onpopulair in de neutrale versie, blokkeert de bewaker het.
Als een woord populair is in beide versies, krijgt het groen licht.

Dit geeft een statistische garantie: COFT kan garanderen: "Wij zijn 95% zeker dat het woord dat we zojuist hebben doorgelaten eerlijk is, ongeacht de gevoelige details in de prompt."

Waarom is dit een grote zaak?

Geen hersenoperatie: De meeste manieren om vooroordelen aan te pakken vereisen het "hertrainen" van het model, wat lijkt op het jarenlang terugsturen van de bibliothecaris naar school om slechte gewoonten afleren. COFT is training-vrij. Het werkt op het model precies zoals het is, nu.
Geen extra hersenen: Sommige methoden vereisen het inhuren van een tweede AI (een classifier) om op vooroordelen te controleren. COFT heeft geen tweede AI nodig; het gebruikt simpelweg de "tweeling" van de bibliothecaris (de gemaskeerde versie) om de controle uit te voeren.
Het behoudt de goede zaken: Het onderzoek laat zien dat terwijl COFT de vooroordelen wegneemt (door ze met ongeveer 30–55% te verminderen), het de kwaliteit van de antwoorden niet verslechtert. De bibliothecaris lost wiskundige problemen op en schrijft nog steeds even goede verhalen als voorheen.
Het is controleerbaar: Omdat COFT voor elk enkel woord een duidelijke, stapsgewijze beslissing neemt, kun je de logs bekijken en precies zien waarom een woord wel of niet is gekozen of afgewezen. Het is geen "black box".

De Kosten

Het enige nadeel is de snelheid. Omdat COFT het model twee keer moet draaien (één keer voor de echte prompt, één keer voor de gemaskeerde prompt) en vervolgens de resultaten moet mengen, duurt het iets langer—ongeveer gelijk aan het toevoegen van één extra stap aan het kookproces (ongeveer 10% langzamer). Het onderzoek stelt echter dat deze kleine kosten opwegen tegen de veiligheid en eerlijkheid die het biedt.

Samenvattend

COFT is een real-time eerlijkheidsfilter die tussen jou en de AI in zit. Het vraagt de AI om zich een wereld voor te stellen waarin gevoelige details (zoals ras of gender) verborgen zijn, vergelijkt die verbeelding met de realiteit, en laat de AI alleen woorden spreken die in beide werelden zinvol zijn. Het zorgt ervoor dat het "denkproces" van de AI eerlijk blijft zonder dat de AI opnieuw getraind hoeft te worden of extra helpers nodig heeft.

Technische Samenvatting: COFT (Counterfactual-Conformal Decoding voor Fair Chain-of-Thought Reasoning)

1. Probleemstelling

Large Language Models (LLMs) die getraind zijn op webcorpora internaliseren en versterken vaak maatschappelijke vooroordelen, met name tijdens de generatie van Chain-of-Thought (CoT). Hoewel de uiteindelijke output van een model neutraal kan lijken, kunnen de tussenliggende redeneerstappen schadelijke associaties token voor token onthullen. Bestaande mitigatiestrategieën kampen met aanzienlijke beperkingen:

Methoden tijdens de training (bijv. fine-tuning, RLHF, data-curatie) zijn computationeel duur, vereisen toegang tot modelgewichten en riskeren de prestaties in algemene domeinen te verslechteren of de vooroordelen van annotatoren te coderen.
Sturing tijdens de inferentie (bijv. het gebruik van hulpclassificaties of expert-ensembles) introduceert latentie, leunt op de blinde vlekken van externe classificaties en mist strikte statistische garanties.
Debiasing in de representatieruimte (bijv. nullspace projectie) past vaak globale, prompt-agnostische correcties toe die legitieme contextafhankelijke semantiek kunnen onderdrukken en er niet in slagen niet-lineaire manifestaties van bias te vatten.

Cruciaal is dat huidige benaderingen geen per-stap statistische garanties bieden tijdens de decoding. Ze specificeren niet welke tokens veilig uitgegeven kunnen worden om het risico op bias onder controle te houden, noch dwingen ze lokale contrafeitelijke pariteit (stabiliteit van de output onder hypothetische veranderingen aan gevoelige segmenten in de prompt) af bij elke decodingstap.

2. Methodologie: COFT

COFT (Chain of Fair Thought) is een training-vrij, inference-only decoding framework ontworpen om contrafeitelijke eerlijkheid af te dwingen voor bevroren causale taalmodellen. Het werkt in drie afzonderlijke stadia:

Fase I: Contrafeitelijke Maskering

COFT construeert een "gemaskeerde" versie van de inputprompt, $\hat{p}$ , door gevoelige segmenten (bijv. gender, ras, religieuze identificatoren) te vervangen door neutrale sentinel-tokens (bijv. [MASK]).

Implementatie: De maskeringsoperator is deterministisch en lengte-behoudend. Als een gevoelig segment in $k$ tokens wordt getokeniseerd, wordt het vervangen door $k$ sentinel-tokens. Dit zorgt ervoor dat de feitelijke en gemaskeerde takken perfect uitgelijnd blijven in absolute positie, wat geldige token-niveau vergelijkingen van logits bij identieke autoregressieve prefixes mogelijk maakt.
Dual-Branch Executie: Het model $f_\theta$ wordt twee keer parallel uitgevoerd: één keer op de feitelijke prompt $p$ en één keer op de gemaskeerde prompt $\hat{p}$ , geconditioneerd op hetzelfde gegenereerde prefix $w_{<t}$ .

Fase II: Contrafeitelijke Logit Fusie

Om attribuut-gestuurde biases te dempen, voert COFT een convexe interpolatie uit van de logit-distributies van de feitelijke ( $z^F_t$ ) en gemaskeerde ( $z^{CF}_t$ ) takken:
$\tilde{z}_t = (1 - \lambda) z^F_t + \lambda z^{CF}_t$
waarbij $\lambda \in [0, 1]$ een instelbare fusieparameter is.

Effect: Deze operatie creëert een geometrische blend van de twee waarschijnlijkheidsdistributies. Theoretisch interpoleert het de log-odds tussen tokens lineair, waardoor het model effectief "blind" wordt voor gevoelige attributen terwijl de hoog-waarschijnlijke regio's van de distributie behouden blijven. Deze fusie vindt plaats vóór de certificering om ervoor te zorgen dat de daaropvolgende filtering stap opereert op distributies die al overeenstemming vertonen over hun regio's met een hoge massa.

Fase III: Dual-Branch Split-Conformal Filtering

COFT past een split-conformal prediction (CP) procedure toe om bij elke stap $t$ een set kandidaat-tokens te certificeren.

Nonconformity Score: Een score wordt gedefinieerd voor elk token $v$ op basis van de minimale waarschijnlijkheid die het bezit in zowel de gefuseerde feitelijke distributie ( $\tilde{\pi}_t$ ) als de gemaskeerde distributie ( $\pi^{CF}_t$ ):
$s_t(v) = 1 - \min\{ \tilde{\pi}_t(v), \pi^{CF}_t(v) \}$
Kalibratie: Offline, op een disjuncte kalibratieset, wordt de $(1-\alpha)$ -kwantiel $q_t$ van deze scores berekend.
Certificering: Tijdens de testtijd wordt een token alleen toegelaten tot de kandidaat-set $C_t$ als de score onder de drempelwaarde ligt ( $s_t(v) \le q_t$ ), wat gelijk staat aan het vereisen dat de token voldoende waarschijnlijkheid heeft in zowel de feitelijke als de gemaskeerde weergave gelijktijdig.
Sampling: Het uiteindelijke token wordt gesampled uit de gefuseerde distributie $\tilde{\pi}_t$ , beperkt tot de gecertificeerde set $C_t$ . Als $C_t$ leeg is (een zeldzame gebeurtenis), wordt een deterministische fallback (bijv. argmax) gebruikt.

3. Belangrijkste Bijdragen

Training-Vrije Fair Decoding: COFT biedt een mechanisme om eerlijkheid af te dwingen op bevroren LMs zonder hertraining, toegang tot gradiënten of hulpclassificaties.
Per-Stap Marginale Garanties: In tegenstelling tot eerdere methoden biedt COFT distributievrije, marginale validiteitsgaranties (onder de aanname van uitwisselbaarheid) voor de stabiliteit van uitgegeven tokens. Het certificeert dat het ware volgende token met een waarschijnlijkheid van ten minste $1-\alpha$ in de kandidaat-set is opgenomen.
Lokale Contrafeitelijke Pariteit: De methode operationaliseert contrafeitelijke eerlijkheid op token-niveau, waarbij wordt gewaarborgd dat het decodingproces stabiel blijft wanneer gevoelige attributen in de prompt hypothetisch worden gewijzigd.
Dual-Branch Architectuur: Door logits te fuseren en gelijktijdige ondersteuning van zowel de feitelijke als de gemaskeerde weergave te vereisen, dempt COFT effectief bias terwijl de taakutiliteit behouden blijft.

4. Experimentele Resultaten

De auteurs evalueerden COFT over zes modellen (waaronder LLaMA-2, Mistral, Mixtral en Qwen2) en meerdere bias-benchmarks (StereoSet, CrowS-Pairs, BBQ, BOLD, Utrecht, COMPAS) naast standaard utiliteitstaken (GSM8K, StrategyQA, ARC-easy, PIQA).

Bias Mitigatie: COFT verminderde standaard bias-metrieken met 30–55% (mediaan 38%) vergeleken met vanilla decoding en presteerde beter dan sterke inference-time baselines (bijv. Self-Debiased Decoding, DExperts, Dual-Threshold Conformal Decoding). Op de BBQ-dataset bereikte de reductie van bias bijvoorbeeld 34–41%.
Utiliteit Behoud: De taaknauwkeurigheid op redeneer- en QA-benchmarks bleef onveranderd binnen de ruismarges van run-naar-run verschillen ( $\le 0,2$ punten). Taalkwaliteitsmetrieken (Perplexity, MAUVE) waren ononderscheidbaar van vanilla decoding.
Efficiëntie: De computationele overhead is bescheiden, gelijk aan één extra gecachte forward pass per stap. De throughput wordt met ongeveer 10–25% verminderd en het piekgeheugengebruik neemt verwaarloosbaar toe ( $\le 0,8$ GB).
Ablaties: Het verwijderen van de logit-fusie resulteerde in een hogere residuele bias, wat bevestigt dat fusie het primaire mechanisme is voor het dempen van attribuut-gestuurde log-odds. Het verwijderen van de dual-branch conformal filter resulteerde in een verlies van contrafeitelijke stabiliteitsgaranties.

5. Betekenis en Claims

Het artikel positioneert COFT als een helder, auditeerbaar pad naar veiligere CoT-generatie. De primaire betekenis ligt in het bieden van verifieerbare veiligheidsgrenzen voor bevroren modellen zonder de prohibitieve rekenkosten van hertraining.

Auditeerbare Veiligheid: Door per-stap marginale garanties te bieden, stelt COFT clinici in staat om modellen in gevoelige domeinen (bijv. gezondheidszorg, juridisch, werving) in te zetten met een gekwantificeerd risicomaat.
Robuustheid: De methode is robuust tegen distributieverschuivingen (waarbij de dekking gracieus degradeert op basis van dichtheidsratio's) en behoudt prestaties over diverse modelarchitecturen.
Beperkingen: De auteurs merken bescheiden op dat algoritmische interventies geen panacee zijn. De garanties rusten op de specifieke definitie van gevoelige attributen en de aanname van uitwisselbaarheid tussen de kalibratie- en testdata. Bovelijk introduceert de dual-branch decoding een latentie tijdens de inferentie, die moet worden afgewogen tegen de voordelen van bias-reductie. De methode is het meest geschikt voor scenario's waarin het redeneertraject zelf auditeerbaar moet zijn.

Samenvattend demonstreert COFT dat het mogelijk is om de maatschappelijke vooroordelen in de redeneertrajecten van LLM's aanzienlijk te verminderen terwijl de utiliteit behouden blijft, met behulp van een lichtgewicht, training-vrije procedure die geworteld is in de conformal prediction theorie.