Technische Samenvatting: Lokale Causale Attributie van Chain-of-Thought Redeneren

Probleemstelling

Het succes van Large Reasoning Models (LRMs) rust zwaar op Chain-of-Thought (CoT) redeneren, waarbij modellen lange sequenties van tussenliggende stappen genereren. De getrouwheid (faithfulness) van deze verbaal geuite CoT's aan het onderliggende latente redeneerproces van het model blijft echter een kritiek punt van zorg. Onderzoek wijst uit dat CoT-tekst soms inputmanipulaties negeert of uitgebreide maar valse rechtvaardigingen construeert, met name wanneer modellen worden gepresenteerd met onjuiste hints. Hoewel eerder werk causale structuren heeft verkend op het niveau van interne representaties (white-box) of distributies over redeneertrajecten (via resampling), is er behoefte aan efficiënte, lokale methoden om de causale relaties binnen een specifiek CoT-spoor te analyseren. Bestaande black-box methoden richten zich vaak op antwoordniveau-attributie of falen om de impact van tussenliggende stappen op daaropvolgende redeneerstappen te verklaren.

Methodologie: AttriCoT

De auteurs stellen AttriCoT voor, een black-box methode voor het schatten van lokale causale attributies binnen een specifiek CoT-spoor. De aanpak is gebaseerd op een Structureel Causaal Model (SCM) en werkt met een lineaire computationele complexiteit ten opzichte van het aantal redeneenheden.

1. Formulering van het Structurele Causale Model

De methode behandelt een CoT-spoor en de bijbehorende input als een sequentie van "eenheden" ($x_1, \dots, x_S$ voor input; $y_1, \dots, y_T$ voor outputstappen en het uiteindelijke antwoord). De kernveronderstelling is een autoregressieve eigenschap waarbij de log-waarschijnlijkheid van het genereren van een eenheid $y_t$ afhangt van de aanwezigheid of afwezigheid van voorafgaande eenheden.

• Scalarisatie: De eenheid $y_t$ wordt gescalariseerd met behulp van de conditionele log-waarschijnlijkheid: $S_t(y_t) = \log P(y_t | x, y_{<t})$.
• Lineaire Structurele Vergelijking: De invloed van voorafgaande eenheden wordt gemodelleerd via een lineaire vergelijking:
  $$S_t(y_t) = \sum_{s=1}^S \alpha_{s,t} I(x_s) + \sum_{\tau=1}^{t-1} \beta_{\tau,t} I(y_\tau) + \gamma_t + u_t$$
  Hierbij zijn $I(\cdot)$ indicatorfuncties (1 als aanwezig, 0 als verwijderd), en de coëfficiënten $\alpha_{s,t}$ en $\beta_{\tau,t}$ vertegenwoordigen de causale belangrijkheid van respectievelijk de input en de voorafgaande output-eenheden.

2. Het AttriCoT Algoritme

Het algoritme schat deze coëfficiënten via drie stappen:

1. Interventie: De methode voert interventies uit door specifieke eenheden uit de sequentie te verwijderen. De standaardstrategie is "Leave-One-Out" (LOO), waarbij er één voor één een eenheid wordt verwijderd ($N = S + T$ interventies). Een verbeterde variant ("AttriCoT-2x") bevat "Leave-Two-Out" interventies.
2. Meting: Voor elke geperturbeerde sequentie voert het model een forward pass uit om de log-waarschijnlijkheden van de resterende output-eenheden te berekenen. De verandering in log-waarschijnlijkheid voor een doel-eenheid $y_t$ dient als de doelwaarde voor regressie.
3. Regressie: Een lineaire regressie (met optionele L1-regularisatie) wordt gefit om de coëfficiënten $\alpha$ en $\beta$ te schatten. Dit proces vereist $O(N)$ forward passes, waardoor de lineaire complexiteit ten opzichte van het aantal eenheden behouden blijft.

3. Evaluatiemetriek

De kwaliteit van de attributie wordt geëvalueerd met behulp van Behavioral Faithfulness, gemeten via de Area Under the Perturbation Curve (AUPC).

• Procedure: Voorafgaande eenheden worden gerangschikt op basis van hun attributiescores. De top $k$ eenheden worden verwijderd, en de resulterende afname in de log-waarschijnlijkheid van de doel-eenheid wordt gemeten.
• Metriek: De AUPC aggregeert deze afnames naarmate $k$ varieert van 0 tot 20% van de voorafgaande eenheden. Een hogere AUPC geeft aan dat de attributiemethode de eenheden correct identificeert die causaal cruciaal zijn voor de generatie van daaropvolgende stappen.

Belangrijkste Bijdragen

1. AttriCoT Framework: De voorstel van een black-box, lokale uitlegmethode die CoT-stappen toeschrijft aan voorafgaande eenheden met behulp van een structureel causaal model, wat slechts een lineair aantal forward passes ($O(S+T)$) vereist.
2. Superieure Getrouwheid: Empirisch bewijs dat AttriCoT attributies produceert die getrouwer zijn aan het gedrag van het model dan alternatieve methoden, inclusief sentence-to-sentence masking (Thought Anchors) en prompting-gebaseerde baselines.
3. Analytische Metrieken: De introductie van metrieken afgeleid van attributiematrices (bijv. score-densiteit, gemiddelde invloed, input-ratio) om structurele verschillen in redeneren tussen modellen en domeinen te onthullen.

Experimentele Resultaten

De methode is geëvalueerd op 5 datasets (GSM8K, MATH500, GPQA-Diamond, MMLU-Pro, ZebraLogic) en 4 redeneermodellen (DS-Llama-8B, DS-Qwen-14B, DS-Qwen3-8B, Qwen3-8B).

• Prestaties: AttriCoT behaalde consistent de hoogste AUPC-scores over alle modellen en datasets. Op GSM8K liet het verbeteringen zien van 15–30% ten opzichte van Thought Anchors en 70–165% ten opzichte van prompting-baselines.
• Efficiëntie: In tegen tegenstelling tot resampling-gebaseerde methoden, vermijdt AttriCoT de hoge computationele kosten van het genereren van nieuwe CoT-trajecten, door te vertrouwen op niet-generatieve forward passes.
• Vergelijkende Analyse:
  • Thought Anchors: Hoewel competitief, presteerden Thought Anchors (die KL-divergentie op token-distributies gebruikt) over het algemeen minder goed dan AttriCo\CoT, waarschijnlijk omdat ze niet de directe impact op de log-waarschijnlijkheid van de gegenereerde eenheid op dezelfde lokale wijze meten.
  • Prompting: Het prompten van LLM's om eenheden te rangschikken (zelfs met In-Context Learning) leverde significant lagere getrouwheidsscores op.
  • White-box Attention: Een exploratieve white-box methode die ingrijpt op attention-gewichten toonde veelbelovendheid, maar overtrof de causale interventiemethoden niet.

Analyse van Redeneerstructuren

Door de attributiematrices te analyseren, observeerden de auteurs duidelijke patronen:

• Invloedsverval (Influence Decay): De belangrijkheid neemt over het algemeen snel af met de afstand tussen stappen, maar vlakt af in een lange staart.
• Input-afhankelijkheid: De "Input Ratio"-metriek onthult dat modellen zwaar leunen op input-eenheden aan het begin van een spoor. Interessant genoeg neemt deze afhankelijkheid vaak weer toe in de midden- tot laat-stadia (rond 50–80% van het spoor), wat suggereert dat modellen terugkeren naar de input-context om antwoorden te verifiëren of te finaliseren.
• Verschillen tussen Modellen: Grotere of gedestilleerde modellen (bijv. DS-Llama-8B) vertoonden hogere score-densiteiten en andere invloeds-patronen vergeleken met niet-gedestilleerde tegenhangers, wat wijst op structurele variaties in hoe zij redeneren verwerken.

Betekenis en Claims

Het artikel stelt dat het behandelen van CoT-sporen als causale objecten een essentieel kader biedt voor transparantie en veiligheid. Door een spoor te deconstrueren in door de gebruiker gedefinieerde eenheden en structurele vergelijkingen te fitten, biedt AttriCoT een computationeel efficiënte manier om te begrijpen waarom specifieke redeneerstappen worden geproduceerd en of intermediaire redenering consequent is.

De auteurs benadrukken dat hun werk zich richt op het "lokale" niveau van causaliteit (specifieke sporen) in plaats van interne mechanismen of traject-distributies. Ze concluderen dat de resulterende attributiematrices suggestieve patronen onthullen, zoals de speciale invloed van initiële en finale stappen en de neiging van modellen om input te herbezoeken tijdens verificatie. De auteurs erkennen beperkingen, waaronder de expressiviteit van lineaire structurele vergelijkingen en de eenvoud van de standaard LOO-interventie, en positioneren toekomstig werk richting het ontwikkelen van computationeel goedkope white-box methoden en het onderzoeken van hoe redeneerstructuren afhangen van modelfamilies en de moeilijkheidsgraad van problemen.