🤖 machine learning

Barriers to Counterfactual Credit Attribution for Autoregressive Models

Dit artikel onderzoekt de uitdagingen bij het implementeren van counterfactuele krediettoewijzing (CCA) in autoregressieve generatieve modellen, en toont aan dat CCA niet autoregressief composeert en dat het aanpassen van bestaande modellen om te voldoen aan CCA een querycomplexiteit vereist die exponentieel is in de uitvoerlengte.

Oorspronkelijke auteurs: Aloni Cohen, Chenhao Zhang

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aloni Cohen, Chenhao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die net een heerlijk nieuw soeprecept heeft bedacht. In de oude tijden, als je een geheim kruid van een specifieke boer gebruikte, zou je vanzelf zeggen: "Deze soep smaakt geweldig dankzij het kruid van Boer Jan." Je geeft de eer waar die toe komt.

Maar stel je nu voor dat je een magische "Soepbot" hebt. Je voert een lijst met ingrediënten in (een database), en de bot maakt er soep van. Het probleem is dat de bot een black box is. Hij mengt alles zo grondig dat je niet kunt zeggen welk specifiek ingrediënt ervoor zorgt dat de soep zo smaakt. Als je niet kunt zeggen wat de soep heeft beïnvloed, kun je de boeren geen eer geven. Dit artikel stelt dat we een manier nodig hebben om de bot te dwingen te zeggen: "Ik heb het kruid van Boer Jan gebruikt," telkens als dat kruid echt essentieel was voor het recept.

De auteurs noemen dit "Counterfactual Credit Attribution" (CCA). Het is een ingewikkelde manier om te zeggen: "Als we het kruid van Boer Jan van de lijst halen, smaakt de soep dan nog steeds hetzelfde?" Als het antwoord "Nee, het zou anders smaken" is, dan moet de bot Boer Jan de eer geven.

Het artikel onderzoekt twee natuurlijke manieren om deze "Eer-gevendende Bot" te bouwen en komt tot de conclusie dat beide op een enorme muur lopen.

1. De "Stap-voor-stap" Aanpak (Autoregressieve Modellen)

De meeste moderne AI (zoals de AI die dit samenvat schrijft) werkt als een persoon die een verhaal woord voor woord schrijft. Het kiest een woord, dan het volgende, dan het volgende.

Het Idee: Misschien kunnen we de bot gewoon leren eer te geven voor elk afzonderlijk woord dat hij kiest. Als hij een woord kiest dat afhankelijk is van het kruid van Boer Jan, geeft hij hem de eer. Dan voegen we al die woorden gewoon samen om de volledige soep te maken.

Het Probleem: Het artikel bewijst dat dit niet werkt.

De Analogie: Stel je voor dat je een toren bouwt van blokken. Je hebt een regel: "Elke keer als je een blok plaatst, moet je controleren of het stabiel is." Je volgt deze regel perfect voor elk afzonderlijk blok. Maar als je een stap terug doet, stort de hele toren in.
De Realiteit: De auteurs tonen aan dat zelfs als de bot perfect is in het geven van eer voor elk afzonderlijk woord dat hij genereert, het uiteindelijke verhaal (de volledige reeks) mogelijk nog steeds faalt om de eer correct te geven. De "eer" gaat verloren of wordt vervormd naarmate de woorden zich opstapelen. Het is alsof je probeert een stabiel huis te bouwen door alleen de stabiliteit van individuele bakstenen te controleren; de structuur als geheel kan nog steeds instorten.

2. De "Retrofit" Aanpak (Eer Later Toevoegen)

Het Idee: Wat als we al een bot hebben die geweldig is in het maken van soep, maar slecht in het geven van eer? Kunnen we er dan gewoon een "omhulsel" omheen plaatsen? Dit omhulsel zou toekijken hoe de bot soep maakt en achteraf beslissen: "Oké, ik ga een notitie toevoegen met 'Eer: Boer Jan'."

Het Probleem: Het artikel bewijst dat dit rekenkundig onmogelijk is (of in ieder geval zo moeilijk dat het net zo goed onmogelijk kan worden genoemd).

De Analogie: Stel je voor dat je een afgesloten kluis hebt die een willekeurige code van 100 cijfers genereert. Je wilt een label aan de kluis toevoegen met de tekst: "Deze code werd beïnvloed door het getal 7." Om dit te doen, moet je in de kluis kijken om te zien of het getal 7 daadwerkelijk is gebruikt.
De Realiteit: De auteurs tonen aan dat om uit te vinden of de bot echt een specifiek stukje data (zoals het kruid van Boer Jan) nodig had om zijn output te genereren, je de bot de soep biljoenen op biljoenen keren zou moeten laten genereren (exponentieel veel queries) om zeker te zijn. Het is alsof je probeert een enkel specifiek zandkorreltje op een strand te vinden door elk korreltje één voor één op te graven. Zelfs als je alleen een "voldoende goede" gok wilt, zegt de wiskunde dat je toch bijna het hele strand moet opgraven.

De Grote Conclusie

Het artikel concludeert dat we momenteel met een groot obstakel te maken hebben.

We kunnen AI die eer geeft niet zomaar bouwen door ervoor te zorgen dat het op elk klein stapje (woord voor woord) eer geeft.
We kunnen bestaande AI niet eenvoudigweg repareren door later een laag voor het geven van eer toe te voegen zonder een onmogelijke hoeveelheid werk te verrichten.

De auteurs wijzen ook op een vreemd neveneffect: Om te voldoen aan de strenge regels van dit "Eersysteem", kan de bot gedwongen worden eer te geven aan ingrediënten die de soep nauwelijks hebben veranderd. Het is alsof je gedwongen wordt een boer te bedanken voor een enkel zoutkorreltje dat de smaak eigenlijk niet heeft veranderd, alleen omdat de wiskunde zegt dat je het misschien nodig had.

Kortom: Het maken van AI die betrouwbaar en efficiënt eer geeft aan zijn bronnen is veel moeilijker dan we dachten, en de twee meest voor de hand liggende oplossingen werken niet.

Technische Samenvatting: Belemmeringen voor Contrfactuele Krediettoewijzing voor Autoregressieve Modellen

Probleemstelling

Generatieve AI vertroebelt het verband tussen invoer en uitvoer, wat de praktijk van het toekennen van krediet aan eerdere werken bemoeilijkt. Hoewel Contrfactuele Krediettoewijzing (CCA) recentelijk door Livni et al. [2024] werd geïntroduceerd als een technische voorwaarde voor leeralgoritmen (een versoepeling van differentieel privacy die stabiliteit vereist ten opzichte van niet-toegewezen invoer), blijft de toepassing ervan op generatieve modellen onontgonnen terrein.

Dit artikel start het onderzoek naar CCA voor autoregressieve taalmodellen. Specifiek wordt de uitdaging aangepakt om krediet toe te kennen aan een dataset op het moment van implementatie (bijvoorbeeld een RAG-database of voorbeelden voor in-context learning) in plaats van aan de trainingsdataset. Het doel is het ontwerpen van modellen die zowel een gegenereerde sequentie als een kredietset $C \subseteq S$ uitvoeren, waarbij voldaan wordt aan de CCA-voorwaarde: als een document $s_i$ niet wordt toegewezen, moet de uitvoerverdeling ononderscheidbaar zijn van de verdeling waarbij $s_i$ uit de invoer was verwijderd.

Methodologie

De auteurs onderzoeken twee natuurlijke benaderingen voor het construeren van CCA-conforme autoregressieve modellen:

Autoregressieve Samenstelling: Het ontwerpen van een CCA-conform voorspeller voor het volgende token en het rollen daarvan uit om sequenties te genereren, waarbij de kredietsets van individuele tokens worden geaggregeerd.
Aanpassing (Retrofitting): Het nemen van een bestaand niet-toewijzend model en het omhullen daarvan met een algoritme dat een kredietset aan de uitvoer toevoegt, terwijl de oorspronkelijke generatieverdeling behouden blijft.

Het artikel maakt gebruik van theoretische analyse, inclusief tegenvoorbeelden, ondergrensbewijzen en argumenten over orakelcomplexiteit, om de haalbaarheid van deze benaderingen te evalueren.

Belangrijkste Bijdragen en Resultaten

1. Niet-Samenstelling van Autoregressieve CCA

Het eerste belangrijke resultaat daagt de standaardbenadering aan die wordt gebruikt voor Differentieel Privacy (DP) in LLM's, waarbij een privé-voorspeller voor het volgende token autoregressief wordt samengesteld om end-to-end privacy te garanderen.

Vinding: CCA samenstelt niet autoregressief.
Stelling 4.2: De auteurs construeren een tegenvoorbeeld dat aantoont dat voor elke $\epsilon \ge 0$ en $\delta < 1$ , er een voorspeller voor het volgende token $\tilde{M}$ bestaat die voldoet aan de strengste $(0,0)$ -CCA-voorwaarde, maar waarvan de autoregressieve uitvoer $G_{\tilde{M}}$ niet voldoet aan $(\epsilon, \delta)$ -CCA.
Stelling 4.3: Een algemene ondergrens wordt bewezen voor de CCA-parameter $\epsilon'$ van een uitvoer gegenereerd door een $\epsilon$ -CCA-voorspeller. Tegenintuïtief kan de ondergrens voor de $\epsilon'$ van de uitvoer toenemen naarmate de $\epsilon$ van de basisvoorspeller naar 0 nadert (waardoor deze "beter" wordt in toewijzing), waardoor de samenstellingsgarantie zwakker wordt. Dit staat in schril contrast met DP, waar samenstelling goed begrepen en beheersbaar is.

2. Onhaalbaarheid van CCA-Aanpassing

De tweede benadering, aanpassing, houdt in dat een laag voor krediettoewijzing via black-box-toegang wordt toegevoegd aan een bestaand model.

Vinding: CCA-aanpassing is computationeel onhaalbaar in het slechtst mogelijke geval.
Stelling 5.5: De auteurs bewijzen dat elk algoritme dat probeert een model aan te passen om $(\epsilon, 0)$ -CCA te zijn (met $\delta=0$ ) en credit-optimaal (het verwachte aantal toegewezen items minimaliseren), exponentieel veel queries vereist naar het basismodel in termen van de uitvoerlengte $\ell$ .
Moeilijkheidsconstructie: Ze construeren een familie van modellen $\{M_z\}$ geïndexeerd door een verborgen string $z \in \{0,1\}^\ell$ . Om te voldoen aan CCA moet het aanpassingsalgoritme $z$ effectief identificeren. Waar het vinden van $z$ uit het basismodel $\Omega(2^\ell)$ queries vereist, vereist het vinden van $z$ uit een optimale CCA-aanvulling slechts polynoomiale queries. Deze kloof impliceert dat elk black-box-aanpassingsalgoritme exponentiële queries naar het basismodel moet doen om de benodigde benadering te bereiken.
Paradox van Verdwijnende Impact: De analyse onthult een conceptueel probleem: de geconstrueerde modellen zijn functioneel ononderscheidbaar met betrekking tot het invoerdocument (totale variatieafstand verdwijnt als $2^{-\ell}$ ), toch is de optimale CCA-aanvulling vereist om het document met een constante waarschijnlijkheid $\gamma > 0$ krediet toe te kennen. Dit suggereert dat strikte CCA-definities toewijzing kunnen forceren voor invoer met verwaarloosbare impact.

Betekenis en Beweringen

Het artikel claimt het eerste te zijn dat CCA formeel bestudeert in de context van generatieve autoregressieve modellen. De primaire betekenis ligt in het identificeren van fundamentele belemmeringen voor twee intuïtieve strategieën voor het implementeren van krediettoewijzing:

Ontkoppeling van DP: In tegenstelling tot Differentieel Privacy, stelt CCA zich niet samen onder autoregressieve generatie. Dit impliceert dat het simpelweg trainen van een "krediet-toewijzende" voorspeller voor het volgende token onvoldoende is om CCA te garanderen voor de volledige gegenereerde tekst.
Computationele Grenzen: Het aanpassen van bestaande modellen om te voldoen aan CCA is computationeel prohibitief (exponentiële querycomplexiteit) onder standaard black-box-aannames en strikte optimaliteitsvereisten.

De auteurs concluderen dat deze resultaten de moeilijkheid benadrukken om krediettoewijzing voor generatieve AI te formaliseren. Zij suggereren dat het versoepelen van de definitie (bijvoorbeeld door $\delta > 0$ toe te staan of de eis los te laten dat het aangepaste model de oorspronkelijke uitvoerverdeling exact behoudt) noodzakelijk kan zijn om haalbare oplossingen te bereiken, hoewel dergelijke versoepelingen worden overgelaten aan toekomstig werk. Het artikel stelt geen nieuwe algoritmen voor of experimentele validaties, maar schetst eerder de theoretische grenzen van het huidige CCA-kader wanneer dit wordt toegepast op autoregressieve generatie.