🤖 machine learning

Barriers to Counterfactual Credit Attribution for Autoregressive Models

Cet article examine les défis liés à la mise en œuvre de l'attribution de crédit contrefactuelle (CCA) dans les modèles génératifs autorégressifs, démontrant que la CCA ne se compose pas de manière autorégressive et que l'adaptation des modèles existants pour satisfaire la CCA nécessite une complexité de requête exponentielle par rapport à la longueur de la sortie.

Auteurs originaux : Aloni Cohen, Chenhao Zhang

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aloni Cohen, Chenhao Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un chef qui vient d'inventer une nouvelle soupe délicieuse. Autrefois, si vous utilisiez une épice secrète provenant d'un fermier spécifique, vous diriez naturellement : « Cette soupe a un goût merveilleux grâce à l'épice du fermier John. » Vous attribuez le mérite là où il est dû.

Mais maintenant, imaginez que vous possédiez un « Robot Soupe » magique. Vous lui donnez une liste d'ingrédients (une base de données), et il prépare une soupe. Le problème, c'est que le Robot est une boîte noire. Il mélange tout si soigneusement que vous ne pouvez pas déterminer quel ingrédient spécifique a donné à la soupe son goût. Si vous ne pouvez pas dire ce qui a influencé la soupe, vous ne pouvez pas attribuer le mérite aux fermiers. Cet article soutient que nous avons besoin d'un moyen de forcer le Robot à dire : « J'ai utilisé l'épice du fermier John », chaque fois que cette épice était réellement essentielle à la recette.

Les auteurs appellent cela l'« Attribution de mérite contrefactuelle » (Counterfactual Credit Attribution, CCA). C'est une manière élégante de dire : « Si nous retirions l'épice du fermier John de la liste, la soupe aurait-elle toujours le même goût ? » Si la réponse est « Non, elle aurait un goût différent », alors le Robot doit attribuer le mérite au fermier John.

L'article explore deux façons naturelles de construire ce « Robot attribuant le mérite » et constate que les deux se heurtent à un mur massif.

1. L'approche « Étape par étape » (Modèles autoregressifs)

La plupart des IA modernes (comme celle qui rédige ce résumé) fonctionnent comme une personne écrivant une histoire mot par mot. Elle choisit un mot, puis le suivant, puis le suivant.

L'idée : Peut-être pouvons-nous simplement apprendre au Robot à attribuer le mérite à chaque mot individuel qu'il choisit. S'il choisit un mot qui dépend de l'épice du fermier John, il lui attribue le mérite. Ensuite, nous assemblons simplement tous ces mots pour former la soupe complète.

Le problème : L'article prouve que cela ne fonctionne pas.

L'analogie : Imaginez que vous construisez une tour avec des blocs. Vous avez une règle : « Chaque fois que vous posez un bloc, vous devez vérifier s'il est stable. » Vous suivez cette règle parfaitement pour chaque bloc individuel. Mais lorsque vous reculez, toute la tour s'effondre.
La réalité : Les auteurs montrent que même si le Robot est parfait pour attribuer le mérite à chaque mot individuel qu'il génère, l'histoire finale (la séquence entière) peut échouer à attribuer le mérite correctement. Le « mérite » se perd ou se déforme à mesure que les mots s'accumulent. C'est comme essayer de construire une maison stable en ne vérifiant que la stabilité de chaque brique individuelle ; la structure dans son ensemble peut quand même s'effondrer.

2. L'approche « Rétrofit » (Ajouter le mérite plus tard)

L'idée : Et si nous avions déjà un Robot excellent pour faire la soupe mais terrible pour attribuer le mérite ? Pouvons-nous simplement lui ajouter un « enveloppe » ? Cette enveloppe observerait le Robot préparer la soupe et, après coup, déciderait : « D'accord, je vais ajouter une note disant : 'Mérite : Fermier John'. »

Le problème : L'article prouve que c'est computationnellement impossible (ou du moins, si difficile que cela équivaut à l'impossible).

L'analogie : Imaginez que vous ayez un coffre-fort verrouillé qui génère un code aléatoire de 100 chiffres. Vous voulez ajouter une étiquette au coffre-fort disant : « Ce code a été influencé par le chiffre 7. » Pour ce faire, vous devez regarder à l'intérieur du coffre-fort pour voir si le chiffre 7 a réellement été utilisé.
La réalité : Les auteurs montrent que pour déterminer si le Robot avait vraiment besoin d'une pièce de données spécifique (comme l'épice du fermier John) pour générer sa sortie, vous devriez demander au Robot de préparer la soupe des billions de fois (un nombre exponentiel de requêtes) pour être certain. C'est comme essayer de trouver un seul grain de sable spécifique sur une plage en creusant chaque grain un par un. Même si vous voulez juste une « estimation suffisante », les mathématiques indiquent que vous devez quand même creuser presque toute la plage.

La grande conclusion

L'article conclut que nous faisons face actuellement à un obstacle majeur.

Nous ne pouvons pas simplement construire une IA attribuant le mérite en la rendant attributrice de mérite à chaque petite étape (mot par mot).
Nous ne pouvons pas facilement corriger les IA existantes en ajoutant une couche attribuant le mérite plus tard sans effectuer un travail impossible.

Les auteurs soulignent également un effet secondaire étrange : Pour satisfaire les règles strictes de ce « Système de mérite », le Robot pourrait être contraint d'attribuer le mérite à des ingrédients qui ont à peine changé le goût de la soupe. C'est comme être forcé de remercier un fermier pour un seul grain de sel qui n'a pas réellement changé le goût, simplement parce que les mathématiques disent que vous auriez peut-être eu besoin de lui.

En bref : Créer une IA qui attribue de manière fiable et efficace le mérite à ses sources est beaucoup plus difficile que nous ne le pensions, et les deux solutions les plus évidentes ne fonctionnent pas.

Résumé technique : Obstacles à l'attribution de crédit contrefactuelle pour les modèles autoregressifs

Énoncé du problème

L'IA générative obscurcit le lien entre les entrées et les sorties, compliquant la pratique de l'attribution de crédit aux travaux antérieurs. Bien que l'attribution de crédit contrefactuelle (CCA) ait été récemment introduite par Livni et al. [2024] comme une condition technique pour les algorithmes d'apprentissage (un relâchement de la confidentialité différentielle exigeant une stabilité par rapport aux entrées non créditées), son application aux modèles génératifs reste inexplorée.

Ce document initie l'étude de la CCA pour les modèles de langage autoregressifs. Plus précisément, il aborde le défi de l'attribution de crédit à un jeu de données au moment du déploiement (par exemple, une base de données RAG ou des exemples d'apprentissage en contexte) plutôt qu'au jeu de données d'entraînement. L'objectif est de concevoir des modèles qui produisent à la fois une séquence générée et un ensemble de crédits $C \subseteq S$ , satisfaisant la condition CCA : si un document $s_i$ n'est pas crédité, la distribution de sortie doit être indiscernable de la distribution où $s_i$ aurait été exclu de l'entrée.

Méthodologie

Les auteurs examinent deux approches naturelles pour construire des modèles autoregressifs conformes à la CCA :

Composition autoregressive : Concevoir un prédicteur de prochain jeton conforme à la CCA et l'exécuter pour générer des séquences, en agrégeant les ensembles de crédits des jetons individuels.
Rétrofitage : Prendre un modèle existant ne créditant pas et l'entourer d'un algorithme qui ajoute un ensemble de crédits à ses sorties tout en préservant la distribution de génération originale.

Le document utilise une analyse théorique, incluant des contre-exemples, des preuves de bornes inférieures et des arguments de complexité d'oracle, pour évaluer la faisabilité de ces approches.

Contributions et résultats clés

1. Non-composition de la CCA autoregressive

Le premier résultat majeur remet en question l'approche standard utilisée pour la confidentialité différentielle (DP) dans les LLM, où un prédicteur de prochain jeton privé est composé de manière autoregressive pour garantir une confidentialité de bout en bout.

Constat : La CCA ne se compose pas de manière autoregressive.
Théorème 4.2 : Les auteurs construisent un contre-exemple montrant que pour tout $\epsilon \ge 0$ et $\delta < 1$ , il existe un prédicteur de prochain jeton $\tilde{M}$ qui satisfait la condition $(0,0)$ -CCA la plus stricte, pourtant son déploiement autoregressif $G_{\tilde{M}}$ ne satisfait pas la condition $(\epsilon, \delta)$ -CCA.
Théorème 4.3 : Une borne inférieure générale est prouvée pour le paramètre CCA $\epsilon'$ d'un déploiement généré par un prédicteur $\epsilon$ -CCA. Contre-intuitivement, à mesure que le $\epsilon$ du prédicteur de base tend vers 0 (devenant « meilleur » pour l'attribution), la borne inférieure sur le $\epsilon'$ du déploiement peut augmenter, rendant la garantie de composition plus faible. Cela contraste fortement avec la DP, où la composition est bien comprise et gérable.

2. Infeasibilité du rétrofitage CCA

La deuxième approche, le rétrofitage, consiste à ajouter une couche d'attribution de crédit à un modèle préexistant via un accès boîte noire.

Constat : Le rétrofitage CCA est computationalement impossible dans le pire des cas.
Théorème 5.5 : Les auteurs prouvent que tout algorithme tentant de rétrofitter un modèle pour qu'il soit $(\epsilon, 0)$ -CCA (avec $\delta=0$ ) et optimal en crédits (minimisant le nombre attendu d'éléments crédités) nécessite un nombre exponentiel de requêtes au modèle de base en fonction de la longueur de sortie $\ell$ .
Construction de difficulté : Ils construisent une famille de modèles $\{M_z\}$ indexée par une chaîne cachée $z \in \{0,1\}^\ell$ . Pour satisfaire la CCA, l'algorithme de rétrofitage doit effectivement identifier $z$ . Alors que trouver $z$ à partir du modèle de base nécessite $\Omega(2^\ell)$ requêtes, trouver $z$ à partir d'une augmentation CCA optimale ne nécessite que des requêtes polynomiales. Cet écart implique que tout algorithme de rétrofitage boîte noire doit effectuer un nombre exponentiel de requêtes au modèle de base pour atteindre l'approximation nécessaire.
Paradoxe de l'impact vanishing : L'analyse révèle un problème conceptuel : les modèles construits sont fonctionnellement indiscernables par rapport au document d'entrée (la distance de variation totale tend vers zéro comme $2^{-\ell}$ ), pourtant l'augmentation CCA optimale est requise pour créditer le document avec une probabilité constante $\gamma > 0$ . Cela suggère que des définitions strictes de la CCA peuvent forcer l'attribution pour des entrées ayant un impact négligeable.

Importance et affirmations

Le document prétend être le premier à étudier formellement la CCA dans le contexte des modèles génératifs autoregressifs. Sa signification principale réside dans l'identification d'obstacles fondamentaux à deux stratégies intuitives pour mettre en œuvre l'attribution de crédit :

Découplage par rapport à la DP : Contrairement à la confidentialité différentielle, la CCA ne se compose pas sous la génération autoregressive. Cela implique que simplement entraîner un prédicteur de prochain jeton « attribuant des crédits » est insuffisant pour garantir la CCA pour le texte généré complet.
Limites computationnelles : Le rétrofitage de modèles existants pour satisfaire la CCA est computationnellement prohibitif (complexité de requête exponentielle) sous des hypothèses standard de boîte noire et des exigences d'optimalité strictes.

Les auteurs concluent que ces résultats soulignent la difficulté de formaliser l'attribution de crédit pour l'IA générative. Ils suggèrent qu'un relâchement de la définition (par exemple, permettre $\delta > 0$ ou assouplir l'exigence que le modèle augmenté préserve exactement la distribution de sortie originale) peut être nécessaire pour atteindre des solutions réalisables, bien que de tels assouplissements soient laissés pour un travail futur. Le document ne propose pas de nouveaux algorithmes ni de validations expérimentales, mais délimite plutôt les limites théoriques du cadre CCA actuel lorsqu'il est appliqué à la génération autoregressive.