The Attribution Contract: Feature Attribution for Generative Language Models

Résumé Technique : Le Contrat d'Attribution

Énoncé du Problème
Les méthodes d'attribution de caractéristiques, conçues pour identifier quelles caractéristiques d'entrée pilotent la sortie d'un modèle, font face à une ambiguïté conceptuelle fondamentale lorsqu'elles sont appliquées aux modèles de langage (ML) génératifs. Dans les contextes de classification classiques, le schéma entrée-sortie est statique ($x \to f(x)$), et les caractéristiques sont clairement définies comme des composants d'entrée. Cependant, les ML génératifs opèrent via des processus dynamiques où les sorties antérieures deviennent des entrées pour les prédictions suivantes (dans les modèles autoregressifs) ou où la génération procède par débruitage itératif (dans les modèles de diffusion).

Cette différence structurelle crée une « ambiguïté d'attribution » : il est souvent unclear ce qui constitue une « caractéristique » ou quelle « sortie » spécifique est expliquée. Par exemple, dans un modèle autoregressif, les tokens précédemment générés sont à la fois des sorties du modèle et des entrées pour la prédiction suivante. Par conséquent, le même algorithme d'attribution peut produire des résultats différents selon que l'objectif est d'expliquer une prédiction locale du token suivant ou l'influence de l'invite originale sur l'ensemble de la séquence générée. L'article soutient que de nombreux désaccords perçus dans la littérature concernant l'attribution de caractéristiques dans les modèles génératifs ne sont pas des conflits entre algorithmes, mais plutôt des conflits découlant de contrats explicatifs non déclarés ou incohérents.

Méthodologie : Le Contrat d'Attribution
Pour résoudre cette ambiguïté, les auteurs introduisent le Contrat d'Attribution, un tuple de spécification formelle $A = (S, C, O, P, E)$ qui définit la portée explicative de toute affirmation d'attribution de caractéristiques. Les composants sont :

• $S$ (Score) : La quantité spécifique du modèle étant attribuée (par exemple, logit, probabilité, perte ou vraisemblance logarithmique).
• $C$ (Conditionnement) : Quelles variables sont maintenues fixes pendant le calcul de l'attribution (par exemple, maintenir le préfixe généré fixe tout en attribuant uniquement à l'invite).
• $O$ (Sortie) : La cible spécifique étant expliquée (par exemple, un seul token suivant, un état intermédiaire de diffusion, ou un segment généré complet).
• $P$ (Processus) : Le processus génératif supposé (par exemple, chaîne autoregressive $x \to y_1 \to \dots \to y_t$ ou chaîne de diffusion $z_T \to \dots \to z_0 \to y$).
• $E$ (Caractéristiques Éligibles) : L'ensemble des caractéristiques autorisées à recevoir une attribution (par exemple, uniquement les tokens de l'invite, l'invite plus le préfixe généré, ou les étapes de débruitage).

L'article démontre que le cadre du « Contrat d'Attribution » permet l'instanciation précise de différents contextes. Il catégorise les contextes existants et potentiels en :

1. Contextes Autoregressifs :
   • Token Suivant Local : Attribue la prédiction du token $y_t$ aux tokens de l'invite et du préfixe généré.
   • Token Conditionné par l'Invite : Attribue $y_t$ uniquement aux tokens de l'invite, en maintenant le préfixe généré fixe.
   • Invite au Niveau du Segment : Attribue la probabilité d'un segment généré complet $y_{1:T}$ aux tokens de l'invite, en maintenant le segment fixe.
2. Contextes de Diffusion :
   • Niveau d'État : Attribue un état intermédiaire $z_t$ à l'invite et aux états antérieurs.
   • Étape de Débruitage : Attribue les propriétés de la sortie finale à des étapes spécifiques du processus de débruitage.
   • Invite vers Sortie : Attribue la sortie finale $y$ aux tokens de l'invite, traitant la chaîne de débruitage comme le processus.

Contributions Clés
L'article apporte quatre contributions principales :

1. Identification de l'Ambiguïté du Contrat : Il identifie l'« ambiguïté du contrat » comme un mode de défaillance distinct dans l'attribution de caractéristiques générative, où l'absence d'un contexte explicatif spécifié conduit à une interprétation erronée.
2. Le Cadre du Contrat d'Attribution : Il propose le tuple $(S, C, O, P, E)$ pour définir explicitement la cible, les caractéristiques éligibles, le processus génératif, le régime de conditionnement et le score attribué pour toute affirmation.
3. Le Sophisme de l'Auto-Attribution : Il définit une erreur interprétative spécifique où l'attribution aux tokens du préfixe généré (valide sous un contrat de token suivant local) est incorrectement interprétée comme répondant à une question au niveau de l'invite (par exemple, « le document source a-t-il causé cette hallucination ? »). L'article illustre que répondre à cette dernière nécessite un contrat conditionné par l'invite où le préfixe est maintenu fixe.
4. Évaluation Méthode-Contrat : Il soutient que les méthodes d'attribution de caractéristiques dans les ML génératifs doivent être évaluées comme des paires méthode-contrat plutôt que comme des algorithmes sans contexte. Une méthode ne peut être jugée « bonne » ou « mauvaise » isolément ; sa validité dépend de son alignement avec le contrat spécifique étant testé.

Résultats et Analyse
L'article ne présente pas de nouveaux benchmarks empiriques ni d'algorithmes novateurs, mais fournit une analyse théorique et une réévaluation de la littérature existante à travers le prisme du Contrat d'Attribution.

• Réconciliation de la Littérature : Les auteurs montrent que les méthodes souvent perçues comme concurrentes (par exemple, ContextCite vs Inseq) répondent en réalité à des questions différentes définies par des contrats différents. ContextCite opère sous un contrat invite-vers-sortie, tandis que Inseq opère généralement sous un contrat de token suivant local.
• Implications pour l'Évaluation : L'article détaille comment les métriques d'évaluation doivent changer en fonction du contrat. Par exemple, évaluer une « attribution d'invite au niveau du segment » nécessite de perturber l'invite et de mesurer le changement dans la log-probabilité de la génération originelle fixe, et non de régénérer une nouvelle séquence. Régénérer une séquence testerait un contrat différent (par exemple, invite-vers-sortie).
• Spécificités de la Diffusion : L'analyse souligne que les modèles de diffusion nécessitent des contrats qui prennent en compte les états intermédiaires et les étapes de débruitage, qui n'ont aucun analogue direct dans les modèles autoregressifs.

Signification et Revendications
L'article revendique que le Contrat d'Attribution est nécessaire pour apporter de la rigueur à l'attribution de caractéristiques dans la modélisation générative. En rendant explicite le contexte explicatif, le cadre :

• Clarifie pourquoi la même méthode d'attribution peut produire des cartes différentes selon l'instanciation.
• Empêche le « sophisme de l'auto-attribution », garantissant que les praticiens n'attribuent pas incorrectement la cause d'une génération à l'invite lorsque l'attribution était en réalité pilotée par les propres tokens antérieurs du modèle.
• Établit qu'il n'existe pas de carte d'attribution « bonne » unique pour les modèles génératifs ; l'évaluation doit être spécifique au contrat.

Les auteurs positionnent ce travail non pas comme un remplacement des algorithmes d'attribution existants, mais comme une couche de spécification nécessaire pour rendre les affirmations de ces méthodes comparables et interprétables. La signification réside dans le déplacement du discours du débat sur les algorithmes vers la définition des questions explicatives précises que ces algorithmes sont censés répondre.