Résumé technique : Attribution de données dans les grands modèles de langage via l'optimisation de gradient bidirectionnelle (DABGO)

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines critiques tels que la rédaction juridique, le diagnostic médical et la recherche scientifique. Bien que ces modèles tirent leurs capacités de vastes corpus d'entraînement, un problème fondamental demeure ouvert : identifier quelles données d'entraînement spécifiques ont le plus influencé la production d'un modèle. La recherche actuelle se concentre fortement sur la performance du modèle compte tenu d'un ensemble de données, laissant le problème inverse — remonter le comportement du modèle jusqu'à des sources de données spécifiques — sous-exploré. Ce manque de traçabilité entrave la gouvernance, la responsabilité et la capacité à déboguer ou à « désapprendre » des points de données spécifiques. Les méthodes existantes d'attribution de données d'entraînement (TDA), telles que les fonctions d'influence, font face à des limitations pratiques incluant l'infaisabilité du calcul exact (nécessitant un réentraînement) et des problèmes fondamentaux liés à l'inversion de la matrice Hessienne dans les modèles à grande échelle. De plus, les études antérieures d'attribution en TAL (Traitement du Langage Naturel) ont souvent été restreintes au traçage de faits avec des prédictions de mots uniques ou une granularité au niveau de l'ensemble du jeu de données, échouant ainsi à traiter la génération de texte totalement ouverte.

Méthodologie

Les auteurs proposent DABGO (Data Attribution via Bidirectional Gradient Optimization), un cadre conçu pour estimer les fonctions d'influence de recul pour les LLM autorégressifs. L'hypothèse centrale repose sur le concept d'« influence miroir » : l'influence d'un échantillon d'entraînement sur la prédiction d'un modèle peut être estimée en observant comment l'optimisation du modèle sur cette prédiction affecte le comportement du modèle sur l'échantillon d'entraînement.

Algorithme central

1. Optimisation bidirectionnelle : Étant donné un modèle pré-entraîné $\pi_{\theta^*}$ et une séquence de sortie générée $\hat{x}$ (induite par $\hat{x}_0$), la méthode construit deux variantes de modèles perturbés :

   • Ascension de gradient ($\theta_+$) : Optimise le modèle pour augmenter la vraisemblance du texte généré $\hat{x}$ (simulant le « désapprentissage » ou la maximisation de l'influence).
   • Descente de gradient ($\theta_-$) : Optimise le modèle pour diminuer la vraisemblance de $\hat{x}$ (simulant l'ajustement fin ou la minimisation de l'influence).
   • Les deux optimisations utilisent une mise à jour régularisée par Fisher (Elastic Weight Consolidation) pour atténuer l'oubli catastrophique, approximée via une matrice d'information de Fisher (FIM) diagonale pour assurer la faisabilité computationnelle.

2. Score d'influence bidirectionnel (BIS) : Pour chaque échantillon d'entraînement $x_i$ dans le jeu de données $D$, la méthode calcule la perte sous les deux modèles perturbés ($\theta_+$ et $\theta_-$). Le score d'influence est défini comme le changement absolu de la perte :
   $$I(x_i; \hat{x}) = |\ell(x_i, \theta_-) - \ell(x_i, \theta_+)|$$
   Les échantillons présentant de grands changements absolus de perte sont classés comme les plus influents pour la génération de $\hat{x}$.

3. Granularité : Le cadre prend en charge l'attribution à des niveaux arbitraires, de l'échantillon d'entraînement complet jusqu'au niveau du jeton (token), en mesurant les différences de log-vraisemblance par jeton.

Principales contributions

• Cadre novateur : Introduction de DABGO, une méthode d'attribution simple mais efficace pour la génération de texte ouverte qui évite les calculs de gradient coûteux par échantillon ou les inversions de Hessienne.
• Approche bidirectionnelle : L'article démontre que la combinaison de l'ascension et de la descente de gradient (DABGO) offre une précision d'attribution supérieure aux approches unidirectionnelles (utilisant uniquement l'ascension ou uniquement la descente), capturant des signaux complémentaires dans les modèles génératifs.
• Attribution granulaire : La méthode permet l'attribution à une granularité de données arbitraire, capturant avec succès tant le contenu factuel que les caractéristiques stylistiques (ex. : auteur, syntaxe) dans les textes attribués.
• Protocole d'évaluation : Les auteurs introduisent et utilisent le score Tail-Patch Absolute (TPA) comme un proxy computationnellement efficace de l'influence, validé par rapport à la définition de l'influence via des expériences de réentraînement complet.

Résultats expérimentaux

Les auteurs ont évalué DABGO sur des modèles de type GPT-2 entraînés à partir de zéro sur deux corpus distincts :

1. Attribution factuelle : En utilisant un corpus Wikipedia curaté (230 millions de jetons).
2. Attribution stylistique : En utilisant des textes littéraires de Project Gutenberg (2 millions de jetons) avec des auteurs divers.

Performance quantitative :

• Contexte factuel : DABGO a systématiquement surpassé les bases de référence (BM25, TRACKSTAR, GECKO) pour la plupart des valeurs de $k$ (nombre d'échantillons attribués en tête). Bien que BM25 soit performant à $k=1$ grâce à un fort chevauchement lexical, DABGO excelle à mesure que $k$ augmente, indiquant une meilleure identification de l'influence factuelle distribuée.
• Contexte stylistique : DABGO a significativement surpassé les méthodes de récupération basées sur les mots (BM25) et sur les plongements (GECGECO) à mesure que $k$ augmentait. Cela souligne la capacité de la méthode à capturer des signaux stylistiques distribués à travers plusieurs échantillons d'entraînement plutôt que de reposer sur des passages uniques.
• Validation par réentraînement : Dans des expériences contrefactuelles où les échantillons attribués en top-$k$ ont été supprimés et les modèles réentraînés, les modèles réentraînés sans les échantillons attribués par DABGO ont montré une perte nettement plus élevée sur le test de sortie par rapport à ceux réentraînés sans les échantillons attribués par d'autres méthodes. Cela confirme l'alignement de DABGO avec la définition de vérité terrain de l'influence.

Études d'ablation :
Les expériences isolant l'ascension et la descente de gradient ont montré que, bien que l'ascension seule fournisse une forte performance, la combinaison des deux directions (DABGO) atteint la précision la plus élevée, validant la nécessité de l'approche bidirectionnelle pour les tâches génératives.

Signification et affirmations

L'article affirme que DABGO améliore l'interprétabilité des modèles, une exigence critique pour les systèmes d'IA responsables. En réussissant à retracer les générations ouvertes vers leurs données d'entraînement les plus influentes, la méthode :

• Ferme la boucle de rétroaction : Elle connecte directement les données d'entraînement au comportement du modèle, permettant des applications telles que le débogage de modèle et le désapprentissage de données.
• Surmonte les limitations antérieures : Contrairement aux travaux précédents restreints aux faits curés ou aux prédictions de mots uniques, DABGO fonctionne efficacement dans des contextes de génération totalement ouverte.
• Fournit de la transparence : La capacité d'attribuer l'influence au niveau du jeton offre une interprétabilité fine, distinguant les contributions factuelles des nuances stylistiques.

Les auteurs reconnaissent des limites, notant que DABGO reste coûteuse en termes de calcul (nécessitant deux passages sur le corpus) et qu'elle est actuellement peu pratique pour les modèles de taille industrielle possédant des centaines de milliards de jetons. De plus, bien qu'elle identifie les échantillons influents, elle ne rend pas compte actuellement des interactions synergiques ou adverses entre sous-groupes de données, ni n'établit le rôle causal de jetons spécifiques au-delà des changements de perte observés. Néanmoins, ce travail représente une étape significative vers des systèmes d'IA traçables et auditables.