💬 NLP

Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution

Le papier introduit Influcoder, une méthode qui distille les classements d'influence de gradient des décodeurs vers un encodeur afin de permettre une attribution de données rapide, rentable et évolutive pour les grands modèles de langage.

Auteurs originaux : Dimitri Kachler, Damien Sileo, Pascal Denis

Publié 2026-06-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Dimitri Kachler, Damien Sileo, Pascal Denis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un robot chef géant et incroyablement intelligent (un grand modèle de langage) qui a appris à cuisiner en lisant des millions de recettes et de blogs culinaires. Parfois, ce chef apprend accidentellement à préparer des plats toxiques ou dangereux parce qu'une recette spécifique et mauvaise se trouvait dans le tas.

Le Problème : Trouver la Mauvaise Recette
Vous voulez savoir : « Quelle recette spécifique parmi les millions de recettes a poussé le chef à préparer ce mauvais plat ? » C'est ce qu'on appelle l'Attribution de Données.

Traditionnellement, pour trouver cette « recette coupable », les chercheurs utilisent une méthode appelée Fonctions d'Influence. Considérez cela comme une tentative de refaire chaque plat du monde, un par un, en retirant un ingrédient à la fois pour voir comment le goût change. C'est incroyablement précis, mais c'est extrêmement lent et cela nécessite une cuisine massive (stockage informatique) pour garder une trace de tous les calculs. C'est comme essayer de trouver une aiguille dans une botte de foin en reconstruisant toute la botte de foin à chaque fois que l'on regarde.

La Solution : Influcoder
Le papier présente un nouvel outil appelé Influcoder. Au lieu de faire tout le travail lourd à chaque fois que vous avez besoin d'une réponse, Influcoder est comme un détective super rapide et entraîné.

Voici comment cela fonctionne, en utilisant une analogie simple :

La Phase d'Entraînement (Étape 1) :
D'abord, les chercheurs prennent un petit groupe de recettes gérable (données) et le robot chef. Ils effectuent les calculs lents et lourds pour comprendre exactement quelles recettes influencent le plus le comportement du chef. Ils écrivent ces réponses dans une « Clé de Réponse Or de Référence ».
- L'Astuce : Ils ne regardent pas seulement les mots ; ils regardent les « empreintes digitales mathématiques » (gradients) de la façon dont le chef a appris de chaque recette.
La Distillation (Étape 2) :
Ensuite, ils entraînent un modèle plus petit et plus simple (l'Encodeur ou le Détective) pour qu'il regarde une recette et devine : « En se basant sur la Clé de Réponse Or de Référence, quelle est l'influence de cette recette ? »
- Considérez cela comme l'apprentissage d'un détective junior capable de reconnaître des schémas. Le détective junior n'a pas besoin de refaire les plats ; il doit juste regarder la recette et dire : « Ah, cela ressemble au genre de chose qui met le chef en colère », en se basant sur ce qu'il a appris du détective senior.
Le Résultat :
Une fois entraîné, ce « Détective » peut scanner des millions de recettes en quelques secondes. Il n'a plus besoin de la cuisine géante. Il regarde simplement la recette, consulte ses notes internes et vous donne un classement des recettes les plus influentes.

Pourquoi est-ce important ?

Vitesse : Le papier affirme qu'Influcoder est 15 à 100 fois plus rapide que les meilleures méthodes actuelles. C'est comme passer de la marche à travers le pays à la prise d'un train à grande vitesse.
Stockage : Il occupe beaucoup moins d'espace. Au lieu d'avoir besoin d'un entrepôt pour stocker les calculs de chaque recette, vous avez juste besoin d'un petit carnet de notes.
Efficacité : Lors de tests, le détective était presque aussi bon que les méthodes lentes et lourdes pour trouver des recettes « toxiques » (dangereuses), mais il l'a fait en une fraction du temps.

Le Piège (Limites)
Le papier est honnête quant aux inconvénients. Ce « Détective » est entraîné spécifiquement sur le type de recettes qu'il a étudiées.

Si vous lui demandez de trouver de mauvaises recettes dans une langue complètement différente ou un style de cuisine totalement différent qu'il n'a pas vu auparavant, il pourrait être confus et mal performer.
Il nécessite un peu de temps de configuration pour apprendre la « Clé de Réponse Or » d'abord, alors que les anciennes méthodes sont prêtes à l'emploi (« plug-and-play »), bien qu'elles soient lentes.

En Résumé
Influcoder est une méthode qui apprend à un petit modèle d'IA de mimer les calculs coûteux et lents d'une grande IA. Cela nous permet d'identifier rapidement quelles parties spécifiques de données sont responsables du comportement d'un modèle (comme les sorties toxiques), ce qui rend pratique le nettoyage de vastes ensembles de données sans attendre des semaines que l'ordinateur termine ses calculs.

Résumé Technique : Influcoder

Problématique

À mesure que les modèles de langage de grande taille (LLM) augmentent en capacité, le besoin de constituer des ensembles de données d'entraînement de haute qualité s'est intensifié. Plus précisément, il existe une demande pour des méthodes d'Attribution de Données (DA) capables d'identifier quels échantillons d'entraînement spécifiques préconditionnent un modèle à générer certains résultats, tels qu'un comportement toxique. Bien que les Fonctions d'Influence (Koh et Liang, 2017) fournissent un cadre théorique pour cela en quantifiant l'effet des échantillons d'entraînement sur la perte de test, leur application pratique à grande échelle est entravée par des coûts de calcul et des exigences de stockage prohibitifs. Les méthodes existantes nécessitent souvent des gradients par exemple ou des approximations de l'inverse de la Hessienne, qui sont instables et lentes. De plus, des études récentes (Li et al., 2025 ; Ivison et al., 2025) indiquent que de nombreuses méthodes d'influence peinent à surpasser les bases aléatoires lorsqu'on augmente l'échelle, tandis que d'autres (Jiao et al., 2025) montrent des promesses pour le filtrage mais restent coûteuses en termes de calcul.

Méthodologie : Influcoder

Les auteurs proposent Influcoder, une méthode qui distille les classements d'influence de gradient dans un modèle d'encodage compact pour parvenir à une attribution de données efficace et évolutive. L'approche évite l'instabilité de l'estimation de l'inverse de la Hessienne en s'appuyant sur une formulation d'influence du premier ordre basée sur la similitude cosinus des gradients LoRA (Low-Rank Adaptation).

1. Formulation de l'influence du gradient

Au lieu d'utiliser la pleine inverse de la Hessienne, la méthode adopte une formulation d'influence du premier ordre (Garima et al., 2020) restreinte aux paramètres de l'adaptateur LoRA ( $\theta_L$ ). Pour assurer la stabilité et éviter de surpondérer les gradients à norme élevée, le produit scalaire est remplacé par la similitude cosinus :
$\text{Inf}'(p, q) = \cos(\nabla\ell(\theta_L, p), \nabla\ell(\theta_L, q))$
où $p$ est un échantillon du pool (entraînement) et $q$ est un échantillon de requête.

2. Pipeline d'entraînement en deux étapes

La méthode opère en deux étapes distinctes :

Étape 1 : Collecte des étiquettes de vérité terrain (Ground Truth)
- Des échantillons du Pool ( $P$ ) et de requête ( $Q$ ) sont passés à travers un modèle de décodage cible.
- Les gradients sont calculés uniquement sur les jetons de réponse (en masquant le prompt), car ceux-ci sont jugés plus informatifs.
- Pour réduire le stockage, les gradients sont projetés vers une dimension inférieure en utilisant CountSketch (Charikar et al., 2004).
- La matrice d'influence de "vérité terrain" ( $I_{GT}$ ) est pré-calculée en calculant la similitude cosinus entre toutes les paires de gradients de pool et de requête.
Étape 2 : Distillation dans un encodeur
- Un modèle d'encodage (par exemple, l'encodeur Ettin) est entraîné pour prédire directement les scores d'influence à partir des échantillons d'entrée, évitant ainsi le calcul des gradients pour chaque requête.
- L'encodeur produit des plongements (embeddings) pour les échantillons de pool et de requête ( $E_p, E_q$ ).
- Les influences prédites ( $I_P$ ) sont calculées comme la similitude cosinus entre ces plongements.

3. Fonction de perte basée sur le classement

Puisque l'objectif est de classer les échantillons plutôt que de prédire des valeurs d'influence exactes, l'objectif d'entraînement combine deux pertes de classement différentiables :

Perte de corrélation de Pearson ( $L_{Pearson}$ ) : Aligne l'ensemble du lot d'influences prédites avec la matrice de vérité terrain pour assurer une cohérence globale.
Perte de divergence KL ( $L_{KL}$ ) : Une perte basée sur le softmax appliquée par requête pour optimiser spécifiquement le classement des échantillons les plus influents (top-k).
Perte Totale : $L_{Total} = \alpha L_{Pearson} + (1 - \alpha) L_{KL}$ .

Contributions Clés

Nouvelle approche de distillation : Influcoder est la première méthode qui distille les classements d'influence de gradient (spécifiquement basés sur LoRA) dans un encodeur, se distinguant des travaux de distillation antérieurs qui se concentrent sur les pertes d'entraînement (ex: AirRep) ou les proxys de gradient complets (ex: IProX).
Évolutivité et Efficacité : En remplaçant les calculs de gradient coûteux par un passage direct (forward pass) à travers un petit encodeur, la méthode atteint des accélérations et des réductions de stockage significatives.
Filtrage Pratique : La méthode démontre son efficacité pour filtrer les données toxiques, une application critique pour la sécurité des LLM.

Résultats Expérimentaux

Les auteurs ont évalué Influcoder par rapport à des bases de référence incluant LESS, LoGRA, DataInf, RDS+ et TF-IDF.

Vitesse d'inférence et Coût :
- Influcoder (68M de paramètres) traite les échantillons 15x plus vite que le modèle proxy le plus proche, 45x plus vite que le LoGRA complet et 100x plus vite que LESS.
- En termes de FLOPs, Influcoder utilise 5x de moins que le proxy le plus proche et 44x de moins que LESS.
- Les besoins de stockage sont drastiquement plus bas (30 Mo pour Influcoder contre 320 Mo pour LESS et 2,24 Go pour LoGRA).
Qualité de l'attribution :
- Corrélation de classement : Influcoder atteint des corrélations de Spearman agrégées moyennes comparables ou légèrement inférieures à LESS, surpassant nettement les bases de similitude sémantique et les autres méthodes de projection.
- Filtrage de la toxicité : Dans la tâche XSTest-response (filtrage d'exemples toxiques), Influcoder a obtenu un AUPRC de 0,6981 (Hétérogène) et 0,6919 (Homogène). Bien que légèrement inférieur à LESS (0,7075 et 0,7562), il est largement supérieur à DataInf (0,2157) et aux bases sémantiques. Crucialement, Influcoder atteint cela avec un temps d'inférence de ~32 secondes contre ~2248 secondes pour LESS.

Signification et Limites

L'article affirme qu'Influcoder offre une voie viable vers une attribution de données à grande échelle, équilibrant le compromis entre la haute précision des méthodes basées sur le gradient et la vitesse des méthodes basées sur la représentation. Elle permet l'utilisation de fonctions d'influence pour des tâches comme le filtrage de la toxicité où la vitesse est essentielle.

Cependant, les auteurs notent explicitement des limites importantes :

Dépendance à la distribution : Contra-irement à des méthodes telles que LoGRA ou LESS qui fonctionnent indépendamment de la distribution des données, les performances d'Influcoder chutent drastiquement si les échantillons sortent de la distribution des ensembles de pool et de requête utilisés lors de l'entraînement.
Exigence de données d'entraînement : La méthode nécessite une quantité suffisante de données d'entraînement pour distiller l'influence initialement. Dans les tâches avec peu de données, la performance se dégrade.
Surcharge de configuration (Setup Overhead) : Contrairement aux méthodes "plug-in", Influcoder nécessite une phase de configuration initiale impliquant le stockage des gradients et l'entraînement de l'encodeur, ce qui ajoute de la complexité au flux de travail.

En conclusion, Influcoder offre une alternative rentable et rapide pour l'attribution de données, particulièrement adaptée aux scénarios où la distribution des données est connue et où une inférence rapide est privilégiée par rapport à la précision absolue du classement.