💬 NLP

Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

Cet article démontre que la sélection gourmande d'un sous-ensemble restreint de composants du modèle, informé par l'architecture, est à la fois plus efficace et plus efficace sur le plan computationnel que l'utilisation de gradients complets ou de projections aléatoires pour générer des explications basées sur des instances de grands modèles de langage.

Auteurs originaux : Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre pourquoi un robot géant et super intelligent a pris une décision spécifique. Vous savez que le robot a été entraîné sur une bibliothèque massive de livres, mais quel livre spécifique lui a enseigné ce fait particulier ? C'est le monde des « explications basées sur les instances » en intelligence artificielle. Les scientifiques veulent remonter la piste de la réponse d'un robot jusqu'à l'exemple d'entraînement exact qui l'a influencé, presque comme un détective cherchant une empreinte digitale. Pour ce faire, ils regardent généralement les « gradients » du robot. Considérez un gradient comme une carte multidimensionnelle géante montrant exactement comment le cerveau du robot changerait s'il voyait une phrase spécifique. Le problème est que pour les robots modernes (appelés Grands Modèles de Langage), ces cartes sont si vastes qu'elles sont impossibles à transporter. Une seule carte pour un modèle standard occupe plus de 4 gigaoctets de mémoire — soit plus qu'un fichier de film entier ! C'est pourquoi les chercheurs doivent réduire la taille de ces cartes pour les rendre gérables. Ils ont essayé deux astuces principales : soit jeter la majeure partie de la carte pour ne garder que quelques morceaux aléatoires, soit écraser toute la carte pour en faire un petit résumé flou. Mais personne ne savait réellement quelle astuce était la meilleure pour aider le détective à trouver le bon livre.

Ce document, intitulé « Select or Project? », se propose de résoudre ce mystère. Les auteurs, Lukas Hinterleitner et son équipe de l'Université de Vienne, ont construit un nouveau terrain d'essai pour voir s'il est préférable de choisir soigneusement quelques parties importantes du cerveau du robot (Sélection) ou d'écraser mathématiquement tout le cerveau dans un espace plus petit (Projection). Ils ont utilisé un jeu ingénieux pour tester cela : ils ont pris une phrase, l'ont reformulée d'une manière différente, et ont demandé aux « gradients » du robot de retrouver la phrase originale parmi une foule de sosies. Si les gradients sont bons, ils devraient pointer directement vers l'original.

Les résultats ont été surprenants. L'équipe a découvert que la méthode d'« écrasement » (Projection Aléatoire), qui tente de conserver la forme de toute la carte, n'était pas le meilleur détective. Au lieu de cela, une méthode qu'ils ont appelée « Sélection Gourmande » (Greedy Selection) a gagné le jeu. Cette approche est comparable à un bibliothécaire intelligent qui ne lit pas toute la bibliothèque, mais sait exactement quelles trois étagères détiennent les indices les plus importants. En choisissant soigneusement un petit ensemble spécifique de parties internes du robot (plus précisément, certaines couches qui gèrent la logique et les connexions de mots), ils ont créé une carte minuscule et super nette. Dans leurs tests, cette sélection ciblée était non seulement plus précise pour trouver le bon exemple d'entraînement, mais aussi beaucoup plus rapide et moins coûteuse à calculer.

Voici le plus étonnant : la carte complète et géante du cerveau du robot a en réalité moins bien performé que ce petit sous-ensemble soigneusement choisi. Dans un test difficile où le robot devait générer une nouvelle histoire basée sur une consigne reformulée, la carte complète n'a trouvé la bonne réponse qu'environ 22 % du temps — à peine mieux que le hasard. Cependant, le petit groupe de parties sélectionnées a réussi environ 3-6 % du temps. Les auteurs suggent que la carte complète est en fait « bruyante », remplie de tellement d'informations supplémentaires qu'elle noie les vrais indices. En sélectionnant uniquement les morceaux les plus informatifs, ils ont éliminé le bruit pour obtenir un signal plus clair.

L'article a également examiné quelles parties du cerveau du robot étaient les meilleurs détectives. Ils ont découvert que ce n'était pas une question de taille de la partie ; une minuscule pièce du cerveau pouvait être plus utile qu'une grande. Il s'agissait plutôt de ce que la partie faisait. Les parties responsables de la logique interne du robot (appelées couches MLP) étaient bien meilleures pour trouver les bonnes données d'entraînement que les parties responsables de l'attention portée à des mots spécifiques (comme les parties « Key » et « Value » du mécanisme d'attention). Curieusement, les parties situées au tout début et à la toute fin de la chaîne de traitement du robot étaient les plus utiles, tandis que les parties centrales semblaient s'embrouiller et devenir moins utiles.

En fin de compte, les auteurs concluent que pour expliquer le fonctionnement de ces modèles d'IA géants, nous n'avons pas besoin de l'image entière. Nous avons juste besoin des bonnes quelques pièces. Leur stratégie de « Sélection Gourmande » est un moyen pratique et efficace de rendre ces explications possibles sans avoir besoin de supercalculateurs tournant pendant des centaines d'heures. Bien qu'ils aient testé cela sur un modèle spécifique d'environ 1,2 milliard de paramètres, leurs conclusions suggèrent que pour le futur de la transparence de l'IA, être sélectif et exigeant est bien meilleur que de vouloir tout garder.

Résumé Technique : Sélectionner ou Projeter ? Évaluation des vecteurs de faible dimension pour l'explication des données d'entraînement des LLM

Énoncé du problème
Les méthodes basées sur le gradient pour les explications fondées sur les instances des Grands Modèles de Langage (LLM) font face à une barrière computationnelle significative due à l'immense dimensionnalité des gradients du modèle. Pour un modèle de 1 milliard de paramètres, un seul vecteur de gradient nécessite plus de 4 Go de mémoire, rendant l'analyse du gradient complet intraitable. Les pratiques actuelles limitent souvent l'estimation de l'influence à un sous-ensemble de paramètres du modèle (par exemple, des couches spécifiques ou des adaptateurs LoRA) pour rendre le calcul réalisable. Cependant, ces sous-ensembles sont fréquemment choisis ad hoc sans justification systématique. De plus, d'autres techniques de réduction de dimensionnalité, telles que la projection aléatoire, sont utilisées mais manquent d'une évaluation comparative par rapport aux stratégies de sélection tenant compte de l'architecture. Le problème central est de déterminer s'il est plus efficace de sélectionner un sous-ensemble creux et structurellement informé de composants du modèle ou de projeter le gradient de haute dimension complet dans un espace de dimension inférieure pour capturer l'influence des données d'entraînement.

Méthodologie
Les auteurs proposent un nouveau benchmark sans réentraînement pour évaluer les stratégies de réduction de dimensionnalité pour les explications fondées sur les instances. L'évaluation cadre le problème comme une tâche de recherche (retrieval) : étant donné une instance de test (spécifiquement, une version paraphrasée d'un échantillon d'entraînement ou une complétion générée par le modèle), le système doit identifier l'exemple d'entraînement original parmi un ensemble de distracteurs en se basant sur la similitude des gradients.

Représentation du gradient : L'étude utilise les gradients de perte par rapport aux paramètres du modèle ( $\nabla_\theta L$ ). Le gradient complet est construit en aplatissant les gradients de composants (par exemple, les projections de requête, de clé, de valeur, les portes MLP) en un seul vecteur.
Configuration de l'évaluation :
- Jeux de données : Les auteurs utilisent le sous-ensemble LIMA du jeu de données Tülu 2. Ils génèrent deux ensembles de requêtes : un ensemble Paraphrasé ( $D_p$ ) utilisant GPT-4o-mini pour reformuler les prompts tout en préservant la sémantique, et un ensemble Généré par le Modèle ( $D_m$ ) où le modèle affiné génère des complétions pour des prompts paraphrasés.
- Métrique : La précision de la recherche est mesurée en vérifiant si la similitude cosinus entre le gradient de la requête et le gradient de l'échantillon d'entraînement original est supérieure à sa similitude avec les distracteurs (sélectionnés via BM25).
Stratégies comparées :
- Gradient Complet (Full Gradient) : Utilisation de l'ensemble des paramètres (référence/baseline).
- Projection Aléatoire (Project) : Projection du gradient complet dans un espace de dimension inférieure ( $d \ll M$ ) à l'aide d'une matrice aléatoire, implémentée composant par composant pour éviter de matérialiser des matrices massives. Cela préserve la structure géométrique du gradient complet.
- Sélection de Composants Gloutonne (Select) : Un algorithme conscient de l'architecture qui sélectionne de manière itérative un sous-ensemble de composants du modèle (jusqu'à un budget de paramètres donné) qui maximise la précision de la recherche. Cela exploite la linéarité des produits scalaires pour reconstruire les scores de similitude à partir de valeurs scalaires pré-calculées sans stocker de vecteurs de haute dimension.

Principales Contributions

Nouveau Benchmark : L'introduction d'un benchmark efficace, basé sur la recherche, conçu pour tester la capacité de différentes représentations de faible dimension à soutenir l'identification d'exemples d'entraînement influents.
Comparaison Fondée : Une évaluation systématique comparant la sélection gloutonne consciente de l'architecture à la projection aléatoire préservant la géométrie et aux références de gradient complet.
Démonstration d'Efficacité et de Précision : Des preuves empiriques montrant qu'une sélection ciblée de composants offre des attributions plus précises et est nettement plus efficace sur le plan computationnel que la projection aléatoire.

Résultats

Limitations du Gradient Complet : Bien que le gradient complet soit performant dans le contexte paraphrasé (précision de 0,993), ses performances s'effondrent dans le contexte plus difficile des modèles générés (précision de 0,218), dépassant à peine le hasard (0,20).
Variance des Composants : Tous les composants ne contribuent pas de la même manière. Dans le cas des modèles générés, les projections de porte MLP et de projection "up" portent le signal le plus informatif, tandis que les projections de clé et de valeur de l'attention contribuent peu ou performent moins bien que le hasard. Le nombre de paramètres ne corrèle pas linéairement avec la performance ; le rôle fonctionnel est un déterminant plus critique.
Sélection vs Projection :
- Précision : Un sous-ensemble de composants sélectionné de manière gloutonne (utilisant moins de 5 % des paramètres) atteint une précision quasi parfaite (0,998) dans le contexte paraphrasé et surpasse significativement le gradient complet dans le contexte des modèles générés (0,36 contre 0,218).
- Géométrie vs Utilité : Bien que la projection aléatoire préserve efficacement la géométrie globale du gradient complet (haute similitude cosinus avec les scores du gradient complet), cette haute fidélité ne se traduit pas par une précision de recherche optimale. Sélectionner des composants basés sur leur utilité spécifique pour la tâche de recherche est supérieur à la préservation de la géométrie globale.
Efficacité Computationnelle : La méthode de sélection gloutonne est considérablement plus efficace. Le pré-calcul des produits scalaires a pris environ 4 heures, tandis que la sélection a pris quelques minutes. En revanche, les références de projection aléatoire ont nécessité plus de 900 heures (sans mise en cache) en raison de l'intensité de calcul de la projection de vecteurs massifs.

Signification et Revendications
L'article affirme que pour les explications fondées sur les instances de grands modèles, la sélection ciblée de composants est une stratégie pratique et supérieure à la projection aléatoire ou à l'utilisation du gradient complet. L'idée centrale est qu'un sous-ensemble creux et soigneusement choisi de composants du modèle peut fournir un signal plus clair et plus discriminant pour des tâches spécifiques que le gradient complet et bruité. Cette approche rend les explications fondées sur les instances pour les grands modèles plus exploitables sur le plan computationnel sans sacrifier, et en améliant souvent, la précision de l'attribution. Les auteurs concluent que restreindre l'estimation de l'influence à un sous-ensemble de couches structurellement informé est une voie viable, remettant en question l'hypothèse selon laquelle le gradient complet est la source d'information optimale.

Le travail est modeste dans sa portée, notant des limites concernant la taille du modèle (1,2 milliard de paramètres) et la nature statique de l'évaluation (utilisation d'un point de contrôle unique). Les auteurs suggèrent que les travaux futurs devraient explorer la généralisation à travers différentes architectures, échelles et méthodes d'attribution dynamiques qui suivent l'influence tout au long du processus d'entraînement.

Articles similaires