🤖 AI

Adversarial Concept Search: Predicting Compositional Errors From Feature Geometry

Cet article propose une méthode appelée Adversarial Concept Search qui utilise la géométrie représentationnelle d'un LLM pour prédire les échecs de composition en identifiant quand les encodages de concepts sont trop proches et interfèrent les uns avec les autres, plutôt que lorsqu'ils sont orthogonaux.

Auteurs originaux : Jennifer Meng Lu, Ruochen Zhang, Isabelle Lee, David Alvarez-Melis, Ellie Pavlick, Naomi Saphra

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jennifer Meng Lu, Ruochen Zhang, Isabelle Lee, David Alvarez-Melis, Ellie Pavlick, Naomi Saphra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment suivre des instructions. Vous savez qu'il comprend « courir » et qu'il comprend « sauter ». Mais comprendra-t-il « courir sauter » (signifiant : courir, puis sauter) ? Parfois, oui. Parfois, non.

Le problème est que les humains sont mauvais pour deviner quelles combinaisons vont troubler le robot. Nous devons généralement deviner, construire une liste énorme de questions de test, et espérer avoir trouvé les plus délicates. Ce document propose une méthode plus intelligente : la Recherche de Concepts Adversaires (ACS - Adversarial Concept Search). Au lieu de tester le robot sur toutes les phrases possibles, les chercheurs regardent à l'intérieur du « cerveau » du robot pour prédire exactement là où il va trébucher.

Voici la décomposition simple de leur méthode, en utilisant des analogies de la vie quotidienne.

1. Le cerveau du robot est une pièce bondée

Imaginez la mémoire interne du robot (ses « représentations ») comme une petite pièce bondée. Pour gagner de l'espace, le robot essaie de stocker de nombreuses idées différentes (concepts) dans la même pièce en même même temps. C'est ce qu'on appelle la superposition.

Le scénario idéal : Imaginez que le robot stocke l'idée de « Chat » dans un coin et l'idée de « Hongrois » dans le coin opposé. Ils sont éloignés. Quand le robot a besoin de penser à un « Chat Hongrois », il peut facilement trouver les deux idées sans qu'elles ne s'entrechoquent. C'est l'orthogonalité (un angle à 90 degrés).
Le scénario problématique : Maintenant, imaginez que le robot stocke « Chat » et « Hongrois » juste à côté l'un de l'autre, presque l'un sur l'autre. Lorsqu'il essaie de penser à eux ensemble, ils s'embrouillent. Le signal pour « Chat » se mélange au signal pour « Hongrois ». C'est l'interférence.

2. Le test de l'« angle »

Les chercheurs ont découvert une règle simple : plus deux idées sont proches dans le cerveau du robot, plus il est probable que le robot échoue lors de leur combinaison.

Ils mesurent cela à l'aide d'un concept appelé « angle ».

Angle large (éloignés) : Le robot gère la combinaison facilement.
Angle étroit (proches) : Le robot est confus et fait des erreurs.

Vous n'avez pas besoin de poser la question au robot pour le savoir. Il vous suffit de regarder comment le robot stocke les idées individuellement. Si l'idée « Chat » et l'idée « Hongrois » sont stockées de manière à être très proches l'une de l'autre, les chercheurs peuvent prédire : « Oh, ce robot va probablement rater l'expression "Chat Hongrois". »

3. Exemples concrets

L'équipe a testé cela sur deux types de tâches différents :

Raisonnement multi-étapes (Le jeu du détective) :
Imaginez demander : « Qui était l'auteur de 1984 ? » (Fait A) et « Quand George Orwell est-il né ? » (Fait B).
Le robot doit les combiner : « Quand est né l'auteur de 1984 ? ».
Les chercheurs ont découvert que si la « carte » du nom de l'auteur et celle de l'année de naissance sont trop proches dans le cerveau du robot, le robot échoue à faire le lien. Si les cartes sont éloignées, il réussit.
Faits multilingues (Le jeu du traducteur) :
Imaginez demander un fait en anglais (« The capital of Spain is... ») puis demander le même fait en espagnol (« La capital de España es... »).
Le robot doit combiner le « Fait » (la capitale de l'Espagne) avec la « Langue » (l'espagnol).
Ils ont constaté que si la représentation interne de « l'Espagnol » est trop proche de la représentation du « Fait », la traduction échoue. Mais si elles sont éloignées, le robot réussit.

4. Pourquoi cela importe (sans le jargon)

Habituellement, pour savoir si un robot est mauvais dans un domaine, il faut construire une liste massive de questions de test et les exécuter toutes. Cela prend beaucoup de temps et d'argent.

Ce document dit : « Arrêtez de deviner. Regardez la géométrie. »

En mesurant simplement la « distance » entre les idées dans le cerveau du robot, les développeurs peuvent :

Prédire l'échec : Savoir exactement quelles combinaisons briseront le robot avant même d'écrire le test.
Construire de meilleurs tests : Au lieu de tester 1 000 choses au hasard, ils peuvent choisir les 10 plus difficiles (celles avec les angles les plus petits) pour tester les limites du robot.
Économiser des ressources : Si vous construisez un robot multilingue, vous n'avez pas besoin de traduire chaque livre. Vous pouvez utiliser cette méthode pour découvrir quels sujets spécifiques sont susceptibles de causer des erreurs dans une langue donnée, et ne traduire que ceux-là.

L'essentiel

Le document affirme que les erreurs des robots ne sont pas une magie aléatoire ; elles sont une géométrie prévisible. Si deux idées sont stockées trop près l'une de l'autre dans l'esprit du robot, elles entreront en collision lorsqu'elles seront combinées. En mesurant cette distance, nous pouvons prédire exactement où le robot échouera, nous évitant ainsi la peine de tester toutes les possibilités.

Résumé Technique : Recherche de Concepts Adversaires (Adversarial Concept Search)

Énoncé du Problème

À mesure que les modèles de langage de grande taille (LLM) s'améliorent, l'identification des défis restants et des cas limites devient de plus en plus difficile. Les humains ne peuvent pas prédire de manière fiable quelles combinaisons de concepts induiront une défaillance du modèle. Par conséquent, les développeurs dépendent d'une curation de données inefficace ou de benchmarks larges qui peuvent manquer des modes de défaillance spécifiques. Le papier propose la Recherche de Concepts Adversaires (ACS) : une méthode pour anticiper quels scénarios conceptuels provoqueront l'échec d'un modèle sans évaluer le modèle sur des entrées instanciées spécifiques. L'objectif central est de prédire les échecs de la généralisation compositionnelle — la capacité à recombiner des concepts atomiques connus en de nouvelles configurations — en analysant la géométrie interne des représentations du modèle.

Fondement Théorique : Superposition Perteuse

Le papier attribue les échecs de composition à l'interférence entre des caractéristiques saillantes encodées en superposition.

Superposition : Les LLM encodent de nombreuses caractéristiques dans des dimensions limitées en partageant des directions linéaires. Les travaux théoriques en détection compressée suggèrent que si les activations des caractéristiques sont éparses ( $k \ll d$ ), la récupération peut être sans perte même avec des encodages non orthogonaux.
Réalité Perteuse : Les auteurs postulent qu'en pratique, l'inférence des LLM implique du bruit, rendant le processus de décodage perteux. Lorsque plusieurs encodages de caractéristiques non orthogonaux sont simultanément actifs, ils interfèrent les uns avec les autres, dégradant la performance de récupération.
Hypothèse Géométrique : Les erreurs de composition proviennent de l'interférence géométrique entre les représentations des concepts atomiques. Plus précisément, lorsque les encodages linéaires des concepts sont proches (angles faibles), l'interférence est élevée, entraînant un échec. Lorsqu'ils sont proches de l'orthogonalité, le modèle peut les composer de manière fiable.

Méthodologie

Les auteurs introduisent une métrique appelée Interférence Compositionnelle (CI) pour quantifier cette interférence et prédire l'échec.

1. Estimation des Encodages de Caractéristiques Saillantes

Puisque les caractéristiques latentes de vérité terrain sont inaccessibles, les auteurs les estiment en utilisant les représentations du flux résiduel :

Concepts Atomiques : Les représentations sont dérivées d'exemples qui instancient des concepts atomiques spécifiques (par exemple, le jeton "jump" ou la langue "espagnol").
Gestion de la Structure : Les représentations brutes contiennent souvent des structures à grande échelle (par exemple, des familles de tâches ou des types de prompts) non pertinentes pour les concepts spécifiques. Pour atténuer cela, les auteurs appliquent une centration sur la moyenne aux clusters dominants avant de calculer les angles.
Sous-espaces Multilingues : Pour les concepts de langue, plutôt qu'un vecteur unique, ils utilisent un sous-espace de rang faible (via SVD sur un corpus de cette langue) pour représenter le concept de langue.

2. Définition de l'Interférence Compositionnelle (CI)

La CI est définie comme une variante normalisée de la cohérence cumulative locale sur le support saillant des concepts actifs $C$ :
$CI(C) = \max_{i \in S(C)} \frac{1}{|S(C)|} \sum_{j \in S(C), j \neq i} |\cos(a_i, a_j)|$
Où $a_i$ et $a_j$ sont les encodages empiriques des directions des caractéristiques latentes saillantes.

CI Élevée : Indique une interférence élevée (angles faibles entre les caractéristiques), prédisant une probabilité plus forte d'échec de composition.
CI Faible : Indique une quasi-orthogonalité, prédisant une composition fiable.

3. Recherche de Concepts Adversaires (ACS)

La méthode utilise la CI pour classer les combinaisons de concepts par difficulté. Compte tenu des contraintes de ressources, les développeurs peuvent sélectionner un sous-ensemble de combinaisons ayant la CI la plus élevée pour créer un "ensemble de défi" qui maximise la couverture des erreurs sans tester chaque entrée possible.

Contributions Clés et Résultats

1. Validation Synthétique Contrôlée (SCAN)

Les auteurs ont validé l'hypothèse sur le benchmark SCAN (une tâche de généralisation compositionnelle synthétique) en utilisant des modèles de jouets entraînés à partir de zéro.

Résultats : Ils ont démontré que la couverture d'entraînement et la capacité du modèle modifient systématiquement la géométrie des représentations.
Corrélation : À travers divers modèles et régimes d'entraînement, une CI plus faible (plus orthogonale) corrélait avec une précision plus élevée, tandis qu'une CI plus élevée corrélait avec l'échec.
Signification : La CI a fourni un classement fiable de la difficulté des exemples, surpassant significativement l'ordonnancement aléatoire (PR-AUC > baseline) sans évaluer les entrées composées.

2. Prédiction dans les LLM Réels (Llama-3.2-3B)

La méthode a été appliquée à un LLM réel de 3 milliards de paramètres sur deux tâches :

Réponse aux Questions Multi-étapes (Multihop) : Le modèle a été testé sur des requêtes à deux étapes (ex: "année de naissance de l'auteur de 1984") où il avait déjà réussi sur les composants à étape unique.
- Résultat : La CI calculée à partir des requêtes atomiques (auteur de 1984, année de naissance de George Orwell) a prédit avec succès l'échec sur la requête composée. Une forte corrélation négative ( $r = -0,855$ ) a été trouvée entre la CI et la précision.
Rappel Factuel Multilingue : Le modèle a été testé sur la récupération de faits dans des langues autres que l'anglais.
- Résultat : La CI, calculée à partir de l'angle entre la représentation du fait en anglais et le sous-espace de la langue cible, a prédit les échecs de transfert translinguistique.
- Efficacité : Cela a permis d'identifier les paires langue-fait difficiles sans avoir besoin de traduire ou d'évaluer le texte traduit proprement dit.

3. Généralisation aux Scénarios à Grain Grossier

Les auteurs ont montré que la CI pouvait prédire la difficulté de catégories larges (ex: "capitales nationales en espagnol") plutôt que seulement d'instances spécifiques, suggérant que la métrique s'adapte à la planification de tâches générales.

Signification et Revendications

Le papier affirme établir une base évolutive pour identifier les exemples à haut risque et construire des tests de stress ciblés.

Prédiction Proactive des Défaillances : Contra-rent à l'apprentissage actif qui nécessite le traitement d'entrées spécifiques, l'ACS prédit les modes de défaillance purement à partir de la géométrie des descriptions de concepts atomiques.
Efficacité des Ressources : Il permet aux développeurs de prioriser la collecte de données ou les efforts de traduction dans des "zones problématiques" (ex: faits spécifiques dans des langues spécifiques) avant de générer le jeu de données complet.
Aperçu Mécaniste : Ce travail comble le fossé entre la superposition théorique et la défaillance pratique du modèle, suggérant que l'orthogonalité est une nécessité pratique pour une composition robuste dans des environnements de décodage bruités et perteurs.

Les auteurs restent modestes, notant que leur méthode actuelle repose sur une mesure géométrique unique et des représentations atomiques simples. Ils reconnaissent que les travaux futurs pourraient explorer des identifications de concepts plus riches (ex: via des Autoencodeurs Sparses) et distinguer l'interférence destructive de l'interférence constructive. Cependant, ils affirment que même cette configuration minimale démontre avec succès que la géométrie de la représentation contient des informations exploitables pour prédire la généralisation compositionnelle.