🤖 AI

Query Circuits: Explaining How Language Models Answer User Prompts

Cet article introduit les « circuits de requête » (query circuits), une méthode permettant de tracer le flux d'informations spécifique à l'entrée au sein des modèles de langage afin de fournir des explications fidèles, éparses et accessibles sur le plan computationnel pour des sorties individuelles, validées par une nouvelle métrique appelée Fidélité de Déviation Normalisée (NDF) et démontrées à travers de multiples bancs d'essai.

Auteurs originaux : Tung-Yu Wu, Fazl Barez

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tung-Yu Wu, Fazl Barez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme une ville immense et bouillonnante avec des millions de routes, d'intersections et de feux de signalisation. Lorsque vous posez une question au modèle (un « prompt »), c'est comme si vous envoyiez un camion de livraison à travers cette ville pour déposer une réponse.

Pendant longtemps, les chercheurs ont essayé de comprendre comment cette ville fonctionne en cartographiant des schémas de circulation généraux. Ils savent, par exemple, que la « Route A » est toujours utilisée quand la ville doit trouver un objet caché, ou que la « Route B » est utilisée pour les problèmes mathématiques. Ce sont ce qu'on appelle des circuits de capacités.

Cependant, connaître l'itinéraire général n'explique pas pourquoi le camion a pris un chemin spécifique pour votre livraison spécifique aujourd'hui. Peut-être y avait-il une zone de travaux, un détour soudain ou un feu de signalisation unique qui n'a compté que pour ce voyage précis.

Ce papier introduit une nouvelle façon de regarder la ville : les Circuits de Requête (Query Circuits). Au lieu de regarder la carte générale, les auteurs veulent tracer le chemin exact et minuscule emprunté par le camion pour votre question spécifique.

Voici une décomposition de leur découverte en utilisant des analogies simples :

1. Le Problème : La carte « substitut » était fausse

Auparavant, pour comprendre un voyage spécifique, les chercheurs essayaient de construire un modèle miniature et simplifié de la ville (un « substitut ») et d'en tracer le chemin.

L'Analogie : Imaginez que vous essayiez de comprendre un embouteillage complexe à New York en construisant un modèle réduit de la ville à partir de LEGOs. Vous tracez le chemin sur les LEGOs, en espérant qu'il corresponde à la vraie ville.
Le Problème : Le papier soutient que ces modèles en LEGO ne correspondent souvent pas parfaitement à la vraie ville. Ils manquent de détails, et les construire est lent et coûteux. Les auteurs voulaient tracer le chemin directement sur la vraie ville (le modèle réel) sans avoir besoin d'une version jouet.

2. La Solution : La loterie du « Best-of-N »

Les auteurs ont découvert que trouver le chemin exact pour une question spécifique est étonnamment difficile. Si vous regardez simplement les feux de signalisation pour une seule question, les données sont souvent « bruitées » (comme des parasites sur une radio), ce qui rend difficile la visualisation du vrai chemin.

L'Analogie : Imaginez que vous essayez de trouver un ticket de loterie gagnant, mais que les numéros du ticket sont légèrement flous. Si vous essayez de choisir le gagnant en vous basant sur un seul ticket, vous pourriez choisir le mauvais.
La Correction : Les auteurs proposent une méthode appelée Best-of-N (BoN).
1. Prenez votre question originale.
2. Posez la même question au modèle mais en formulant la question de 9 manières différentes (paraphrases). C'est comme demander : « Quelle est la couleur du ciel ? » versus « Décrivez la couleur du ciel par une journée claire. »
3. Tracez le chemin pour les 10 versions.
4. Choisissez le gagnant : Choisissez le chemin qui a le mieux fonctionné.
Le Résultat : Même si la question originale était « floue », l'une des reformulations était assez claire pour révéler le véritable chemin caché. En vérifiant plusieurs versions, ils ont trouvé un « ticket gagnant » qui explique avec précision comment l'IA a répondu.

3. Le Nouveau Scorecard : NDF

Pour savoir s'ils ont trouvé le bon chemin, ils avaient besoin d'un moyen de mesurer le succès. L'ancien scorecard (appelé NFS) était défaillant pour les questions complexes ; il donnait des scores comme « 200 % » ou « -50 % », ce qui n'avait aucun sens.

L'Analogie : C'est comme un compteur de vitesse qui vous dirait parfois que vous roulez en marche arrière à 100 mph ou en avant à 500 mph alors que vous roulez réellement à 60.
La Correction : Ils ont inventé un nouveau score appelé NDF (Normalized Deviation Faithfulness). C'est un compteur de vitesse fiable qui reste toujours entre 0 et 1.
- 1.0 signifie que le chemin trouvé est parfait (il explique exactement la réponse du modèle).
- 0.0 signifie que le chemin est inutile.
- Ce nouveau scorecard leur permet de faire confiance à leurs découvertes, même sur des sujets difficiles comme les examens médicaux ou l'astronomie.

4. La Grande Surprise : La Ville est principalement vide

La découverte la plus excitante est que, pour n'importe quelle question donnée, le modèle n'utilise pas toute la ville. Il n'utilise qu'un quartier minuscule et spécifique.

L'Analogie : Vous pourriez penser qu'un camion de livraison doit utiliser 50 % des routes de la ville pour aller du point A au point B. Mais les auteurs ont découvert que pour une question spécifique, le camion n'utilise qu'environ 1,3 % des routes.
La Preuve : Ils ont montré que s'ils bloquaient 98,7 % de la ville et ne laissaient le camion utiliser que ce minuscule chemin de 1,3 %, il pourrait encore répondre correctement à la question environ 60 % du temps. Cela prouve que le « cerveau » du modèle est incroyablement parcimonieux et efficace pour des tâches individuelles.

Résumé

Le papier introduit un nouvel outil pour expliquer exactement comment une IA répond à une question spécifique.

Ils ont arrêté d'utiliser des « modèles jouets » et ont regardé directement à l'intérieur de la véritable IA.
Ils ont réalisé que poser la même question de différentes manières aide à révéler la « vérité » cachée de la façon dont l'IA réfléchit.
Ils ont créé un meilleur moyen de mesurer si leur explication est correcte.
Ils ont prouvé que pour n'importe quelle question, l'IA n'utilise qu'une infime fraction spécifique de son cerveau massif pour accomplir la tâche.

Cela nous fait passer de savoir « comment l'IA fait des maths en général » à comprendre « comment l'IA a résolu ce problème de maths précisément ».

Résumé Technique : Circuits de Requête : Expliquer comment les modèles de langage répondent aux requêtes des utilisateurs

1. Définition du Problème

La recherche actuelle en interprétabilité mécaniste s'est largement concentrée sur la découverte de circuits de capacité, qui identifie des sous-réseaux globaux responsables de compétences algorithmiques spécifiques (par exemple, l'identification de l'objet indirect ou les comparaisons de type "supérieur à") à travers un ensemble de données. Bien que précieuses, ces méthodes n'expliquent pas pourquoi un grand modèle de langage (LLM) produit une sortie spécifique pour une requête utilisateur unique et précise (explication au niveau de l'instance).

Les approches existantes pour les circuits au niveau de l'instance reposent fortement sur des modèles de substitution (surrogates), tels que les auto-encodeurs clairsemés (SAE) ou les transcodeurs inter-couches (CLT). Ces substituts sont souvent utilisés pour approximer le comportement du LLM car ils offrent des activations clairsemées qui facilitent la découverte de circuits. Cependant, l'article soutient que ces substituts échouent fréquemment à reconstruire fidèlement les activations du modèle original et peuvent ne pas capturer les véritables mécanismes computationnels du LLM. De plus, l'entraînement de ces substituts est coûteux en termes de calcul, ce qui limite leur accessibilité.

L'article introduit la tâche de Découverte de Circuits de Requête : identifier un sous-réseau clairsemé et fidèle directement au sein du LLM original (in-place) qui pilote la réponse du modèle à une requête unique. Cette approche vise à fournir des explications locales, au niveau de l'entrée, sans dépendre de modèles de substitution potentiellement infidèles.

2. Méthodologie

Les auteurs proposent un cadre pour répondre à deux défis techniques majeurs de la découverte de circuits de requête : l'instabilité des métriques d'évaluation existantes et l'inefficacité des méthodes de découverte standard sur des requêtes uniques.

2.1. Métrique d'Évaluation : Fidélité de Déviation Normalisée (NDF)

La métrique standard pour la découverte de circuits, le Score de Fidélité Normalisé (NFS), s'avère instable sur des jeux de données généraux (par exemple, MMLU). Les valeurs de NFS fluctuent souvent de manière erratique, dépassant 1 ou tombant en dessous de 0, ce qui rend impossible le suivi fiable de la progression de la découverte ou la comparaison de la qualité des circuits.

Pour résoudre cela, les auteurs introduisent la Fidélité de Déviation Normalisée (NDF) :
$\text{NDF}(C_q) = 1 - \min\left( \left| \frac{L(M(q)) - L(C_q(q))}{L(M(q)) - L(M(q'))} \right|, 1 \right)$
Où :

$M$ est le LLM cible.
$C_q$ est le circuit de requête découvert.
$q$ est la requête originale, et $q'$ est une requête corrompue (par exemple, avec les indices factuels clés supprimés).
$L(\cdot)$ est une métrique de performance (par exemple, la différence de logit).

Propriétés Clés de la NDF :

Bornée : Elle est strictement comprise dans l'intervalle $[0, 1]$ .
Symétrique : Elle pénalise les déviations au-dessus et en dessous de la performance du modèle de manière égale.
Interprétabilité : Un score de 1 indique que le circuit récupère parfaitement la performance du modèle ; 0 indique que la déviation est aussi grande que l'écart entre la requête originale et la requête corrompue.

2.2. Méthode de Découverte : Échantillonnage Best-of-N (BoN)

Les méthodes classiques de notation d'arêtes (comme l'Edge Attribution Patching, EAP) échouent souvent à trouver des circuits compacts et fidèles pour des requêtes uniques en raison du bruit de gradient et de la négligence des effets combinatoires entre les arêtes. Les auteurs observent que si un circuit découvert sur une requête spécifique peut échouer, les circuits découverts sur des paraphrases de cette requête réussissent souvent.

Sur cette base, ils proposent l'Échantillonnage Best-of-N (BoN) :

Paraphrase : Générer $p$ paraphrases de la requête originale $q$ .
Notation (Scoring) : Calculer les scores d'importance des arêtes (en utilisant l'EAP-IG) pour la requête originale et toutes les paraphrases, ce qui donne $p+1$ matrices de scores d'arêtes.
Sélection : Construire $p+1$ circuits candidats (un pour chaque matrice de score) et sélectionner celui qui possède le score NDF le plus élevé.

Pour améliorer l'efficacité et éviter d'exécuter le LLM $p+1$ fois pour chaque budget d'arêtes, les auteurs proposent deux variantes :

BoN Interpolé (iBoN) : Interpole entre deux circuits fidèles précédemment découverts de tailles différentes pour former un nouveau circuit sans passage supplémentaire (forward pass).
BoN avec Matrice de Score Adaptative aux Contraintes (BoN-CSM) : Agrège les matrices de scores de tous les circuits précédemment découverts en une matrice de score et une matrice de rang (tier matrix) unifiées, permettant la construction efficace de nouveaux circuits de tailles variées.

3. Contributions Clés

Formulation de la Tâche : L'article définit formellement la Découverte de Circuits de Requête, la distinguant de la découverte de circuits de capacité globale et des approches par substitution au niveau de l'instance. Il met l'accent sur le traçage du flux d'information directement au sein du modèle original.
Évaluation Robuste (NDF) : Les auteurs identifient l'instabilité de la NFS sur les jeux de données généraux et proposent la NDF comme une métrique plus fiable, bornée et symétrique pour évaluer les circuits de requête.
Découverte Efficace (BoN) : Ils introduisent l'échantillonnage Best-of-N et ses variantes (iBoN, BoN-CSM) pour surmonter les limites du bruit de gradient et des effets combinatoires, permettant la découverte de circuits compacts et fidèles pour des requêtes complexes en langage naturel.
Validation Empirique : L'article démontre que des circuits de requête épars existent au sein des LLM et qu'ils récupèrent une partie significative de la performance du modèle sur des requêtes individuelles, même pour des tâches complexes comme MMLU et ARC Challenge.

4. Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes à travers plusieurs benchmarks : l'identification de l'objet indirect (IOI), les tâches arithmétiques, l'ARC Challenge, et neuf catégories de MMLU.

Performance : L'échantillonnage BoN a systématiquement surpassé les bases de référence (notation sur requête unique et moyenne des scores sur les paraphrases).
Sparsité (Clairsemé) : Sur MMLU, un circuit de requête contenant seulement 1,3 % du nombre total d'arêtes du modèle (environ 5 000 arêtes dans Llama-3.2-1B-Instruct) a atteint une NDF moyenne de 0,6, récupérant environ 60 % du comportement du modèle sur cette requête. En revanche, l'EAP-IG standard nécessitait beaucoup plus d'arêtes (jusqu'à 51,7 % du modèle) pour atteindre des niveaux de performance similaires.
Sous-circuits Partagés : L'analyse a révélé que bien que les circuits de requête varient selon la paraphrase, ils partagent un ensemble d'arêtes de base (un "sous-circuit partagé") qui correspond à la capacité sous-jacente, soutenant l'hypothèse que ces circuits ne sont pas des "tickets de loterie" aléatoires mais des variantes d'un mécanisme commun.
Actionnabilité : Dans les expériences impliquant le biais de genre, les circuits ayant des scores NDF plus élevés se sont révélés plus actionnables. La mise à zéro des caractéristiques identifiées par les circuits à haut NDF a entraîné une réduction du biais nettement plus importante que les circuits à faible NDF, suggérant que la NDF est un indicateur fiable de la capacité du circuit à capturer des calculs significatifs.

5. Signification et Revendications

L'article affirme que la Découverte de Circuits de Requête représente une étape importante vers des explications fidèles et évolutives de la manière dont les modèles de langage traitent les entrées individuelles.

Fidélité : En opérant directement au sein du modèle (in-place) plutôt qu'en s'appuyant sur des substituts, les explications sont plus fidèles aux véritables mécanismes de calcul du modèle.
Évolutivité (Scalability) : Les méthodes de l'échantillonnage BoN proposées permettent la découverte de ces circuits sans le coût de calcul prohibitif de l'entraînement de modèles de substitution ou de l'exécution excessive de passages avant (forward passes).
Praticité : La découverte de sous-réseaux épars (par exemple, 1,3 % des connexions) qui expliquent la majorité du comportement du modèle sur des requêtes spécifiques suggère que les LLM traitent les entrées individuelles via des voies hautement localisées, ce qui les rend propices à une analyse mécaniste détaillée.

Les auteurs concluent que bien que des défis subsistent (tels que la gestion de la génération multi-tokens et l'automatisation complète de l'étiquetage lisible par l'humain), leur travail établit une voie pratique pour expliquer les décisions des LLM au niveau du prompt, ce qui est essentiel pour le déploiement dans des domaines à enjeux élevés comme la médecine ou les systèmes autonomes.