💻 computer science

Interpreting Black-Box Large Language Models with Sentence-Level Energy Landscapes

Cet article propose un interprète d'attribution post hoc, agnostique au modèle, qui utilise un modèle basé sur l'énergie comme substitut pour entraîner un outil autonome capable de quantifier l'influence des phrases sur les sorties des LLM sans nécessiter de requêtes API supplémentaires.

Auteurs originaux : Maryam Rezaee, Pooriya Safaei, Maryam Asgarinezhad, Fatemeh Seyyedsalehi

Publié 2026-08-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maryam Rezaee, Pooriya Safaei, Maryam Asgarinezhad, Fatemeh Seyyedsalehi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un ami robot très intelligent, mais mystérieux. Vous lui posez une question, et il vous donne une réponse longue et utile. Mais voici le piège : vous ne pouvez pas regarder à l'intérieur du cerveau du robot. Vous ne pouvez pas jeter un œil à ses engrenages ou lire son journal intime pour comprendre pour pourquoi il a choisi ces mots spécifiques. C'est le monde de l'intelligence artificielle à « boîte noire ». Ce sont des programmes informatiques puissants appelés grands modèles de langage (LLM) qui sont si complexes et secrets que même leurs créateurs ne peuvent parfois pas expliquer exactement comment ils prennent leurs décisions. C'est un gros problème si vous voulez confier au robot des tâches importantes, comme donner des conseils médicaux ou une aide juridique. Vous avez besoin de savoir : « Le robot a-t-il dit cela à cause de cette partie de ma question, ou l'a-t-il simplement inventé ? »

Pour résoudre cela, les scientifiques essaient de construire des « interprètes » — des outils qui agissent comme des lunettes à rayons X pour l'IA. Habituellement, ces outils essaient de regarder les minuscules blocs de construction du langage, comme les mots individuels ou les lettres (appelés « tokens »). Mais réfléchir au langage lettre par lettre, c'est comme essayer de comprendre un film en regardant des pixels isolés ; c'est désordonné et cela manque souvent la vue d'ensemble. La véritable magie se produit dans des pensées complètes, ou des phrases. La grande question que cet article aborde est la suivante : pouvons-nous construire un outil qui ignore les minuscules pixels pour regarder plutôt des phrases entières afin de découvrir quelles parties de votre question ont réellement causé la réponse du robot ?

Les chercheurs de cet article disent « Oui, nous le pouvons ! » et ils ont construit une nouvelle méthode ingénieuse pour y parvenir. Au lieu d'essayer d'ouvrir la boîte noire, ils ont construit un « jumeau de l'ombre » du robot. Considérez ce jumeau comme un détective qui observe le travail du vrai robot, apprend ses habitudes, puis construit une carte de son processus de pensée. Ils appellent cette carte un « Paysage d'Énergie ». Imaginez un terrain vallonné où les basses vallées représentent des « réponses bonnes et logiques » et les hauts sommets représentent des « réponses bizarres et erronées ». Le vrai robot essaie toujours de rester dans les basses vallées.

L'équipe a entraîné son jumeau détective pour comprendre ce paysage. Une fois que le jumeau connaît la carte, il peut regarder une réponse spécifique donnée par le robot et demander : « Quelle phrase dans la question a poussé le robot vers cette vallée spécifique ? » Ils ont construit un outil léger, qu'ils appellent ESCI, qui agit comme un traducteur autonome. Une fois entraîné, cet outil n'a plus besoin de demander de l'aide au grand robot ; il peut simplement regarder la question et la réponse, puis pointer directement la phrase la plus importante.

Voici comment ils l'ont testé et ce qu'ils ont trouvé. Ils ont utilisé un modèle d'IA populaire (GPT-4o-Mini) comme leur « boîte noire » et lui ont soumis des milliers de questions et de réponses. Ils ont entraîné leur outil ESCI pour qu'il comprenne quelles parties des questions comptaient le plus. Lorsqu'ils ont comparé les suppositions d'ESCI aux suppositions faites par d'autres modèles d'IA très intelligents (faisant office d'« oracles »), ils ont constaté qu'ESCI était étonnamment précis. Il pouvait identifier le point principal d'une question même lorsqu'il y avait beaucoup de bavardages superflus ou de mots de « remplissage ». Par exemple, si vous demandiez : « Explique comme si j'avais cinq ans », ESCI a correctement identifié que la partie « Explique comme si j'avais cinq ans » était l'instruction la plus importante, et non pas seulement le sujet sur lequel vous posiez la question.

Cependant, l'article prend soin de ne pas prétendre qu'il s'agit d'une solution magique et parfaite. Les auteurs suggèrent que, bien qu'ESCI soit très bon pour trouver les bonnes phrases, ce n'est pas une boule de cristal qui voit les pensées internes exactes du robot. Ils ont mesuré cela en faisant un test de type « et si » : ils ont pris les phrases que l'ESCI jugeait importantes, ont supprimé le reste, et ont demandé au robot de répondre à nouveau. Le robot était toujours capable de donner une réponse très similaire, ce qui suggère qu'ESCI a trouvé les véritables moteurs « causaux ». Mais, ils ont également noté que si l'on supprime les phrases importantes, le robot parvient parfois quand même à trouver la bonne réponse car il possède énormément de connaissances générales. Cela signifie qu'ESCI est excellent, mais qu'il n'est pas le dernier mot sur la façon dont le robot pense.

L'une des choses les plus cool de cette méthode est son efficacité. D'autres méthodes qui tentent de faire cela doivent souvent poser des milliers de questions au grand robot juste pour comprendre une seule réponse, ce qui est lent et coûteux. L'outil ESCI, une fois entraîné, peut faire son travail instantanément sans demander de l'aide au grand robot ; il peut simplement regarder la question et la réponse et pointer directement les phrases les plus importantes. C'est comme entraîner un chien guide une seule fois, et ensuite le chien peut vous guider à travers la ville pour toujours sans avoir besoin d'appeler l'entraîneur. Les chercheurs ont constaté qu'après un entraînement sur environ 20 000 exemples, leur outil pouvait traiter de nouvelles questions beaucoup plus rapidement que les anciennes méthodes, économisant une quantité énorme de temps et de puissance informatique.

En fin de compte, l'article suggère que regarder les phrases plutôt que les minuscules mots est une manière plus intelligente de comprendre l'IA. Cela montre que nous pouvons construire des outils qui nous aident à faire confiance à ces robots mystérieux en indiquant précisément quelles parties de notre conversation comptent. Bien que ce ne soit pas une fenêtre parfaite sur l'âme du robot, c'est une paire de lunettes très solide qui nous aide à voir la logique derrière la magie, rendant l'utilisation de ces outils puissants plus sûre et plus fiable dans notre vie quotidienne.

Résumé technique : Interpréter les grands modèles de langage « boîte noire » via des paysages énergétiques au niveau de la phrase

Énoncé du problème

L'adoption généralisée des grands modèles de langage (LLM) propriétaires, accessibles exclusivement via des API fermées, a créé une barrière critique à un déploiement responsable : un manque fondamental d'interprétabilité. Bien que des méthodes d'interprétabilité « boîte blanche » (ex. : attribution basée sur le gradient, visualisation de l'attention) existent, elles sont incompatibles avec les systèmes fermés. De plus, les techniques d'attribution post-hoc agnostiques au modèle classiques peinent face aux modèles génératifs en raison de la nature haute dimensionnelle et interactive des sorties textuelles, ainsi que de la nature mal posée de l'explication de la génération. Les alternatives existantes, telles que l'auto-explication par incitation (ex. : Chain-of-Thought), souffrent souvent de circularité logique et produisent des confabulations non fidèles plutôt que de révéler les véritables chemins de calcul internes. Le défi central consiste à identifier quelles parties spécifiques d'un prompt utilisateur pilotent un sous-ensemble spécifique de la sortie d'un LLM sans avoir accès aux poids internes ou aux gradients du modèle.

Méthodologie

Les auteurs proposent ESCI (Energy-Based Concept-Level Surrogate Interpreter), un cadre d'attribution agnostique au modèle, post-hoc, qui opère au niveau de la phrase plutôt qu'au niveau du jeton (token). La méthodologie se compose de deux étapes principales :

1. Abstraction au niveau de la phrase

Le cadre traite les phrases comme des « concepts » — les plus petites unités linguistiques exprimant une proposition complète. Les prompts d'entrée ( $x$ ) et les réponses des LLM ( $y$ ) sont segmentés en phrases et plongés (embedded) à l'aide d'un modèle Sentence-BERT pré-entraîné et gelé. Cela déplace l'analyse des jetons bruyants vers des unités sémantiques cohérentes, s'alignant sur le « Principe de Contexte » où les jetons individuels sont sémantiquement ambigus sans structure propositionnelle.

2. Le substitut basé sur l'énergie (EBM)

Pour approximer le comportement du LLM boîte noire, les auteurs entraînent un modèle basé sur l'énergie (EBM) à base de transformeur, noté $E_{LM}(x, y; \theta)$ .

Architecture : L'EBM traite les plongements de phrases via une projection dans un « espace conceptuel » (utilisant l'auto-attention) et un module d'interaction entrée-sortie (utilisant l'attention croisée). Il produit une valeur d'énergie scalaire représentant la compatibilité entre un prompt et une réponse.
Objectifs d'entraînement : L'EBM est entraîné à l'aide d'une perte contrastive à double objectif :
- Fidélité ( $L_{fidelity}$ ) : Une perte InfoNCE qui distingue les paires prompt-réponse authentiques des négatifs globaux (ex. : réponses humaines ou sorties d'autres LLM) afin de capturer la signature de génération globale du LLM cible.
- Dépendance locale ( $L_{dep}$ ) : Une perte qui impose une précision causale locale en contrastant des prompts partiels contre des réponses partielles non appariées (et vice versa), garantissant que le modèle apprend des dépendances spécifiques entrée-sortie plutôt que des artefacts de surface.
Rôle du substitut : L'EBM agit comme un substitut différentiable, apprenant la forme du champ de génération du LLM cible. Une faible énergie indique une haute cohérence avec les interactions conceptuelles du modèle cible.

3. Le réseau interprète

Un réseau interprète léger, $I_N(x, y_T; \alpha)$ , est entraîné pour identifier le sous-ensemble de phrases du prompt ( $x_S$ ) le plus influent dans la génération d'un sous-ensemble de sortie cible spécifié par l'utilisateur ( $y_T$ ).

Mécanisme : L'interprète prend le prompt, la réponse complète et le sous-ensemble cible en entrée. Il produit un vecteur d'importance binaire et parcimonieux.
Entraînement via optimisation alternée : L'interprète est entraîné pour maximiser l'écart d'énergie entre le sous-ensemble de phrases du prompt sélectionné (qui devrait présenter une faible énergie lorsqu'il est apparié à la cible) et le reste non sélectionné (qui devrait présenter une énergie élevée). Pour éviter les décalages de distribution causés par le masquage des entrées, le cadre utilise une optimisation alternée : l'interprète est mis à jour, et périodiquement, l'EBM est affiné en utilisant de nouveaux couples prompt-réponse générés par le LLM cible basés sur les sélections actuelles de l'interprète.
Inférence : Une fois entraîné, l'interprète fonctionne comme un outil autonome. Il nécessite zéro requête API supplémentaire au LLM cible lors de l'inférence, ce qui le rend hautement scalable.

Contributions clés

Attribution au niveau du concept : Ce travail déplace l'unité d'analyse du jeton vers la phrase, permettant une attribution intelligible pour l'humain qui relie directement les éléments de sortie aux concepts du prompt utilisateur.
Substitut EBM basé sur les transformeurs : Les auteurs introduisent une nouvelle architecture EBM avec des méthodes d'échantillonnage spécifiques pour apprendre un champ aléatoire substitut sur les prompts et les réponses. Cette approche modélise les dynamiques de génération authentiques sans nécessiter de distributions de probabilité normalisées sur de vastes espaces de sortie.
Cadre agnostique au modèle : Le cadre proposé fournit un interprète post-hoc pour les LLM boîte noire qui identifie les phrases de prompt spécifiques responsables du déclenchement de sorties cibles, opérant indépendamment de l'architecture interne du modèle cible.

Résultats expérimentaux

Le cadre a été évalué sur le jeu de données Q&A multi-domaine HC3, en utilisant GPT-4o-Mini comme LLM boîte noire cible.

Étude d'ablation : L'EBM à double objectif ( $M_{Hybrid}$ ) a surpassé les variantes à objectif unique. Il a obtenu une Localisation Directive supérieure (isolation de la requête primaire par rapport au bruit), une Robustesse Sémantique accrue (ignorance des éléments de remplissage conversationnels), un Alignement Oracle (cohérence de classement avec des modèles de pointe comme Gemini-2.5-Flash) et un Désenchevêtrement Causal (distinction entre les antécédents réels et les distracteurs).
Plausibilité de l'attribution : Comparé à cinq « oracles » de LLM (incluant GPT-4o et GPT-J-6B), ESCI a démontré un alignement compétitif. Notamment, ESCI a produit des scores d'attribution parcimonieux et confiants, isolant efficacement les dépendances nécessaires, là où les oracles ajustés par instruction produisaient souvent des distributions diffuses. Dans les études de cas qualitatives, ESCI a réussi à désenchevêtrer les moteurs stylistiques (ex. : « Explique comme si j'avais cinq ans ») du contenu sémantique, une capacité où d'autres oracles ont parfois échoué.
Fidélité causale : En utilisant des métriques de Suffisance Générative (le contenu cible peut-il être régénéré avec seulement les phrases sélectionnées ?) et de Complétude Générative (la cible est-elle perdue lorsque les phrases sélectionnées sont retirées ?), ESCI a atteint un écart de fidélité positif comparable à des bases solides comme GPT-4o et LIME au niveau de la phrase.
Scalabilité : Un résultat critique est l'efficacité computationnelle. Alors que LIME nécessite des dizaines de requêtes API par prompt pour l'analyse par perturbation, ESCI opère en temps d'inférence $O(1)$ avec zéro appel API supplémentaire. Le cadre atteint le point d'équilibre des coûts d'API après l'interprétation d'environ 400 prompts, offrant une voie scalable pour un déploiement à haut volume.

Signification et affirmations

L'article affirme qu'ESCI établit les substituts basés sur l'énergie comme une voie scalable pour diagnostiquer les comportements des modèles dans des contextes de boîte noire. En modélisant les dynamiques de génération comme un paysage énergétique différentiable, le cadre permet l'entraînement d'un interprète autonome qui ne nécessite plus aucune interaction avec le LLM cible après l'entraînement.

Les auteurs positionnent ce travail comme une solution à l'opacité des LLM propriétaires dans les domaines à enjeux élevés. Ils soutiennent qu'en capturant les motifs de génération globaux et en atténuant les biais spécifiques aux instances grâce à un entraînement global, le cadre fournit une explication robuste au niveau conceptuel qui est à la fois efficace sur le plan computationnel et causalement fidèle.

Limites reconnues :
Le papier reconnaît modestement plusieurs limites :

Surcharge d'entraînement : Le cadre déplace la charge de calcul vers la phase de pré-entraînement, nécessitant un entraînement spécifique à la tâche et un réglage des hyperparamètres, ce qui limite la généralisabilité immédiate.
Absence de vérité terrain (Ground Truth) : En tant que contexte de boîte noire, la validation repose sur des oracles probabilistes plutôt que sur une vérité terrain déterministe (ex. : gradients internes de modèles à poids ouverts).
Portée : La validation actuelle est limitée aux tâches de Q&A avec des modèles substituts compacts ; les performances sur le raisonnement complexe ou les fenêtres de contexte massives restent à vérifier.
Utilité humaine : Bien que la fidélité causale soit quantifiée, l'utilité pratique pour les tâches d'audit humain (ex. : détection de biais) nécessite des études de sujet supplémentaires.