🤖 machine learning

LAMP: Extracting Local Decision Surfaces From Large Language Models

LAMP est une méthode d'audit légère et pratique pour les modèles de langage opaques qui évalue la cohérence entre leurs explications textuelles et leurs prédictions en approximant localement leur surface de décision.

Auteurs originaux : Ryan Chen, Youngmin Ko, Zeyu Zhang, Catherine Cho, Sunny Chung, Mauro Giuffré, Dennis L. Shung, Bradly C. Stadie

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ryan Chen, Youngmin Ko, Zeyu Zhang, Catherine Cho, Sunny Chung, Mauro Giuffré, Dennis L. Shung, Bradly C. Stadie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Mystère de la "Boîte Noire" : Pourquoi les IA nous mentent parfois ?

Imaginez que vous demandiez à un ami : "Pourquoi as-tu choisi ce restaurant ?". Votre ami vous répond : "Parce qu'il est proche et pas cher". Mais si, par curiosité, vous lui proposiez un restaurant encore plus proche et encore moins cher, et qu'il répondait soudainement : "Non, je préfère celui-là !", vous commenceriez à douter. Est-ce que ses raisons étaient réelles, ou est-ce qu'il a juste inventé une excuse pour justifier un choix qu'il avait déjà fait dans sa tête ?

C'est exactement le problème avec les grandes intelligences artificielles (comme ChatGPT). Elles nous donnent une réponse, puis elles rédigent une "explication" pour nous satisfaire. Le problème, c'est que l'explication n'est pas toujours le vrai moteur de la décision. L'IA peut donner une raison très logique alors qu'elle a décidé en réalité en fonction d'un détail totalement différent.

C'est ce qu'on appelle le problème de la "boîte noire".

La solution : LAMP, le "Détecteur de Cohérence"

Les chercheurs ont inventé une méthode appelée LAMP. Au lieu de simplement lire ce que l'IA écrit, LAMP va la "torturer" un petit peu pour voir si elle est honnête.

L'analogie du Tableau de Bord

Imaginez que l'IA soit un pilote d'avion. Elle vous dit : "Je vole à cette altitude parce que la météo est belle".

Pour vérifier si elle dit vrai, LAMP ne va pas seulement écouter le pilote. LAMP va agir comme un ingénieur qui arrive dans le cockpit avec des boutons de réglage (des curseurs).

L'ingénieur va légèrement tourner le bouton "Météo" (en changeant artificiellement l'importance de la météo dans le texte).
Si l'IA est honnête, sa décision devrait changer de manière prévisible en fonction de ce bouton.
Si l'ingénieur tourne le bouton "Météo" et que l'IA ne change absolument rien à sa trajectoire, alors LAMP sait que la météo n'était qu'une excuse : ce n'était pas le vrai facteur de décision !

Comment ça marche concrètement ? (Sans mathématiques !)

LAMP procède en trois étapes simples :

L'Interrogatoire : On demande à l'IA : "Donne-moi ta réponse et explique-moi tes raisons (tes facteurs de décision)."
Le Petit Jeu des "Et si ?" : LAMP prend ces raisons et crée des centaines de variantes. "Et si la raison A comptait un peu moins ? Et si la raison B comptait beaucoup plus ?". On demande à l'IA de recalculer sa réponse pour chaque variante.
La Carte de Décision : En observant comment les réponses de l'IA bougent, LAMP dessine une "carte" (une surface de décision). Cette carte montre quels boutons l'IA écoute vraiment. Si la carte montre que le bouton "Météo" est déconnecté, on sait que l'explication de l'IA est une façade.

Pourquoi est-ce révolutionnaire ?

C'est léger et discret : LAMP n'a pas besoin d'ouvrir le "cerveau" de l'IA (ses circuits internes). Il peut tester n'importe quelle IA, même celles qui appartiennent à des entreprises privées (comme OpenAI ou Google) et qui sont totalement verrouillées.
C'est vital pour la médecine : Dans l'étude présentée, les chercheurs ont testé LAMP sur des cas médicaux. Si une IA aide un médecin à diagnostiquer une maladie, le médecin doit savoir si l'IA se base sur les vrais symptômes ou sur un détail insignifiant. LAMP permet de vérifier que l'IA "pense" de manière cohérente avec un expert humain.
C'est un outil de confiance : Au lieu de croire l'IA sur parole, on utilise LAMP pour construire un "certificat de sincérité".

En résumé

LAMP est comme un enquêteur qui ne se contente pas d'écouter les déclarations d'un suspect, mais qui recrée la scène de crime pour voir si les preuves correspondent aux paroles. C'est un outil pour transformer les IA de "boîtes noires mystérieuses" en "systèmes transparents et vérifiables".

Résumé Technique : LAMP (Local Attribution Mapping Probe)

1. Problématique (Le Problème)

L'utilisation des grands modèles de langage (LLM) pour générer des rationales (explications textuelles étape par étape) pose un défi majeur de fidélité. Bien que ces explications soient interprétables pour l'humain, des recherches récentes montrent qu'elles sont souvent trompeuses : les modèles peuvent rationaliser des prédictions biaisées ou incorrectes, ou s'appuyer sur des indices structurels plutôt que sur la sémantique réelle de l'explication.

Le problème fondamental est de savoir si les facteurs cités par le modèle comme étant "importants" influencent réellement sa décision de manière cohérente. Les méthodes d'interprétabilité classiques (comme LIME ou SHAP) nécessitent souvent un accès aux gradients (boîte blanche) ou manipulent des tokens (mots), ce qui est peu pratique pour les modèles propriétaires (boîte noire) et manque de sémantique.

2. Méthodologie (LAMP)

Les auteurs introduisent LAMP, un cadre d'audit léger et agnostique au modèle qui traite les explications auto-rapportées par le LLM comme un système de coordonnées pour cartographier sa "surface de décision" locale.

La méthode suit trois étapes principales :

Extraction des explications : Pour une entrée $x$ , le modèle est sollicité pour fournir une probabilité de classe ainsi qu'une liste de facteurs explicatifs ( $f_i$ ) associés à des poids d'importance ( $w_i$ ).
Perturbation stochastique : Au lieu de modifier les mots, LAMP applique un "jitter" (bruit) aux poids d'importance fournis par le modèle. Le modèle est ensuite réinterrogé avec ces poids modifiés pour observer comment la probabilité de prédiction change. Cela crée un ensemble de données de perturbations dans l'espace des facteurs.
Ajustement d'un substitut linéaire (Surrogate Model) : Un modèle linéaire local est ajusté pour lier les variations des poids des facteurs aux variations des probabilités de sortie.

Innovations techniques clés :

Méta-agrégation : Pour éviter la dimensionnalité excessive (trop de facteurs), les auteurs utilisent le LLM pour condenser les facteurs en un petit ensemble de thèmes cohérents (ex: 5 facteurs), améliorant la stabilité statistique.
Calcul du rayon de perturbation optimal ( $\delta^*$ ) : En utilisant une approximation de Taylor au second ordre, les auteurs dérivent une formule mathématique pour déterminer la taille de perturbation qui minimise l'erreur quadratique moyenne (MSE), garantissant que l'approximation linéaire reste valide.

3. Contributions Clés

Approche "Boîte Noire" : LAMP ne nécessite ni accès aux gradients, ni aux activations internes, ni aux logits, ce qui le rend applicable à n'importe quel modèle via API (GPT-4, Claude, etc.).
Interprétabilité sémantique : Contrairement à LIME qui travaille sur les tokens, LAMP travaille sur des concepts (facteurs), ce qui produit des explications beaucoup plus compréhensibles pour les experts humains.
Cadre d'audit de cohérence : Il permet de vérifier si un modèle est "fidèle" à ses propres explications en testant si ses prédictions varient de manière prévisible lorsque l'on manipule ses propres "curseurs" d'importance.

4. Résultats Expérimentaux

Les tests ont été menés sur l'analyse de sentiment (IMDB), la détection de contenus controversés (Pseudo-Harmful) et les discours de haine (HateBenchSet), ainsi que sur des cas cliniques en gastroentérologie.

Qualité de l'ajustement ( $R^2$ ) : Les modèles substituts de LAMP capturent efficacement la variance de la surface de décision. Les auteurs notent que la linéarité est plus forte dans les zones d'incertitude (milieu de la distribution) que dans les zones de haute confiance (queues de distribution), où la surface est plus "plate".
Consistance et Prédictibilité : LAMP surpasse nettement LIME en termes de précision de prédiction des sorties du modèle. Il montre une corrélation très élevée avec les probabilités réelles du LLM, prouvant que les facteurs extraits sont de véritables leviers de décision.
Validation par les experts : Dans le domaine médical, les coefficients de LAMP (l'influence de chaque symptôme sur le diagnostic) sont alignés avec le jugement des médecins, dépassant même l'accord inter-médecins dans certains cas.

5. Signification et Impact

LAMP représente un outil crucial pour le déploiement sécurisé des LLM dans des secteurs critiques (santé, droit, sécurité).

Signification majeure :

Transparence : Il transforme une "boîte noire" en un système dont on peut tester la sensibilité aux arguments.
Auditabilité : Il permet de détecter si un modèle utilise des raisonnements fallacieux (ex: un modèle médical qui diagnostiquerait une maladie uniquement sur la base d'un mot-clé non pertinent).
Aide à la décision : En fournissant une approximation locale, il offre aux praticiens un moyen de comprendre non seulement ce que le modèle prédit, mais comment sa décision basculerait si les facteurs changeaient.