Support-Contra Asymmetry in LLM Explanations

1. Problématique

Les modèles de langage à grande échelle (LLM) génèrent de plus en plus d'explications en langage naturel accompagnant leurs prédictions. Cependant, une question centrale demeure : ces explications font-elles réellement référence aux indices prédictifs présents dans le texte d'entrée ?

Contrairement aux modèles traditionnels où l'importance des caractéristiques (feature importance) est mesurable, les explications des LLM sont du texte libre. Elles peuvent sembler plausibles et fluides tout en étant déconnectées des preuves réelles qui ont conduit à la prédiction. L'article cherche à déterminer si les explications générées par les LLM reflètent fidèlement les signaux lexiques prédictifs (ceux qui soutiennent la classe prédite) ou s'ils incluent des indices contradictoires, en particulier lorsque la prédiction est erronée.

2. Méthodologie

Pour analyser cette relation, les auteurs proposent un cadre empirique comparant le contenu des explications générées par le LLM avec des signaux lexiques prédictifs extraits de classificateurs linéaires transparents.

• Données et Tâches : L'étude porte sur trois jeux de données de référence couvrant différentes tâches :
  • WIKIONTOLOGY (classification d'entités).
  • AG NEWS (classification de sujets d'actualités).
  • IMDB (analyse de sentiments).
• Modèles de Référence (Evidence Extractors) : Au lieu d'analyser le processus interne du LLM (opaque), les auteurs entraînent des classificateurs linéaires transparents (Régression Logistique et SVM linéaire) sur les mêmes données, utilisant des caractéristiques TF-IDF.
  • Pour chaque instance, ils identifient les $k$ caractéristiques lexicales les plus influentes.
  • Ces caractéristiques sont divisées en deux catégories :
    • Preuves de soutien (Supporting) : Caractéristiques avec un poids positif qui augmentent la probabilité de la classe prédite.
    • Preuves contradictoires (Contradicting) : Caractéristiques avec un poids négatif qui vont à l'encontre de la classe prédite.
• Mesure d'Alignement :
  • Le texte de l'explication générée par le LLM est comparé à ces listes de caractéristiques.
  • Deux stratégies de matching sont utilisées : matching exact et matching conscient des tokens (normalisation, lemmatisation).
  • Des métriques de couverture (coverage) sont calculées pour les preuves de soutien et contradictoires.
• Analyse de la Précision : Les instances sont séparées en deux groupes :
  • Match : Prédiction correcte ($\hat{y} = y$).
  • Mismatch : Prédiction incorrecte ($\hat{y} \neq y$).
• Métrique Clé : Une métrique d'asymétrie ($\Delta^*$) est définie comme la différence entre la variation de couverture des preuves de soutien et celle des preuves contradictoires entre les cas corrects et incorrects.

3. Contributions Clés

1. Identification de l'Asymétrie Support-Contre : Découverte d'un motif empirique constant : les explications accompagnant des prédictions correctes citent davantage de preuves de soutien et moins de preuves contradictoires, tandis que les explications liées à des erreurs citent massivement des indices contradictoires.
2. Cadre Quantitatif Simple : Introduction d'une méthode pour mesurer l'alignement explication-preuve en utilisant des classificateurs linéaires externes comme référence, évitant ainsi la complexité d'interpréter les poids internes des LLM.
3. Robustesse Transversale : Démonstration que ce phénomène persiste à travers différents jeux de données, familles de modèles de référence (LR, SVM) et profondeurs d'extraction de caractéristiques ($k=3, 5, 7$).
4. Distinction Comportementale : Preuve que le contenu de l'explication n'est pas purement une narration a posteriori (post-hoc), mais qu'il suit systématiquement la direction des preuves lexiques prédictives présentes dans l'entrée.

4. Résultats Principaux

Les résultats expérimentaux confirment l'hypothèse d'asymétrie :

• Prédictions Correctes : Les explications montrent une couverture élevée des caractéristiques de soutien et une couverture faible des caractéristiques contradictoires.
• Prédictions Incorrectes : Les explications montrent une couverture significativement plus élevée des caractéristiques contradictoires. Cela suggère que lorsque le LLM se trompe, il tend à justifier son erreur en s'appuyant sur des indices qui, selon le modèle de référence, devraient indiquer une autre classe.
• Statistiques :
  • Sur WIKIONTOLOGY, la séparation est la plus marquée (asymétrie $\Delta^*$ autour de 0.30-0.37).
  • Sur AG NEWS et IMDB, le motif est conservé mais avec des marges plus faibles, probablement en raison de la nature plus diffuse des signaux prédictifs dans l'analyse de sentiments.
  • L'asymétrie reste statistiquement significative (intervalles de confiance à 95% ne contenant pas zéro) quelle que soit la profondeur $k$ ou le modèle de référence.
• Validation par Ablation : Une étude d'ablation sur AG News montre que retirer les caractéristiques de soutien réduit la précision du modèle, tandis que retirer les caractéristiques contradictoires l'améliore, confirmant que ces indices lexiques sont bien comportementalement pertinents pour le LLM.

5. Signification et Implications

• Fiabilité des Explications : L'asymétrie observée offre une nouvelle perspective pour évaluer la fiabilité des explications. Une explication qui cite des preuves contradictoires lors d'une erreur est un indicateur fort de la nature "hallucinatoire" ou non fondée de la justification.
• Au-delà de la Plausibilité : L'étude montre que les explications ne sont pas seulement plausibles pour un humain, mais qu'elles sont corrélées à des signaux prédictifs réels (mesurés par des modèles simples) lorsque la prédiction est juste.
• Limites et Perspectives :
  • La méthode repose sur des modèles linéaires et une correspondance lexicale, ce qui peut manquer des nuances sémantiques complexes ou des structures compositionnelles que les LLM exploitent.
  • Néanmoins, cette approche fournit un outil diagnostique simple et efficace pour auditer le comportement des LLM sans nécessiter d'accès à leurs paramètres internes.

En conclusion, l'article démontre que les explications des LLM ne sont pas de simples récits arbitraires, mais qu'elles reflètent systématiquement la distribution des preuves lexiques prédictives dans l'entrée, avec une asymétrie marquée entre les cas de succès et d'échec.