Résumé technique : Toutes les explications ne simulent pas de la même manière

Problématique

Les explications en langage naturel pour les modèles de langage de grande taille (LLM) sont souvent traitées comme une interface unifiée pour comprendre le comportement des modèles. Cependant, ces explications proviennent de sources diverses — allant des attributions de caractéristiques d'entrée (identifiant les jetons ou les phrases importants) aux rationalisations auto-générées (telles que les justifications post-hoc ou le raisonnement par chaîne de pensée ou Chain-of-Thought). Bien qu'elles partagent l'étiquette « explication », ces objets diffèrent fondamentalement par leur source, leur granularité, leur format et leur utilisation prévue.

Les protocoles d'évaluation antérieurs évaluent souvent les explications selon des dimensions spécifiques au type, telles que la fidélité au processus de décision, la plausibilité pour les lecteurs humains ou l'accord avec les rationalisations humaines. Cet article soutient que ces métriques spécifiques au type rendent difficile la comparaison de formats d'explication disparates sur une base commune. Le défi central abordé est le suivant : Comment pouvons-nous comparer systématiquement différents types d'explications de LLM pour déterminer lesquels soutiennent réellement la compréhension et la prédiction du comportement du modèle ?

Méthodologie

Les auteurs proposent un cadre d'évaluation unifié basé sur la simulabilité contrefactuelle. Plutôt que de demander si une explication est plausible de manière isolée, ce cadre demande si l'explication aide un prédicteur à anticiper avec précision le comportement du modèle sous de nouvelles entrées perturbées.

Configuration expérimentale

1. Formulation de la tâche : L'évaluation est formulée comme un problème de simulation contrefactuelle. Étant donné une entrée originale $x = (c, q)$ (contexte et question) et une réponse du modèle $y = M(x)$, une entrée contrefactuelle $x_{cf} = (c, q_{cf})$ est construite en utilisant le même contexte mais une question modifiée. Le modèle cible $M$ produit une véritable réponse contrefactuelle $y_{cf}$.
2. Protocole de simulation : Un juge LLM ($P$) agit comme un prédicteur pour deviner $y_{cf}$.
   • Phase 1 (Base de référence) : Le prédicteur voit $x$, $y$, et $x_{cf}$ mais aucune explication.
   • Phase 2 (Explication) : Le prédicteur voit les mêmes entrées plus une explication $e$ pour la réponse originale $y$.
   • Métrique : La simulabilité est mesurée comme le gain de précision ($\Delta$) dans la prédiction de $y_{cf}$ lorsque l'explication est fournie : $\Delta = \text{Score}(2) - \text{Score}(1)$. Un $\Delta$ positif indique que l'explication améliore la compréhension prédictive.
3. Types d'explications comparés :
   • Attributions de caractéristiques verbalisées : En utilisant le cadre MExGen, les auteurs identifient les segments d'entrée influents (phrases ou jetons) et les convertissent en langage naturel. Ils testent deux stratégies de verbalisation :
     • Basée sur des modèles (Templates) : Insertion déterministe de l'évidence la mieux classée dans des modèles fixes (niveau phrase, niveau jeton et hybride).
     • Réécriture par LLM : Un LLM réécrit les caractéristiques d'attribution sélectionnées en un texte fluide sans ajouter de nouvelles informations.
   • Rationalisations auto-générées : Explications générées par les propres modèles de QA via du prompting :
     • Post-hoc : Le modèle répond d'abord, puis fournit une justification.
     • Chaîne de pensée (CoT) : Le modèle raisonne étape par étape avant de répondre.
4. Modèles et données : Les expériences ont été menées sur le jeu de données SQuAD 2.0 en utilisant trois modèles cibles ajustés par instruction (Llama-3-8B, Qwen2.5-7B, Mistral-7B) et GPT-5-mini comme juge principal. La robustesse a été vérifiée avec DeepSeek-R1 et un paradigme enseignant-élève (teacher-student).

Contributions clés

1. Critère d'évaluation unifié : L'article applique la simulabilité contrefactuelle comme une métrique unique pour comparer les explications basées sur l'attribution et les rationalisations auto-générées, permettant une comparaison directe entre des formats qui étaient auparavant évalués de manière isolée.
2. Comparaison contrôlée de la verbalisation : L'étude contraste les verbalisations basées sur des modèles avec les versions réécrites par LLM des mêmes données d'attribution, isolant les effets de la granularité de l'évidence (phrase vs jeton) de la fluidité linguistique.
3. Analyse de la granularité et de la source : Le travail analyse systématiquement comment la source de l'explication, la stratégie de verbalisation et la granularité des caractéristiques affectent la simulabilité à travers plusieurs modèles.

Résultats

L'étude produit plusieurs découvertes distinctes concernant ce qui rend une explication « utile » pour la simulation :

• La granularité compte : Les attributions au niveau de la phrase fournissent les gains de simulabilité les plus forts parmi les méthodes basées sur l'attribution. Les attributions au niveau du jeton (même lorsqu'elles sont hautement classées) produisent souvent des gains quasi nuls ou négatifs, suggérant que les mots isolés manquent du contexte nécessaire pour prédire le comportement du modèle. Les approches hybrides (phrase + jetons) performent mieux que les jetons seuls mais moins bien que les attributions de pure phrase.
• La fluidité $\neq$ l'utilité : Les explications réécrites par LLM, bien que plus fluides que les versions basées sur des modèles, n'améliorent pas significativement la simulabilité. Dans certains cas, elles performent moins bien. Cela suggère que le contenu informationnel (l'évidence sélectionnée) conduit la simulabilité plus que la forme linguistique.
• Variabilité des rationalisations auto-générées : Il existe un contraste marqué entre les explications post-hoc et les rationalisations CoT. Les explications post-hoc offrent des améliorations modestes, tandis que les rationalisations CoT fournissent les gains les plus importants dans la prédiction contrefactuelle à travers tous les modèles et métriques.
• Transfert entre modèles : Les rationalisations CoT contiennent une information pertinente à la tâche qui se généralise à travers différents modèles (transfert inter-modèles), bien qu'elles encodent également des signaux spécifiques au modèle.
• Divergence de paradigme d'évaluation : Alors que les rationalisations CoT montrent des gains positifs constants dans les évaluations par juge LLM et enseignant-élève, les explications basées sur l'attribution montrent une divergence. Elles performent bien dans le cadre de l'évaluation par juge (en contexte), mais montrent des gains faibles ou négatifs dans le cadre enseignant-élève (entraînement), suggérant que les signaux d'attribution sont utiles pour la prédiction immédiate mais peuvent ne pas être facilement internalisés comme une supervision apprenable.

Signification et affirmations

L'article affirme que toutes les explications en langage naturel ne jouent pas le même rôle dans le soutien à la compréhension du comportement des modèles. La signification de ces résultats réside dans le déplacement de l'accent de l'évaluation de la « plausibilité » ou de la « fidélité » isolée vers l'utilité fonctionnelle : l'explication aide-t-elle réellement un utilisateur (ou un agent automatisé) à prédire comment le modèle se comportera sur de nouvelles entrées ?

Les auteurs concluent que :

1. Le format de l'explication est critique : L'évidence au niveau de la phrase est supérieure à l'évidence au niveau du jeton pour la simulation.
2. La source importe : Les rationalisations CoT sont actuellement le type d'explication le plus efficace pour anticiper le comportement du modèle, surpassant les justifications post-hoc et les attributions verbalisées.
3. L'évaluation doit être sensible au contexte : L'utilité d'une explication dépend de son utilisation pour la prédiction immédiate en contexte (où les CoT et les attributions de phrases excellent) ou pour l'entraînement de modèles internes (où les CoT restent robustes, mais où les attributions peuvent ne pas se transférer).

En fin de compte, ce travail fournit des orientations empiriques pour la sélection des formats d'explication dans les tâches de QA, mettant en garde contre l'hypothèse selon laquelle toutes les explications en langage naturel sont également efficaces pour la simulation.