💬 NLP

Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models

Cet article propose trois stratégies de sélection de couches guidées par l'attention (Attention-JSD, Attention-Entropy-Max et Attention-Entropy-Min) qui exploitent les mécanismes d'auto-attention internes pour améliorer la véracité des grands modèles de langage, démontrant des gains de performance constants par rapport à la méthode DoLa originale sur les benchmarks TruthfulQA.

Auteurs originaux : Yusuke Sakai, Natthawut Kertkeidkachorn, Kiyoaki Shirai

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yusuke Sakai, Natthawut Kertkeidkachorn, Kiyoaki Shirai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parliez à un robot super intelligent qui a lu presque tous les livres d'Internet. Il peut écrire des poèmes, résoudre des problèmes mathématiques et raconter des blagues. Mais parfois, ce robot devient un peu trop sûr de lui et commence à inventer des choses. Il pourrait vous dire que la lune est faite de fromage vert ou qu'un personnage historique célèbre a inventé le smartphone. Dans le monde de l'intelligence artificielle, on appelle cela une « hallucination ». C'est un gros problème car, si nous voulons utiliser ces robots pour des tâches du monde réel comme répondre à des questions médicales ou rédiger des informations, nous avons besoin qu'ils soient véridiques, et pas seulement créatifs.

Pour corriger cela, les scientifiques essaient d'apprendre à ces robots comment vérifier leur propre travail pendant qu'ils réfléchissent. Une méthode populaire s'appelle le « Décodage Contrastif » (Contrastive Decoding). Voyez cela comme un débat interne au sein du robot. Le robot possède de nombreuses couches de « réflexion » à l'intérieur de lui, un peu comme une pile de pancakes. Certaines couches sont « immatures » (elles pensent vite et de manière superficielle), et d'autres sont « matures » (elles pensent profondément et avec soin). L'ancienne méthode pour vérifier leur travail consistait à comparer ce que les couches superficielles disaient par rapport à ce que les couches profondes disaient. Si la couche superficielle était trop confiante sur une mauvaise réponse, le robot l'ignorait. Mais cet article pose une nouvelle question : regarder les mots que le robot envisage est-il le seul moyen de savoir s'il dit la vérité ? Ou pouvons-nous regarder comment le robot prête attention à ses propres pensées pour trouver la vérité ?

Cet article, intitulé « Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models », propose une nouvelle façon ingénieuse d'aider ces robots à dire la vérité. Les auteurs, de l'Institut japonais de science et de technologie avancée (Japan Advanced Institute of Science and Technology), suggèrent qu'au lieu de simplement comparer les mots finaux que le robot veut dire, nous devrions regarder son « attention ». Imaginez l'attention comme un projecteur que le robot braque sur différentes parties de sa mémoire. Les chercheurs ont découvert qu'en observant le mouvement de ce projecteur, ils pouvaient choisir la meilleure « couche de pensée » à utiliser pour vérifier les faits.

Ils ont testé trois nouvelles stratégies :

Attention-JSD : Cela cherche la couche où le « projecteur » du robot est le plus différent de sa pensée finale, mature. C'est comme trouver la couche qui regarde le problème sous un angle totalement différent.
Attention-Entropy-Max : Cela choisit la couche où le projecteur est très largement diffus, regardant beaucoup de choses à la fois.
Attention-Entropy-Min : Cela choisit la couche où le projecteur est super focalisé, zoomant étroitement sur quelques pièces de preuve spécifiques.

Lorsqu'ils ont testé ces idées sur un quiz célèbre appelé TruthfulQA, conçu pour piéger les robots avec des mythes et des idées reçues courants, les résultats étaient passionnants. Les nouvelles méthodes, en particulier celles qui regardaient à quel point l'attention était focalisée ou diffuse, ont mieux réussi que l'ancienne méthode. Elles étaient particulièrement douées pour trouver plusieurs bonnes réponses, et pas seulement une seule. Par exemple, sur le modèle LLaMA-7B, la stratégie « Attention-Entropy-Min » (le projecteur super focalisé) a obtenu un score de 62,8 % au test à réponses multiples, battant le meilleur score précédent de 56,5 %.

Les auteurs ont également scruté l'intérieur du cerveau du robot pour comprendre pourquoi cela fonctionnait. Ils ont découvert que toutes les parties de l'attention du robot ne sont pas créées égales. Certaines « têtes d'attention » spécifiques (de minuscules sous-processeurs à l'intérieur du robot) semblent porter un signal plus fort pour la véracité que d'autres. En fait, ils ont découvert qu'utiliser une seule tête d'attention spécifique (la Tête 6) pouvait parfois rendre le robot encore plus intelligent qu'en utilisant toutes les autres ensemble. Cela suggère que les motifs de l'« attention » interne du robot sont un signal très sensible pour la vérification des faits, peut-être même plus que le simple fait de regarder la liste des mots qu'il pourrait dire ensuite.

Cependant, l'article prend soin de noter que ce n'est pas une baguette magique qui résout tout. Les chercheurs suggèrent que, bien que ces méthodes fonctionnent bien pour les questions à choix multiples, nous devons encore voir comment elles gèrent l'écriture libre, où le robot doit générer de longs récits ou des essais à partir de zéro. Ils soulignent également qu'ils doivent encore effectuer des tests supplémentaires pour décider exactement quelles couches utiliser pour différentes tailles de robots, et qu'ils ne comprennent pas encore totalement pourquoi certaines têtes d'attention sont si bonnes pour détecter les faits. Mais pour l'instant, ce travail suggère que si nous voulons que notre IA soit plus honnête, nous devrions cesser de simplement écouter ce qu'elle dit et commencer à observer comment elle prête attention.

Résumé Technique : Sélection de Couches Guidée par l'Attention pour le Décodage Contrastif dans les Grands Modèles de Langage

Énoncé du Problème

Les Grands Modèles de Langage (LLM) sont sujets aux hallucinations, générant un contenu plausible mais factuellement incorrect. Bien que les méthodes de décodage contrastif comme DoLa (Decoding by Contrasting Layers) aient amélioré la véracité en contrastant les distributions de sortie des couches « matures » (finales) et « prématurées » (précoces) au sein d'un même modèle, elles reposent exclusivement sur les divergences dans les distributions de vocabulaire de sortie (logits). Cette approche ignore l'information structurelle ancrée dans les mécanismes d'auto-attention internes du modèle, qui peut fournir des signaux plus sensibles pour identifier les couches où la connaissance factuelle émerge.

Méthodologie

Les auteurs proposent trois stratégies guidées par l'attention pour sélectionner la couche prématurée dans le cadre de DoLa. Au lieu de comparer les logits de sortie, ces méthodes utilisent les distributions d'auto-attention ( $A_l$ ) des couches intermédiaires pour déterminer la couche à contraster avec la couche finale ( $L$ ).

Pour une position de jeton $t$ donnée, les méthodes calculent une ligne d'attention moyennée par tête $a^l_t$ représentant la distribution d'attention de la couche $l$ sur les jetons passés. Les trois stratégies sont :

Attention-JSD : Sélectionne la couche $l^*$ qui maximise la divergence de Jensen-Shannon (JSD) entre sa distribution d'attention et la distribution de la couche finale.
$l^* = \arg \max_{l \in C} \text{JSD}(a^L_t, a^l_t)$
Attention-Entropy-Max : Sélectionne la couche ayant l'entropie d'attention maximale, supposant qu'une attention largement distribuée sert de signal pour la sélection de la couche.
$l^* = \arg \max_{l \in C} H(a^l_t)$
Attention-Entropy-Min : Sélectionne la couche ayant l'entropie d'attention minimale, supposant qu'une attention concentrée reflète une forte dépendance à des jetons de preuve spécifiques.
$l^* = \arg \min_{l \in C} H(a^l_t)$

Ces stratégies préservent le cadre DoLa, y compris la contrainte de plausibilité (restreignant les candidats aux jetons à haute probabilité sous la couche finale) et le processus de sélection dynamique à chaque jeton.

Principales Contributions

Nouveaux Signaux de Sélection : Le papier introduit la première utilisation systématique de l'information structurelle issue des mécanismes d'auto-attention (divergence et entropie) comme signaux dynamiques pour la sélection de couches au niveau du jeton dans le décodage contrastif, allant au-delà de la dépendance aux distributions de vocabulaire de sortie.
Validation Empirique : Des expériences approfondies sur les benchmarks TruthfulQA et FACTOR sur six modèles (LLaMA-7B/13B/33B/65B, Gemma-7B, Mistral-7B) démontrent que les stratégies guidées par l'attention surpassent systématiquement l'original DoLa, particulièrement sur les métriques évaluant plusieurs réponses correctes (MC2 et MC3).
Aperçus Mécanistes : À travers une analyse par tête, les auteurs identifient que des têtes d'attention spécifiques portent des signaux distincts propices à la discrimination de la véracité. Ils montrent que l'amélioration de la véracité n'est pas uniforme sur toutes les têtes ; par exemple, la Tête 6 de LLaMA-7B a produit des scores MC3 nettement plus élevés que la moyenne de toutes les têtes.

Résultats Expérimentaux

TruthfulQA : Les méthodes proposées ont systématiquement surpassé la ligne de base et DoLa. Attention-Entropy-Min a obtenu les scores MC2 (62,8 %) et MC3 (36,5 %) les plus élevés pour LLaMA-7B, dépassant de manière significative DoLa. Attention-JSD a produit les meilleurs résultats pour LLaMA-13B. Bien que DoLa ait maintenu le MC1 (réponse unique correcte) le plus élevé pour les modèles plus grands (33B/65B), les méthodes basées sur l'attention ont surpassé DoLa en MC2 et MC3, suggérant que les distributions d'attention sont plus sensibles pour résoudre la connaissance factuelle dans les scénarios à réponses multiples.
FACTOR : Sur la véracité des textes longs, les méthodes ont montré des performances comparables ou supérieures à DoLa. Par exemple, Attention-Entropy-Max a atteint 62,6 % de précision sur le sous-ensemble Wiki de LLaMA-7B (contre 62,1 % pour DoLa), et Attention-JSD a atteint 64,1 % sur le sous-ensemble Wiki de Gemma-7B (contre 63,3 % pour DoLa).
Modèles de Sélection de Couches : L'analyse a révélé que si DoLa et Attention-JSD ont tendance à sélectionner les couches les plus peu profondes disponibles, Attention-Entropy-Min sélectionne de manière adaptative des couches sur une plage plus large et plus profonde (par exemple, les couches 22–30 dans LLaMA-7B), suggérant qu'elle répond plus dynamiquement au contexte d'entrée.
Distribution des Scores : DoLa a tendance à produire des distributions « nettes » avec une haute confiance dans une seule réponse correcte (bénéfique pour MC1), tandis que les méthodes basées sur l'attention produisent des distributions plus « plates » qui répartissent les scores sur plusieurs options correctes (bénéfique pour MC2/MC3).

Signification et Revendications

Le papier affirme que les distributions d'attention internes fournissent un signal plus sensible pour résoudre la connaissance factuelle que les distributions de vocabulaire de sortie, particulièrement pour les tâches nécessitant l'identification de plusieurs réponses valides. En exploitant l'information structurelle de l'auto-attention, les méthodes proposées améliorent la véracité sans nécessiter d'entraînement supplémentaire ou de modèles externes.

Les auteurs soulignent que leur approche est un module complémentaire pratique lors de l'inférence, maintenant la charge computationnelle dans une plage raisonnable. Ils concluent que, bien que les méthodes actuelles nécessitent une validation préalable pour sélectionner les compartiments de couches prématurées candidates, la découverte que des têtes d'attention spécifiques (plutôt que la moyenne) pilotent la véracité suggère une voie pour une optimisation supplémentaire via la sélection de têtes dépendante du contexte.

Limites

Les auteurs reconnaissent que leur évaluation est actuellement limitée aux benchmarks à choix multiples, et que l'applicabilité à la génération de texte libre reste à vérifier. De plus, la sélection des compartiments de couches prématures candidates nécessite encore une validation, et la base théorique expliquant pourquoi certaines têtes d'attention excellent dans le rappel factuel n'est pas encore pleinement élucidée.