Identifying and Evaluating Inactive Heads in Pretrained LLMs

Cette étude propose et évalue douze fonctions de score pour identifier les têtes d'attention inactives dans les grands modèles de langage, démontrant que plus de 12 % de ces têtes peuvent être supprimées sans perte significative de performance et que les méthodes basées uniquement sur les poids d'attention sous-estiment considérablement ce phénomène.

L'essentiel

Imaginez un grand orchestre symphonique, le Transformer, qui compose la musique des intelligences artificielles modernes (les LLM). Dans cet orchestre, il y a des dizaines de sections de violons, de cuivres et de percussions. Chaque section est un "tête d'attention" (attention head).

Habituellement, on pense que pour jouer une belle symphonie, chaque musicien doit jouer quelque chose d'important. Mais cette nouvelle recherche, présentée à la conférence ICLR 2026, a posé une question simple : Et si certains musiciens ne faisaient que du bruit inutile ?

Voici l'explication de cette découverte, décortiquée avec des images simples.

1. Le problème : Les musiciens endormis

Dans les modèles d'intelligence artificielle, les "têtes d'attention" servent à regarder les mots d'une phrase et à décider lesquels sont importants.
Les chercheurs ont remarqué un phénomène étrange : souvent, une tête d'attention se concentre uniquement sur le tout premier mot de la phrase (comme un point d'exclamation ou un début de phrase), même si ce mot n'a aucun sens. C'est ce qu'ils appellent un "puits d'attention" (attention sink).

Pendant longtemps, les scientifiques pensaient : "Ah, si une tête regarde juste le premier mot, c'est qu'elle est 'endormie' ou inactive." Ils ont donc commencé à éteindre ces têtes pour alléger le modèle.

Mais la nouvelle étude dit : "Attendez une minute !"
C'est comme si vous regardiez un chef d'orchestre qui ne bouge pas la baguette, et vous concluez qu'il ne joue rien. Or, il pourrait très bien jouer un instrument très fort, mais vous ne le voyez pas parce que vous ne regardez que sa baguette.

2. La nouvelle méthode : Écouter le son, pas juste regarder la baguette

Les auteurs de l'article ont dit : "Ne nous contentons pas de regarder où la tête regarde (les poids d'attention). Regardons ce qu'elle produit réellement (la sortie)."

Ils ont inventé 12 nouvelles façons de mesurer si un musicien est utile ou non. Au lieu de seulement regarder si un musicien regarde le premier mot, ils ont mesuré :

• Le volume du son produit par le musicien (la norme de la sortie).
• Si le musicien joue des notes très faibles, presque inaudibles.
• Si le musicien joue des notes qui s'annulent avec d'autres.

L'analogie du restaurant :
Imaginez un restaurant avec 12 cuisiniers.

• L'ancienne méthode : On regarde qui passe le plus de temps à regarder la porte d'entrée. Si un cuisinier regarde la porte, on pense qu'il ne cuisine pas.
• La nouvelle méthode : On regarde ce qu'il y a dans l'assiette qu'il sort de la cuisine. S'il sort une assiette vide ou avec une miette, alors lui, il est vraiment inutile, peu importe s'il regarde la porte ou pas.

3. La découverte choc : Plus de 12 % de musiciens inutiles !

En testant ces nouvelles méthodes sur 14 modèles d'intelligence artificielle différents (comme Llama, OLMo, Qwen), les chercheurs ont fait une découverte surprenante :

• L'ancienne méthode (regarder le premier mot) pensait qu'environ 5 % des têtes étaient inutiles.
• La nouvelle méthode (regarder la sortie réelle) a révélé qu'en réalité, plus de 12 % des têtes sont inactives !

C'est comme si on pensait qu'un orchestre de 100 musiciens avait 5 musiciens inutiles, alors qu'en réalité, il y en a 12 qui ne jouent rien du tout.

4. L'expérience : Éteindre les lumières sans éteindre la musique

Pour prouver que ces têtes étaient vraiment inutiles, les chercheurs ont fait une expérience radicale : ils ont coupé le courant à ces têtes inactives.

Ils ont pris les modèles, ont éteint les têtes qu'ils avaient identifiées comme "inutiles", et ont demandé au modèle de répondre à des questions de culture générale (le test MMLU).
Le résultat ? La musique n'a pas changé ! Le modèle a toujours obtenu un score quasi parfait (à moins de 1 % de différence).

Cela prouve que ces têtes étaient de véritables "passagers clandestins" dans le cerveau de l'IA. Elles consommaient de l'énergie et de la puissance de calcul sans rien apporter.

5. Ce que cela change pour l'avenir

Pourquoi est-ce important ?

1. Économie d'énergie : Si on sait quelles têtes sont inutiles, on peut les désactiver dynamiquement. C'est comme éteindre les lumières dans une pièce vide pour économiser l'électricité. L'IA serait plus rapide et moins gourmande.
2. Meilleure compréhension : Cela nous apprend que les IA ne fonctionnent pas toutes de la même manière. Parfois, une tête qui semble "dormante" parce qu'elle regarde le premier mot est en fait très active, mais produit un son très faible. Il faut écouter le son, pas juste regarder les yeux.
3. Stabilité : Ils ont aussi découvert que peu importe si on entraîne l'IA avec des livres ou des conversations, ou si on la rend plus intelligente (fine-tuning), ces têtes inactives restent inactives. Elles sont comme des meubles inutiles dans une maison : on ne les utilise jamais, peu importe comment on décore la pièce.

En résumé

Cette recherche nous dit : Ne jugez pas un livre à sa couverture.
Dans les intelligences artificielles, ne jugez pas une partie du cerveau par ce qu'elle regarde, mais par ce qu'elle produit. En appliquant cette logique, nous découvrons que nos IA actuelles sont un peu "gaspilleuses" et qu'elles pourraient être beaucoup plus efficaces si on leur apprenait à se débarrasser de leurs 12 % de composants inutiles.

Résumé technique

1. Problématique

Les modèles de langage de grande taille (LLM) reposent sur le mécanisme d'attention, où plusieurs "têtes" d'attention capturent différents types de relations entre les tokens. Cependant, des phénomènes observés récemment, tels que les "attention sinks" (où le premier token reçoit une attention disproportionnée malgré une importance sémantique faible), suggèrent que certaines têtes pourraient être inactives ou "dormantes".

Le problème central soulevé par les auteurs est la définition et l'identification précise de ces têtes inactives. Les travaux antérieurs se sont principalement basés sur les poids d'attention (par exemple, en mesurant l'attention portée au premier token). Les auteurs soutiennent que cette approche est insuffisante car une tête peut avoir des poids d'attention élevés mais produire une sortie négligeable si les vecteurs de valeur (value vectors) associés sont proches de zéro. L'objectif est de déterminer la prévalence réelle des têtes inactives et de trouver la méthode la plus robuste pour les identifier sans dégrader les performances du modèle.

2. Méthodologie

Évaluation de 12 fonctions de score

Les auteurs proposent et évaluent 12 fonctions de score distinctes pour classer les têtes d'attention comme "inactives". Ces fonctions mesurent trois composantes fondamentales de l'attention :

1. Les poids d'attention :
   • Poids moyen du premier token (AWFT) : Mesure l'attention portée au premier token (méthode existante).
   • Entropie moyenne des distributions de requêtes (AEQD) : Mesure si l'attention est concentrée sur peu de tokens.
2. Les vecteurs de valeur (Value Vectors) :
   • Norme du vecteur de valeur du premier token (FTVVN).
   • Norme moyenne des vecteurs de valeur (AVVN).
3. Les sorties des têtes (Head Outputs) :
   • Norme de la sortie de la tête pour le dernier token (LTHON).
   • Norme moyenne de la sortie de la tête (AHON).

Pour chaque fonction, les auteurs utilisent également une version normalisée par la couche (LN), où le score d'une tête est comparé à la moyenne des scores des autres têtes de la même couche, afin de rendre les mesures comparables entre différentes couches et modèles.

Interventions de modèle (Model Interventions)

Pour valider si une tête identifiée est réellement inactive, les auteurs ne se contentent pas d'analyser les scores statiques. Ils effectuent des interventions dynamiques :

• Ils zéroisent (ablation) les sorties des têtes identifiées comme inactives lors de l'inférence.
• Ils évaluent l'impact de cette suppression sur la précision du modèle sur le benchmark MMLU (Massive Multitask Language Understanding).
• Ils comparent ces résultats à une baseline où les têtes sont supprimées aléatoirement.

Expérimentation

L'étude porte sur 14 modèles appartenant à 3 familles (Llama-3, OLMo-2, Qwen2.5) avec des échelles allant de 0,5B à 14B de paramètres. Ils analysent également l'impact du fine-tuning (SFT, DPO, RLHF) et de la mise à l'échelle (scaling) sur le comportement des têtes.

3. Contributions Clés

1. Identification supérieure via la norme de sortie : Les auteurs démontrent que la fonction de score la plus robuste et la plus généralisable pour identifier les têtes inactives est la norme moyenne de la sortie de la tête (Avg Head Output Norm), en particulier sa version normalisée par la couche (AHON (LN)). Cette méthode surpasse systématiquement les approches basées uniquement sur les poids d'attention (comme AWFT).
2. Quantification de la redondance : Ils établissent que, en moyenne, plus de 12 % des têtes d'attention dans les LLM pré-entraînés peuvent être zéroisées sans que la précision sur MMLU ne chute de plus de 1 % par rapport au modèle original.
3. Limites des méthodes précédentes : L'utilisation exclusive de l'approche "attention sink" (AWFT) sous-estime considérablement la prévalence des têtes inactives, manquant en moyenne 7 % de têtes qui sont pourtant inactives.
4. Analyse des distributions de scores : L'analyse des distributions de scores révèle que :
   • Le fine-tuning (SFT, DPO, RLHF) induit très peu de changements dans le comportement des têtes d'attention.
   • L'échelle du modèle a peu d'impact sur le comportement des têtes jusqu'à ce que le modèle atteigne une très grande taille (ex: 14B), où des comportements spécialisés émergent.

4. Résultats Principaux

• Performance des scores : Sur 14 modèles testés, AHON (LN) se classe en première position pour 8 modèles et dans le top 3 pour 13 modèles. En revanche, AWFT (la méthode précédente) se classe en première position seulement pour 2 modèles et performe très mal sur la famille OLMo-2.
• Précision après ablation :
  • Avec AHON (LN), on peut supprimer jusqu'à 20-25 % des têtes sur certains modèles (comme OLMo-2-7B-Instruct) avec une perte de précision inférieure à 1 %.
  • Avec AWFT, la proportion de têtes supprimables est souvent inférieure à 5 %, ce qui confirme que cette méthode rate une grande partie de la redondance.
• Stabilité : La mesure AHON (LN) est stable quelle que soit la distribution des données (MMLU, PIQA, WinoGrande) et la couche du modèle, contrairement à AWFT qui montre une forte sensibilité au dataset et à la couche.
• Impact du Fine-tuning : Les distributions de scores des modèles fine-tunés sont presque identiques à celles de leurs modèles de base, indiquant que le fine-tuning préserve les comportements d'attention sous-jacents.

5. Signification et Implications

Ce travail remet en question la vision traditionnelle de l'analyse des têtes d'attention basée uniquement sur les poids d'attention. Il démontre que la sortie effective de la tête (le vecteur résultant combiné aux vecteurs de valeur) est le véritable indicateur de l'inactivité.

Implications pratiques :

• Efficacité de l'inférence : Bien que l'article se concentre sur l'analyse, ces résultats ouvrent la voie à des techniques de pruning dynamique ou de compression du cache KV (Key-Value cache) en éliminant les calculs inutiles pour les têtes inactives.
• Conception d'architectures : La compréhension que certaines têtes sont systématiquement inactives pourrait inspirer de nouvelles architectures (comme des modules de routage) qui allouent dynamiquement les ressources de calcul uniquement aux têtes nécessaires.
• Robustesse des modèles : Le fait que le fine-tuning ne modifie pas significativement ces têtes inactives suggère que ces comportements sont appris très tôt lors du pré-entraînement et sont fondamentaux à la structure du modèle.

En résumé, ce papier fournit une méthodologie rigoureuse pour cartographier la redondance computationnelle dans les LLM modernes, prouvant qu'une partie significative du calcul d'attention est superflue et peut être identifiée de manière fiable grâce à l'analyse des normes de sortie des têtes.