💻 computer science

Head Pursuit: Probing Attention Specialization in Multimodal Transformers

Cet article introduit une méthode de sondage basée sur le traitement du signal pour identifier et classer les têtes d'attention spécialisées dans les transformeurs multimodaux, démontrant que l'édition de seulement 1 % de ces têtes peut contrôler efficacement des concepts sémantiques ou visuels spécifiques dans les sorties du modèle.

Auteurs originaux : Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

Publié 2026-01-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un cerveau de robot massif et super intelligent (un modèle « Transformer ») capable d'écrire des histoires, de répondre à des questions et de décrire des images. Pendant longtemps, les scientifiques ont pensé que ce cerveau fonctionnait comme une immense soupe floue où chaque partie du cerveau contribuait un peu à tout.

Cet article, intitulé « Head Pursuit », soutient que le cerveau est en réalité plus semblable à un orchestre hautement organisé. Même si les musiciens (appelés « têtes d'attention ») jouent tous ensemble, beaucoup d'entre eux sont des spécialistes. Certains ne sont bons qu'aux tambours (les nombres), d'autres uniquement aux violons (les émotions), et d'autres encore à la section des cuivres (les couleurs).

Voici une décomposition simple de ce que les chercheurs ont fait et découvert :

1. Le problème : Trouver les spécialistes

Les chercheurs voulaient savoir : Quels « musiciens » spécifiques dans le cerveau du robot sont responsables d'idées précises ?
Auparavant, essayer de trouver ces spécialistes revenait à essayer d'entendre un seul violon dans une symphonie en écoutant toute la pièce à la fois. C'était désordonné et difficile à généraliser.

2. La solution : « Head Pursuit » (L'outil de détective)

Les auteurs ont créé un nouvel outil appelé Head Pursuit. Voyez cela comme un filtre intelligent ou un détecteur de signaux.

Comment cela fonctionne : Ils ont pris les « notes » que jouait le cerveau (les données internes) et les ont passées à travers un processus mathématique appelé Simultaneous Orthogonal Matching Pursuit (SOMP).
L'analogie : Imaginez que vous avez un sac de briques Lego mélangées (les données du cerveau). Vous voulez trouver toutes les briques rouges (le concept de « rouge »). Au lieu de regarder l'ensemble du sac, votre outil trie rapidement le tas et dit : « Ah, ces 10 briques spécifiques sont les rouges ».
Le dictionnaire : Pour ce faire, l'outil utilise un « dictionnaire » de mots connus (comme une liste de tous les noms de pays ou de toutes les couleurs). Il vérifie quels éléments des motifs lumineux du cerveau correspondent à ces mots.

3. La découverte : La spécialisation est réelle

Lorsqu'ils ont examiné les résultats, ils ont découvert quelque chose d'incroyable : le cerveau possède réellement des spécialistes.

Dans un modèle de texte, ils ont trouvé des « têtes » spécifiques qui ne s'intéressent qu'aux pays, d'autres uniquement aux mois de l'année, et d'autres seulement aux nombres.
Dans un modèle de vision-langage (un robot qui voit et parle), ils ont trouvé des têtes spécialisées dans la reconnaissance des « chiffres » ou des « textures ».
La « règle du 1 % » : La découverte la plus surprenante est qu'ils n'avaient pas besoin de modifier tout le cerveau. En ajustant seulement 1 % de ces têtes spécialisées (les 16 ou 32 principales sur des milliers), ils pouvaient changer radicalement ce que le robot disait.

4. Le tour de magie : Monter ou baisser le volume

Une fois les têtes spécialistes trouvées, ils pouvaient contrôler la production du robot comme un ingénieur du son mixant une piste :

Couper le bruit (Inhibition) :
- Scénario : Ils voulaient que le robot cesse d'utiliser des mots toxiques ou offensants.
- Action : Ils ont trouvé les têtes « toxiques » et ont inversé leur signal (tourné le volume vers le négatif).
- Résultat : Le robot a soudainement cessé de générer du contenu offensant, tout en pouvant toujours écrire des phrases normales. C'était comme faire taire un instrument spécifique dans l'orchestre sans arrêter la musique.
- Scénario : Ils voulaient que le robot arrête de mentionner les couleurs.
- Résultat : Le robot décrivait une « voiture rouge » simplement comme une « voiture », supprimant le mot de couleur tout en gardant le reste de la phrase parfait.
Booster le signal (Renforcement) :
- Scénario : Ils voulaient que le robot soit plus émotionnel ou descriptif.
- Action : Ils ont trouvé les têtes d'« émotion » et ont augmenté le volume (multiplié leur signal).
- Résultat : En décrivant une image, le robot a commencé à ajouter des mots comme « heureux », « triste » ou « souriant » beaucoup plus souvent, même si l'image était neutre. Cela rendait le robot « plus émotionnel » sans le réentraîner.

5. Pourquoi cela importe

L'article montre que ces modèles d'IA géants ne sont pas de simples boîtes noires. Ils possèdent une structure organisée et cachée où des parties spécifiques gèrent des tâches spécifiques.

Pas de réentraînement nécessaire : Vous n'avez pas besoin d'enseigner au robot une nouvelle façon de parler. Il vous suffit de trouver le bon « bouton » (la tête spécifique) et de le tourner.
Précision : Vous pouvez corriger un problème spécifique (comme la toxicité) ou ajouter une caractéristique spécifique (comme plus de descriptions de couleurs) sans casser le reste du cerveau du robot.

Résumé

L'article est comparable à la découverte qu'une machine géante et complexe possède un panneau de commande avec des interrupteurs étiquetés. Au lieu d'essayer de reconstruire la machine pour la rendre plus sûre ou plus créative, les chercheurs ont montré exactement quels interrupteurs actionner pour obtenir le résultat souhaité. Ils ont prouvé qu'en trouvant et en ajustant une infime fraction des composants internes de la machine, on peut contrôler de manière fiable ce qu'elle dit et comment elle se comporte.

Résumé Technique : Head Pursuit : Sondage de la spécialisation de l'attention dans les Transformers multimodaux

Énoncé du Problème

Les modèles génératifs à grande échelle, incluant tant les modèles de langage unimodaux (LLM) que les modèles vision-langage multimodaux (VLM), ont atteint des performances remarquables à travers diverses tâches. Cependant, leurs mécanismes internes ne sont que partiellement compris. Bien que les outils d'interprétabilité précédents, tels que la Logit Lens, aient révélé des informations sémantiques dans les états cachés, ils sont souvent appliqués de manière heuristique à des exemples individuels, ce qui rend difficile la généralisation des découvertes ou la quantification de l'importance de composants spécifiques (tels que les têtes d'attention) dans la formation de la sortie du modèle. Il est nécessaire d'établir une méthode de principe pour identifier quelles têtes d'attention se spécialisent dans des attributs sémantiques ou visuels spécifiques et pour déterminer si la manipulation de ces têtes permet un contrôle ciblé du comportement du modèle sans entraînement supplémentaire.

Méthodologie

Les auteurs proposent un cadre appelé Head Pursuit, qui réinterprète la pratique du sondage des activations intermédiaires à travers le prisme du traitement du signal parcimonieux. La méthodologie de base comprend les étapes suivantes :

Décomposition parcimonieuse via SOMP : Les auteurs emploient la Recherche Orthogonale de Correspondance Simultanée (SOMP - Simultaneous Orthogonal Matching Pursuit), un algorithme glouton pour approximer des signaux de haute dimension par des combinaisons linéaires parcimonieuses d'éléments de base.
- Entrée : Pour une tête d'attention $h$ donnée dans la couche $l$ , la matrice d'activation $H_{h,l}$ (représentant $n$ échantillons) est analysée.
- Dictionnaire : Au lieu d'apprendre un dictionnaire à partir des activations, la méthode utilise la matrice d'unembedding (désincorporation) $D$ du modèle comme dictionnaire fixe. Chaque ligne de $D$ correspond à un jeton (token) du vocabulaire, fournissant un lien direct avec des concepts sémantiques interprétables par l'humain.
- Processus : SOMP sélectionne de manière itérative les atomes du dictionnaire (jetons) qui présentent la corrélation maximale avec les résidus de la tête à travers tous les échantillons de l'ensemble de données. Cela produit une matrice de coefficients parcimonieuse $W^*$ telle que $H \approx W^*D$ .
- Généralisation : Contra\à la Logit Lens, qui projette un seul vecteur résiduel, SOMP opère sur plusieurs échantillons simultanément et sélectionne plusieurs directions sémantiques, fournissant une caractérisation robuste au niveau de l'ensemble de données de la fonction d'une tête.
Sélection et Classement des Têtes :
- Pour identifier les têtes pertinentes pour un concept cible donné (par exemple, « couleurs », « toxicité », « nombres »), le dictionnaire d'unembedding est restreint aux jetons associés à ce concept.
- SOMP est appliqué à ce dictionnaire spécifique au concept.
- Les têtes sont classées en fonction de la fraction de variance dans leurs activations expliquée par la reconstruction SOMP. Une explication de variance élevée indique une forte spécialisation pour ce concept.
Intervention :
- Une fois les $k$ meilleures têtes spécialisées identifiées, les auteurs interviennent en redimensionnant leur contribution au flux résiduel.
- Intervention Inhibitrice : Le signe des représentations de la tête est inversé ( $\alpha = -1$ ) pour supprimer l'attribut cible.
- Intervention d'Amélioration : Les représentations de la tête sont amplifiées ( $\alpha > 1$ ) pour promouvoir la génération de l'attribut cible.
- Cette intervention est effectuée lors de la passe directe (forward pass) sans mise à jour des poids du modèle.

Principales Contributions

Cadrage Théorique : L'article cadre la Recherche de Correspondance (Matching Pursuit - MP) et sa variante multi-échantillons SOMP dans le contexte de l'interprétabilité des modèles génératifs, établissant une connexion formelle avec les outils standards comme la Logit Lens tout en les généralisant pour gérer plusieurs échantillons et plusieurs directions sémantiques simultanément.
Découverte de la Spécialisation : La méthode révèle des schémas constants de spécialisation des têtes à travers les transformeurs unimodaux (Mistral-7B) et multimodaux (LLaVA-NeXT, Gemma3, Qwen2.5-VL). Il est constaté que des têtes spécifiques génèrent de manière fiable des groupes de jetons sémantiquement cohérents (ex: noms de pays, mois, nombres, sentiments).
Contrôlabilité : Les auteurs démontrent qu'intervenir sur une très faible fraction de têtes (à peine 1 % du total) peut de manière fiable supprimer ou améliorer des concepts ciblés. Cela suggère que les couches d'attention contiennent une structure linéaire hautement interprétable et manipulable.

Résultats

Les auteurs ont validé leur approche sur plusieurs tâches :

Réponse aux Questions (TriviaQA) : Inverser les signes de seulement 8 têtes spécialisées (0,8 % du modèle) dédiées aux « noms de pays » a considérablement dégradé les performances sur les questions relatives aux pays, tout en ayant un impact minimal sur les autres questions. La sélection aléatoire de têtes ou la sélection basée sur la Logit Lens n'ont pas montré cet effet ciblé.
Atténuation de la Toxicité : En utilisant une liste restreinte de mots-clés toxiques pour sélectionner les têtes, les auteurs ont réussi à réduire la fréquence des générations toxiques dans les ensembles de données RealToxicityPrompts (RTP) et Thoroughly Engineered Toxicity (TET). L'inversion de 32 têtes spécialisées a réduit les générations toxiques d'environ 30 à 50 % par rapport aux lignes de base, tandis que les interventions aléatoires augmentaient souvent la toxicité.
Classification d'Images (LLaVA) : Inverser les 32 meilleures têtes sélectionnées via SOMP pour des jeux de données spécifiques (ex: MNIST, SVHN) a considérablement perturbé la précision de la classification. L'étude a révélé que les jeux de données ayant des sémantiques liées (ex: tâches de reconnaissance de chiffres) partagent des ensembles de têtes spécialisées chevauchants, confirmant le chevauchement fonctionnel entre les domaines.
Légendage d'Images (Flickr30k) :
- Inhibition : Inverser 16 têtes spécialisées pour des attributs tels que les « couleurs », les « sentiments » ou la « quantité » a presque totalement supprimé ces mots-clés des légendes tout en maintenant des scores CIDEr élevés (qualité de la légende).
- Amélioration : Amplifier ces têtes ( $\alpha=5$ ) a augmenté la présence des concepts cibles de plus de 60 % avec une dégradation marginale de la qualité des légendes.

Signification et Revendications

L'article affirme que les couches d'attention dans les grands modèles génératifs possèdent un sous-espace linéaire structuré et aligné sur les concepts. Cette découverte soutient l'hypothèse selon laquelle les concepts de haut niveau sont représentés dans des sous-espaces résiduels approximativement linéaires.

La signification de ce travail réside dans la fourniture d'outils simples, sans entraînement, pour comprendre et éditer les modèles à grande échelle. En identifiant qu'un petit nombre d'unités peut exercer un contrôle sémantique large, les auteurs proposent une alternative principiée aux interventions heuristiques basées sur le prompt ou au fine-tuning. Cette approche permet :

L'Interprétabilité : Décomposer le comportement du modèle en un petit ensemble d'éléments interprétables.
Le Contrôle : Suppression ou amélioration ciblée d'attributs spécifiques (ex: toxicité, certains concepts visuels) avec un impact minimal sur les capacités générales du modèle.

Les auteurs restent modestes quant aux limites, notant que la méthode suppose la linéarité (ce qui peut ne pas capturer toutes les structures non linéaires), dépend de la qualité du dictionnaire sémantique, et utilise un simple redimensionnement global plutôt qu'un pilotage (steering) fin. Ils suggèrent que les travaux futurs pourraient explorer des interventions spécifiques à la position ou appliquer ces techniques aux tâches de génération d'images.