💻 computer science

Steerable Visual Representations

Ce papier présente les représentations visuelles steerables, une nouvelle classe de caractéristiques qui intègre des prompts textuels directement dans l'encodeur visuel via une attention croisée légère, permettant ainsi de guider les représentations vers des concepts spécifiques tout en préservant leur qualité pour diverses tâches de vision par ordinateur.

Auteurs originaux : Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano

Publié 2026-04-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 SteerViT : Le "Télécommande" pour les Yeux de l'IA

Imaginez que vous avez un photographe automatique très talentueux, mais un peu têtu. C'est ce qu'on appelle une Vision Transformer (ViT) (comme DINOv2), une intelligence artificielle qui regarde les images.

Le problème actuel :
Ce photographe a un défaut : il ne regarde que l'objet le plus gros et le plus brillant de la photo.

Si vous lui montrez une photo d'un salon avec un chat sur le canapé et une télécommande sur la table, il va dire : "Ah, c'est un chat !" et ignorer complètement la télécommande.
Si vous lui demandez de trouver des photos de télécommandes, il échouera, car son cerveau est "collé" sur le chat.

La solution de SteerViT :
Les chercheurs ont créé SteerViT. C'est comme si on donnait une télécommande à ce photographe têtu. Maintenant, vous pouvez lui dire : "Non, regarde la télécommande !" ou "Regarde le livre sur l'étagère !".

L'IA change alors instantanément son point de vue pour se concentrer exactement sur ce que vous lui demandez, tout en restant aussi intelligente qu'avant pour comprendre le reste de l'image.

🧠 Comment ça marche ? (L'analogie du Chef et du Sous-chef)

Pour comprendre la différence technique, imaginons une cuisine :

Les anciennes méthodes (Fusion tardive) :
Imaginez un chef (l'IA visuelle) qui prépare un plat (l'image) dans son coin. Une fois le plat fini, un assistant (le texte) arrive et dit : "C'est un plat de poisson". Le chef ajoute alors une étiquette sur le plat.
- Résultat : Le plat a été cuisiné sans tenir compte de l'information. C'est trop tard !
Les méthodes actuelles (Fusion tardive) :
C'est comme si le chef cuisinait, et qu'à la fin, on lui donnait un mot-clé pour classer le plat. Il ne change pas sa façon de cuisiner.
La méthode SteerViT (Fusion précoce) :
Ici, l'assistant (le texte) entre dans la cuisine pendant que le chef cuisine. Il murmure au chef : "Attention, concentre-toi sur la sauce, pas sur le poisson !".
- Résultat : Le chef ajuste ses gestes, son regard et ses ingrédients en temps réel pour créer exactement ce que vous voulez. C'est ce qu'on appelle la "fusion précoce".

🚀 Ce que SteerViT permet de faire (En termes simples)

Grâce à cette "télécommande" textuelle, SteerViT fait des choses magiques :

Chasse aux objets cachés :
Dans une photo de foule, vous pouvez demander "Trouve le chapeau rouge". L'IA va ignorer les visages et se focaliser uniquement sur le chapeau, même s'il est tout petit.
Le tri intelligent :
Si vous avez 100 photos de cuisine, SteerViT peut trier celles qui contiennent un "blender" de celles qui contiennent un "bol de fruits", même si le blender est caché derrière un fruit. Les anciennes IA ne voyaient que "une cuisine".
Détection d'anomalies (Le détective) :
Dans une usine, SteerViT peut regarder une pièce de métal et dire : "Regarde cette petite rayure ici". Il peut trouver des défauts invisibles à l'œil nu en se concentrant sur ce que vous lui demandez, sans avoir besoin d'apprendre spécifiquement pour cette usine.
La précision du détail :
Plus votre phrase est précise, plus l'IA est fine.
- "Un mug" -> Elle cherche n'importe quel mug.
- "Le mug blanc avec des points noirs" -> Elle trouve exactement celui-là, même s'il y en a dix autres.

💡 Pourquoi c'est une révolution ?

Avant, il fallait choisir entre deux options :

Soit une IA très intelligente mais rigide (elle voit ce qu'elle veut).
Soit une IA flexible mais bête (elle a besoin de beaucoup de données pour chaque nouvelle tâche).

SteerViT est le meilleur des deux mondes :

Il garde l'intelligence de base de l'IA (elle reste excellente pour tout).
Il ajoute une couche légère (comme un petit logiciel de 21 millions de paramètres, ce qui est très peu pour une IA) qui agit comme un guide.
Il fonctionne sans réentraînement : vous pouvez l'utiliser pour une nouvelle tâche (comme trouver des anomalies dans des pneus) juste en changeant le texte, sans toucher aux boutons de réglage.

En résumé

SteerViT, c'est comme donner un guide touristique à un explorateur.
Avant, l'explorateur (l'IA) marchait au hasard et s'arrêtait toujours devant le plus gros monument.
Maintenant, avec SteerViT, vous pouvez lui dire : "Arrête-toi devant la petite statue cachée derrière l'arbre". Et il le fait, instantanément, avec une précision incroyable.

C'est une façon de rendre les yeux de l'IA obéissants et flexibles, tout en gardant leur génie naturel.

Titre : SteerViT : Représentations Visuelles Pilotables par le Langage Naturel

1. Problématique

Les modèles de vision par ordinateur pré-entraînés, tels que les Vision Transformers (ViT) comme DINOv2, MAE ou SigLIP, fournissent des représentations visuelles génériques de haute qualité. Cependant, ces modèles souffrent d'un biais de salience : ils tendent à se concentrer exclusivement sur l'objet le plus dominant ou le plus saillant d'une image (par exemple, un chat dans une pièce), ignorant les objets moins visibles mais pertinents pour une tâche spécifique (comme une télécommande ou une étagère).

À l'inverse, les Modèles de Langage Multimodaux (MLLM) peuvent être guidés par des prompts textuels, mais leurs représentations visuelles sont souvent centrées sur le langage, perdant en fidélité visuelle et en efficacité pour les tâches de vision pure. De plus, la fusion tardive (late fusion) du texte et de l'image (comme dans CLIP) ne permet pas de modifier le processus d'encodage visuel lui-même ; le texte n'influence que la sortie finale, pas la représentation interne.

Le défi : Comment créer des représentations visuelles qui conservent la haute qualité des encodeurs ViT pré-entraînés tout en permettant de les "piloter" (steer) dynamiquement via du texte pour se concentrer sur des concepts spécifiques, même non saillants, sans perdre la capacité de généralisation ?

2. Méthodologie : SteerViT

Les auteurs proposent SteerViT, une nouvelle classe de représentations visuelles qui conditionne l'encodeur visuel sur des entrées textuelles via une fusion précoce (early fusion).

Architecture :

Encoders Gelés : Le modèle utilise un encodeur visuel pré-entraîné (ex: DINOv2) et un encodeur textuel (ex: RoBERTa) qui restent gelés (frozen) pendant l'entraînement.
Adaptateur Multimodal Léger : Des couches d'attention croisée (Cross-Attention) légères et entraînables sont intercalées dans les blocs du ViT.
- Les tokens visuels (patches) agissent comme des requêtes ( $Q$ ).
- Les tokens textuels adaptés agissent comme des clés ( $K$ ) et des valeurs ( $V$ ).
Mécanisme de Porte (Gating) : L'information textuelle est injectée dans le flux résiduel du ViT via une porte paramétrable (tanh gate) initialisée à zéro. Cela permet au modèle de commencer par se comporter comme le ViT original et d'apprendre progressivement à intégrer les indices textuels.
Objectif d'Entraînement (Pretext Task) : Le modèle est entraîné sur une tâche de segmentation de référence (referential segmentation). Étant donné une image et un prompt textuel désignant un objet, le modèle doit prédire quels patches de l'image correspondent à cet objet. Cela force l'attention du modèle à se rediriger vers l'objet mentionné, indépendamment de sa saillance visuelle.

Fusion Précoce vs Tardive :
Contrairement aux approches classiques qui fusionnent texte et image après l'encodage (late fusion), SteerViT injecte le texte directement dans les couches intermédiaires de l'encodeur visuel. Cela permet au texte de modifier la structure même des caractéristiques visuelles extraites.

3. Contributions Clés

Introduction de SteerViT : Un cadre permettant de doter n'importe quel encodeur visuel pré-entraîné de représentations pilotables par le texte, en ajoutant seulement ~21 millions de paramètres (contre des milliards pour les MLLM).
Amélioration Pareto : Le modèle atteint un compromis optimal (frontière de Pareto) : il offre une pilotabilité (steerability) exceptionnelle tout en préservant (voire améliorant) la qualité des représentations visuelles pour des tâches génériques.
Généralisation Zero-Shot : La méthode permet une adaptation à de nouveaux domaines (détection d'anomalies industrielles, discrimination d'objets personnalisés) sans réentraînement spécifique, simplement en changeant le prompt textuel.
Benchmarks Nouveaux : Introduction de benchmarks pour mesurer la pilotabilité, notamment CORE (COnditional REtrieval) pour l'extraction d'images basée sur des objets non saillants.

4. Résultats Expérimentaux

Pilotabilité (CORE Benchmark) :
- Dans des tâches de récupération d'images conditionnées par le texte (ex: trouver des images avec un "blender" dans une cuisine, alors que le chat est l'objet dominant), SteerViT atteint 96% de précision, surpassant largement DINOv2 (44%) et les MLLM (environ 65-70%).
- Les encodeurs unimodaux échouent car ils se figent sur l'objet dominant. La fusion tardive (CLIP) n'apporte aucun gain significatif.
Qualité des Représentations :
- Contrairement aux modèles de localisation à vocabulaire ouvert (OV) qui sacrifient la qualité visuelle pour la pilotabilité, SteerViT maintient la performance des tâches de classification fine et de segmentation sémantique.
- Une étude d'ablation montre que l'ajout de la condition textuelle enrichit même les caractéristiques de modèles plus faibles comme MAE, améliorant leur transférabilité.
Granularité Sémantique :
- La précision du prompt contrôle la granularité des représentations. Des prompts détaillés ("la tasse blanche à pois") permettent une discrimination d'instances bien supérieure à celle d'un modèle finement ajusté (fine-tuned) spécifique, et ce, avec un seul modèle universel.
Généralisation Zero-Shot :
- Détection d'anomalies industrielles (MVTec AD) : SteerViT atteint des performances comparables aux méthodes dédiées (82.1 PRO vs 84.5 pour l'état de l'art FADE) sans aucun entraînement sur les données d'anomalies.
- Discrimination d'objets personnalisés : Le modèle peut distinguer un objet spécifique (ex: "votre tasse") d'autres objets de la même classe en se basant uniquement sur la description textuelle.

5. Signification et Impact

Ce travail renverse le paradigme dominant des MLLM où le langage domine la vision. SteerViT propose une approche centrée sur la vision où le langage agit comme un mécanisme de contrôle léger et efficace.

Efficacité : Avec seulement 21M de paramètres entraînables, SteerViT est beaucoup plus économe en calcul que les MLLM (milliards de paramètres) tout en étant plus performant pour les tâches de vision.
Flexibilité : Il démontre que l'on peut étendre les capacités des encodeurs visuels riches (comme DINOv2) à de nouveaux domaines et tâches complexes sans réentraînement coûteux, en utilisant simplement le langage naturel comme interface de contrôle.
Inspiration Cognitive : L'approche s'inspire de la perception humaine, où l'attention visuelle est guidée par des attentes ou des instructions textuelles (top-down attention), validant l'importance de la fusion précoce du langage dans le processus de vision.

En résumé, SteerViT établit une nouvelle frontière pour la compréhension visuelle multimodale, prouvant qu'il est possible de rendre les représentations visuelles dynamiques et pilotables sans sacrifier leur robustesse intrinsèque.