💻 computer science

CanViT: Toward Active-Vision Foundation Models

Le papier présente CanViT, le premier modèle fondation d'vision active (AVFM) agnostique aux tâches et aux politiques, qui utilise une architecture novatrice combinant un Transformer de vision retinotopique et une mémoire spatiale globale pour atteindre des performances de segmentation et de classification supérieures avec une efficacité computationnelle accrue grâce à un préentraînement à grande échelle sans étiquettes.

Auteurs originaux : Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna

Publié 2026-03-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 CanViT : Le Peintre qui ne regarde qu'un coin à la fois

Imaginez que vous devez décrire un immense tableau de 10 mètres de large à quelqu'un qui est aveugle.

L'approche traditionnelle (les modèles passifs) : C'est comme si vous preniez une photo instantanée de tout le tableau d'un coup, puis vous essayiez de tout analyser en même temps. C'est efficace pour les petits tableaux, mais pour les grands, cela demande une énergie colossale et cela vous force à regarder tout d'un coup, sans pouvoir vous concentrer sur les détails.
L'approche humaine (la vision active) : Nous, les humains, ne regardons pas tout d'un coup. Nous bougeons nos yeux. Nous nous concentrons sur un détail (un visage), puis nous déplaçons notre regard vers un autre (un arbre), puis nous nous éloignons pour voir le contexte. Notre cerveau assemble ces petits morceaux pour former une image mentale complète.

Le papier présente CanViT, un nouveau type d'intelligence artificielle qui imite cette façon humaine de voir. C'est le premier modèle capable de "comprendre" une scène en regardant des petits morceaux (des glimpses ou "vues rapides") les uns après les autres, sans avoir besoin d'être réentraîné pour chaque nouvelle tâche.

🧠 Les 3 Ingédients Magiques de CanViT

Pour que cette machine fonctionne comme un humain, les chercheurs ont inventé trois choses principales :

1. La "Toile" (The Canvas) : Le brouillon mental

Imaginez que CanViT a un brouillon géant devant lui, appelé "la Toile".

Quand le modèle regarde un petit coin de l'image (un "glimpse"), il ne jette pas cette information au rebut.
Il l'écrit sur sa Toile.
La Toile est comme une carte mentale de la scène entière. Même si le modèle regarde un coin très zoomé, il sait où ce coin se situe par rapport au reste de la carte.
L'analogie : C'est comme un détective qui dessine une carte du crime sur un tableau blanc. À chaque nouvelle preuve (nouveau regard), il ajoute un post-it sur la carte, sans jamais effacer ce qu'il a déjà vu.

2. Le "Regard Asymétrique" : Le chef et l'assistant

Le modèle est divisé en deux équipes qui travaillent ensemble :

L'Observateur (le "Backbone") : C'est l'œil rapide. Il regarde le petit morceau d'image (le "glimpse") et dit : "Tiens, je vois un chat ici !"
La Mémoire (la "Toile") : C'est le cerveau lent mais puissant. Il garde le souvenir de tout ce qui a été vu.
Le Secret : Habituellement, les IA sont lourdes car elles doivent tout recalculer à chaque fois. Ici, l'Observateur est très léger et rapide. Il envoie juste un petit message à la Mémoire pour la mettre à jour. La Mémoire ne fait pas de calculs compliqués elle-même ; elle attend juste les messages de l'Observateur. C'est comme un chef cuisinier (l'Observateur) qui passe des commandes rapides à un assistant (la Mémoire) qui garde les ingrédients en ordre.

3. L'Entraînement "Sans Étiquettes" : Apprendre en regardant

Comment on apprend à un robot à voir ? D'habitude, on lui montre des milliers de photos avec des étiquettes ("c'est un chien", "c'est une voiture").

La méthode CanViT : Les chercheurs ont utilisé un "professeur" très intelligent (un modèle passif existant appelé DINOv3) qui connaît déjà le monde.
Ils ont demandé à CanViT de regarder une scène par petits bouts (des vues aléatoires, zoomées ou dézoomées) et de deviner à quoi ressemble la scène entière, en se basant sur ce que le "professeur" verrait s'il regardait la scène d'un coup.
L'analogie : C'est comme un élève qui regarde des photos floues et partielles d'un paysage, et qui doit deviner ce que le paysage complet ressemble en se disant : "Si j'avais une vue parfaite, je verrais quoi ?". L'élève apprend ainsi à reconstruire le monde sans qu'on lui dise explicitement "c'est un arbre".

🚀 Pourquoi c'est une révolution ?

Jusqu'à présent, les modèles de "vision active" (qui regardent par morceaux) étaient lents, imprécis et ne pouvaient pas faire de tâches complexes comme la segmentation (délimiter chaque objet dans une image).

Les résultats de CanViT sont bluffants :

Efficacité extrême : Pour comprendre une image, CanViT utilise 19 fois moins d'énergie (de calcul) que les meilleurs modèles actuels, tout en étant plus précis.
Zéro entraînement spécifique : On peut prendre le modèle tel quel (frozen) et l'utiliser pour segmenter des images ou classifier des objets, sans avoir besoin de le réentraîner avec des étiquettes spécifiques. Il s'adapte immédiatement.
Flexibilité : Il peut regarder une image en commençant par le gros plan, ou par le grand angle, ou en suivant un chemin aléatoire. Peu importe la stratégie, il comprend la scène.

🌍 En résumé

CanViT, c'est comme donner à une intelligence artificielle la capacité de promener son regard dans une pièce. Au lieu de tout analyser d'un coup (ce qui est coûteux et lent), elle explore la pièce pièce par pièce, note ses observations sur un carnet mental (la Toile), et assemble le tout pour comprendre la scène.

C'est un pas énorme vers des IA plus intelligentes, plus économes en énergie, et capables de fonctionner dans le monde réel, où l'on ne peut pas toujours tout voir d'un coup. C'est le début d'une nouvelle ère où les machines ne regardent plus passivement, mais observent activement.

1. Le Problème : Le fossé entre vision passive et active

La vision par ordinateur moderne repose principalement sur des modèles passifs (comme les Transformers de vision ou ViT) qui traitent des images entières d'un seul coup. Bien que performants, ces modèles ne sont pas biologiquement plausibles et peuvent être inefficaces pour les scènes de grande taille, car ils traitent toute l'information simultanément, y compris les zones non pertinentes.

À l'inverse, la vision active (inspirée de la biologie) consiste à observer une scène de manière séquentielle via des "lueurs" (glimpses) localisées et à zoomer stratégiquement. Cependant, les modèles de vision active existants souffrent de plusieurs limitations majeures :

Manque d'architectures généralistes : Ils sont souvent conçus pour des tâches spécifiques (classification) et ne gèrent pas bien les tâches de prédiction dense (comme la segmentation sémantique).
Inefficacité computationnelle : Les modèles actuels ré-encodent souvent l'ensemble des lueurs accumulées à chaque étape, ce qui rend le coût computationnel quadratique par rapport au nombre de lueurs.
Dépendance au RL : Ils nécessitent souvent un apprentissage par renforcement (RL) complexe pour apprendre la politique de regard, ce qui rend l'entraînement instable et difficile à généraliser.
Faibles performances : Sur des benchmarks comme ADE20K (segmentation), les meilleurs modèles actifs sont nettement moins performants que leurs homologues passifs.

L'objectif est de créer un Modèle Fondation de Vision Active (AVFM) : un modèle capable de comprendre la structure spatiale et sémantique d'une scène à travers n'importe quelle séquence de lueurs, sans être lié à une tâche ou une politique de regard spécifique.

2. Méthodologie : L'architecture CanViT

Les auteurs proposent CanViT (Canvas Vision Transformer), une architecture récurrente novatrice qui découple la "pensée" (traitement de la lueur) de la "mémoire" (représentation de la scène).

A. Architecture Dual-Stream (Double Flux)

CanViT utilise deux flux de traitement interactifs :

Le Flux Squelette (Backbone) : Un ViT standard qui traite les lueurs locales (crops de la scène) à haute résolution. Ce flux est éphémère et ne conserve pas l'information d'une étape à l'autre directement.
Le Flux Toile (Canvas) : Une mémoire latente persistante et spatiale qui représente l'ensemble de la scène. Elle est composée d'une grille de tokens spatiaux couvrant les coordonnées de la scène $[-1, +1]^2$ , indépendamment du point de vue actuel.

B. Mécanisme d'Attention de Toile (Canvas Attention)

C'est le cœur de l'efficacité de CanViT. Il s'agit d'un mécanisme d'attention croisée asymétrique qui alterne entre deux opérations :

Lecture (Read) : Les tokens du squelette interrogent la Toile pour obtenir le contexte global et conditionner le traitement de la lueur actuelle.
Écriture (Write) : Les tokens de la Toile interrogent le squelette pour mettre à jour la mémoire avec les nouvelles informations de la lueur.

Innovation clé : Pour réduire drastiquement le coût computationnel, les auteurs éliminent les projections linéaires (Q, K, V, O) et les couches MLP (Fully Connected) du côté de la Toile. Seuls les tokens du squelette subissent ces transformations coûteuses. Cela permet de maintenir une mémoire de grande capacité (beaucoup de tokens) à un coût linéaire faible.

C. Encodage de Position Relatif à la Scène (SR-RoPE)

Pour lier le flux rétinotopique (la lueur) au flux spatiotopique (la toile), CanViT utilise des Rotary Position Embeddings (RoPE) basés sur les coordonnées réelles de la scène. Cela permet au modèle de comprendre la géométrie relative des lueurs, quel que soit le niveau de zoom ou la position, assurant une généralisation robuste.

D. Entraînement : Distillation Latente Dense Passive-vers-Active

Au lieu d'utiliser le RL pour apprendre où regarder, les auteurs proposent un schéma d'entraînement sans étiquettes (label-free) et agnostique à la politique :

Enseignant (Teacher) : Un modèle passif puissant (DINOv3) qui génère des représentations riches de la scène entière.
Étudiant (Student) : CanViT doit reconstruire ces représentations denses (embeddings) à partir d'une séquence de lueurs de basse résolution et de positions aléatoires.
Objectif : Minimiser la perte de reconstruction entre les tokens de la Toile de CanViT et les features de DINOv3. Cela force le modèle à apprendre à intégrer l'information spatiale et sémantique de manière efficace, indépendamment de la stratégie de regard utilisée pendant l'entraînement.

3. Contributions Clés

Premier AVFM généraliste : CanViT est le premier modèle fondation de vision active agnostique à la tâche et à la politique, capable de gérer la segmentation sémantique et la classification.
Architecture efficace et évolutive : Grâce à l'attention asymétrique et à l'absence de MLP sur la Toile, CanViT permet une inférence séquentielle à faible latence et s'adapte à des scènes de très grande taille sans explosion du coût computationnel.
Découplage Perception/Politique : En séparant la capacité d'observer (perception) de la capacité de décider où regarder (politique), le pré-entraînement devient simple (distillation) et évite la complexité du RL.
Nouvelle frontière Performance/Efficacité : Le modèle atteint des performances supérieures aux modèles passifs et actifs existants avec beaucoup moins d'opérations (FLOPs).

4. Résultats Expérimentaux

Les auteurs ont entraîné un modèle CanViT-B sur 13,2 millions d'images ImageNet-21k (1 milliard de lueurs) en seulement 166 heures sur un seul GPU H100.

Segmentation Sémantique (ADE20K) :
- Avec une seule lueur (basse résolution), un CanViT-B gelé atteint 38,5 % de mIoU, surpassant le meilleur modèle actif précédent (27,6 %) et même son enseignant DINOv3 (33,2 %) avec 19,5 fois moins de FLOPs.
- Avec une séquence de lueurs (politique Coarse-to-Fine), il atteint 45,9 % de mIoU, établissant un nouvel état de l'art.
- Il généralise à des résolutions plus élevées (1024x1024) et à des politiques de regard jamais vues pendant l'entraînement.
Classification (ImageNet-1k) :
- Atteint 81,2 % de précision top-1 avec une politique Coarse-to-Fine, surpassant les modèles actifs précédents (AdaGlimpse à 77,5 %) sans fine-tuning spécifique ni RL.
Efficacité et Latence :
- CanViT est linéaire par rapport au nombre de lueurs, contrairement aux modèles précédents qui sont quadratiques.
- Sur des scènes de haute résolution (1024x1024), CanViT est jusqu'à 26,8 fois plus rapide que DINOv3 sur CPU et 5,3 fois plus rapide sur GPU, tout en étant plus précis.

5. Signification et Impact

Ce travail marque un tournant dans la recherche sur la vision active :

Validation du paradigme AVFM : Il démontre qu'il est possible de construire des modèles de vision active fondés sur des principes de fondation (Foundation Models) qui rivalisent avec les modèles passifs, comblant ainsi le fossé historique entre les deux approches.
Élimination du besoin de RL : En prouvant que la distillation passive-vers-active suffit à apprendre une perception robuste, cela ouvre la voie à des modèles plus stables et plus faciles à déployer dans le monde réel (ex: robots, caméras embarquées).
Efficacité computationnelle : L'architecture permet de traiter des scènes complexes et dynamiques avec des ressources limitées, ce qui est crucial pour les applications embarquées et en temps réel.
Futur de la perception active : CanViT fournit une base solide pour développer des agents autonomes capables de planifier activement leurs observations, d'intégrer des informations dans une mémoire de travail spatiale et de s'adapter à des environnements changeants.

En résumé, CanViT redéfinit la vision active non plus comme une simple optimisation de politique de regard, mais comme une capacité fondamentale d'intégration d'information spatiale et sémantique, rendue possible par une architecture ingénieuse et un apprentissage par distillation efficace.