CanViT: Toward Active-Vision Foundation Models

Titel: CanViT: Toward Active-Vision Foundation Models

Auteurs: Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna (McGill University, Mila, Université Laval)

---

1. Het Probleem

Bestaande computervisiemodellen (zoals Vision Transformers en CNNs) werken doorgaans passief: ze verwerken een volledige afbeelding in één keer, zonder de mogelijkheid om eerder berekende informatie te hergebruiken of strategisch te kijken. Hoewel dit goed werkt voor veel taken, is het computatiewerkzaam en biologisch onrealistisch.

Mensen daarentegen gebruiken actieve visie: ze scannen een scène sequentieel door gefocuste "flitsen" (glimpses) van verschillende locaties en zoomniveaus. Dit vereist:

1. Actieve waarneming: Het kiezen van waar en hoe ver men kijkt.
2. Geheugen: Het integreren van deze flitsen in een persistente, evoluerende voorstelling van de scène.

Bestaande "Active Vision"-modellen hebben echter twee grote tekortkomingen:

• Ze missen schaalbare, algemene architecturen en pretrainingspipelines.
• Ze presteren slecht op dichte voorspellingstaken (zoals semantische segmentatie) en blijven ver achter bij passieve foundation modellen (zoals DINOv3).
• Ze zijn vaak sterk afhankelijk van complexe Reinforcement Learning (RL) pipelines voor het kiezen van acties, wat het pretrainen bemoeilijkt.

Er bestaat tot nu toe geen Active-Vision Foundation Model (AVFM) dat zowel taak- als beleidsongafhankelijk is en in staat is om complexe scènes te begrijpen via sequentiële flitsen.

---

2. Methodologie: CanViT

De auteurs introduceren CanViT (Canvas Vision Transformer), het eerste taak- en beleidsongafhankelijke AVFM. De architectuur combineert een visuele backbone met een werkgeheugen ("canvas") en gebruikt een nieuwe pretrainingsstrategie.

A. Architectuur: Dual-Stream met Canvas Attention

CanViT bestaat uit twee interactieve stromen:

1. De Backbone Stream (Retinotopisch): Verwerkt de lokale flitsen (crops) van de scène. Dit is een standaard ViT-backbone die tijdelijke tokens verwerkt.
2. De Canvas Stream (Spatiotopisch): Een persistente, scene-wide latente representatie (het "canvas"). Dit fungeert als een cognitieve kaart van de scène. Het bestaat uit een raster van tokens dat de volledige scène bedekt, onafhankelijk van de huidige kijkhoek.

Canvas Attention:
Om deze twee stromen efficiënt te laten interageren, gebruiken de auteurs een asymmetrisch Cross-Attention mechanisme:

• Read-operatie: De backbone vraagt informatie op bij het canvas (context).
• Write-operatie: Het canvas vraagt informatie op bij de backbone (updates).
• Efficiëntie: Cruciaal is dat er geen self-attention en geen volledig verbonden lagen (MLPs) worden toegepast op de canvas-tokens. Alleen de backbone-tokens ondergaan QKVO-projecties. Dit verlaagt de rekencost drastisch en maakt schaalbaarheid naar grote scènes mogelijk.

Scene-Relative RoPE (SR-RoPE):
Om de positie en zoom van flitsen correct te koppelen aan het canvas, gebruiken ze rotatie-positie-embeddings (RoPE) die gebaseerd zijn op de coördinaten in de scène $[-1, +1]^2$, niet op de pixelcoördinaten van de crop. Dit zorgt ervoor dat het model begrijpt hoe een ingezoomde flits zich verhoudt tot de volledige scène.

B. Pretraining: Beleidsongafhankelijke Passief-naar-Actieve Distillatie

In plaats van complexe RL te gebruiken om te leren waar men moet kijken, focust CanViT op het leren hoe te zien.

• Doel: Reconstructie van de volledige scène (in de latent space van DINOv3) op basis van een reeks willekeurige, lage-resolutie flitsen.
• Teacher: Een bevroren DINOv3-model (passief) levert de "ground truth" features voor de volledige scène.
• Student: CanViT moet deze features reconstrueren uit een sequentie van willekeurige flitsen met verschillende locaties, zoomniveaus en lengtes.
• Beleid: Tijdens training worden de kijkrichtingen (policies) volledig gerandomiseerd. Het model leert dus niet een specifiek beleid, maar een algemene vaardigheid om scènes te integreren.

---

3. Belangrijkste Bijdragen

1. Eerste AVFM: CanViT is het eerste foundation model voor actieve visie dat taak- en beleidsongafhankelijk is.
2. Nieuwe Architectuur: Introductie van het "Canvas" concept en "Canvas Attention", wat een efficiënte manier biedt om werkgeheugen en visuele verwerking te ontkoppelen zonder zware self-attention op het geheugen.
3. Nieuwe Pretrainingsparadigma: Een labelloze, passief-naar-actieve distillatie die RL vermijdt en het model in staat stelt om te generaliseren naar nieuwe kijkbeleid en taken.
4. Schaalbaarheid: Het model is getraind op 13,2 miljoen scènes (ImageNet-21k) en 1 miljard flitsen, wat een orde van grootte meer is dan eerdere actieve modellen.

---

4. Resultaten

De resultaten tonen aan dat CanViT de kloof tussen passieve en actieve visie dicht, zelfs zonder fine-tuning.

• Semantische Segmentatie (ADE20K):
  • Met slechts één lage-resolutie flits bereikt een bevroren CanViT-B 38,5% mIoU.
  • Dit overtreft de beste bestaande actieve modellen (zoals AME, 27,6% mIoU) met 19,5x minder inferentie-FLOPs.
  • Het presteert zelfs beter dan de DINOv3-teacher (passief) bij gelijke rekencapaciteit.
  • Met meerdere flitsen (C2F-beleid) stijgt de score naar 45,9% mIoU.
• Objectclassificatie (ImageNet-1k):
  • Bereikt 81,2% top-1 nauwkeurigheid met een bevroren teacher-probe en het C2F-beleid.
  • Dit is concurrerend met modellen die volledig op maat zijn getraind, maar CanViT doet dit zonder taak-specifieke fine-tuning.
• Generalisatie:
  • Het model generaliseert uitstekend naar langere sequenties, hogere resoluties en nieuwe kijkbeleid (zoals "Coarse-to-Fine" of entropie-gestuurde strategieën) die tijdens training niet zijn gezien.
  • Het model is robuust tegen "slechte" beleid (zoals willekeurige volgorde), wat suggereert dat de beperking eerder in de waarneming (perceptie) lag dan in het beleid (actie).

---

5. Betekenis en Conclusie

Dit werk markeert een verschuiving in het onderzoek naar computer visie:

• Van RL naar Foundation Models: Het toont aan dat actieve visie niet per se afhankelijk is van complexe Reinforcement Learning, maar gebaat kan worden bij grote foundation modellen die leren om informatie sequentieel te integreren.
• Efficiëntie: CanViT demonstreert dat actieve visie niet alleen biologisch plausibel is, maar ook computationeel efficiënter kan zijn dan passieve visie voor dichte taken, vooral bij hoge resoluties.
• Toekomstperspectief: De auteurs zien CanViT als een blauwdruk voor toekomstig onderzoek naar "Embodied Active Perception" (robots die actief hun omgeving verkennen) en real-time videobewerking.

Kortom, CanViT bewijst dat een goed ontworpen architectuur gecombineerd met een krachtige distillatiestrategie voldoende is om de prestaties van actieve visie naar een nieuw niveau te tillen, zonder de noodzaak van specifieke fine-tuning of zware RL-training.