CanViT: Toward Active-Vision Foundation Models

1. Problemstellung

Aktives Sehen (Active Vision) verspricht eine effiziente und biologisch plausible Wahrnehmung durch sequenzielle, lokale „Blicke" (Glimpses) anstelle der passiven Verarbeitung ganzer Bilder. Bisherige Ansätze im Bereich des aktiven Computersehens (Active Computer Vision, ACV) leiden jedoch unter erheblichen Einschränkungen:

• Fehlende skalierbare Architekturen: Es gibt keine allgemeinen, vortrainierten Foundation-Modelle für aktives Sehen (Active-Vision Foundation Models, AVFMs).
• Ineffizienz und mangelnde Genauigkeit: Bestehende Modelle erreichen bei dichten Vorhersageaufgaben (wie semantischer Segmentierung) oft deutlich schlechtere Ergebnisse als passive Modelle und sind rechenintensiv, da sie oft alle bisherigen Blicke bei jedem Schritt neu verarbeiten müssen.
• Abhängigkeit von Reinforcement Learning (RL): Viele Ansätze versuchen, die Blickstrategie (Policy) und die Wahrnehmung gleichzeitig zu lernen, was den Trainingsprozess komplex und instabil macht.
• Lücke zwischen passivem und aktivem Sehen: Passive Foundation-Modelle (wie DINOv3) sind hervorragend in der sofortigen Bildverarbeitung, besitzen aber kein Konzept für lokale Blicke oder ein Arbeitsgedächtnis für Szenen.

2. Methodik: CanViT (Canvas Vision Transformer)

Die Autoren stellen CanViT vor, das erste tasks- und policy-agnostische AVFM. Die Architektur basiert auf einem rekurrenten Dual-Stream-Design:

A. Architektur-Komponenten

1. Backbone-Stream (Retinotopisch): Ein standardmäßiger Vision Transformer (ViT), der lokale Blicke (Crops) verarbeitet. Dieser Stream ist flüchtig (ephemeral) und verarbeitet nur die aktuellen Eingabepatches.
2. Canvas-Stream (Spatiotopisch): Ein persistentes, szenenweites latentes Arbeitsgedächtnis („Canvas").
   • Das Canvas besteht aus einem Gitter von Tokens, das die gesamte Szenenkoordinate $[-1, +1]^2$ abdeckt.
   • Es fungiert als kognitive Karte der Szene und speichert Informationen über den gesamten Verlauf der Blicke.
   • Wichtig: Auf dem Canvas werden keine Self-Attention-Layer oder Fully-Connected-Layer (MLPs) angewendet. Dies reduziert die Rechenkomplexität drastisch und ermöglicht Skalierbarkeit auf große Szenen.
3. Canvas Attention (Asymmetrische Cross-Attention):
   • Dies ist der Kernmechanismus, der Backbone und Canvas verbindet.
   • Read-Operation: Der Backbone fragt das Canvas ab, um Kontext zu erhalten.
   • Write-Operation: Der Backbone aktualisiert das Canvas mit neuen Informationen.
   • Asymmetrie: Projektionen (Q, K, V, O) finden nur auf der Seite des Backbones statt. Das Canvas dient nur als Key/Value (beim Read) oder Query (beim Write) ohne eigene Projektionen. Dies spart enorme Rechenkosten (FLOPs), da das Canvas viele mehr Tokens enthält als der Backbone.
4. Scene-Relative RoPE (SR-RoPE):
   • Herkömmliche Positional Embeddings funktionieren nicht, da Blicke unterschiedliche Zoomstufen und Positionen haben.
   • CanViT nutzt RoPE (Rotary Position Embeddings) basierend auf den Koordinaten im Szenenraum. Dies bindet den retinotopen Backbone und den spatiotopen Canvas an ein gemeinsames Referenzsystem und ermöglicht Generalisierung über verschiedene Zoomstufen hinweg.
5. Viewpoint Encoding (VPE) Token: Ein spezielles Token, das Position und Zoom des aktuellen Blicks kodiert (skaleninvariant), um die Policy-Lernfähigkeit zu unterstützen.

B. Pretraining: Policy-agnostische, dichte latente Distillation

Anstatt Reinforcement Learning zu nutzen, verwenden die Autoren ein Label-freies Pretraining-Schema:

• Teacher-Student-Ansatz: Ein großes, passives Modell (DINOv3 ViT-B) dient als Lehrer. Es kennt die gesamte Szene (High-Resolution).
• Aufgabe: CanViT (der Schüler) muss aus einer Sequenz von zufälligen, niedrig aufgelösten Blicken (mit variierenden Positionen und Zoomstufen) die dichten latenten Repräsentationen (Embeddings) des Lehrers rekonstruieren.
• Ziel: Das Modell lernt, eine semantisch reiche „mentale Abbildung" der Szene aufzubauen, ohne dass die Blickstrategie (Policy) während des Trainings festgelegt wird. Dies trennt das „Sehen" vom „Wohin-Schauen".

3. Schlüsselbeiträge

• Erstes AVFM: Einführung von CanViT als erstes general-purpose Foundation-Modell für aktives Sehen.
• Neue Architektur: Die Canvas-Vision-Transformer-Architektur mit asymmetrischer Cross-Attention und einem persistenten, aber rechenleichten Arbeitsgedächtnis.
• Effizientes Pretraining: Ein passiv-zu-aktiv Distillationsverfahren, das komplexe RL-Pipelines vermeidet und stattdessen auf der Rekonstruktion von DINOv3-Features basiert.
• Entkopplung: Trennung von Wahrnehmung (Backbone/Canvas) und Aktionsauswahl (Policy), was die Anwendung in realen Szenarien erleichtert.

4. Ergebnisse

Die Evaluation erfolgte an einem gefrorenen CanViT-B-Modell (ohne Fine-Tuning) auf verschiedenen Aufgaben:

• Semantische Segmentierung (ADE20K):
  • Mit einem einzigen Blick (niedrige Auflösung) erreicht CanViT 38,5 % mIoU.
  • Dies übertrifft den besten vorherigen aktiven Ansatz (AME) mit 27,6 % mIoU bei 19,5-fach weniger Rechenkosten (FLOPs).
  • Es schlägt sogar den passiven DINOv3-Lehrer bei vergleichbarer oder geringerer Rechenleistung.
  • Mit zusätzlichen Blicken (C2F-Policy) steigt die Leistung auf 45,9 % mIoU.
• Bildklassifizierung (ImageNet-1k):
  • Erreicht 81,2 % Top-1-Accuracy mit gefrorenen Probes, was mit den besten aktiven Modellen konkurriert, die jedoch oft RL und spezifisches Fine-Tuning benötigen.
• Generalisierung:
  • Das Modell generalisiert hervorragend auf längere Sequenzen, höhere Auflösungen (bis 1024x1024) und neue, während des Trainings nicht gesehene Blickstrategien (z. B. Coarse-to-Fine).
  • Es zeigt Robustheit gegenüber suboptimalen Policies (z. B. Fine-to-Coarse).
• Effizienz:
  • Die Inferenz ist extrem schnell und skalierbar, da die Rechenkosten linear mit der Anzahl der Blicke wachsen (im Gegensatz zu quadratischem Wachstum bei vorherigen Ansätzen wie AME).

5. Bedeutung und Ausblick

CanViT schließt die Kluft zwischen passiven und aktiven Vision-Modellen und beweist, dass ein sorgfältig entworfenes aktives Architektur-Konzept in Kombination mit einem starken Distillations-Signal ausreicht, um den State-of-the-Art zu verbessern.

• Paradigmenwechsel: Die Arbeit etabliert AVFMs als neuen Forschungsstrang.
• Praktische Relevanz: Durch die Trennung von Wahrnehmung und Policy ist das Modell für reale Anwendungen (z. B. Robotik, autonome Systeme) geeignet, wo physikalische Einschränkungen die Blickstrategie diktieren.
• Zukunft: Die Autoren sehen Potenzial für die Erweiterung auf Echtzeit-Videoverarbeitung, die Integration von end-to-end Policy-Learning und die Skalierung auf größere Modelle.

Zusammenfassend demonstriert CanViT, dass aktives Sehen nicht nur biologisch plausibler, sondern auch rechnerisch effizienter und leistungsfähiger als passives Sehen sein kann, wenn die richtige Architektur und das richtige Lernsignal gewählt werden.