CanViT: Toward Active-Vision Foundation Models

1. Il Problema

Il campo della visione artificiale attiva (Active Computer Vision - ACV) mira a imitare la percezione biologica umana, che non elabora l'intero campo visivo in modo passivo e simultaneo, ma seleziona attivamente "sguardi" (glimpses) sequenziali e localizzati per costruire una comprensione del mondo.
Tuttavia, esistono due principali limiti nello stato dell'arte attuale:

1. Mancanza di Architetture Scalabili: I modelli di visione attiva esistenti sono spesso limitati a compiti semplici (come la classificazione di cifre) o non riescono a gestire la predizione densa (es. segmentazione semantica) su scene complesse.
2. Divario con i Foundation Model Passivi: I moderni Foundation Model passivi (come DINOv3) eccellono nell'elaborazione di intere immagini statiche ma mancano di componenti essenziali per la visione attiva: non hanno memoria a lungo termine, non gestiscono il concetto di "sguardo localizzato" e non possono riutilizzare le computazioni precedenti per guidare l'elaborazione futura in modo ricorrente.
3. Dipendenza dal Reinforcement Learning (RL): Le soluzioni attive precedenti spesso richiedono un addestramento complesso tramite RL per imparare dove guardare, il che rende difficile la generalizzazione e il pre-training su larga scala.

L'obiettivo del paper è colmare questo divario creando un Active-Vision Foundation Model (AVFM): un modello generale capace di comprendere la struttura spaziale e semantica di una scena attraverso sequenze arbitrarie di sguardi, indipendentemente dalla politica di esplorazione utilizzata.

2. Metodologia: CanViT

Gli autori introducono CanViT (Canvas Vision Transformer), la prima architettura AVFM agnostica rispetto al compito e alla politica di esplorazione.

Architettura Duale

CanViT utilizza una struttura a due flussi che interagiscono bidirezionalmente:

1. Flusso Backbone (Retinotopico): Un Vision Transformer (ViT) standard che elabora gli "sguardi" (crop a bassa risoluzione estratti dalla scena). È effimero e processa l'input corrente.
2. Flusso Canvas (Spatiotopico): Una memoria latente persistente a livello di scena, chiamata "Canvas". Rappresenta una mappa cognitiva spaziale della scena intera. Il Canvas è composto da una griglia spaziale di patch che mappano direttamente le coordinate della scena, indipendentemente dalla vista corrente.

Meccanismi Chiave

• Canvas Attention: Un meccanismo di cross-attention asimmetrico che permette l'interazione efficiente tra il piccolo set di token dello sguardo (backbone) e il grande set di token del Canvas.
  • Lettura (Read): Il backbone interroga il Canvas per incorporare il contesto globale.
  • Scrittura (Write): Il Canvas interroga il backbone per aggiornare la memoria con i dettagli dello sguardo corrente.
  • Ottimizzazione: Per mantenere l'efficienza, il lato del Canvas non utilizza proiezioni QKVO (Query, Key, Value, Output) né strati Fully Connected (MLP). Questo riduce drasticamente il costo computazionale, permettendo al Canvas di avere un'alta capacità (molti token spaziali) senza esplodere i FLOP.
• Scene-Relative RoPE (SR-RoPE): Vengono utilizzati Embedding di Posizione Rotazionali (RoPE) basati sulle coordinate della scena $[-1, +1]^2$. Questo lega il flusso retinotopico (che cambia con lo zoom e la posizione) al flusso spaziotopico (fisso), permettendo al modello di generalizzare su diversi livelli di zoom e posizioni.
• Viewpoint Encoding (VPE): Un token dedicato che codifica la posizione $(x, y)$ e lo zoom $s$ dello sguardo corrente, facilitando l'apprendimento futuro di politiche di esplorazione.

Pre-training: Distillazione Latente Densa Passiva-Attiva

Per addestrare CanViT senza etichette e senza RL, gli autori propongono uno schema di distillazione densa latente:

• Insegnante (Teacher): Un modello passivo frozen (DINOv3 ViT-B) che genera rappresentazioni ricche dell'intera scena ad alta risoluzione.
• Studente (CanViT): Riceve una sequenza di sguardi a bassa risoluzione (con posizioni, zoom e lunghezze casuali) e deve ricostruire le embedding latenti del teacher (sia globali che dense/patch) partendo solo da questi frammenti.
• Obiettivo: Il modello impara a "immaginare" l'intera scena e a integrare le informazioni parziali in una memoria coerente, senza bisogno di etichette semantiche specifiche.

3. Contributi Chiave

1. Primo AVFM Generale: CanViT è il primo modello fondazionale per la visione attiva che non è vincolato a una specifica politica di esplorazione o compito.
2. Architettura Efficiente: L'uso di Canvas Attention asimmetrica e l'eliminazione degli strati MLP sul Canvas permettono di scalare a scene di grandi dimensioni con bassa latenza e costi computazionali ridotti.
3. Schema di Pre-training Innovativo: La distillazione da un teacher passivo a uno studente attivo permette di trasferire la conoscenza del mondo (world knowledge) senza RL, rendendo il pre-training scalabile su milioni di immagini.
4. Decoupling di "Come vedere" e "Dove guardare": Separando la capacità percettiva (architettura) dalla strategia di esplorazione (politica), il modello può essere utilizzato con politiche diverse (incluso il caso d'uso "zero-shot" senza addestramento specifico per la politica).

4. Risultati Sperimentali

Il modello CanViT-B è stato pre-addestrato su 13.2 milioni di scene di ImageNet-21k (1 miliardo di sguardi) su un singolo H100 in 166 ore.

• Segmentazione Semantica (ADE20K):
  • Con un singolo sguardo a bassa risoluzione, CanViT-B (frozen) raggiunge un mIoU del 38.5%, superando il suo insegnante DINOv3 (33.2%) e il miglior modello attivo precedente (AME, 27.6%) con 19.5 volte meno FLOP.
  • Con una politica "Coarse-to-Fine" (C2F) e più sguardi, raggiunge il 45.9% mIoU, superando di gran lunga lo stato dell'arte precedente.
  • Il modello generalizza a risoluzioni più alte (1024x1024) e a politiche non viste durante l'addestramento.
• Classificazione (ImageNet-1k):
  • Raggiunge l'81.2% di accuratezza top-1 con sguardi multipli, superando modelli attivi precedenti che richiedevano addestramento end-to-end con RL.
• Efficienza:
  • CanViT dimostra una scalabilità lineare rispetto al numero di sguardi, a differenza dei modelli precedenti che hanno costi quadratici o cubici a causa della rielaborazione di tutti i token accumulati.
  • Le misurazioni di latenza mostrano che CanViT è significativamente più veloce di DINOv3 su scene ad alta risoluzione, specialmente su CPU.

5. Significato e Impatto

Questo lavoro segna un punto di svolta per la visione artificiale attiva:

• Validazione dell'AVFM: Dimostra che è possibile costruire fondamenti per la visione attiva che competono con i modelli passivi, chiudendo il divario di prestazioni su compiti densi come la segmentazione.
• Nuovo Paradigma di Ricerca: Sposta l'attenzione dalla complessa ottimizzazione delle politiche di esplorazione (RL) al miglioramento della capacità percettiva e della memoria del modello.
• Applicabilità Reale: L'architettura a memoria costante e la bassa latenza lo rendono un candidato ideale per l'elaborazione video in tempo reale e la percezione attiva incorporata (embodied AI), dove i vincoli computazionali sono stringenti.
• Generalizzazione: La capacità di funzionare con politiche diverse e su scene di dimensioni variabili senza ri-addestramento apre la strada a sistemi di visione più robusti e adattabili nel mondo reale.

In sintesi, CanViT dimostra che combinando un'architettura ricorrente intelligente con una distillazione di conoscenza da modelli passivi, si può ottenere una visione artificiale attiva efficiente, scalabile e ad alte prestazioni, senza la necessità di costosi e instabili cicli di Reinforcement Learning.