CanViT: Toward Active-Vision Foundation Models

Resumo Técnico: CanViT – Rumo a Modelos de Base para Visão Ativa

1. O Problema

A Visão Computacional Ativa (Active Computer Vision - ACV) promete uma percepção eficiente e biologicamente plausível, simulando como os humanos observam o mundo através de "olhadas" (glimpses) sequenciais e localizadas, em vez de processar quadros completos passivamente. No entanto, o campo enfrenta duas barreiras principais:

• Falta de Arquiteturas Escaláveis: Os modelos existentes são limitados a tarefas simples (como classificação) ou falham em tarefas de predição densa (como segmentação semântica).
• Ausência de Pipelines de Pré-treinamento: Não existem "Foundation Models" (Modelos de Base) para visão ativa que sejam agnósticos a tarefas e políticas. A maioria dos modelos anteriores depende de Aprendizado por Reforço (RL) complexo para aprender onde olhar, o que dificulta o treinamento e a generalização.
• Desconexão com Modelos Passivos: Modelos passivos modernos (como o DINOv3) são excelentes em visão instantânea, mas não possuem memória ou conceito de olhadas localizadas, enquanto os modelos ativos atuais não conseguem igualar a precisão e riqueza representacional dos passivos.

2. Metodologia: A Arquitetura CanViT

Os autores introduzem o CanViT (Canvas Vision Transformer), o primeiro Modelo de Base para Visão Ativa (AVFM) agnóstico a tarefas e políticas. A arquitetura baseia-se em três pilares principais:

• Dual-Stream com "Canvas" (Tela):

  • Stream de Backbone (Efêmero): Um Vision Transformer (ViT) que processa a olhada atual (crop de baixa resolução).
  • Stream de Canvas (Persistente): Uma memória latente de cena completa, chamada de "Canvas". Ela atua como um mapa cognitivo espácio-semântico, consistindo em uma grade espacial de patches que cobre toda a cena (coordenadas $[-1, +1]^2$) e alguns tokens de registro não espaciais.
  • Dessincronização: O modelo decouple "pensar" (processamento do backbone) de "memória" (atualização do canvas), eliminando camadas totalmente conectadas e auto-atenção no lado do canvas para garantir baixa latência e escalabilidade.

• Canvas Attention (Mecanismo de Atenção Assimétrica):

  • Uma nova forma de atenção cruzada que permite interação eficiente entre o pequeno conjunto de tokens da olhada (backbone) e o grande conjunto de tokens do canvas.
  • Assimetria: Apenas os tokens do backbone sofrem projeções QKVO (Query, Key, Value, Output). Os tokens do canvas passam apenas por normalização e RoPE, reduzindo drasticamente o custo computacional (FLOPs) e permitindo que o canvas tenha alta capacidade semântica e espacial.
  • Operações Read/Write: O modelo alterna entre ler do canvas (para contextualizar a olhada atual) e escrever no canvas (para atualizar a memória da cena).

• Posicionamento Relativo à Cena (Scene-Relative RoPE):

  • Utiliza Rotary Position Embeddings (RoPE) baseadas nas coordenadas da cena, não apenas na posição do patch na imagem. Isso permite que o modelo generalize para diferentes escalas de zoom e posições, mantendo a consistência espacial entre o backbone (retinotópico) e o canvas (espaço-tópico).

• Pré-treinamento: Distilação Latente Densa Passiva-para-Ativa:

  • Objetivo: Reconstruir embeddings latentes de um modelo passivo "professor" (DINOv3) a partir de sequências de olhadas de baixa resolução.
  • Vantagem: Evita a necessidade de rótulos (label-free) e de RL. O modelo aprende a criar uma "imagem mental" rica da cena ao tentar corresponder a representação de alta resolução do DINOv3.
  • Política Agnóstica: O pré-treinamento utiliza rolagens (rollouts) com amostragem aleatória de posições e zooms, tornando o modelo robusto a qualquer política de seleção de olhadas futura.

3. Principais Contribuições

1. Primeiro AVFM (Active-Vision Foundation Model): Um modelo generalista que pode ser usado em diversas tarefas e políticas sem ajuste fino (fine-tuning) específico.
2. Arquitetura Eficiente: O uso de Canvas Attention assimétrica e a ausência de MLPs no canvas permitem escalabilidade para cenas grandes e inferência sequencial de baixa latência.
3. Novo Esquema de Pré-treinamento: A distilação densa latente permite transferir o conhecimento de visão passiva para o domínio ativo sem depender de RL ou dados rotulados.
4. Desempenho em Tarefas Densas: Demonstra que a visão ativa pode superar modelos passivos em eficiência computacional para tarefas como segmentação semântica.

4. Resultados Experimentais

O modelo CanViT-B foi pré-treinado em 13,2 milhões de cenas do ImageNet-21k (1 bilhão de olhadas) em apenas 166 horas em uma única GPU H100.

• Segmentação Semântica (ADE20K):

  • Com uma única olhada de baixa resolução, o CanViT-B congelado atingiu 38,5% de mIoU.
  • Isso supera o melhor modelo ativo anterior (AME) que atingiu 27,6% (requerendo 19,5x mais FLOPs e sendo pré-treinado especificamente para a tarefa).
  • Supera até mesmo o professor DINOv3 ViT-B/16 (33,2% mIoU) com menos computação.
  • Com a política Coarse-to-Fine (C2F) e múltiplas olhadas, atinge 45,9% de mIoU.

• Classificação (ImageNet-1k):

  • Alcança 81,2% de precisão top-1 com o protocolo C2F, superando modelos ativos anteriores que usavam RL e treinamento completo (ex: AdaGlimpse com 77,5%).

• Generalização e Eficiência:

  • Generalização Zero-Shot: O modelo generaliza bem para políticas não vistas durante o treinamento (como C2F e F2C), horizontes temporais longos e resoluções de cena maiores (até 1024x1024).
  • Latência: Em GPUs, o CanViT é significativamente mais rápido que modelos passivos em resoluções altas, pois processa apenas uma olhada fixa por passo, enquanto modelos passivos processam a imagem inteira quadráticamente.

5. Significado e Impacto

O trabalho do CanViT fecha a lacuna histórica entre a visão passiva (que é precisa mas ineficiente) e a visão ativa (que é eficiente mas historicamente imprecisa).

• Nova Linha de Pesquisa: Estabelece os "Modelos de Base para Visão Ativa" (AVFMs) como um novo eixo de pesquisa viável.
• Viabilidade Prática: Demonstra que é possível construir agentes de visão ativa robustos sem a complexidade e instabilidade do Aprendizado por Reforço, focando na qualidade da percepção e memória em vez da otimização da política de ação.
• Aplicações Futuras: A arquitetura de memória constante e baixa latência torna o CanViT um candidato natural para processamento de vídeo em tempo real e percepção ativa em robótica (corpos incorporados), onde recursos computacionais são limitados.

Em resumo, o CanViT prova que, ao combinar uma arquitetura recorrente bem projetada com um sinal de aprendizado rico e espacialmente fundamentado, a visão ativa pode alcançar o estado da arte em tarefas complexas de forma eficiente e generalizável.