Resumo Técnico: LookWhere

Definição do Problema

Os Vision Transformers (ViTs) estão se tornando cada vez mais grandes e precisos, mas seu custo computacional escala quadraticamente com a resolução da imagem devido ao crescimento quadrático de tokens. Esse custo é proibitivo para entradas de alta resolução comuns em fotografia, sensoriamento remoto, direção autônoma e imagens médicas. Os métodos existentes de computação adaptativa enfrentam limitações significativas:

• Redução de Tokens: Métodos que podam ou fundem tokens (ex: PiToMe, DTEM) ainda exigem o processamento do conjunto completo de tokens de entrada nas camadas iniciais, incorrendo em altos custos iniciais.
• Seleção de Tokens: Métodos que selecionam tokens (ex: DPS, IPS) frequentemente dependem de otimizações complexas e caras por tarefa ou técnicas de otimização discreta que são difíceis de treinar e transferir.
• Lacuna de Eficiência: Há uma falta de métodos que possam selecionar eficientemente onde olhar e extrair o que ver de entradas de alta resolução sem nunca processar a imagem completa, mantendo a transferibilidade entre diversas tarefas.

Metodologia: LookWhere

Os autores propõem o LookWhere, um framework de computação adaptativa autossupervisionada que fatura o problema em "onde olhar" e "o que ver" usando uma arquitetura pareada Selector-Extractor (Seletor-Extrator).

Arquitetura Central

1. Selector (Onde Olhar):
   • Opera em uma versão de baixa resolução da imagem de entrada.
   • Um ViT raso (profundidade truncada) processa essa entrada de baixa resolução para gerar um "mapa de seleção" (um mapa de atenção de alta resolução) prevendo as localizações de patches informativos.
   • Ele também gera tokens globais de baixa resolução (tokens de classe e de registro) para serem reutilizados pelo extrator.
2. Extractor (O que Ver):
   • Opera em um conjunto esparso de patches de alta resolução selecionados pelo seletor (os top-$k$ patches).
   • Ele tokeniza apenas esses patches de alta resolução selecionados.
   • Ele reutiliza os tokens globais gerados pelo seletor (substituindo seus próprios tokens aprendíveis) para evitar redundância computacional.
   • Ele processa essas entradas esparsas para produzir uma representação completa da imagem de alta resolução, que é então utilizada para a predição específica da tarefa.

Treinamento: Destilação What-Where

O sistema é pré-treinado usando destilação autossupervisionada de um modelo professor grande e congelado (DINOv2). Isso permite que o sistema aprenda sem rótulos específicos de tarefa.

• Professor (Teacher): Um ViT autossupervisionado (DINOv2) que processa a entrada completa de alta resolução.
• Alvos de Destilação (Distillation Targets):
  • Onde (Where): O seletor aprende a prever o mapa de atenção do professor (indicando regiões salientes) usando apenas a entrada de baixa resolução.
  • O quê (What): O extrator aprende a prever as representações dos tokens de classe e de patch do professor (o conteúdo semântico) usando apenas os patches de alta resolução esparsos e os tokens globais de baixa resolução do seletor.
• Função de Perda (Loss Function): Uma soma ponderada de três perdas:
  1. Destilação de Token de Classe (MSE): Alinha representações globais.
  2. Destilação de Token de Patch (MSE): Alinha representações locais.
  3. Destilação de Atenção (Divergência KL): Alinha o mapa previsto pelo seletor com o mapa de atenção do professor.
• Eficiência: O professor processa a imagem completa uma única vez para gerar os alvos. O aluno (Selector + Extractor) nunca processa a imagem de alta resolução completa durante o treinamento ou inferência, tornando o pré-treinamento e a inferência altamente eficientes.

Ajuste Fino (Fine-tuning)

Para tarefas de downstream, apenas o extrator e um preditor específico da tarefa (ex: uma camada linear) são ajustados via aprendizado supervisionado. O seletor permanece congelado, permitindo que a estratégia de "onde olhar" se generalize entre tarefas.

Principais Contribuições

1. Arquitetura Inovadora: Um framework de seletor-extrator que desacopla a seleção de localização (baixa resolução) da extração de características (alta resolução esparsa), evitando o processamento total da resolução.
2. Pré-treinamento Autossupervisionado: Um esquema de "destilação what-where" que treina conjuntamente o seletor e o extrator a partir de um professor autossupervisionado, permitindo a transferência entre tarefas sem necessidade de otimização por tarefa para a seleção.
3. Eficiência de Hardware: Ao contrário de métodos anteriores de seleção de tokens que exigem otimizações discretas ou agrupamentos (clustering) complexos, o LookWhere baseia-se em operações padrão de ViT aceleradas em GPU, tornando-o mais rápido em hardwares atuais.
4. Eficiência de Alta Resolução: Demonstra ganhos significativos em cenários de alta resolução, onde a escala quadrática é mais problemática.

Resultados Experimentais

O artigo avalia o LookWhere em benchmarks padrão (ImageNet, ADE20K) e benchmarks de alta resolução (Placas de Trânsito, Pássaros, Bolas de Bilhar).

• Classificação ImageNet: O LookWhere alcança trade-offs de precisão/eficiência de estado da arte (SoTA). Para o ViT-S, ele é 1,36× mais rápido que o segundo melhor método (DTEM) enquanto mantém precisão comparável.
• Segmentação ADE20K: O LookWhere supera o DTEM em precisão sendo ≥2× mais rápido em níveis de computação comparáveis.
• Tarefas de Alta Resolução (Placas de Trânsito):
  • O LookWhere reduz os FLOPs em até 34× e o tempo de inferência em 6× em comparação com baselines como o IPS, mantendo precisão competitiva.
  • Ele supera seu próprio professor (DINOv2) em eficiência enquanto iguala ou excede sua precisão em tarefas de reconhecimento esparso.
• Reconhecimento de Grão Fino (Pássaros): Alcança precisão quase igual ao DINOv2 processando apenas 10% dos patches, resultando em economias significativas de velocidade, memória e FLOPs.
• Eficiência de Treinamento: O LookWhere requer significativamente menos FLOPs cumulativos durante o ajuste fino em comparação com outros métodos adaptativos (ex: rivalizando com o DPS em precisão com uma fração do custo de treinamento).
• Robustez: Testes preliminares mostram que o LookWhere é mais robusto a ataques adversários de pequeno $\epsilon$ do que o DINOv2, sugerindo que a computação esparsa pode oferecer benefícios inerentes de robustez.

Significância e Alegações

O artigo afirma que o LookWhere representa uma mudança na computação adaptativa ao:

• Eliminar o Processamento de Resolução Total: Diferente dos métodos de redução de tokens, ele nunca processa a entrada completa, oferecendo uma vantagem fundamental de eficiência em altas resoluções.
• Simplicidade e Transferibilidade: Ao contrário de métodos de seleção anteriores que exigem otimização complexa por tarefa, o LookWhere utiliza uma estratégia de pré-treinamento simples e unificada que transfere efetivamente entre tarefas globais (classificação) e locais (segmentação).
• Praticidade: Ele utiliza operações de transformer padrão, tornando-o compatível com aceleradores de hardware atuais sem o overhead de algoritmos de clustering ou otimização discreta customizados.

Os autores posicionam o LookWhere como uma solução para o gargalo do "custo quadrático" dos ViTs, permitindo o reconhecimento eficiente e preciso em imagens de alta resolução ao aprender a ignorar pixels irrelevantes através de autossupervisão. Eles reconhecem limitações, como a atual falta de ajuste fino do seletor e a natureza puramente espacial do método, sugerindo que trabalhos futuros poderiam explorar adaptações temporais (vídeo) ou espectrais (sensoriamento remoto).