Resumo Técnico: FOVI – Uma Interface Foveada Biologicamente Inspirada para Modelos de Visão Profunda

1. Declaração do Problema

Processar dados visuais em resoluções nativas elevadas apresenta desafios computacionais severos para modelos de aprendizagem profunda. Embora a visão computacional padrão frequentemente dependa de entradas de baixa resolução (ex: 224x224), muitas aplicações do mundo real — como robótica humanoide, condução autónoma e processamento de cenas amplas — exigem sensibilidade a campos de visão (FOV) vastos em altas resoluções.

Para arquiteturas baseadas em transformers (ViTs) que utilizam auto-atenção, o aumento da resolução da imagem impõe custos duplamente quadráticos:

1. Contagem de Pixels: O número de pixels aumenta quadraticamente com o comprimento do lado.
2. Complexidade de Atenção: O mecanismo de auto-atenção escala quadraticamente com o número de patches ($O(N^2)$), uma vez que cada patch atende a todos os outros.

As soluções existentes frequentemente simplificam o problema através do downsampling, o que descarta detalhes críticos de alta frequência. Por outro lado, tentativas anteriores de sensoriamento foveado (modelos log-polares ou abordagens cartesianas deformadas) resultam frequentemente em amostragem anisotrópica local, produzindo formas de campo recetivo não biologicamente plausíveis e deformações indesejadas. Existe uma carência de uma interface foveada de uso geral e biologicamente plausível que possa ser adotada em diversas arquiteturas (CNNs e ViTs) mantendo uma amostragem isotrópica eficiente.

2. Metodologia

Os autores propõem o FOVI (Foveated Vision Interface), um sistema inspirado na retina humana e no córtex visual primário (V1). A inovação central é reformatar um arranjo de sensores de resolução variável, semelhante à retina, num manifold de sensores semelhante ao V1, uniformemente denso.

2.1. O Manifold de Sensores e a Amostragem

O FOVI utiliza o modelo matemático de mapeamento retino-cortical (Rovamo & Virsu, 1984).

• Função de Magnificação Cortical (CMF): A densidade de amostragem é determinada por $M(r) = \frac{1}{r+a}$, onde $r$ é a excentricidade e $a$ é um parâmetro que controla a força da foveação. À medida que $a \to \infty$, a amostragem torna-se uniforme; valores menores de $a$ indicam uma foveação mais forte.
• Amostragem Isotrópica: O sistema integra a CMF para derivar uma dimensão "cortical". Em seguida, amostra esta dimensão uniformemente e calcula os raios retinianos correspondentes. As amostras angulares são determinadas para garantir a isotropia local (garantindo que a distância entre ângulos vizinhos seja igual à distância entre raios vizinhos em qualquer ponto).
• Representação do Manifold: Os pontos resultantes formam um manifold de sensores 3D. Ao cortar este manifold ao longo do meridiano vertical e achatá-lo, o sistema cria uma representação 2D que espelha a organização retinotópica dos hemisférios V1 humanos.

2.2. kNN-Convolução e Mapeamento de Kernel

Para realizar operações convolucionais padrão neste manifold não uniforme, os autores introduzem a kNN-convolução:

• Campos Recetivos: Definidos como vizinhanças de $k$-vizinhos mais próximos (kNNs) em torno das unidades de saída no manifold do sensor.
• Mapeamento de Kernel: Uma técnica inovadora que mapeia um kernel de referência aprendido (treinado numa grelha cartesiana padrão) para cada vizinhança kNN.
  • Passo 1: Definir coordenadas de vizinhança polar relativas à unidade de saída.
  • Passo 2: Transformar estas coordenadas para coordenadas cartesianas para alinhar com o frame do kernel de referência.
  • Passo 3: Amostrar espacialmente o kernel de referência utilizando estas coordenadas.
• Resolução: O kernel de referência pode ser definido a uma resolução superior ($s = 2\sqrt{k}$) do que o tamanho da vizinhança para melhor acomodar posições espaciais idiossincráticas, atuando como um mecanismo de anti-aliasing.

2.3. Implementações Arquiteturais

O artigo demonstra duas implementações distintas:

1. FOVI-CNNs: Uma arquitetura hierárquica (semelhante à AlexNet) onde o mapa de ativação de cada camada é um manifold de sensores. O downsampling é realizado via max-pooling, e os kNNs são definidos para a camada subsequente.
2. FOVI-ViTs: Uma adaptação foveada do modelo de fundação DINOv3.
   • Patchificação: Os patches são definidos como kNNs sobre o arranjo de sensores.
   • Adaptação: O modelo DINOv3 pré-treinado é adaptado utilizando Low-Rank Adaptation (LoRA) aplicado à camada de patch embedding e à primeira metade das camadas do transformer. Isto permite que o modelo integre a nova interface de sensor enquanto retém características visuais pré-treinadas e minimiza o overfitting.

3. Principais Contribuições

1. Interface FOVI: Uma nova interface de visão foveada que amostra o espaço visual de acordo com um modelo de mapeamento retino-cortical, produzindo um manifold de sensores uniformemente denso.
2. kNN-Convolução: Um novo mecanismo convolucional com mapeamento de kernel que permite operações de aprendizagem profunda padrão (partilha de pesos, alinhamento de orientação) em inputs foveados e não-euclidianos.
3. Plausibilidade Biológica: A arquitetura produz naturalmente campos recetivos (RFs) que escalam linearmente com a excentricidade, correspondendo às características espaciais dos RFs neurais de primatas (ao contrário dos métodos log-polares ou cartesianos deformados que produzem RFs anisotrópicos).
4. Adaptação de Modelo de Fundação: Um protocolo bem-sucedido para adaptar ViTs pré-treinados de grande escala (DINOv3) para inputs foveados usando LoRA, alcançando alto desempenho com orçamentos computacionais reduzidos.

4. Resultados

4.1. Desempenho FOVI-CNN

• Propriedades do Campo Recetivo: O modelo exibe tamanhos de RF que aumentam linearmente com a excentricidade, correspondendo aos dados de V1-V3 humanos. Esta dependência é abolida em variantes não foveadas.
• Precisão de Classificação: No ImageNet-1K, modelos com foveação intermediária ($a=0.5$) superaram tanto a foveação forte quanto os controlos não foveados (uniformes) quando limitados a um "orçamento de pixels" restrito (amostrando 64x64 pixels de uma imagem de 256x256).
• Estratégia de Fixação: O desempenho melhora significativamente com o número de fixações, saturando em torno de 20 fixações.

4.2. Desempenho FOVI-ViT

• Eficiência vs. Precisão: A variante FOVI-ViT-H+ (utilizando 64 patches, ~1/16 dos pixels de uma baseline uniforme de 224x224) alcançou 84% de precisão top-1 no ImageNet-1K com uma única fixação. Isto representa >96% da precisão da baseline completa ViT-H+, utilizando aproximadamente 1/3 dos GFLOPS.
• Comparação com Baselines: Os modelos FOVI superaram significativamente:
  • Downsampling uniforme para 64x64.
  • FOVI "fraco" (amostragem quase uniforme).
  • Modelos foveados log-polares (que tiveram dificuldades devido a desvios de distribuição do pré-treino).
• Escalabilidade: A análise mostra que, enquanto operações de não-atenção escalam aproximadamente de forma quadrática ($O(m^{1.76})$), as operações de atenção escalam como $O(m^4)$. O FOVI mitiga eficazmente o estrangulamento de $O(m^4)$ ao reduzir o comprimento efetivo da sequência para inputs de alta resolução.

5. Significância e Alegações

O artigo afirma que o FOVI fornece uma solução de uso geral e biologicamente plausível para o estrangulamento computacional da visão de alta resolução.

• Eficiência: Abre caminhos para o sensoriamento ativo eficiente em tarefas de visão egocêntrica de alta resolução (ex: robótica, condução autónoma) ao reduzir drasticamente a contagem de pixels e o custo computacional sem sacrificar o desempenho.
• Flexibilidade: Ao contrário de métodos anteriores restringidos a arquiteturas específicas ou que sofrem de artefactos anisotrópicos, o FOVI pode ser integrado tanto em CNNs como em Transformers (incluindo modelos de fundação).
• Fidelidade Biológica: É a primeira abordagem que modela com precisão a natureza localmente isotrópica e dependente da excentricidade da foveação humana de uma forma compatível com a aprendizagem profunda de ponta a ponta.
• Potencial Futuro: Os autores sugerem que o FOVI é particularmente valioso para cenários que exigem processamento de alta resolução onde as restrições computacionais são críticas, bem como para a modelação computacional de fenómenos da visão periférica humana (ex: crowding, guia de sacadas).

Os autores mantêm a modéstia, notando limitações como o overhead computacional da convolução kNN em comparação com a convolução 2D padrão e o facto de a avaliação atual estar limitada à classificação de imagens, em vez de deteção ou segmentação. Eles enfatizam que a principal contribuição é o design da interface e o seu mecanismo de integração.