Cost-Efficient Multi-Scale Fovea for Semantic-Based Visual Search Attention

1. Problema

O artigo aborda o desafio de criar sistemas de atenção visual artificial que sejam simultaneamente biologicamente plausíveis e computacionalmente eficientes para tarefas de busca visual (encontrar um objeto específico numa cena).

• Gargalo Computacional: Os detectores de objetos modernos baseados em Deep Learning (como YOLO ou DETR) exigem grandes quantidades de dados de entrada (imagens de alta resolução) para extrair informações semânticas. Processar a cena inteira em cada fixação ocular gera custos de tempo e memória proibitivos para sistemas em tempo real.
• Limitação dos Modelos Atuais: Muitos modelos de atenção atuais (ex: Gazeformer, HAT) dependem de dados de rastreamento ocular humano para treino, o que os torna menos biologicamente plausíveis (já que humanos não aprendem a olhar baseando-se nos olhares de outros). Além disso, eles muitas vezes não simulam corretamente a degradação da acuidade visual nas regiões periféricas do campo de visão.
• Ineficiência de Métodos Existentes: Técnicas de foveação artificial anteriores, como a Foveação Laplaciana ou métodos baseados em transformações log-polar, ou não reduzem significativamente o custo computacional (pois ainda exigem processamento em resolução total) ou exigem o re-treinamento massivo de modelos de detecção, o que é custoso.

2. Metodologia

Os autores propõem uma integração entre o framework de atenção SemBA (Semantic-based Bayesian Attention) e um novo módulo de foveação chamado Multi-Scale Fovea (Fovea Multiescala).

• Framework SemBA: É um sistema de atenção puramente baseado em estímulos (não usa dados de humanos para treino). Ele utiliza detectores de objetos pré-treinados para extrair informações semânticas de múltiplas fixações e funde essas informações probabilisticamente (usando distribuições Dirichlet) para prever a próxima melhor fixação.
• Mecanismo Multi-Scale Fovea:
  • Estrutura: Cria uma pirâmide de resolução em torno de um ponto focal. Consiste em $N$ camadas concêntricas, onde cada camada externa é o dobro do tamanho da anterior ($l_{n+1} = 2l_n$).
  • Processamento: Todas as camadas são recortadas e, subsequentemente, subamostradas (downsampled) para o tamanho da camada interna mais pequena (a fovea).
  • Efeito Biológico: Isso simula o "efeito de excentricidade" da retina humana: a região central mantém a máxima acuidade, enquanto as regiões periféricas sofrem distorção e perda de resolução progressiva.
  • Fusão de Dados: As detecções de objetos de todas as camadas são mapeadas de volta para a grade original da imagem e fundidas usando a regra de Kaplan. Isso permite que o sistema lide com a incerteza: objetos na periferia geram detecções menos confiantes, imitando a percepção humana.
  • Vantagem Técnica: Ao contrário de métodos log-polar, esta técnica não requer o re-treinamento dos detectores de objetos (YOLO, DETR, etc.), pois mantém as propriedades geométricas cartesianas das imagens, apenas alterando a resolução de entrada.

3. Principais Contribuições

1. Novo Mecanismo de Fovea: Proposta de uma "Fovea Multiescala" que reduz drasticamente o número de pixels a serem processados por detector, mantendo a estrutura geométrica necessária para modelos pré-treinados.
2. Integração no SemBA: Incorporação deste módulo no pipeline SemBA para busca visual com alvo presente, demonstrando que a redução de custo não compromete a precisão da tarefa.
3. Análise de Plausibilidade Biológica: Avaliação rigorosa da similaridade entre os caminhos de fixação (scanpaths) gerados pelo modelo e os humanos, utilizando métricas de similaridade de sequência semântica e espacial.
4. Estudos de Ablação: Comparação de diferentes configurações de tamanho da fovea e uso de três modelos de detecção de última geração (DETR, YOLOv11, RT-DETR) para avaliar o impacto nos custos computacionais e na precisão.

4. Resultados

Os experimentos foram realizados no conjunto de dados COCO-Search18.

• Desempenho na Tarefa: O sistema SemBA com a Fovea Multiescala alcançou desempenho cumulativo comparável à média humana após 6 fixações (cerca de 90% de sucesso).
• Similaridade Humana:
  • Em métricas de similaridade semântica (SemSS e SemFED), o modelo superou a consistência humana (ou seja, a variação entre o modelo e humanos foi menor que a variação entre humanos), indicando que o modelo acerta as categorias de objetos que os humanos olham com alta precisão.
  • Em métricas de distância espacial (SS e FED), o modelo ficou ligeiramente abaixo da consistência humana, mas superou o modelo IVSN (que não usa dados humanos), demonstrando que a abordagem baseada apenas em estímulos é viável.
• Eficiência Computacional:
  • A redução de pixels processados foi drástica (ex: de 100% para apenas 5,80% na configuração 4x160).
  • Aceleração: Para modelos pesados como o DETR, houve um speed-up de 17,6x (de 10,37s para 0,59s por iteração). Para modelos leves como o YOLOv11, o ganho foi menor (0,144s para 0,115s), pois estes já são otimizados para grandes entradas.
• Comparação com Outros Métodos: A Fovea Multiescala superou a Foveação Laplaciana e o método FOVEA em termos de similaridade semântica e, crucialmente, evitou a necessidade de re-treinamento de modelos, ao contrário do que seria necessário para métodos log-polar.

5. Significado e Conclusão

O trabalho demonstra que é possível criar sistemas de atenção visual artificial que sejam altamente eficientes e biologicamente plausíveis sem depender de grandes conjuntos de dados de rastreamento ocular humano para treino.

• Viabilidade em Tempo Real: A redução massiva nos custos computacionais torna viável a implementação deste tipo de sistema em robôs humanoides ou dispositivos embarcados com recursos limitados.
• Modelagem da Percepção: O sucesso do modelo em prever a ordem semântica das fixações (o que o humano olha) sugere que a atenção visual é fortemente guiada por semântica e incerteza visual, e que simular a degradação periférica (excentricidade) é fundamental para replicar o comportamento humano.
• Futuro: A abordagem oferece um caminho unificado para integrar a detecção de objetos moderna com a modelagem de atenção cognitiva, resolvendo o conflito entre a necessidade de alta resolução para precisão e a necessidade de baixa resolução para eficiência.