Do vision models perceive illusory motion in static images like humans?

Título: Modelos de Visão Percebem Movimento Ilusório em Imagens Estáticas como Humanos?

Autores: Isabella E. Rosario, Fan L. Cheng, Zitang Sun, Nikolaus Kriegeskorte (Columbia University e Kyoto University).

---

1. O Problema

A compreensão do processamento de movimento humano é fundamental para a construção de sistemas de visão computacional robustos e centrados no ser humano. Embora as Redes Neurais Profundas (DNNs) atuais superem o desempenho humano em muitos benchmarks de estimativa de fluxo óptico, elas falham em cenários complexos e utilizam estratégias computacionais fundamentalmente diferentes das humanas.

Um ponto crítico de divergência são as ilusões de movimento anomalo (movimento percebido em imagens estáticas). Enquanto modelos recentes conseguem reproduzir ilusões dinâmicas (como o reverse-phi), não está claro se eles conseguem perceber ilusões em imagens estáticas, como a famosa Ilusão das Cobras Girantes (Rotating Snakes). Esta ilusão depende de assimetrias sutis de luminância e de movimentos oculares fixacionais (microsaccades e saccades) para gerar a percepção de rotação. O objetivo do estudo é investigar se os modelos de fluxo óptico atuais conseguem replicar essa percepção humana.

2. Metodologia

Estímulos e Design Experimental:

• Ilusão Principal: Foco na Ilusão das Cobras Girantes, utilizando variantes em escala de cinza, azul-amarelo e vermelho-verde.
• Controles: Imagens de controle foram criadas permutando a sequência de luminância ou cor dentro das unidades repetitivas, eliminando os gradientes locais responsáveis pela ilusão, mas mantendo o layout global.
• Outras Ilusões: O estudo também avaliou ilusões de deriva periférica, deriva central e a ilusão de Ouchi.

Simulação de Condições de Visualização:
Para mimetizar a visão humana, os modelos foram testados sob quatro condições simuladas:

1. Estático: Frames idênticos ao longo do tempo.
2. Início do Estímulo (Onset): Transição de um campo branco para a imagem.
3. Microsaccade: Deslocamentos pequenos da imagem (15-30 px) simulando movimentos oculares involuntários.
4. Saccade: Deslocamentos maiores (60-120 px) simulando movimentos oculares rápidos.

Modelos Avaliados:
Foram testados 10 modelos representativos, divididos em três categorias arquitetônicas:

• Arquiteturas Multi-escala: PWC-Net, LiteFlowNet2 (LFN2).
• Arquiteturas Recorrentes/Decodificação: RAFT, CCMR, FlowDiffuser.
• Arquiteturas Bio-inspiradas: FFV1MT, DorsalNet, ME-Attention, e o modelo Dual (proposto por trabalhos anteriores dos autores, focado em processamento de movimento de primeira e segunda ordem).

Métricas de Avaliação:
Em vez de apenas erro de ponto final (EPE), os autores utilizaram uma correlação normalizada entre o campo de fluxo predito pelo modelo e um campo de fluxo "verdadeiro" que representa a percepção humana de rotação coerente. Isso permite medir a consistência direcional global, que é crucial para ilusões de movimento.

3. Contribuições Principais

1. Avaliação Abrangente: Uma avaliação sistemática de uma ampla gama de modelos DNNs e bio-inspirados na capacidade de reproduzir movimento ilusório em imagens estáticas.
2. Pipeline Unificado: Proposição de um pipeline experimental que integra condições de visualização simuladas (incluindo movimentos oculares) e métricas quantitativas específicas para ilusões.
3. Análise de Mecanismos: Identificação dos componentes computacionais necessários para replicar a ilusão através de análises de probing (sondagem), controle e ablação, destacando a importância do processamento de canais duplos e integração recorrente.

4. Resultados Chave

• Falha dos Modelos Convencionais: A maioria dos modelos baseados em DNNs (PWC-Net, RAFT, etc.) falhou em gerar campos de fluxo consistentes com a percepção humana. Sob condições estáticas ou de início de estímulo, eles produziram pouco fluxo ou fluxo dominado pela direção do deslocamento imposto, sem capturar a rotação ilusória.
• O Papel dos Movimentos Oculares: A percepção da ilusão pelos modelos só emergiu sob condições que simulam movimentos oculares (microsaccades e saccades).
• Desempenho do Modelo Dual: O modelo Dual (bio-inspirado, com canais de primeira e segunda ordem e integração recorrente) foi o único a exibir uma correspondência parcial com a percepção humana.
  • Ele gerou padrões de rotação coerentes (anti-horário) para variantes em escala de cinza e azul-amarelo durante simulações de microsaccades.
  • No entanto, falhou na variante vermelho-verde (gerando correlações negativas, ou seja, rotação na direção oposta).
• Análise de Ablação:
  • Canais Duplos: A remoção do canal de movimento de ordem superior (não-Fourier) ou do canal de primeira ordem (energia de movimento) reduziu drasticamente a correspondência com a percepção humana. Ambos são necessários.
  • Integração Recorrente: A integração recorrente (mecanismo de atenção) foi crítica para integrar pistas locais e gerar o movimento global.
  • Dados de Treinamento: A remoção de subconjuntos de dados de treinamento (movimento de objetos não texturizados e difusos) eliminou a capacidade do modelo de capturar a ilusão, sugerindo que a exposição a certos tipos de movimento real é vital.
• Outras Ilusões: Para a ilusão de Ouchi, modelos com mecanismos de energia de movimento (Dual e ME-Attention) conseguiram segmentar figura-fundo de forma mais humana, enquanto para ilusões de deriva periférica, apenas o modelo Dual mostrou alguma coerência rotacional.

5. Significado e Conclusões

• Lacuna entre IA e Biologia: Existe uma lacuna substancial entre os modelos de fluxo óptico atuais e o processamento visual humano. Modelos puramente baseados em correspondência de pixels ou arquiteturas recorrentes padrão não capturam os mecanismos subjacentes às ilusões de movimento.
• Importância da Bio-inspiração: O sucesso parcial do modelo Dual demonstra que incorporar princípios neurocientíficos — especificamente o processamento de movimento de primeira e segunda ordem, combinado com integração recorrente e simulação de movimentos oculares — é essencial para criar sistemas de visão mais robustos e alinhados com a percepção humana.
• Direções Futuras: O trabalho sugere que futuros sistemas de visão computacional devem integrar estatísticas realistas de movimentos oculares (microsaccades) e mecanismos de visão periférica para melhorar a generalização em ambientes visuais complexos e dinâmicos.

Em resumo, o estudo conclui que, embora os modelos atuais sejam excelentes em estimar movimento real, eles carecem dos mecanismos biológicos necessários para "ver" movimento onde não existe, a menos que sejam explicitamente projetados com arquiteturas bio-inspiradas e treinados sob condições que simulam a dinâmica da visão humana.