Do vision models perceive illusory motion in static images like humans?

Título: ¿Percepción de modelos de visión de movimiento ilusorio en imágenes estáticas como los humanos?

1. El Problema

Aunque las Redes Neuronales Profundas (DNN) han superado al rendimiento humano en muchos benchmarks de estimación de flujo óptico, carecen de la robustez y las estrategias computacionales fundamentales del sistema visual humano. Existe una brecha significativa en la capacidad de los modelos actuales para procesar el movimiento en condiciones complejas, como oclusiones o desplazamientos grandes.

Un área crítica donde esta divergencia es evidente son las ilusiones de movimiento anómalo en imágenes estáticas (como la ilusión de las "Serpientes Giratorias" o Rotating Snakes). Los humanos perciben un movimiento rotatorio coherente en estas imágenes estáticas debido a micro-sacadas oculares y asimetrías sutiles de luminancia. Sin embargo, no está claro si los modelos de flujo óptico modernos, diseñados para estimar desplazamientos píxel a píxel, pueden replicar esta percepción ilusoria o si dependen de mecanismos computacionales diferentes a los biológicos.

2. Metodología

Los autores emplearon un enfoque de psicofísica in silico para evaluar sistemáticamente la correspondencia entre modelos de visión y la percepción humana.

• Estímulos: Se utilizaron variantes de la ilusión Rotating Snakes (escala de grises, azul-amarillo, rojo-verde) y otras ilusiones de movimiento anómalo (ilusiones de deriva periférica, deriva central y ilusión de Ouchi). Se generaron imágenes de control permutando las secuencias de luminancia o color para eliminar los gradientes responsables de la ilusión.
• Condiciones de Visualización Simuladas: Dado que el movimiento ilusorio a menudo depende del movimiento ocular, se simularon cuatro condiciones de entrada para los modelos:
  1. Estática: Frames idénticos.
  2. Inicio del estímulo: Transición de blanco a la imagen.
  3. Micro-sacadas: Desplazamientos pequeños (15-30 px).
  4. Sacadas: Desplazamientos más grandes (60-120 px).
• Modelos Evaluados: Se probaron 10 modelos representativos divididos en tres categorías arquitectónicas:
  • Arquitecturas multi-escala (ej. PWC-Net, RAFT).
  • Arquitecturas de decodificación recurrente.
  • Arquitecturas bio-inspiradas (ej. FFV1MT, ME-Attention, Dual, DorsalNet).
• Métricas de Evaluación: En lugar de solo medir el error de extremo (EPE), se utilizó una correlación normalizada entre el campo de flujo predicho por el modelo y un campo de flujo "verídico" que simula la percepción humana de rotación coherente. Esto permite evaluar la consistencia direccional global.
• Análisis de Ablación y Sondaje: Se realizaron pruebas en el modelo "Dual" (el más prometedor) para aislar componentes críticos: desactivación de canales de primer y segundo orden, eliminación de subconjuntos de datos de entrenamiento y análisis de iteraciones recurrentes.

3. Contribuciones Clave

• Evaluación Exhaustiva: Se presenta la primera evaluación sistemática de una amplia gama de modelos de flujo óptico frente a ilusiones de movimiento estático bajo condiciones de visión simuladas (incluyendo movimientos oculares).
• Pipeline Unificado: Se propone un marco experimental que integra condiciones de visualización controladas (micro-sacadas, inicio de estímulo) y métricas cuantitativas específicas para la percepción ilusoria.
• Identificación de Mecanismos: Se demuestra que la arquitectura y los datos de entrenamiento son determinantes. Se identificó que la combinación de procesamiento de movimiento de primer orden (luminancia), de segundo orden (características de color/textura) y mecanismos de integración recurrente es crucial para replicar la percepción humana.

4. Resultados Principales

• Fallo Generalizado: La gran mayoría de los modelos (PWC-Net, RAFT, FlowDiffuser, etc.) fallaron en generar campos de flujo consistentes con la percepción humana de las ilusiones estáticas. Bajo condiciones estáticas o de inicio, produjeron poco flujo o flujo dominado por la dirección del desplazamiento impuesto, sin capturar la rotación ilusoria.
• El Modelo "Dual": Fue el único modelo que mostró una alineación parcial con la percepción humana, específicamente bajo condiciones de micro-sacadas.
  • Generó patrones de flujo rotatorio en sentido antihorario (para las variantes en escala de grises y azul-amarillo) que se asemejaban a la percepción humana.
  • No logró replicar la suavidad y coherencia completa de la visión humana, pero superó significativamente a los modelos convencionales.
• Análisis de Ablación del Modelo Dual:
  • Canales Duales: La eliminación de cualquiera de los dos canales (primer orden o segundo orden) redujo drásticamente la alineación con la percepción humana. Ambos son necesarios.
  • Integración Recurrente: La alineación con la percepción humana aumentó a medida que avanzaban las iteraciones recurrentes, sugiriendo que la integración temporal es vital para consolidar la señal ilusoria.
  • Datos de Entrenamiento: La eliminación de datos de entrenamiento que contenían movimiento de objetos no texturados y difusos eliminó casi por completo la capacidad del modelo de replicar la ilusión, destacando la importancia de los datos de entrenamiento para el aprendizaje de mecanismos de segundo orden.
• Otras Ilusiones: Para la ilusión de Ouchi, los modelos bio-inspirados (Dual y ME-Attention) lograron segmentar la figura del fondo (movimiento relativo), mientras que los modelos convencionales fallaron.

5. Significado e Implicaciones

• Brecha Computacional: Los resultados confirman que los modelos de flujo óptico actuales, basados principalmente en el seguimiento de desplazamientos de píxeles, no capturan los principios computacionales subyacentes a la percepción del movimiento humano.
• Necesidad de Bio-inspiración: El éxito parcial del modelo Dual sugiere que la integración de mecanismos biológicos (canales de movimiento de primer y segundo orden, integración recurrente y atención) es esencial para construir sistemas de visión más robustos y centrados en el humano.
• Importancia de los Movimientos Oculares: El estudio subraya que simular las estadísticas de los movimientos oculares (micro-sacadas) es crucial para evaluar y entrenar modelos de visión, ya que el movimiento retinal transitorio es un desencadenante clave para la percepción de movimiento en imágenes estáticas.
• Futuro de la IA: Para lograr una visión por computadora que generalice mejor en entornos del mundo real y sea más robusta, los futuros sistemas deben incorporar no solo arquitecturas bio-inspiradas, sino también datos de entrenamiento que reflejen la complejidad de la percepción de movimiento humano (incluyendo movimiento de segundo orden y dinámica ocular).

En resumen, el paper demuestra que, aunque los modelos actuales son excelentes en tareas de flujo óptico estándar, carecen de la "intuición" visual necesaria para percibir ilusiones de movimiento, y que cerrar esta brecha requiere una arquitectura que imite la complejidad de los caminos visuales biológicos y la dinámica ocular.