Resumen Técnico: Los modelos de eliminación de ruido desarrollan representaciones de ilusiones perceptivas similares a las humanas a través de diversas arquitecturas

1. Planteamiento del problema

Aunque se ha demostrado que las redes neuronales profundas (DNN) entrenadas con imágenes naturales producen resultados consistentes con los observadores humanos respecto a la ilusión de brillo y color visual, la evidencia existente se limita al nivel de salida (por ejemplo, píxeles restaurados, trayectorias decodificadas o decisiones de clasificación). Sigue siendo desconocido si estos modelos representan internamente las ilusiones, dónde residen tales representaciones y cómo se propagan a través de la red. Específicamente, existe una brecha entre observar que "las salidas del modelo parecen humanas" y comprender si "las computaciones internas del modelo están organizadas como la percepción humana". Además, no está claro si estas representaciones se generalizan a través de diferentes arquitecturas (por ejemplo, U-Nets frente a Transformers) o si son meros artefactos de objetivos de entrenamiento específicos.

2. Metodología

Los autores realizaron un análisis detallado por capas a través de nueve modelos que abarcan tres familias de arquitecturas:

• Modelos de eliminación de ruido (Denoising): DDPM en el espacio de píxeles (variantes de Google DDPM), U-Nets de Difusión Latente (Stable Diffusion 1.5, LDM) y Transformers de Difusión (DiT-XL/2).
• Líneas de base discriminativas: ResNet-50, VGG-19 y ViT-B/16 (entrenados en ImageNet).

Estímulos:

• Dataset GVIL: 35 imágenes de ilusiones de color base que contienen regiones físicamente idénticas pero que aparecen diferentes debido al contexto, emparejadas con imágenes de "contraparte real" donde se elimina el contexto ilusorio.
• Pyllusion: Ilusiones de Ebbinghaus y Ponzo sintéticas en 10 niveles de fuerza paramétrica para el análisis de dosis-respuesta.

Protocolo de sondeo (Probing):

• Sondeo de activaciones: Pasadas hacia adelante de un solo paso a través de modelos congelados en pasos de tiempo específicos ($t \in \{50, 150\}$) para capturar activaciones intermedias.
• Métricas: Tamaños de efecto (Cohen's $d$, Hedge's $g$, Glass's $\Delta$) calculados entre las activaciones en las regiones de la ilusión frente a las regiones de control.
• Correlación psicofísica: Comparación de las activaciones del modelo contra el modelo FLODOG (un modelo computacional validado de la percepción del brillo humano) utilizando la $\rho$ de Spearman.
• Intervenciones causales:
  • Ablación de canales: Anulación de canales específicos identificados como sensibles a la ilusión ($|d| \ge 0.5$) para medir la reducción de la señal descendente.
  • Inyección de fantasmas (Phantom Injection): Inyección de activaciones de una imagen de ilusión en la trayectoria de eliminación de ruido de una imagen de control para probar desplazamientos a nivel de píxel.
  • Prueba de solo lectura (Read-Only Test): Medición del impacto de la ablación en la reconstrucción del MSE de la imagen completa para determinar si los canales de la ilusión son más "de solo lectura" (menos acoplados a la salida) que los canales aleatorios.

3. Resultados clave

A. Codificación interna de ilusiones

• Localización: Las representaciones sensibles a la ilusión no son uniformes; se concentran fuertemente en las capas de cuello de botella (bottleneck) (por ejemplo, mid_attn_0 en U-Nets, bloque 26 en DiT).
• Independencia de la arquitectura: Todos los modelos de eliminación de ruido probados (U-Nets y Transformers) desarrollaron una sensibilidad a la ilusión de media a grande ($|d| \ge 0.5$). En contraste, los modelos discriminativos de arquitecturas similares mostraron efectos consistentemente más débiles (a menudo por debajo del umbral medio).
• Impulsor (Driver): El objetivo de eliminación de ruido (denoising objective) es el principal impulsor de este efecto, no la arquitectura específica. Esto se evidencia por la gran brecha en la sensibilidad a la ilusión entre DiT-XL/2 (denoising) y ViT-B/16 (discriminativo), que comparten el mismo mecanismo de atención.

B. Alineación psicofísica

• En estímulos basados en luminancia (SBC, rejilla de Hermann), las activaciones de la U-Net mostraron una fuerte correlación con la percepción humana ($\rho \ge 0.70$), siguiendo el modelo FLODOG.
• La señal escala monotónicamente con la fuerza paramétrica de la ilusión (por ejemplo, $\rho = 0.976$ para Ebbinghaus, $\rho = 1.000$ para Ponza), lo que indica una correspondencia graduada en lugar de una detección binaria.
• La correlación colapsó para los estímulos cromáticos, lo que sugiere una separación del procesamiento de luminancia y crominancia dentro de la red, similar a las disociaciones humanas de V1/V2 frente a V4.

C. El fenómeno del "Fantasma Perceptivo" (Perceptual Phantom)

El hallazgo más significativo es la disociación interno-salida:

1. Implicación causal: La ablación de los canales sensibles a la ilusión en el cuello de botella reduce significativamente la señal de la ilusión en las capas subsiguientes (por ejemplo, una reducción del 43.8%), demostrando que estos canales están involucrados causalmente en el procesamiento interno.
2. Atenuación hacia la salida: A pesar de estar activos internamente, estas representaciones no se propagan a la salida.
   • Pruebas de inyección: La inyección de activaciones de ilusión en una trayectoria de eliminación de ruido limpia produjo ningún desplazamiento medible de píxeles ($shift\_frac \approx 0$) en todas las arquitecturas probadas.
   • Firma de solo lectura: La ablación de los canales sensibles a la ilusión resultó en un MSE de reconstrucción menor en comparación con la ablación de canales aleatorios, lo que indica que los canales de la ilusión son "de solo lectura" (su eliminación perturba la salida menos que el ruido aleatorio).
   • Mecanismo: En los DiTs, la auto-atención y la CapaNorm dentro de un solo bloque absorben las perturbaciones inyectadas. En las U-Nets, la señal se concentra en el cuello de botella pero no se transmite al decodificador a través de las conexiones de salto (skip connections).

Los autores denominan a estas representaciones Fantasmas Perceptivos: activas en el procesamiento interno pero invisibles para cualquier evaluación basada en la salida.

4. Contribuciones clave

1. Primer caracterización por resolución de capas: Este es el primer trabajo que identifica capas y canales internos específicos que discriminan entre regiones ilusorias y regiones físicamente emparejadas en modelos de visión de eliminación de ruido.
2. Evidencia causal: Proporciona prueba causal mediante la ablación de canales de que los canales sensibles a la ilusión dan forma a las señales internas, distinguiéndolas de una mera correlación de salida.
3. Descubrimiento de Fantasmas Perceptivos: Documenta un fenómeno novedoso donde los modelos de visión generativa codifican propiedades perceptivas que son causalmente activas internamente pero que se atenúan sistemáticamente antes de llegar a la imagen generada.
4. Objetivo vs. Arquitectura: Demuestra que el objetivo de eliminación de ruido es un determinante más fuerte de la sensibilidad a la ilusión similar a la humana que la arquitectura de la red.

5. Significado y afirmaciones

El artículo afirma cerrar la brecha entre las observaciones conductuales (las salidas parecen humanas) y la comprensión mecánica (las computaciones internas están organizadas como la percepción humana). Extiende el concepto de disociación interno-salida —caracterizado previamente en modelos de lenguaje para propiedades lingüísticas— a las representaciones perceptivas en la visión generativa.

Los autores argumentan que, si bien el entrenamiento de eliminación de ruido produce representaciones perceptivas internas más ricas que el entrenamiento discriminativo, simultáneamente atenúa un subconjunto de estas representaciones antes de la salida. Esto sugiere que las evaluaciones conductuales (métricas a nivel de píxel) pueden omitir sistemáticamente lo que estos modelos realmente han aprendido a codificar. El fenómeno se describe como un "fantasma perceptivo", resaltando una limitación en los métodos actuales de interpretabilidad que dependen únicamente del análisis de la salida.

Limitaciones reconocidas por los autores:

• Tamaño de muestra pequeño ($N=35$) para los experimentos principales, aunque los intervalos de confianza de bootstrap respaldan las afirmaciones principales.
• La alineación psicofísica (FLODOG) está actualmente limitada a estímulos de luminancia; los modelos cromáticos aún no se han integrado.
• La distincción entre los efectos del entrenamiento y los valores predeterminados de la arquitectura es compleja, aunque se identifica el objetivo de eliminación de ruido como el hilo común.
• La propiedad de "fantasma" se establece para una clase específica de representaciones (canales sensibles a la ilusión) y no se afirma que sea universal para todas las representaciones perceptivas.