🤖 AI

The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

Este estudio demuestra que los clasificadores de imágenes profundos, incluyendo las CNN y los Vision Transformers, codifican internamente la identidad de la imagen principalmente a través de la información de fase o signo en lugar de la magnitud, proporcionando una explicación mecanística para la brecha entre textura y forma de estas arquitecturas.

Autores originales: Alper Yıldırım

Publicado 2026-06-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alper Yıldırım

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos fotos diferentes: una foto de un gato y una foto de un perro. Ahora, imagina que pudieras tomar el "esqueleto" de un gato (sus contornos, bordes y dónde se colocan las cosas) y pegarlo sobre la "carne" de un perro (sus colores, brillo y textura).

En 1981, los científicos Oppenheim y Lim hicieron algo similar con las matemáticas. Descubrieron que si intercambias la fase (el esqueleto/estructura) de una imagen con la magnitud (la energía/textura) de otra, la imagen resultante se parece a la que donó el esqueleto. El cerebro reconoce la forma, no la textura.

Este artículo plantea una pregunta fascinante: ¿Funcionan los clasificadores de imágenes de IA modernos de la misma manera dentro de sus "cerebros" (capas ocultas)? ¿Se basan en el "esqueleto" (fase) para reconocer lo que es un objeto, o se distraen con la "carne" (magnitud/textura)?

Aquí está el desglose de lo que descubrieron los investigadores, utilizando analogías sencillas:

El Experimento: La Prueba de la "Quimera"

Los investigadores crearon imágenes "quimera" dentro del cerebro de la IA. Tomaron la capa intermedia de una red neuronal procesando un gato, mantuvieron la textura/brillo del gato (magnitud), pero intercambiaron la estructura de contorno del perro (fase). Luego le preguntaron a la IA: "¿Es esto un gato o un perro?".

Hicieron esto para cuatro tipos diferentes de modelos de IA:

PRISM2D: Un modelo construido con matemáticas complejas que maneja naturalmente las "direcciones" (como una brújula).
GFNet: Un modelo que mira las imágenes a través de una "lente de Fourier" (descomponiéndolas en ondas).
ViT (Vision Transformer): Un modelo moderno y popular que observa las imágenes en parches.
ResNet: Un modelo clásico, muy profundo, que utiliza "ReLU" (una puerta matemática que corta los números negativos).

El Gran Descubrimiento: El "Esqueleto" Gana

En casi todos los casos, la IA siguió al donante del esqueleto.

Si la quimera tenía la textura del gato pero la estructura del perro, la IA decía: "Eso es un perro".
La Magnitud es Desechable: Los investigadores intentaron eliminar toda la información de textura específica (reemplazándola con una textura promedio genérica) y la IA seguía obteniendo la respuesta correcta.
La Fase es Esencial: Si desordenaron la estructura (fase) pero mantuvieron la textura, la IA se confundió y adivinó al azar.

La Analogía: Imagina intentar identificar a una persona en una multitud. Si le das un abrigo genérico y borroso (magnitud) pero mantienes la forma de su cara y su postura única (fase), aún puedes reconocerla. Pero si le das un abrigo perfecto y de alta definición de un extraño pero desordenas la forma de su cara, no puedes saber quién es. La IA, sorprendentemente, aprendió a ignorar el "abrigo" y a concentrarse enteramente en la "forma de la cara".

El Giro: Diferentes Modelos, Diferentes Caminos

Aunque todos los modelos terminan dependiendo del "esqueleto", lo hacen de diferentes maneras:

Los "Adoptadores Tempranos" (ViT, PRISM2D, GFNet): Estos modelos se dieron cuenta de la importancia de la estructura casi de inmediato. En el ViT, el "signo" (una versión simple de la fase) es la pista principal desde la primera capa. Son como detectives que miran el contorno de la escena del crimen inmediatamente.
El "Tardío en Madurar" (ResNet): Este modelo es truculento. Al principio, parecía ignorar la estructura y confiar en la textura. ¿Por qué? Porque ResNet tiene una "puerta" (ReLU) que corta los números negativos. Esta puerta esconde las pistas estructurales dentro del brillo (magnitud).
- La Solución: Cuando los investigadores echaron un vistazo antes de que la puerta se cerrara, descubrieron que las pistas estructurales estaban allí todo el tiempo, solo que ocultas.
- El Movimiento Final: Al final, ResNet vuelca toda esa información estructural en un único número de "brillo promedio" (el término DC) para tomar su decisión final. Es como un detective que pasa toda la investigación analizando detalles, pero al final, simplemente echa un vistazo al peso total de la evidencia para dictar un veredicto.

Por qué esto importa (Según el artículo)

Esto explica un misterio de larga data en la IA: ¿Por qué algunos modelos (como las CNN) se dejan engañar por la textura (pensando que un gato es un perro debido al patrón del pelaje), mientras que otros (como los Transformers) son mejores reconociendo formas?

El artículo argumenta que no es que un modelo sea "mejor" que otro. Se trata de cuándo y cómo se comprometen con el código del "esqueleto".

Algunos modelos se comprometen con la forma temprano.
Otros esconden la forma dentro de la textura hasta el final.
Pero para cuando toman una decisión final, todos dependen de la forma (fase/signo), no de la textura (magnitud).

Resumen

El artículo demuestra que, dentro de la "caja negra" de los clasificadores de imágenes modernos, la estructura de una imagen es la verdadera portadora de la identidad, mientras que la textura es en gran medida ruido que el modelo puede ignorar. Diferentes arquitecturas simplemente tienen diferentes "lenguajes secretos" para codificar esa estructura, pero todas están de acuerdo en la misma regla fundamental: La forma importa más que el estilo.

Resumen Técnico: La Importancia de la Fase en las Representaciones Neuronales

Planteamiento del Problema
Las imágenes naturales exhiben una asimetría fundamental en su representación de Fourier: el espectro de fase codifica bordes, contornos y la disposición espacial (identidad), mientras que el espectro de magnitud codifica un perfil de energía agnóstico al contenido. El trabajo clásico de Oppenheim y Lim (1981) demostró que reconstruir una imagen basándose únicamente en su fase produce un resultado reconocible, mientras que la magnitud por sí sola no lo hace. Aunque los clasificadores de imágenes modernos se entrenan de extremo a extremo sobre píxeles sin restricciones explícitas de Fourier, sigue sin estar claro si esta asimetría entre fase y magnitud se recupera dentro de sus representaciones latentes. Estudios previos han tratado la fase y la magnitud como "contenido" y "estilo", respectivamente, en la aumentación de datos o la adaptación de dominio, pero estos enfoques operan estrictamente en el espacio de píxeles. Este artículo se pregunta si los clasificadores de imágenes entrenados codifican internamente la identidad de la clase en un componente similar a la fase y si esta codificación es causal para la predicción final.

Metodología
Los autores adaptan el experimento de Oppenheim–Lim a un marco de intervención causal aplicado a las capas ocultas de redes neuronales entrenadas. El procedimiento central consiste en:

Construcción de Quimeras: Dada dos imágenes de clases diferentes ( $A$ y $B$ ), los autores construyen un estado oculto "quimera" en una capa específica $\ell$ . Este estado retiene la magnitud de la imagen $A$ ( $|h_A|$ ) pero adopta el componente similar a la fase de la imagen $B$ ( $\phi(h_B)$ ).
Definiciones de Fase: La definición de "fase" se adapta al espacio de representación de la arquitectura:
- Flujo Complejo: Para redes de valores complejos (PRISM2D), la fase es el ángulo complejo por canal ( $h/|h|$ ).
- Mapas de Características Reales: Para redes de valores reales, la fase se define mediante una transformada de Fourier 2D sobre la rejilla espacial (fase espectral-espacial).
- Escalares Reales: Para las activaciones escalares estándar, la fase degenera al signo ( $\text{sign}(h)$ ), sirviendo como una sonda universal a través de todas las arquitecturas.
Intervención: El estado quimera se inyecta en la red, se completa el paso hacia adelante (forward pass) y se registra la predicción para determinar si el modelo sigue al donante de magnitud ( $A$ ) o al donante de fase/signo ( $B$ ).
Modelos Evaluados: El estudio abarca cuatro arquitecturas para probar la generalidad:
- PRISM2D: Un modelo de valores complejos con activaciones que preservan la fase.
- GFNet-Ti: Un modelo espectral de valores reales que filtra en el dominio de Fourier.
- ViT-B/16: Un Vision Transformer estándar.
- ResNet-50: Una red convolucional estándar.
Controles: Para descartar explicaciones triviales (por ejemplo, que las magnitudes se vuelvan informativas con la profundidad), los autores emplean controles que incluyen:
- Sustitución de Magnitud: Reemplazar toda la información de magnitud específica de la imagen con una magnitud de la media del lote (batch-mean).
- Destrucción de Fase: Aleatorizar la fase manteniendo la magnitud.
- Intercambios Solo de Componente DC: Aislar la media global (término DC) de la estructura espacial.
- Verificaciones Geométricas: Medir la similitud de coseno entre las quimeras y los donantes para asegurar que la quimera no está simplemente reconstruyendo el estado del donante.

Resultos Clave

Dominancia de Fase/Signo: En las cuatro arquitecturas, la predicción sigue al donante de fase (o signo) con alta probabilidad hacia el momento de la lectura.
- ViT-B/16: Se compromete con un código de identidad basado en el signo desde el primer bloque, alcanzando un ~91% de seguimiento de fase hacia la capa final.
- PRISM2D y GFNet: Construyen la dependencia de la fase durante la profundidad temprana-media, alcanzando un ~75–76%.
- ResNet-50: Inicialmente parece romper el patrón porque intercambiar los signos después de la ReLU no tiene efecto (ya que la ReLU elimina la información del signo). Sin embargo, intervenir antes de la ReLU final de los bloques residuales revela un fuerte código de signo latente en los bloques tardíos (~88%), similar al de ViT.
Invarianza de Magnitud: Eliminar toda la información de magnitud específica de la imagen (reemplazándola con la magnitud de la media del lote) deja la precisión cerca de la línea base para los modelos espectrales y ViT. Por el contrario, destruir la fase colapsa la precisión a casi el azar.
Diferencias Mecanísticas:
- ViT expresa el código de identidad tempranamente y lo mantiene a lo largo del tiempo.
- Los Modelos Espectrales consolidan la identidad en la fase de forma temprana.
- ResNet transporta la identidad desde una estructura espacial distribuida en las capas iniciales hacia un código de canal legible por agrupación (pooling) en los bloques finales (específicamente el término DC). La brecha "textura-forma" entre CNNs y modelos de atención se redefine no como una división categórica de fase-vs-magnitud, sino como una diferencia en cuándo y en qué base se expresa el código de fase/signo.

Significancia y Reivindicaciones
El artículo afirma proporcionar un relato unificado y consciente de la lectura (readout-aware) sobre cómo diversos clasificadores de imágenes convergen en un código de identidad dominante de fase/signo.

Evidencia Causal: A diferencia de los estudios previos basados en aumentación, este trabajo establece la causalidad al demostrar que la identidad puede ser "trasplantada" entre imágenes mediante la manipulación de fase/signo dentro de la red.
Reencuadre de la Brecha Textura-Forma: La diferencia de comportamiento entre las CNN sesgadas a la textura y los modelos de atención alineados con la forma se explica por el tiempo y la geometría del código de identidad. Las CNN (como ResNet) ocultan el código de signo detrás de la rectificación y dependen de la magnitud para la señal hasta la capa final de agrupación, mientras que los modelos de atención y espectrales se comprometen con la fase/signo más temprano.
Interpretación Geométrica: Los hallazgos sugieren que los clasificadores lineales leen el "ángulo" (fase/signo) del vector de características en lugar de su "longitud" (magnitud). Esto se alinea con otros hallazgos de interpretabilidad mecánica respecto a las representaciones periódicas y angulares en las redes neuronales.

Limitaciones
Los autores señalan que el alcance es limitado a modelos de visión. Aunque el método de trasplante es general para cualquier modalidad, la prueba más limpia es en imágenes. Además, la comparación entre modelos entrenados en ImageNet-100 (PRISM2D, GFNet) y aquellos que utilizan pesos de ImageNet-1k (ViT, ResNet) introduce una diferencia de escala de entrenamiento, aunque los autores argumentan que las tendencias de profundidad dentro de cada modelo siguen siendo válidas. La definición de "fase" varía entre arquitecturas (ángulo complejo, fase espectral o signo escalar), representando una familia de códigos relacionados en lugar de una única cantidad unificada.