🧬 biology

Toward a mechanistic understanding of inference in visual cortex and diffusion models

Este artículo presenta un modelo de difusión mínimo e interpretable basado en la codificación dispersa con interacciones de pares que imita las conexiones horizontales de V1 para lograr un alto rendimiento en la eliminación de ruido de imágenes, proporcionando al mismo tiempo una visión mecánica tanto de la inferencia perceptiva biológica como del funcionamiento interno de las arquitecturas de difusión de caja negra.

Autores originales: Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

Publicado 2026-07-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

El trabajo detectivesco del cerebro y la máquina de sueños de la IA

Imagina que estás tratando de resolver un misterio, pero las pistas están dispersas, borrosas y la mitad de ellas faltan. Esto es exactamente lo que sucede cada vez que miras el mundo. Tus ojos no solo toman una fotografía perfecta; reciben un caos de luz y sombras. Para darle sentido, tu cerebro tiene que actuar como un detective, llenando los huecos y adivinando cómo es la imagen completa. Este proceso se llama "inferencia perceptual". Durante décadas, los científicos se han preguntado cómo el cerebro hace esto con tanta facilidad. Saben que las neuronas en la corteza visual (la parte del cerebro que ve) están conectadas de formas específicas, como una red de amigos que hablan entre sí para ponerse de acuerdo sobre lo que están viendo.

Al mismo tiempo, un nuevo tipo de inteligencia artificial llamada "modelo de difusión" se ha vuelto famosa por crear imágenes impresionantes. Estos sistemas de IA funcionan comenzando con ruido estático puro —como la nieve en una televisión antigua— y limpiándolo lentamente hasta que emerge una imagen clara. Son increíblemente buenos en esto, pero también son "cajas negras". Sabemos que funcionan, pero realmente no sabemos cómo los millones de diminutos neuronas digitales en su interior deciden cómo debería verse un perro o un rostro. La gran pregunta es: ¿Están el cerebro y estos modelos de IA usando los mismos trucos secretos para resolver el rompecabezas de la visión? Si podemos descubrir las reglas que la IA está siguiendo, tal vez finalmente podamos entender cómo funciona nuestro propio cerebro.

La gran idea del artículo: Un modelo simple con un gran cerebro

Este artículo presenta un nuevo modelo simplificado que intenta cerrar la brecha entre cómo ven nuestros cerebros y cómo la IA genera imágenes. Los autores, un equipo de investigadores de UC Berkeley y otras instituciones, construyeron un programa de computadora que imita la corteza visual primaria (V1), la primera parada de la información visual en el cerebro. En lugar de usar una red de aprendizaje profundo masiva y complicada que es imposible de leer, crearon un modelo "mínimo" basado en un concepto llamado codificación dispersa (sparse coding).

Piensa en la codificación dispersa como un rompecabezas donde solo usas algunas piezas específicas para construir una imagen. En el cerebro, esto significa que solo un pequeño número de neuronas se activan en cualquier momento dado para representar una imagen. Los autores tomaron esta idea y le añadieron un giro: permitieron que las neuronas hablaran entre sí de una manera específica. En los modelos estándar, las neuronas suelen tratarse como trabajadoras independientes. Pero en este nuevo modelo, los autores les dieron una "red social" (una matriz de interacción) que les permite influirse mutuamente. Esto permite al modelo aprender que si una parte de una imagen tiene una línea que sube, es probable que la siguiente parte continúe esa línea, incluso si la imagen es ruidosa o está rota.

Lo que encontraron: La "red social" del cerebro

Cuando los investigadores entrenaron este modelo con imágenes naturales (como fotos de paisajes y objetos), sucedió algo fascinante. La "red social" que el modelo aprendió se parecía exactamente a las conexiones físicas encontradas en el cerebro humano real. Específicamente, el modelo desarrolló conexiones fuertes entre neuronas que estaban sintonizadas con ángulos similares y que estaban alineadas en una fila. Esto se conoce como facilitación colineal.

En el mundo real, esta es la razón por la cual puedes ver fácilmente una serpiente deslizándose a través de la hierba alta, incluso si partes de ella están ocultas. Tu cerebro conecta los puntos. El artículo muestra que este modelo puede hacer lo mismo. Cuando le mostraron una imagen con un contorno roto y oculto (como una línea que desaparece detrás de una nube), el modelo no adivinó al azar. Utilizó sus conexiones aprendidas para "completar" la línea faltante, creando una curva suave y continua. Este rendimiento fue casi tan bueno como el de los modelos de IA masivos y complejos, pero con una gran ventaja: debido a que su modelo es simple, los investigadores pudieron realmente mirar dentro y ver cómo funcionaba.

La salsa secreta: Cómo "piensa" la IA

Uno de los descubrimientos más emocionantes del artículo es cómo el modelo maneja el proceso de "completar". Los autores desglosaron las matemáticas para mostrar que el modelo no solo adivina; sino que propaga la actividad como una onda en un estanque. Cuando una neurona detecta una parte de una línea, envía una señal a sus vecinas. Si esas vecinas también están activas y alineadas, la señal se fortalece, reforzando la idea de que existe una línea allí. Si las vecinas están desalineadas o inactivas, la señal se corta.

El artículo sugiere que este proceso crea una "jerarquía" a pesar de que el modelo solo tiene una capa. Cerca del 30% de las neuronas del modelo aprendieron a desconectarse de la entrada visual directa por completo. Estas "neuronas desprendidas" actúan como una segunda capa oculta que ayuda al modelo a entender la imagen general. No ven los píxeles; en su lugar, ayudan a imponer reglas globales, como asegurarse de que ambos ojos de un rostro estén en el lugar correcto en relación con los otros. Esto explica cómo el modelo puede generar un rostro nuevo y completo que parezca realista, incluso si nunca vio ese rostro exacto antes. No está memorizando; está entendiendo la geometría de un rostro.

Por qué esto importa: De la IA a la biología

El artículo sugiere que el comportamiento complejo y misterioso de los modelos de difusión de la IA moderna podría estar impulsado por los mismos principios biológicos simples que se encuentran en nuestra corteza visual. La "caja negra" del aprendizaje profundo podría ser simplemente una versión muy complicada de los circuitos recurrentes simples que construyeron los autores.

Al demostrar que un modelo simple e interpretable puede igualar el rendimiento de los sistemas de IA gigantes, los autores ofrecen una nueva forma de estudiar el cerebro. Proponen que el sistema visual utiliza estas conexiones específicas para resolver la ambigüedad, convirtiendo un mundo ruidoso y confuso en una imagen clara y coherente. Esto no es solo una teoría; las predicciones del modelo sobre cómo las neuronas deberían reaccionar ante diferentes tipos de ruido coinciden con experimentos recientes en cerebros biológicos reales.

En resumen, este artículo sugiere que el secreto tanto para ver como para crear arte puede ser el mismo: un conjunto simple de reglas que permiten que las pistas locales se conecten y formen una historia global. Ya sea una neurona en tu cerebro o un peso digital en una IA, el objetivo es encontrar el patrón en el caos. Y ahora, gracias a este modelo, tenemos un mapa mucho más claro de cómo emerge ese patrón.

Resumen Técnico: Hacia una comprensión mecanística de la inferencia en la corteza visual y los modelos de difusión

Planteamiento del Problema
Los modelos de difusión actuales logran un rendimiento generativo de vanguardia, pero operan como "cajas negras", lo que dificulta la comprensión de los mecanismos computacionales neuronales específicos que les permiten asignar una alta probabilidad a las imágenes naturales o generalizar a partir de conjuntos de datos finitos. Por el contrario, aunque la neurociencia ha identificado estructuras anatómicas en la corteza visual primaria (V1) —específicamente conexiones horizontales entre neuronas con una sintonización de orientación similar— que probablemente subyacen a la agrupación perceptual y la completación de contornos, sigue sin estar claro cómo surge dicha conectividad a partir de un modelo generativo probabilístico entrenado en imágenes naturales. El desafío central es cerrar la brecha entre estos dominios construyendo un modelo que sea tanto un modelo de difusión minimalista con parámetros interpretables, como un modelo biológicamente plausible de la inferencia en V1, capaz de explicar cómo la dinámica recurrente resuelve la ambigüedad visual.

Metodología
Los autores proponen un modelo de codificación dispersa no factorial de V1, el cual demuestran que es matemáticamente equivalente a un modelo de difusión minimalista.

Arquitectura del Modelo:
- El modelo extiende la codificación dispersa estándar introduciendo un prior no factorial sobre las variables latentes $z$ en forma de una matriz de interacción de pares no restringida $M$ .
- La función de energía se define como $E_{\theta,\sigma}(x, z) = \frac{1}{2\sigma^2} \|x - \Phi z\|_2^2 + \gamma(\sigma)(\|\lambda \circ z\|_1 + \frac{1}{2}z^\top M z)$ , donde $\Phi$ es un diccionario de características de imagen, $\lambda$ representa los parámetros de dispersión (sparsity) y $\gamma(\sigma)$ equilibra dinámicamente la verosimilitud de los datos y el prior basándose en el nivel de ruido $\sigma$ .
- La inferencia se realiza mediante un sistema dinámico recurrente derivado de la estimación de Máxima Probabilidad a Posteriori (MAP) de $z$ . La regla de actualización (Ecuación 5) se descompone en un impulso feedforward, un impulso recurrente (que involucra la matriz de Gram $\Phi^\top\Phi$ y la matriz de interacción $M$ ) y un sesgo de dispersión.
Estrategia de Entrenamiento:
- En lugar de la estimación de máxima verosimilitud estándar, que es intratable para la integración de alta dimensión, el modelo se entrena utilizando Denoising Score Matching (DSM).
- La función de score se aproxima mediante la estimación MAP de $z^*$ , lo que conduce a un objetivo de reconstrucción ponderado.
- Diferenciación Implícita: Para entrenar y analizar el modelo de manera eficiente, los autores emplean el Teorema de la Función Implícita (IFT). Esto permite el cálculo de gradientes analíticos exactos a través del punto fijo convergente de la dinámica recurrente sin necesidad de desplegar (unrolling) toda la trayectoria (evitando los costes de memoria de la retropropagación a través del tiempo o BPTT).
Análisis Mecanístico:
- Los autores realizan una descomposición del Jacobiano de la función de eliminación de ruido (denoising). Al expandir el gradiente implícito, descomponen el Jacobiano del espacio de píxeles $J(x)$ en un Jacobiano del espacio latente $J_z$ proyectado a través del diccionario $\Phi$ .
- $J_z$ se expande posteriormente en una serie de Neumann, revelando el mecanismo de propagación de actividad dependiente del contexto: las señales se propagan lateralmente a través de $M$ , pero están estrictamente reguladas por el código disperso activo actual ( $\Sigma$ ), asegurando que solo las señales contextualmente relevantes (por ejemplo, colineales) sobrevivan y se amplifiquen.

Resultados Clave

Emergencia de Conectividad tipo V1: Al ser entrenado en imágenes naturales, la matriz de interacción aprendida $M$ desarrolla una fuerte facilitación colínea. Crea conexiones excitatorias entre neuronas espacialmente desplazadas con orientaciones preferidas alineadas, reflejando el "campo de asociación" y las conexiones horizontales observadas en las capas superficiales de V1.
Desempeño Superior en Denoising: El modelo no factorial supera significativamente a los modelos de codificación dispersa factoriales estándar en tareas de eliminación de ruido. Mientras que los modelos factoriales alucinan bordes espurios en regiones ruidosas, el modelo no factorial aprovecha $M$ para imponer la continuidad de los bordes estructurales reales y suprimir el ruido descoordinado.
Explicación Mecanística de los Priors de Difusión: El análisis revela que los autovectores dominantes del Jacobiano de eliminación de ruido (que definen las direcciones de alta probabilidad para el modelo) corresponden a bases oscilatorias vinculadas a contornos de imagen. El modelo demuestra que estos autovectores surgen de la acumulación infinita de la propagación lateral recurrente restringida por el código disperso activo. Este mecanismo permite al modelo asignar una alta probabilidad a una familia continua de deformaciones estructurales naturales.
Jerarquía Emergente y "Neuronas Desconectadas": En conjuntos de datos estructurados (ej. rostros), el modelo aprende que aproximadamente el 30% de las variables latentes desarrollan normas cercanas a cero, desconectándose efectivamente de la entrada visual directa. Estas "neuronas desconectadas" actúan como una segunda capa emergente, mediando dependencias semánticas de largo alcance y forzando la consistencia global (por ejemplo, el desplazamiento sincrónico de rasgos faciales) que un modelo de una sola capa no podría lograr de otro modo.
Paridad Generativa: A pesar de su simplicidad arquitectónica y la falta de capas convolucionales profundas, el modelo alcanza la paridad generativa con arquitecturas U-Net emparejadas por parámetros. Produce muestras de difusión inversa visualmente indistinguibles y PSNRs de eliminación de ruido comparables, confirmando que las estadísticas estructurales centrales de distribuciones complejas pueden capturarse mediante esta arquitectura interpretable y con base biológica.
Hipótesis para la Dinámica de V1: El modelo predice que la influencia de la excitación del entorno (surround) en V1 es dependiente del estado. Bajo alta ambigüedad visual (bajo contraste/ruido), la red aumenta el peso de la matriz de interacción $M$ , cambiando de una supresión impulsada por la verosimilitud a una facilitación impulsada por el prior. Esto sugiere un mecanismo donde las señales excitatorias se enrutan a lo largo de caminos colíneos solo cuando la evidencia contextual las respalda, resolviendo ambigüedidades de bajo nivel.

Significancia y Reivindicaciones
El artículo afirma proporcionar un vínculo mecanístico concreto y testeable entre la neurociencia y el aprendizaje automático:

Para la Neurociencia: Genera hipótesis específicas sobre la conectividad funcional en circuitos neuronales recurrentes, sugiriendo que las conexiones horizontales en V1 emergen naturalmente para aprender estadísticas de coocurrencia para la integración de contornos, y que las poblaciones neuronales "desconectadas" pueden servir un papel jerárquico para imponer la consistencia global.
Para el Aprendizaje Automático: Elucida los mecanismos internos de los modelos de difusión, demostando que su capacidad para generar imágenes novedosas y generalizar surge de dinámicas recurrentes que realizan la completación de contornos y la deformación estructural dependientes del contexto.
Unificación: El trabajo postula que la corteza visual, las redes neuronales profundas y este modelo minimal de codificación dispersa están capturando las mismas estadísticas intrínsecas de las imágenes naturales. Sugiere que las imágenes naturales actúan como señales dispersas en un manifold continuo, y que la naturaleza de "caja negra" del aprendizaje profundo puede estar ocultando un principio universal de computación iterativa, recurrente y aprendida.

Los autores concluyen que este marco ofrece una nueva dirección para la interpretabilidad mecanística en el aprendizaje profundo, sugiriendo que los comportamientos generativos complejos pueden entenderse a través de análisis de circuitos más simples y con base biológica.