Causal Interpretation of Neural Network Computations with Contribution Decomposition

Each language version is independently generated for its own context, not a direct translation.

¡Hola! Imagina que tienes una caja negra mágica: una red neuronal (como las que usan las IAs para reconocer fotos). Sabes qué entra (una foto de un gato) y sabes qué sale ("¡Es un gato!"), pero no sabes qué pasa dentro. Es como ver a un orquesta tocar una sinfonía hermosa, pero no poder ver a los músicos ni saber qué instrumento está tocando cada nota.

Hasta ahora, los científicos intentaban entender estas cajas negras mirando a los "músicos" (las neuronas internas) y preguntándose: "¿Quién está activo?". Pero eso es como mirar a un músico en el escenario y decir: "¡Ah, ese violinista se movió mucho, así que él hizo la música!". El problema es que a veces el violinista se mueve mucho pero no está tocando la nota clave, o a veces se queda quieto pero es esencial para el ritmo.

Los autores de este paper (presentado en ICLR 2026) dicen: "¡Oye! No nos fijemos en quién se mueve, fijémonos en quién realmente está empujando la música hacia adelante."

Aquí te explico su nueva herramienta, CODEC, con analogías sencillas:

1. El Problema: La diferencia entre "estar presente" y "hacer algo"

Imagina que estás cocinando una pizza.

Las activaciones (lo que hacían antes): Es como mirar quién está en la cocina. Ves al chef, al ayudante que corta tomates, y al que trae el queso. Todos están ahí. Pero, ¿quién realmente hizo que la pizza saliera deliciosa? ¿El que cortó el tomate o el que puso el queso? A veces, alguien está en la cocina pero está estorbando (o "inhibiendo" el sabor).
La contribución (lo que hace CODEC): CODEC no solo mira quién está en la cocina, sino que mide cuánto empuja cada persona hacia el éxito de la pizza.
- Si el chef pone el queso y la pizza queda mejor, su contribución es positiva.
- Si el ayudante pone demasiada sal y arruina la pizza, su contribución es negativa (aunque esté "activo" en la cocina).

CODEC descubre que, en las redes neuronales, hay muchos "ayudantes" que están activos pero en realidad están frenando la respuesta correcta. Si solo miras quién está activo, te pierdes esa información crucial.

2. La Solución: CODEC (Descomposición de Contribuciones)

CODEC es como un detective forense que entra a la cocina después de que la pizza está lista y dice:

"Mira, para que esta pizza saliera perfecta, necesitamos exactamente al 5% de los ingredientes que pusimos. El resto fue ruido o incluso un obstáculo."

Lo que hace CODEC es:

Medir el empuje: Calcula cuánto contribuye cada "neurona" interna a la decisión final.
Encontrar patrones (Modos): Descubre que las neuronas no actúan solas, sino en equipos. Imagina que para reconocer un "gato", no es una sola neurona la que lo hace, sino un equipo de 50 neuronas que trabajan juntas: algunas detectan las orejas, otras la cola, y otras aseguran que no sea un perro. CODEC llama a estos equipos "Modos de Contribución".
Separar lo bueno de lo malo: Descubre que, a medida que la información viaja por la red (como en una cadena de montaje), estos equipos se vuelven más eficientes. Se vuelven más "raros" (solo unos pocos equipos trabajan) y se separan mejor: los que dicen "¡Sí, es un gato!" y los que dicen "¡No, no es un gato!" dejan de mezclarse y se vuelven equipos distintos.

3. ¿Por qué es genial? (El superpoder)

Con CODEC, los científicos pueden hacer cosas mágicas:

Controlar la IA: Pueden decirle a la IA: "Oye, apaga al equipo que detecta 'orejas puntiagudas' y deja solo al equipo que detecta 'bigotes'". ¡Y la IA dejará de reconocer gatos y empezará a reconocer zorros! Esto les permite entender y manipular la IA con precisión quirúrgica.
Ver lo invisible: Pueden dibujar un mapa de la foto original que muestra exactamente qué partes de la imagen (los bigotes, las orejas) fueron las que realmente empujaron a la IA a decir "gato". Es como tener una lupa que solo ilumina las partes importantes.
Entender el cerebro biológico: No solo sirve para computadoras. Lo probaron en modelos del cerebro de un pez (la retina). Descubrieron cómo las células del ojo de un pez se combinan para detectar movimiento o colores, revelando secretos sobre cómo funciona nuestra propia visión.

4. La Analogía Final: El Orquesta de la IA

Imagina que la red neuronal es una orquesta tocando una canción.

Método antiguo: Mirabas a los músicos y decías: "¡El violinista está tocando fuerte! ¡El trompetista también!". Pero no sabías si estaban tocando la melodía principal o si estaban haciendo ruido de fondo.
Método CODEC: CODEC te da un mapa que dice: "Para que suene la melodía del 'Gato', el violín debe tocar esta nota específica, el contrabajo debe hacer este ritmo, y el trompetista debe callarse (su contribución negativa es vital para que no suene mal)".

En resumen

Este paper nos da una nueva forma de ver las inteligencias artificiales. En lugar de mirar quién está "despierto" (activo), miramos quién está realmente trabajando para tomar la decisión.

Esto nos ayuda a:

Entender mejor cómo piensan las máquinas.
Controlarlas para que no se equivoquen.
Aprender de ellas para entender mejor nuestros propios cerebros biológicos.

Es como pasar de mirar una caja negra a tener un manual de instrucciones detallado de cómo funciona el motor, pieza por pieza. ¡Y lo mejor es que ahora sabemos que a veces, para que algo funcione, es crucial saber quién no debe hacer nada!

Each language version is independently generated for its own context, not a direct translation.

1. El Problema: Limitaciones de la Interpretación Actual

El artículo aborda una limitación fundamental en la interpretabilidad de redes neuronales (tanto artificiales como biológicas): la mayoría de los métodos existentes se centran en analizar activaciones internas (patrones de activación de capas ocultas) o en mapas de saliencia de entrada-salida (como Grad-CAM o Integrated Gradients aplicados a la entrada).

La brecha causal: Las activaciones reflejan solo el "campo receptivo" (sensibilidad a la entrada), pero no capturan el "campo proyectivo" (efecto causal sobre la salida). Una neurona puede estar muy activa pero tener un efecto nulo o incluso inhibitorio en la decisión final del modelo.
Falta de coordinación: Los métodos actuales rara vez analizan cómo grupos de unidades actúan coordinadamente para construir la salida. En redes biológicas y artificiales, el cómputo surge de la actividad poblacional, no de neuronas aisladas.
Necesidad: Se requiere un marco que cuantifique directamente cómo las contribuciones de las neuronas ocultas (combinando su sensibilidad a la entrada y su impacto en la salida) impulsan causalmente el comportamiento de la red.

2. Metodología: CODEC (Contribution Decomposition)

Los autores proponen CODEC, un marco general que descompone el comportamiento de la red en "motivos" (modos) esparsos de contribuciones de neuronas ocultas. El proceso se divide en cuatro etapas:

Definición del Objetivo de Contribución: Se elige una función escalar de la salida (ej. el logit superior, la suma de los top-k logits, o la entropía de la distribución) para cuantificar el impacto causal.
Algoritmo de Contribución: Se extienden técnicas de atribución (como Integrated Gradients) para calcular la contribución de cada neurona oculta a la salida escalar para cada entrada.
- A diferencia de las activaciones (que son siempre positivas en ReLU), las contribuciones pueden ser positivas o negativas, indicando si una unidad aumenta o disminuye la probabilidad de la salida objetivo.
- Se realiza una suma espacial dentro de cada canal para obtener un valor neto de contribución por canal.
Descomposición en Modos (SAE): Se utiliza un Autoencoder Esparsamente Regularizado (SAE) para descomponer la matriz de contribuciones (canales $\times$ $\times$ imágenes) en un conjunto de modos de contribución.
- El SAE aprende un diccionario de modos (patrones de pesos de canales) y cargas (activaciones de estos modos para cada imagen).
- Se imponen restricciones de no negatividad en el diccionario y umbralización dura en las cargas para fomentar la esparsidad.
Visualización en el Espacio de Entrada: Se mapean los modos seleccionados de vuelta al espacio de entrada para identificar qué características visuales específicas impulsan esos modos.

3. Contribuciones Clave

Marco Causal Directo: CODEC se aleja del análisis de representaciones latentes para enfocarse directamente en las contribuciones causales, permitiendo distinguir entre características que son meramente representadas y aquellas que realmente impulsan la decisión.
Descubrimiento de Modos de Contribución: Demuestra que las contribuciones pueden descomponerse en un conjunto pequeño de modos esparsos y altamente interpretables que representan acciones neuronales coordinadas.
Aplicabilidad Dual: El método es agnóstico a la arquitectura y se aplica exitosamente tanto a redes de visión por computadora (CNNs, Transformers) como a modelos biológicos de la retina de vertebrados.
Herramienta de Control: Permite la manipulación causal de la red (ablación o preservación selectiva) basándose en los modos aprendidos, logrando un control más preciso que los métodos basados en activaciones.

4. Resultados Principales

A. Redes de Clasificación de Imágenes (ResNet-50)

Esparsidad y Dimensionalidad: Las contribuciones son significativamente más esparsas que las activaciones a través de todas las capas. Además, la dimensionalidad de las contribuciones aumenta con la profundidad de la red, sugiriendo una mayor complejidad en la combinación de características para la toma de decisiones.
Decorrelación de Efectos Positivos/Negativos: En capas tempranas, las contribuciones positivas y negativas están altamente correlacionadas. A medida que avanza la red, estas se decorrelacionan progresivamente. Esto indica que las capas profundas utilizan mecanismos excitatorios e inhibitorios independientes y especializados, análogos a los campos receptivos "on-off" en la visión biológica.
Correlación con Clases: Los modos de contribución muestran una correlación más fuerte con las clases de ImageNet que los modos derivados de activaciones, especialmente en capas intermedias. Esto sugiere que los modos de contribución capturan mejor la lógica causal de la clasificación.
Control de la Red:
- Ablación: Eliminar solo el 2% de los canales más relevantes identificados por CODEC reduce drásticamente la precisión de la clase objetivo sin afectar significativamente a las clases no objetivo.
- Preservación: Retener solo los canales de un modo específico permite que la red clasifique correctamente solo la clase objetivo, anulando el resto.
Visualización: Los mapas de contribución revelan componentes visuales semánticos (ej. "madera brillante", "manos" para violines) que son consistentes a través de diferentes clases e imágenes.

B. Modelos Biológicos (Retina)

Aplicando CODEC a modelos de CNN que simulan la retina, los autores identificaron modos de contribución que combinan acciones de interneuronas del modelo.
Descubrieron que la Receptividad Instantánea (IRF) de las células ganglionares es dinámica y varía según la combinación de modos activos, revelando estructuras de campo receptivo complejas (centro-entorno, orientadas, texturadas) que surgen de la interacción de múltiples modos, no de neuronas individuales.

C. Vision Transformers (ViT)

CODEC se adaptó a ViT tratando los tokens como dimensiones espaciales.
Se encontró que, al igual que en las CNN, las contribuciones son más esparsas que las activaciones.
Aunque la eficacia de la ablación es menor que en CNNs (debido a la falta de sesgo de invarianza espacial explícita en los Transformers), los modos de contribución siguen siendo más efectivos para la manipulación causal que los modos de activación, revelando información causal oculta.

5. Significado e Impacto

El trabajo establece los modos de contribución como una unidad de análisis superior para la comprensión mecánica de las redes neuronales.

Puente entre Biología y IA: Proporciona un lenguaje común para entender cómo se construyen las salidas en sistemas biológicos (retina) y artificiales, validando hipótesis sobre la computación neuronal (ej. la necesidad de decorrelación de señales excitatorias/inhibitorias).
Interpretabilidad Mecanística: Permite ir más allá de "qué se activa" para entender "cómo se calcula", identificando los bloques de construcción computacionales específicos que generan comportamientos complejos.
Seguridad y Diseño: La capacidad de aislar y manipular causalmente componentes específicos de la red abre nuevas vías para el diseño de arquitecturas más eficientes, la transferencia de aprendizaje y la creación de sistemas de IA más seguros y controlables.

En resumen, CODEC transforma la interpretación de redes neuronales de un análisis estático de representaciones a un análisis dinámico y causal de la acción de las neuronas sobre la salida, revelando la arquitectura causal subyacente de la inteligencia artificial y biológica.