Resumen Técnico: Representaciones Sin Ambigüedad en Redes Neuronales

Planteamiento del Problema

Las representaciones convencionales (p. ej., cadenas de bits, letras) son intrínsecamente ambiguas; su significado depende enteramente de un decodificador o convención externa. Una sola cadena de bits puede codificar un JPEG o un MP3 dependiendo del esquema de decodificación. En contraste, se postula que la experiencia consciente es fundamentalmente diferente: un estado neural correspondiente a la percepción de un cuadrado rojo no puede codificar simultáneamente la percepción de un triángulo verde. Esta naturaleza intrínseca de la conciencia sugiere que las representaciones conscientes deben ser sin ambigüedad, donde el contenido está determinado únicamente por el propio estado neural, no por una interpretación externa.

El artículo aborda la cuestión de si las redes neuronales pueden codificar contenido representacional de forma inequívoca a través de su estructura relacional interna. Específicamente, investiga si el contenido de una neurona (p. ej., la clase de dígito que representa o la posición espacial de una entrada que codifica) puede determinarse de manera única mediante sus patrones de conectividad en relación con otras neuronas, sin conocimiento del procedimiento de entrenamiento o del etiquetado externo.

Metodología

Marco Teórico

Los autores formalizan la ambigüedad representacional utilizando la teoría de la información. La ambigüedad se define como la entropía condicional $H(I|R)$, donde $I$ representa las interpretaciones posibles y $R$ es la representación.

• Alta Ambigüedad: Distribución uniforme sobre las interpretaciones (información mínima sobre el contenido).
• Baja Ambigüedad: Probabilidad concentrada (alta confianza en el contenido).
  La hipótesis es que la estructura relacional (la red de relaciones internas) dentro de una red puede restringir las interpretaciones posibles, reduciendo así $H(I|R)$.

Configuración Experimental

Se realizaron dos experimentos principales utilizando redes neuronales totalmente conectadas entrenadas en la tarea de clasificación de dígitos MNIST (arquitectura 784-50-50-10). Se compararon tres paradigmas de entrenamiento:

1. No entrenada: Inicialización aleatoria (control).
2. Retropropagación Estándar (Standard Backpropagation): Entrenamiento estándar.
3. Entrenamiento con Dropout: Retropropagación con un 20% de dropout en las capas ocultas.

Experimento 1: Decodificación de la Identidad de la Clase de la Neurona de Salida

• Tarea: Determinar qué clase de dígito (0–9) representa una neurona de salida basándose únicamente en su conectividad.
• Procedimiento: Las neuronas en la capa de salida se permutaron aleatoriamente para eliminar la información posicional. La estructura relacional se extrajo mediante la matriz de Gram de las similitudes de coseno entre los vectores de pesos de las neuronas.
• Métodos de Decodificación:
  1. Emparejamiento Geométrico (Geometric Matching): Se comparó una matriz de Gram de referencia (promediada de redes con ordenamiento conocido) con las redes de prueba. Se seleccionó la permutación que minimizaba la distancia de Frobenius.
  2. Decodificador Aprendido: Se entrenó un decodificador basado en transformadores (sin codificaciones posicionales para asegurar la invarianza a la permutación) para predecir la identidad de la clase a partir de la estructura relacional.
• Ablación: Se probó si los vecindarios locales (similitud de una neurona objetivo con todas las demás) eran suficientes o si se requería la geometría global completa.
• Escalamiento: Se varió el número de neuronas de salida (2 a 10) para probar si el aumento de la complejidad relacional reduce la ambigüedad.
• Trans-Arquitectura: Se probó la transferibilidad a través de diferentes arquitecturas de capas ocultas (50-50, 25-25, 100).

Experimento 2: Decodificación de la Posición Espacial de la Neurona de Entrada

• Tarea: Decodificar la distancia euclidiana de un píxel correspondiente de una neurona de entrada desde el centro de la imagen.
• Procediente: Similar al Experimento 1, pero aplicado a los pesos de la capa de entrada ($784 \times 50$). Debido al gran número de permutaciones ($784!$), solo se utilizó el decodificador aprendido (tarea de regresión).
• Métrica: Puntuación $R^2$ para predecir la distancia espacial.

Cuantificación de la Ambigüedad

Los autores calcularon Puntuaciones de Reducción de Ambigüedad (ARS) para cuantificar la reducción de la entropía condicional respecto a la entropía máxima.

• Para clasificación: Derivado de la precisión utilizando la desigualdad de Fano.
• Para regresión: Derivado de $R^2$ asumiendo residuos gaussianos.
  Un ARS de 1.0 indica una desambiguación completa ($H(I|R, C) = 0$).

Resultados Clave

1. Decodificación de la Identidad de la Clase de la Neurona de Salida

• Redes No Entrenadas: La precisión de decodificación estuvo al nivel del azar (10%), validando que los pesos aleatorios no contienen estructura recuperable.
• Retropropagación Estándar: Logró un 25% de precisión con el decodificador aprendido y un 38% con el emparejamiento geomético. Aunque por encima del azar, la geometría relacional mostró una ambigüedad significativa (múltiples permutaciones produjeron distancias similares a la de referencia).
• Entrenamiento con Dropout: Logró un 100% de precisión con el emparejamiento geométrico (varianza cero) y un 75% con el decodificador aprendido. La permutación real se separó claramente de todas las alternativas incorrectas en el espacio geométrico.
• Ortogonalidad al Rendimiento: A pesar de estas diferencias drásticas en la ambigüedad representacional, la precisión de clasificación de MNIST fue casi idéntica en todos los paradigmas de entrenamiento.

2. Necesidad y Complejidad Estructural

• Global vs. Local: Eliminar el contexto geomético global (proporcionando solo vectores de similitud local) causó una caída sustancial en la precisión de decodificación, lo que indica que el contenido de una neurona está determinado por su posición dentro de la geometría relacional completa, no solo por sus vecinos locales.
• Complejidad Relacional: La precisión escaló monótonamente con el número de neuronas utilizadas para computar la estructura relacional. Con 2 neuronas, el rendimiento estuvo al nivel del azar (50%); con 10 neuronas, alcanzó el 100%. Esto demuestra que las geometrías relacionales más ricas proporcionan más restricciones sobre las interpretaciones.

3. Invarianza y Generalización

• Invariancia de Arquitectura: El emparejamiento geométrico logró una fuerte precisión de decodificación a través de diferentes arquitecturas de capas ocultas (p. ej., decodificar una red 25-25 usando una referencia 50-50), lo que sugiere que la codificación relacional del contenido es en gran medida invariante a la arquitectura.
• Discriminación de Conjunto de Datos: Un clasificador binario pudo distinguir entre redes entrenadas en MNIST vs. Fashion-MNIST con una precisión casi perfecta (99.8% para dropout) basándose únicamente en la estructura relacional.

4. Posición Espacial de la Neurona de Entrada

• Contrario a los resultados de la capa de salida, la retropropagación estándar produjo una mayor precisión de decodificación espacial ($R^2 = 0.844$) que el entrenamiento con dropout ($R^2 = 0.695$).
• Sin embargo, en ambos casos, la estructura relacional completa superó significativamente a la información del vecindario local.
• Las Puntuaciones de Reducción de Ambigüedad (ARS) para las posiciones de entrada oscilaron entre 0.419 y 0.654, lo que indica una desambiguación sustancial pero no perfecta.

Significancia y Reivindicaciones

El artículo afirma proporcionar un método cuantitativo para medir la ambigüedad representacional en sistemas neurales. Sus principales contribuciones son:

1. Operacionalización de la Inambigüedad: Demuestra que las redes neuronales pueden codificar información de una manera que es sin ambigüedad con respecto a la estructura relacional. Para las redes entrenadas con dropout, la geometría relacional por sí sola especifica completamente el contenido representacional (identidad de clase), logrando un ARS de 1.0.
2. Ortogonalidad de la Ambigüedad y el Rendimiento: El estudio muestra que la ambigüedad representacional es una dimensión de la representación neural que puede variar independientemente del rendimiento de la tarea conductual. Una red puede realizar una tarea perfectamente mientras codifica la información de manera ambigua (retropropagación estándar) o sin ambigüedad (dropout).
3. Alineación Teórica: Los resultados apoyan los relatos teóricos de la conciencia (como el Representacionalismo Estrecho y la Teoría de la Información Integrada) que postulan que los estados conscientes deben ser sin ambigüedad. El artículo argumenta que si la conciencia superviene en los estados cerebrales, esos estados deben determinar su contenido de forma inequívoca. El hallazgo experimental de que la estructura relacional puede fijar el contenido sin un decodificador externo se alinea con la naturaleza "intrínseca" de la experiencia fenoménica.
4. Determinación Estructural: El trabajo sugiere que el contenido no es simplemente asignado por convención, sino que puede estar determinado estructuralmente por las relaciones internas del sistema. El decodificador utilizado en los experimentos no impone un significado, sino que descubre patrones relacionales consistentes inherentes a las instancias de la red.

Los autores mantienen sus afirmaciones con modestia, declarando explícitamente que no afirman que las redes MNIST sean conscientes. En su lugar, proponen que su marco ofrece una condición necesaria (aunque no suficiente) para la experiencia fenoménica: la capacidad de un sustrato neural para codificar contenido de forma inequívoca a través de su estructura interna.