Resumen Técnico: Codificación Predictiva Meta-Representacional (MPC)

Planteamiento del Problema

El aprendizaje auto-supervisado (SSL) se ha convertido en un paradigma dominante en la inteligencia de las máquinas, sin embargo, los enfoques actuales dependen de mecanismos biológicamente implausibles, específicamente la retropropagación de errores para la asignación de crédito y la inferencia feedforward. Aunque la codificación predictiva (PC) ofrece una alternativa biológicamente plausible mediante reglas de plasticidad local y paso de mensajes, las formulaciones de PC existentes enfrentan una dicotomía:

1. PC No Supervisada: Aprende un modelo generativo de la entrada sensorial bruta (por ejemplo, prediciendo valores de píxeles), lo cual es computacionalmente costoso y similar a la "IA generativa".
2. PC Supervisada: Aprende un mapeo de entradas a etiquetas objetivo, lo que requiere anotación humana y sufre de los inconvenientes del aprendizaje supervisado.

Existe una brecha para un marco de aprendizaje auto-supervisado informado por la neurociencia (NeuroSSL) que evite la retropropagación, no requiera la reconstrucción de entradas sensoriales de alta dimensión y no dependa de etiquetas humanas ni de muestreo de contraste de muestras negativas.

Metodología: Codificación Predictiva Meta-Representacional (MPC)

Los autores proponen la Codificación Predictiva Meta-Representacional (MPC), un esquema de aprendizaje de solo codificador basado en el Principio de la Energía Libre. En lugar de predecir datos sensoriales brutos, la MPC aprende a predecir representaciones latentes a través de corrientes neuronales paralelas.

Principios Arquitectónicos Centrales

1. Arquitectura de Solo Codificador (Encoder-Only): La MPC invierte la premisa estándar del procesamiento predictivo. En lugar de un decodificador generativo top-down que predice la entrada sensorial, el sistema se enfoca en la adquisición de representaciones bottom-up. Aprende un generador de estados latentes (un codificador) sin un decodificador para los píxeles brutos.
2. Procesamiento de Multi-Corriente (Foveal/Parafoveal/Periférica): Inspirada en la anatomía funcional del sistema visual, la arquitectura comprende múltiples corrientes paralelas:
   • Corrientes Foveales: Procesan parches detallados de alta resolución (por ejemplo, 8x8 píxeles).
   • Corrientes Parafoveales: Procesan parches de resolución media (por ejemplo, 16x16 píxeles).
   • Corrientes Periféricas: Procesan parches de baja resolución y grano grueso (por ejemplo, 24x24 píxeles).
   • Estas corrientes interactúan mediante predicción entre corrientes (cross-stream prediction), donde cada corriente intenta predecir la dinámica de actividad de las otras. Esto crea una narrativa "meta-representacional" donde vistas complementarias de patrones de entrada deben producir embeddings que resuenen entre sí.
3. Inferencia Activa mediante Sacadas: El modelo emplea un mecanismo de planificación de destellos epistémicos (epistemic glimpse planning). En lugar de procesar una imagen completa a la vez, el modelo realiza una secuencia de sacadas (movimientos oculares) para muestrear "destellos" de la entrada.
   • Filtrado de Entrada: Las entradas brutas son pre-procesadas por filtros inspirados en el Núcleo Geniculado Lateral (LGN) (Diferencia de Gaussianas) para extraer características invariantes al contraste.
   • Planificador de Sacadas: Un planificador basado en reflejos selecciona el siguiente punto de fijación optimizando un mapa de enfoque. Este mapa equilibra la saliencia bottom-up (energía estructural local) con la incertidumbre epistémica top-down (errores de predicción de destellos previos). El planificador busca activamente regiones de alta incertidumbre para reducir la energía libre a largo plazo.
4. Dinámicas de Aprendizaje:
   • Minimización de la Energía Libre: El sistema minimiza la Energía Libre Variacional (VFE) definida sobre los estados latentes. La función de energía incluye términos para la predicción de representación cruzada (inter-stream), la energía residual (intra-stream) y los priors sinápticos.
   • Dinámicas Neuronales: Las actividades neuronales siguen flujos de gradiente de la energía libre, impulsados por errores de predicción intra-stream e inter-stream.
   • Plasticidad Sináptica: El aprendizaje ocurre mediante reglas hebbianas locales. Los pesos sinápticos se actualizan basándose en la correlación entre la actividad pre-sináptica y los errores de predicción post-sinápticos. No se utiliza retropropagación de error global.
   • Integración de Trayectoria de Destello Latente: Para formar una representación global de un estímulo, el modelo integra iterativamente los códigos latentes de destellos secuenciales, inspirado en el mapeo espacial de las células de rejilla (grid cells) biológicas, evitando la necesidad de almacenar historiales completos de la trayectoria de la mirada.

Contribuciones Clave

1. Marco de SSL Biológicamente Plausible: El artículo formula un esquema de aprendizaje auto-supervisado que depende de estadísticas neuronales locales y de la inferencia paralela por capas, eliminando la necesidad de retropropagación.
2. Codificación Predictiva de Solo Codificador: Demuestra que se puede aprender un modelo generativo de estados latentes sin predecir entradas sensoriales brutas. Al predecir la actividad latente a través de corrientes visuales, la MPC evita la necesidad de mecanismos de aprendizaje contrastivo (pares positivos/negativos).
3. Integración de la Percepción Activa: El marco incorpora una perspectiva enactiva donde las coordenadas de la "mirada" del modelo (sacadas) informan las dinámicas de las unidades neuronales. Esto impulsa el aprendizaje de representaciones a través de secuencias de decisiones para muestrear porciones informativas del sensorium.
4. Escalabilidad: El esquema es agnóstico a la dimensionalidad de los datos sensoriales, ya que procesa subconjuntos de variables (destellos) en lugar de toda la entrada de alta dimensión simultáneamente.

Resultados Experimentales

Los autores evaluaron la MPC en cuatro conjuntos de datos: MNIST, Kuzushiji-MNIST (K-MNIST), NYU NORB (objetos 3D naturales) y ETH-80.

• Clasificación Downstream: Las representaciones de la MPC fueron evaluadas mediante un clasificador K-Nearest Neighbor (KNN). La MPC logró un rendimiento competitivo, superando a menudo a MLPs totalmente supervisados y a otros baselines auto-supervisados como I-JEPA y la PC generativa estándar (GPC). En MNIST, la MPC-epi alcanzó aproximadamente un 98.1% de precisión, comparable a las CNNs supervisadas.
• Reconstrucción: Aunque la MPC es de solo codificador, se integró un decodificador por separado a los códigos latentes congelados. La MPC facilitó el aprendizaje efectivo de un decodificador, produciendo puntuaciones de Índice de Similitud Estructural (SSIM) superiores a los modelos GPC de imagen completa en imágenes naturales (NORB), generando reconstrucciones más nítidas y coherentes.
• Generalización Zero-Shot: En experimentos de cruce de datasets (por ejemplo, entrenar en K-MNIST y probar en MNIST), la MPC demostró una robusta generalización zero-shot, sugiriendo que aprende primitivas geométricas universales (trazos, bordes) en lugar de artefactos específicos del dataset.
• Eficiencia de Muestreo: La MPC mostró una eficiencia de muestreo superior en comparación con los modelos de retropropagación supervisados, manteniendo un rendimiento consistente incluso con conjuntos de entrenamiento muy pequeños (por ejemplo, 100 muestras), probablemente debido a su capacidad para tratar cada punto de datos como un "mini sensorium" mediante el muestreo sacádico.
• Campos Receptivos: Las visualizaciones de los campos receptivos aprendidos mostraron unidades foveales que asemejan los filtros de codificación dispersa clásica (trazos) y unidades periféricas que codifican fragmentos de objetos más grandes, consistentes con las jerarquías visuales biológicas.

Significado y Reivindicaciones

El artículo afirma que la MPC representa un paso significativo hacia la NeuroAI y la inteligencia biomimética al:

• Invertir el Procesamiento Predictivo: Cambiar el objetivo de reconstruir datos sensoriales brutos hacia la adquisición de representaciones latentes distribuidas mediante la predicción mutua entre corrientes especializadas.
• Resolver el Problema de la Asignación de Crédito: Proporcionar un mecanismo para aprender representaciones distribuidas utilizando únicamente reglas de plasticidad local y paso de mensajes, evitando la implausibilidad biológica de la retropropagación.
• Unir la Visión Activa y el Aprendizaje: Demostrar cómo la percepción activa (sacadas) puede impulsar la adquisición de representaciones robustas sin requerir supervisión explícita o muestreo de contraste negativo.
• Escalabilidad y Eficiencia: Ofrecer una vía para aprender representaciones complejas que sean invariantes a la iluminación y al punto de vista, capaces de generalizarse a nuevas estructuras físicas, sin la carga computacional de modelar espacios de píxeles de alta dimensión.

Los autores concluyen que, si bien la MPC es una inspiración laxa de la circuitería biológica, proporciona una instanciación computacionalmente viable del aprendizaje auto-supervisado informado por la neurociencia, sugiriendo que las codificaciones abstractas pueden emerger puramente de las predicciones y los errores de predicción a través de corrientes sensoriales complementarias.