Resumen Técnico: Aprendizaje de Representación de Inserción Conjunta Estocástica Inspirado en el Cerebro (PhiNet v2)

Declaración del Problema

El aprendizaje autosupervisado (SSL) ha revolucionado la visión por computadora a través de marcos como SimCLR, MoCo, DINO y los Autoencoders de Máscara (MAE). Sin embargo, estos enfoques pasan por alto en gran medida las perspectivas de los sistemas de procesamiento visual biológico, específicamente la capacidad del cerebro humano para aprender representaciones robustas a partir de flujos continuos de información visual sin depender de un fuerte aumento de datos (data augmentation).

Los modelos inspirados en el cerebro existentes, como el PhiNet original (v1), han dado pasos de progreso al combinar la Hipótesis de la Predicción Temporal con la teoría de los Sistemas de Aprendizaje Complementario (CLS). Sin embargo, PhiNet v1 presenta tres limitaciones principales:

1. Procesamiento Secuencial: No procesa de forma nativa la entrada visual secuencial (video); simula diferencias temporales mediante el aumento de datos en imágenes estáticas.
2. Arquitectura: Depende de backbones ResNet, mientras que la neurociencia moderna sugiere que los Transformers representan mejor los modelos hipocampales.
3. Dependencia de la Aumentación: Al igual igual que muchos métodos de SSL, depende de un fuerte aumento de datos, lo que limita la generalizabilidad al aprender de entradas secuenciales donde es difícil definir aumentaciones efectivas.

El artículo aborda la necesidad de un modelo que aprenda representaciones visuales robustas a partir de entradas secuenciales (video) sin un fuerte aumento de datos, aprovechando tanto arquitecturas Transformer como la inferencia variacional para cerrar la brecha entre los mecanismos inspirados en el cerebro y el aprendizaje probabilístico.

Metodología: PhiNet v2

PhiNet v2 es una arquitectura basada en Transformer diseñada para aprender de secuencias de imágenes (videos) alineándose con la circuitería biológica encontrada en la corteza entorrinal (CE), el hipocampo (CA3 y CA1) y la neocorteza.

1. Interpretación Biológica y Arquitectura

El modelo mapea sus componentes a regiones cerebrales específicas:

• Corteza Entorrinal (CE) / Codificador $f$: Codifica la entrada sensorial (fotogramas de video $x_t$) en representaciones de baja dimensión ($Z_t$). PhiNet v2 utiliza un Vision Transformer (ViT) como codificador.
• Región CA3 / Predictor $h$: Basado en la Hipótesis de la Predicción Temporal, este módulo predice la actividad neural futura. Pronostica la representación de un fotograma futuro ($\hat{Z}_{t+k}$) a partir del fotograma actual ($Z_t$).
• Región CA1 / Predictor $g$ y Funciones de Pérdida:
  • Sim-1 (Error de Predicción): CA1 compara la señal predicha $\hat{Z}_{t+k}$ con la señal futura real (procesada con ruido $\epsilon$). Esta discrepancia se modela como una divergencia de probabilidad (divergencia KL) entre una distribución a priori y una posterior aproximada, impulsando una plasticidad rápida.
  • Sim-2 (Aprendizaje Lento): CA1 emite una señal a la neocorteza. Un segundo predictor $g$ genera una representación objetivo $Y_{t+k}$ basada en la predicción y una variable aleatoria latente $r$.
• Neocorteza / Codificador Lento $f_{long}$: Imita el sistema de aprendizaje lento de la neocorteza. Sus parámetros se actualizan mediante un Promedio Móvil Exponencial (EMA) de los parámetros del codificador principal, asegurando la consistencia a largo plazo y evitando el colapso representacional.

2. Derivación Probabilística

El objetivo de aprendizaje se deriva de la inferencia variacional. Los autores buscan maximizar la verosimilitud de los fotogramas de video codificados. Al aplicar la regla de la cadena e introducir un modelo de mezcla uniforme con una variable latente $r$ para capturar la estocasticidad, derivan una cota inferior de evidencia (ELBO).

• La pérdida Sim-1 corresponde a la divergencia KL entre la posterior aproximada $q(r|\hat{Z}_{t+k}, Z^{(\epsilon)}_{t+k})$ y la a priori $p(r|\hat{Z}_{t+k})$.
• La pérdida Sim-2 corresponde al error de reconstrucción entre la representación predicha $Y_{t+k}$ y la representación objetivo $f_{long}(x_{t+k})$.
• El objetivo total es una suma simétrica de las pérdidas cronológica y reversa-cronológica para promover la consistencia temporal bidireccional.

3. Dinámica de Entrenamiento y Estabilización

Para prevenir el colapso representacional y asegurar un entrenamiento estable sin un fuerte aumento de datos, PhiNet v2 emplea mecanismos específicos:

• Stop-Gradients (SG): Los gradientes directos se detienen para la ruta de la distribución a priori (SG-prior) y el codificador lento (SG-2), forzando al modelo a aprender a través de las actualizaciones impulsadas por el error de las vías rápidas.
• Equilibrio de KL (KL Balancing): Se aplica un sesgo a los términos de la distribución a priori y posterior durante el cálculo de la divergencia KL.
• EMA: El codificador lento $f_{long}$ se actualiza mediante EMA, desacoplando su dinámica de aprendizaje de la del codificador principal.
• Inyección de Ruido: Se añade ruido Gaussiano $\epsilon$ a los fotogramas futuros para evitar el aprendizaje de atajos (ej. copiar píxeles), aunque el modelo aprende representaciones en lugar de reconstruir píxeles.

Contribuciones Clave

1. Arquitectura PhiNet v2: El primer modelo de aprendizaje de representación visual inspirado en el cerebro basado en Transformer, capaz de procesar entrada visual secuencial.
2. Aprendizaje Libre de Aumentación: El modelo aprende representaciones robustas de entradas secuenciales sin depender del fuerte aumento de datos y el enmascaramiento requeridos por la mayoría de los modelos fundacionales existentes (ej. MAE, DINO).
3. Formulación Variacional: Una derivación probabilística formal que une el modelado inspirado en el cerebro (Predicción Temporal y CLS) con la inferencia variacional, proporcionando una base matemática bien fundamentada.
4. Rendimiento: El modelo logra un rendimiento competitivo o superior comparado con métodos de preentrenamiento fuertes (DINO, SiamMAE, CropMAE, RSP) manteniendo una arquitectura más simple (sin módulos MAE auxiliares).

Resultados Experimentales

Los autores preentrenan PhiNet v2 en el conjunto de datos Kinetics-400 y lo evalúan en tareas de propagación de etiquetas de video (DAVIS, VIP, JHMDB).

• Rendimiento de Referencia (Benchmark): PhiNet v2 supera a RSP, CropMAE y una línea base tipo JEPA en todos los conjuntos de datos probados.
  • En DAVIS (Segmentación de Video), PhiNet v2 logra una puntuación J&Fm de 60.1, frente al 58.4 de RSP y 57.0 de CropMAE.
  • En VIP (Segmentación de Partes) y JHMDB (Seguimiento de Pose), PhiNet v2 también alcanza las puntuaciones más altas (33.1 mIoU y 73.6 PCK@0.2, respectivamente).
• Robustez al Ruido: En experimentos añadiendo ruido Gaussiano a los fotogramas de entrada, PhiNet v2 demuestra una mayor robustez que RSP, particularmente en el conjunto de datos DAVIS, validando la hipótesis de que el aprendizaje en el espacio de representación es menos sensible al ruido a nivel de píxel que los métodos de reconstrucción de píxeles.
• Estudios de Ablación:
  • EMA: Eliminar el EMA conduce a representaciones colapsadas y un rendimiento pobre (26.8 vs 60.1).
  • Pérdida Simétrica: El uso de pérdida simétrica mejora el rendimiento entre 0.4 y 0.9 puntos.
  • Predictor $h$: Incluir el predictor $h$ (CA3) es crucial para evitar el colapso.
  • Tamaño de Batch: El modelo se mantiene estable a través de varios tamaños de batch (192 a 1536), permitiendo el entrenamiento en hardware limitado (ej. GPUs V100).
  • Arquitectura: Reemplazar simplemente el ResNet en PhiNet v1 por un Transformer sin los cambios arquitectónicos específicos de PhiNet v2 resulta en un rendimiento pobre (22.2), lo que resalta la necesidad del diseño específico.

Significación y Reivindicaciones

El artículo posiciona a PhiNet v2 como un paso hacia sistemas de visión computacional más biológicamente plausibles. Su significación radica en:

• Plausibilidad Biológica: Integra con éxito la Hipótesis de la Predicción Temporal y la teoría CLS en un marco moderno basado en Transformers, yendo más allá del procesamiento de imágenes estáticas de PhiNet v1.
• Eficiencia y Simplicidad: A diferencia de RSP, que requiere un módulo MAE auxiliar para potenciar su rendimiento, PhiNet v2 logra resultados superiores mediante la alineación de representaciones, eliminando la necesidad de componentes auxiliares complejos y un extenso ajuste de hiperparámetros.
• Escalabilidad: Aunque los experimentos actuales se realizan a escalas menores para asegurar una comparación justa con métodos existentes, los autores señalan que la arquitectura está intrínsecamente relacionada con los marcos JEPA y DINO, lo que sugiere la capacidad de escalar a entornos más grandes y competir con modelos de gran escala como V-JEPA o DINOv3.

El trabajo demuestra que combinar mecanismos inspirados en la neurociencia con objetivos de aprendizaje probabilístico puede generar representaciones de video robustas y de vanguardia sin la pesada dependencia del aumento de datos típica de los paradigmas actuales de SSL.