Resumen Técnico: Dónde Vincular Importa: Pesos Rápidos Hebbianos en Transformers de Visión para Reconocimiento de Caracteres con Pocos Ejemplos

Enunciado del Problema

Las arquitecturas estándar de Transformer de Visión (ViT) sobresalen en el aprendizaje supervisado a gran escala, pero dependen de "pesos lentos" fijos aprendidos mediante descenso de gradiente. Estos pesos se congelan durante la inferencia, lo que hace que los modelos sean incapaces de adaptarse rápidamente a nueva información dentro de un solo episodio. Esta limitación es particularmente aguda en escenarios de aprendizaje con pocos ejemplos, donde los modelos deben reconocer conceptos novedosos a partir de solo un puñado de ejemplos. Aunque los sistemas neuronales biológicos utilizan la plasticidad Hebbiana para formar memorias asociativas transitorias para una adaptación rápida, los transformadores estándar carecen de mecanismos explícitos para este aprendizaje de doble escala temporal. Aunque trabajos teóricos recientes sugieren que la atención lineal realiza implícitamente actualizaciones Hebbianas, este artículo investiga si hacer que estas actualizaciones sean explícitas, aprendibles y arquitectónicamente distintas puede mejorar la adaptabilidad en tareas de visión con pocos ejemplos.

Metodología

Los autores proponen la integración de módulos de Pesos Rápidos Hebbianos (HFW) en las bases de transformadores para crear una memoria transitoria a nivel de episodio. Los componentes centrales de la metodología incluyen:

1. El Módulo de Pesos Rápidos Hebbianos (HFW)

El módulo HFW introduce una matriz de memoria asociativa transitoria $M$ que se actualiza en línea durante el paso hacia adelante de un episodio y se reinicia al inicio del siguiente.

• Actualización de Memoria: El módulo calcula una matriz de co-activación $A$ a partir de las proyecciones de clave ($K$) y valor ($V$) de los tokens de entrada. La matriz de memoria se actualiza mediante una regla Hebbiana: $M \leftarrow \lambda M + \eta A$, donde $\eta$ es una tasa de plasticidad aprendible y $\lambda$ es un factor de decaimiento temporal aprendible.
• Estabilización: La actualización incluye un umbral de recorte para prevenir activaciones grandes y normalización de la norma de Frobenius para estabilizar la magnitud de la memoria.
• Recuperación: La representación de consulta ($Q$) recupera información de la memoria ($\hat{r} = QM$). Esta señal recuperada se controla mediante una función sigmoidea y se suma a la salida de la base, permitiendo que la red controle adaptativamente la influencia de la memoria rápida.
• Aprendibilidad: Los parámetros que gobiernan la formación de memoria ($\eta, \lambda, W_K, W_V, W_Q, W_g$) se aprenden de extremo a extremo mediante retropropagación estándar, mientras que la propia matriz de memoria $M$ no se almacena en los puntos de control.

2. Estrategias de Integración Arquitectónica

El estudio evalúa tres arquitecturas de base (ViT-Pequeño, DeiT-Pequeño, Swin-Tiny) con dos estrategias de integración distintas:

• Colocación por Bloque (ViT y DeiT): Un módulo HFW se inserta en cada bloque del transformador (12 bloques en total). Esto permite una vinculación rápida a lo largo de la profundidad de la red, pero introduce múltiples vías de memoria independientes.
• Colocación Única en Etapa Final (Swin-Tiny): Un único módulo HFW se aplica solo después de la etapa jerárquica final de la base Swin, siguiendo la normalización de capa (LayerNorm) y el aplanamiento de la secuencia. Este diseño apunta a las representaciones de características más abstractas y semánticamente ricas.

3. Protocolo Experimental

• Tarea: Reconocimiento de caracteres con 5 vías y pocos ejemplos en la referencia Omniglot.
• Marco de Trabajo: Las Redes Prototípicas (ProtoNet) sirven como la cabeza de clasificación basada en métricas.
• Configuraciones: Evaluado en tareas de 1 ejemplo y 5 ejemplos, con estudios de ablación de 1 a 10 ejemplos.
• Entrenamiento: Los modelos se entrenan desde cero (sin pre-entrenamiento en ImageNet) utilizando optimización AdamW durante 60 épocas.

Resultados Clave

La evaluación empírica revela que la colocación del módulo HFW es un determinante crítico del rendimiento:

• Superioridad de Swin-Hebbiano: El modelo Swin-Hebbiano (módulo de etapa única final) logró la mayor precisión en todos los modelos: 96.2% (1 ejemplo) y 99.2% (5 ejemplos). Esto representa una mejora de +0.3% sobre la línea base Swin no Hebbiana en la configuración de 1 ejemplo.
• Degradación en Modelos por Bloque: En contraste, los modelos ViT-Hebbiano y DeiT-Hebbiano (colocación por bloque) tuvieron un rendimiento significativamente inferior a sus líneas base. ViT-Hebbiano disminuyó un 3.7% (1 ejemplo), y DeiT-Hebbiano disminuyó un 6.9% (1 ejemplo).
• Eficiencia de Parámetros: La variante Swin-Hebbiano añadió solo ~1.8M de parámetros, mientras que las variantes por bloque de ViT/DeiT añadieron ~6.3M de parámetros, sin embargo, Swin-Hebbiano logró una precisión superior.
• Dinámicas Aprendidas: En Swin-Hebbiano, el modelo aprendió una tasa de plasticidad baja ($\eta \approx 0.019$) y una persistencia fuerte ($\lambda \approx 0.880$), indicando una retención de memoria estable a través del conjunto de soporte. En los modelos por bloque, las tasas de plasticidad fueron uniformemente bajas en todas las capas, lo que sugiere que los módulos suprimieron sus propias contribuciones.

Análisis de Diferencias Arquitectónicas

El artículo atribuye la brecha de rendimiento a tres factores principales:

1. Interferencia de Gradientes: En diseños por bloque, la vía de pesos rápidos compite con la vía de atención de pesos lentos en cada capa. En regímenes de bajos datos, esto crea señales de gradiente conflictivas que desestabilizan el aprendizaje de incrustaciones estables. El diseño jerárquico de Swin aísla el módulo HFW a la etapa final, evitando esta interferencia.
2. Estabilidad Representacional: Los módulos por bloque en ViT/DeiT operan sobre características evolutivas de bajo nivel donde las representaciones de tokens aún no son semánticamente estables. El módulo Swin-Hebbiano opera sobre las características finales de alto nivel, estabilizadas por LayerNorm, permitiendo una vinculación efectiva desde el primer episodio.
3. Alineación del Sesgo Inductivo: La atención de ventana desplazada de Swin captura estructuras espaciales locales (trazos, curvas) inherentes a los caracteres. El módulo HFW de etapa final opera sobre estos códigos topológicos holísticos, alineando la extracción de características "de local a global" de Swin con la vinculación "de global a episódica" del mecanismo Hebbiano.

Significado y Afirmaciones

El artículo afirma que "dónde vincular importa tanto como si se utiliza". La contribución principal es demostrar que los mecanismos explícitos de pesos rápidos Hebbianos pueden mejorar el aprendizaje con pocos ejemplos en transformadores, pero solo cuando se integran en una arquitectura que proporciona estabilidad representacional y evita la interferencia de gradientes.

Los autores posicionan la arquitectura Swin-Hebbiano como un paso hacia la adaptabilidad cognitiva, separando la adquisición de conocimiento de pesos lentos de la vinculación asociativa rápida y dependiente del contexto. Señalan que, aunque las ganancias son modestas en el régimen de 5 ejemplos, la ventaja es más pronunciada en la configuración de 1 ejemplo, que es el régimen donde la adaptación rápida dentro del episodio es más crítica. El estudio concluye que una integración única en etapa final en bases jerárquicas como Swin-Tiny ofrece una solución más estable y eficiente en parámetros que la integración densa por bloque en bases planas como ViT.