Resumen Técnico: Enrutamiento de Memoria Hebbiana Adaptativa en Vision Transformers para Aprendizaje de Pocos Disparos (Few-Shot Learning)

Planteamiento del Problema

El reconocimiento de imágenes de pocos disparos requiere que los modelos se adapten a nuevas clases utilizando solo un pequeño conjunto de soporte etiquetado. Las redes profundas estándar dependen de "pesos lentos" que permanecen fijos durante la inferencia, lo que dificulta la formación de representaciones específicas para cada tarea nueva. Aunque los Vision Transformers (ViT, DeiT, Swin) proporcionan una fuerte extracción de características, son mayoritariamente estáticos durante la inferencia.

La memoria de pesos rápidos Hebbianos ofrece un mecanismo para almacenar asociaciones temporales y específicas de la tarea derivadas del conjunto de soporte. Sin embargo, trabajos previos demostraron que el comportamiento de la memoria Hebbiana fija (activación constante, fuerza de actualización y retención) produce resultados inconsistentes entre arquitecturas: mejora los Swin Transformers pero degrada el rendimiento en ViT y DeiT cuando se inserta de forma densa. Además, no está claro si un comportamiento de memoria único y fijo es óptimo para cada episodio de pocos disparos, o si la vía de memoria debería adaptar su activación y plasticidad basándose en el conjunto de soporte específico.

Metodología

Los autores proponen el Enrutamiento Hebbiano Adaptativo, un enfoque ligero que hace que la vía de memoria Hebbiana esté "condicionada al episodio". En lugar de aplicar reglas Hebbianas fijas, el método emplea un enrutador MLP (Perceptrón Multicapa) ligero para controlar dinámicamente tres aspectos del mecanismo de memoria basados en las características del conjunto de soporte actual.

Componentes Principales

1. Módulo de Pesos Rápidos Hebbianos:

   • Recibe las representaciones de los tokens $X$ y las proyecta en claves ($K$), valores ($V$) y consultas ($Q$).
   • Forma una actualización asociativa $A$ mediante el producto exterior de $K$ y $V$.
   • Actualiza una matriz de memoria de pesos rápidos $M$ utilizando un factor de decaimiento $\lambda$ y una tasa de plasticidad $\eta$: $M \leftarrow \lambda M + \eta A$.
   • La memoria se lee mediante la representación de la consulta y se añade a las características del backbone mediante una conexión residual.
   • La matriz de memoria se reinicia al comienzo de cada episodio, asegurando que almacene solo asociaciones temporales.

2. Enrutador MLP Adaptativo:

   • Un enrutador independiente y ligero se acopla a ubicaciones seleccionadas del backbone.
   • Ingiere las características de los tokens de soporte con media agrupada ($z_l$) de una capa específica.
   • El enrutador predice tres valores de control para el episodio:
     • Puerta de Activación Exterior ($g_l$): Controla la contribución de la salida de la memoria a la representación actual.
     • Tasa de Plasticidad ($\eta_l$): Controla la fuerza de escritura de las nuevas asociaciones del conjunto de soporte.
     • Decaimiento de la Memoria ($\lambda_l$): Controla la retención de la memoria previa durante el episodio.

Variantes Adaptativas Estudiadas

El artículo evalúa tres configuraciones específicas para aislar los efectos de estos controles:

• Colocación Adaptativa: Solo se aprende la puerta de activación exterior ($g_l$); la plasticidad y el decaimiento permanecen como parámetros aprendidos estándar.
• Plasticidad Adaptativa: La vía de memoria está plenamente activa, pero el enrutador predice la tasa de plasticidad ($\eta_l$) y el decaimiento ($\lambda_l$) específicos del episodio.
• Enrutamiento Hebbiano Totalmente Adaptativo: El enrutador predice las tres variables ($g_l, \eta_l, \lambda_l$), permitiendo que el modelo aprenda tanto la fuerza de contribución como la dinámica de actualización para el episodio específico.

Integración con el Backbone

• ViT-Small & DeiT-Small: Los módulos adaptativos se insertan de forma dispersa después de los bloques 3, 6, 9 y 12 (en contraposición a la inserción densa en las bases fijas).
• Swin-Tiny: Se realiza una comparación directa donde las variantes fijas y adaptativas utilizan la misma ubicación de memoria exacta. Esto aísla el efecto del control adaptativo de la ubicación de la memoria.

Contribuciones Clave

1. Propuesta de Enrutamiento Hebbiano Adaptativo: Un método que utiliza un MLP ligero para controlar la activación de la memoria, la fuerza de la plasticidad y la retención basándose en las características del conjunto de soporte.
2. Análisis Desentrelazado: El estudio separa los efectos de la activación de la memoria (Colocación Adaptativa) de las actualizaciones de memoria específicas del episodio (Plasticidad Adaptativa).
3. Comparación de Arquitectura Controlada: Una comparación directa con Swin donde las variantes fija y adaptativa comparten la misma ubicación de memoria, demostrando que las mejoras provienen del control adaptativo y no del cambio de ubicación.
4. Ganancias de Eficiencia: Demostración de que el enrutamiento adaptativo puede reducir el tiempo de inferencia y el recuento de parámetros mientras mejora la precisión, particularmente al evitar la inserción densa fija en ViT/DeiT.

Resultados Experimentales

Datasets y Protocolos

Los experimentos se realizaron en Omniglot (entrenado desde cero) y CIFAR-FS (ajuste fino de backbones pre-entrenados en ImageNet). La evaluación incluyó tareas de 5 vías y 1 disparo (5-way 1-shot), evaluaciones de múltiples disparos (1–10) y transferencia de dominio cruzado (CIFAR-FS $\to$ Omniglot).

Hallazgos de Rendimiento

• Omniglot (ViT/DeiT): La inserción Hebbiana fija densa degradó significativamente el rendimiento (cayendo de ~95.4% a ~90%). Las variantes adaptativas recuperaron esta pérdida, con el Enrutamiento Totalmente Adaptativo logrando una precisión ligeramente superior (95.48%) que el modelo base.
• Omniglot (Swin): En la comparación controlada (misma ubicación), el Hebbiano Fijo mejoró el Swin base de 96.14% a 96.74%. La Plasticidad Adaptativa mejoró esto aún más a 96.92%, y el Enrutamiento Totalmente Adaptativo logró el mejor resultado de 96.94%. Esto confirma que la plasticidad y el decaimiento adaptativos son críticos incluso cuando la ubicación de la memoria es óptima.
• CIFAR-FS: Las variantes adaptativas superaron tanto a los modelos base como a las bases Hebbianas fijas en todos los tres backbones. El ViT Totalmente Adaptativo mejoró sobre el Hebbiano Fijo en 16.01 puntos porcentuales (88.59% vs 72.58%).
• Multi-Shot: Los beneficios del enrutamiento adaptativo persistieron a medida que el número de ejemplos de soporte aumentaba de 1 disparo a 10 disparos.
• Transferencia de Dominio Cruzado: Los modelos adaptativos Swin y DeiT mostraron una mejora en el rendimiento de transferencia de CIFAR-FS a Omniglot en comparación con las bases fijas, aunque los resultados variaron según el backbone.

Eficiencia

• Parámetros: Al utilizar la inserción dispersa (4 ubicaciones) en lugar de la inserción densa, los modelos ViT/Deit adaptativos redujeron el recuento de parámetros de ~28.7M a ~24.0M.
• Tiempo de Inferencia: Las variantes adaptativas fueron significativamente más rápidas. En Omniglot, el Swin Totalmente Adaptativo redujo el tiempo de inferencia de 16.51 ms (Fijo) a 14.05 ms. En CIFAR-FS, el ViT Totalmente Adaptativo redujo el tiempo de 24.51 ms a 11.50 ms.

Significado y Reivindicaciones

El artículo afirma que la utilidad de la memoria Hebbiana en el aprendizaje de pocos disparos no se determina únicamente por dónde se inserta, sino significativamente por cómo se controla durante un episodio.

• La Plasticidad Adaptativa es Clave: La comparación directa con Swin demuestra que, incluso con una ubicación de memoria óptima conocida, las reglas de actualización fijas son subóptimas. Adaptar la tasa de plasticidad y el decaimiento de la memoria al episodio específico produce ganancias de precisión medibles.
• Robustez a través de Arquitecturas: Mientras que la memoria Hebbiana fija densa perjudica a los backbones de Transformer planos (ViT/DeiT), el enrutamiento adaptativo recupera y supera el rendimiento base, sugiriendo que el control de memoria condicionado al episodio es una estrategia más robusta que la inserción estática.
• Eficiencia: El método proporciona una forma selectiva y eficiente de utilizar la memoria asociativa temporal, logrando resultados de pocos disparos de vanguardia con una carga computacional reducida en comparación con las implementaciones fijas densas.

Los autores concluyen que la plasticidad adaptativa y la activación de memoria adaptativa permiten a los Vision Transformers representar mejor las tareas de pocos disparos que el comportamiento Hebbiano fijo, sin incurrir en el coste de un reentrenamiento completo del backbone.