Activation-Based Active Learning for In-Context Learning: Challenges and Insights

Resumen Técnico: Aprendizaje Activo Basado en Activaciones para el Aprendizaje en Contexto

Planteamiento del Problema
El aprendizaje en contexto (ICL, por sus siglas en inglés) ha emergido como un método primordial para mejorar el rendimiento de los Grandes Modelos de Lenguaje (LLM) sin necesidad de ajuste fino (fine-tuning), apoyándose en su lugar en la selección de ejemplos de alta calidad dentro del prompt. Si bien se ha aplicado el aprendizaje activo profundo al ICL utilizando técnicas como la incertidumbre del modelo, la diversidad de datos y métricas de similitud, persiste una brecha en la utilización de los avances recientes en la comprensión de las activaciones internas de los transformadores. Específicamente, no está claro si los patrones de activación crudos de las capas de Perceptrón Multicapa (MLP) —que son cruciales para la memorización del conocimiento— pueden servir como una señal refinada para optimizar la selección de ejemplos en contexto. Este artículo investiga la hipótesis de que las activaciones del modelo se correlacionan con la calidad de los ejemplos y el rendimiento de la tarea.

Metodología
Los autores realizaron un estudio empírico exhaustivo utilizando dos modelos base, Llama-3.2-3B y Qwen2.5-3B, a través de cuatro conjuntos de datos diversos: BoolQ, ARC-Challenge, OpenBookQA (tareas de clasificación) y GSM8K (razonamiento matemático generativo).

La metodología consistió en los siguientes pasos:

1. Estrategias de Enmascaramiento: Para capturar relaciones complejas entre los ejemplos candidatos y las muestras de prueba, los autores experimentaron con cuatro configuraciones de enmascaramiento de atención:
   • Causal Mask (Máscara Causal): La configuración predeterminada que bloquea la atención hacia tokens futuros.
   • No Mask (Sin Máscara): Eliminación del enmascaramiento causal para permitir el procesamiento bidireccional.
   • Row Test-Based (Basada en la Fila de Prueba): Enmascaramiento únicamente de los tokens de la consulta de prueba.
   • Col Test-Based (Basada en la Columna de Prueba): Enmascaramiento únicamente de los tokens de clave de la prueba.
2. Mecanismo de Puntuación: Para cada ejemplo candidato, el modelo realizó una pasada hacia adelante (forward pass) con prompts de 1 solo ejemplo (1-shot prompts: ejemplo + delimitador + muestra de prueba). Los autores extrajeron matrices de activación de todas las $L$ capas MLP.
3. Métricas: Para reducir las matrices de activación a una sola puntuación, los autores utilizaron:
   • Los primeros cuatro momentos estadísticos: media (absoluta), varianza, asimetría (skewness) y curtosis.
   • La "activación máxima": el valor de activación absoluta más grande dentro de la matriz.
   • El "máximo por vector": la media de las activaciones máximas a través de los vectores de tokens.
4. Evaluación: Los autores calcularon un shot_score para cada ejemplo promediando las puntuaciones de los prompts a través del conjunto de prueba. Posteriormente, calcularon el coeficiente de correlación de Spearman entre estas puntuaciones y el rendimiento real de la tarea (precisión o coincidencia exacta) de los ejemplos seleccionados.

Resultados Clave
El estudio arrojó un resultado negativo definitivo respecto a la hipótesis inicial:

• Falta de Correlación: No existe una correlación fiable entre las puntuaciones basadas en la activación de MLP y el rendimiento de los ejemplos en contexto. El coeficiente absoluto de correlación de Spearman fue, como máximo, de 0.33 en todas las tareas y modelos probados.
• Significancia Estadística: Muchos experimentos mostraron valores p bajos ($p < 0.001$), lo que indica una falta de correlación estadísticamente significativa.
• Desalineación de Rendimiento: La selección de ejemplos basada en valores máximos, medianos o mínimos no produjo los ejemplos de mejor rendimiento. En algunos casos, las selecciones "óptimas" basadas en estas métricas resultaron en caídas de rendimiento por debajo de los niveles base de cero disparos (zero-shot).
• Robustez: Esta falta de correlación persistió independientemente de la estrategia de enmascaramiento (causal, sin máscara o específica de la prueba) o de la métrica específica utilizada (momentos o activaciones máximas).

Significancia y Contribuciones
La principal contribución del artículo es el análisis más exhaustivo realizado hasta la fecha sobre el aprendizaje activo profundo basado en activaciones de MLP para ICL, proporcionando un "resultado negativo" crítico que guía las direcciones de investigación futuras.

• Evidencia Empírica: Los autores demuestran que las activaciones crudas de MLP, incluso cuando se observan a través de activaciones masivas o momentos estadísticos, no sirven como un sustituto (proxy) de la calidad del ejemplo.
• Hipótesis sobre la Superposición: El artículo hipotetiza que el fallo de estas métricas se debe a la superposición (superposition), donde los modelos representan más características de las que su dimensionalidad permite, causando que las características se entrelacen a través de las dimensiones. Esto sugiere que las métricas lineales o estadísticas simples no pueden desenredar estas interacciones complejas y no lineales.
• Dirección Futura: En consecuencia, los autores argumentan que los profesionales no deben utilizar las activaciones crudas de MLP para el muestreo de ejemplos en contexto sin un posterior desenredo del MLP. Proponen los Autoencoders Dispersos (SAEs) como una dirección futura prometedora para aislar características interpretables antes de aplicar estrategias de aprendizaje activo.

En conclusión, aunque el estudio no valida el uso del muestreo basado en activaciones para ICL, proporciona información esencial al descartar una clase específica de métodos y señalar las técnicas de desenredo de características, como los SAEs, como necesarias para el progreso futuro en este dominio.