Resumen Técnico: Parametrización de Contexto con Adaptadores Composicionales (COMPAS)

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) se adaptan típicamente a nuevas tareas mediante el Aprendizaje en Contexto (ICL) o el Ajuste Fino Supervisado (SFT). Sin embargo, ambos enfoques enfrentan limitaciones significativas al escalar a múltiples demostraciones o pasajes recuperados:

• Ineficiencia de ICL: A medida que aumenta el número de tokens de contexto (instrucciones, demostraciones, evidencia), el ICL se vuelve computacionalmente costoso debido a los costos de inferencia que escalan linealmente. Además, los contextos largos desestabilizan los mecanismos de atención, provocando una degradación del rendimiento (el fenómeno "lost in the middle").
• Rigidez de SFT: El SFT requiere entrenar un modelo o adaptador separado para cada tarea o contexto específico, lo que incurre en una alta sobrecarga de entrenamiento y carece de la flexibilidad para integrar dinámicamente nueva información sin reentrenar.
• Límites de la Ventana de Contexto: Cuando la entrada excede la ventana de contexto del modelo, ni el ICL ni el SFT estándar pueden utilizar eficazmente la información completa.

Aunque trabajos previos han explorado la generación de adaptadores a partir de un único contexto, la mayoría ha pasado por alto la necesidad de integrar múltiples fragmentos de información. Los métodos existentes carecen de un mecanismo principista para componer adaptadores algebraicamente para representar contextos concatenados, fallando en capturar cómo los LLMs combinan múltiples fuentes de información.

2. Metodología: COMPAS

Los autores introducen COMPAS (Adaptadores Composicionales), un marco de meta-aprendizaje que traduce el contexto en parámetros de adaptadores con una estructura composicional, permitiendo que se fusionen algebraicamente.

2.1. Fundamento Teórico

El marco se basa en una configuración de profesor-estudiante donde el objetivo es asegurar que los adaptadores generados a partir de contextos individuales puedan componerse en el espacio de parámetros para replicar el efecto de la concatenación de contextos en el espacio de entrada.

• Modelo Profesor ($f_T$): Procesa la entrada concatenada $[c_1; \dots; c_k; q]$.
• Modelo Estudiante ($f_S$): Procesa únicamente la consulta $q$ utilizando los parámetros base $\theta$ modificados por la suma de los adaptadores: $\theta \oplus \sum \phi_i$.
• Generador ($G$): Una red que mapea un contexto $c$ a los parámetros del adaptador $\phi = G(c)$.

El requisito central es que el generador actúe como un homomorfismo de monoide desde el monoide libre de contextos (concatenación) hacia el monoide aditivo de parámetros de adaptadores (suma). Idealmente, $G([c_1; c_2]) = G(c_1) + G(c_2)$. El artículo establece un Límite de Composicionalidad (Teorema 2.1), demostrando que el error entre la salida del estudiante (suma de adaptadores) y la salida del profesor (contexto concatenado) está acotado por el error de aditividad del generador y el desajuste estudiante-profesor, escalado por la constante de Lipschitz del estudiante.

2.2. Arquitectura

• Generador: Aumenta el LM base con componentes entrenables: un adaptador LoRA insertado en el LM y un cuello de botella lineal seguido de troncos de proyección. Procesa un contexto $c$ para producir una representación oculta agrupada, la cual se proyecta en un espacio latente compacto $z(c)$. Este vector latente se mapea luego mediante proyecciones lineales para generar las matrices LoRA ($A$ y $B$) para todos los módulos objetivo en el modelo estudiante.
• Estudiante: Un LLM estándar con adaptadores LoRA. Durante la inferencia, recibe únicamente la consulta y la suma de los adaptadores generados para los contextos relevantes.

2.3. Objetivos de Entrenamiento

La pérdida de entrenamiento ($L_{COMPAS}$) es una suma ponderada de tres componentes diseñados para imponer composicionalidad y fidelidad:

1. Alineación Estudiante-Profesor ($L_{ST}$): Minimiza la divergencia KL entre la distribución del estudiante (usando la suma de adaptadores) y la distribución del profesor (usando contextos concatenados). Esto se aplica tanto para contextos únicos ($k=1$) como para contextos concatenados ($k=2$) para imponer consistencia composicional.
2. Regularización de Aditividad ($L_{ADD}$): Penaliza la discrepancia entre el adaptador generado para un contexto concatenado $G([c_1; c_2])$ y la suma de los adaptadores individuales $G(c_1) + G(c_2)$. Esto minimiza directamente el error de aditividad del generador $\eta$.
3. Reconstrucción ($L_{RECON}$): Un objetivo auxiliar donde el estudiante debe reconstruir autorregresivamente los tokens del contexto original a partir del estado del adaptador utilizando un token especial [RECON]. Esto asegura que los adaptadores codifiquen fielmente la información de entrada y evita soluciones triviales.

3. Contribuciones Clave

1. Marco COMPAS: Un marco de meta-aprendizaje profesor-estudiante que codifica el contexto en adaptadores composicionales, permitiendo la combinación algebraica.
2. Garantías Teóricas: El establecimiento de condiciones teóricas (Teorema 2.1) bajo las cuales la adición en el espacio de parámetros aproxima de manera demostrable el comportamiento de la concatenación de contextos, descomponiendo el error en fuentes interpretables.
3. Validación Empírica: Demostración de que COMPAS supera al ICL estándar, al ajuste fino y a los métodos basados en generadores existentes (como GenAda y WILDA), particularmente al escalar a un gran número de demostraciones o pasajes recuperados.

4. Resultados Experimentales

Los autores evaluaron COMPAS en tareas de opción múltiple (MMLU, ARC-Challenge) y de respuesta extractiva (HotpotQA) utilizando LLaMA-3.1 (8B), LLaMA-3.2 (3B) y Qwen-2.5 (7B).

• Rendimiento vs. ICL: COMPAS superó consistentemente al ICL estándar en todos los modelos y recuentos de shots. Las ganancias fueron más pronunciadas con recuentos de shots más altos (por ejemplo, 12–16 demostraciones), donde el rendimiento de ICL a menudo se degrada debido a la longitud del contexto.
• Comparación con SFT y Generadores: COMPAS igualó o excedió el rendimiento de WILDA (que ajusta un adaptador específico por contexto) manteniendo la eficiencia de un único generador. También superó significativamente a GenAda, que carece del cuello de botella lineal explícito y las restricciones de aditividad.
• Escalabilidad: En experimentos con 16 demostraciones, COMPAS alcanzó una mayor precisión que ICL y GenAda. Por ejemplo, en MMLU con LLaMA 8B, COMPAS (composición 4×4) alcanzó un 72.2% de precisión frente al 64.2% de ICL.
• Robustez: COMPAS demostró una robustez superior ante contextos ruidosos, contradictorios o fuera de tema en comparación con ICL, sugiriendo que la compresión del contexto en parámetros mitiga el impacto de las señales espurias.
• Eficiencia: Al desacoplar el costo de inferencia de la longitud del contexto, COMPAS logró aceleraciones significativas (hasta 4.1× en 16-shot) y redujo el uso de memoria pico en comparación con ICL, que escala linealmente con el tamaño del contexto.
• Reconstrucción: El marco mantuvo una alta fidelidad de reconstrucción (F1 a nivel de token > 85% para unidades individuales), confirmando que los parámetros del adaptador retienen el contenido semántico del contexto original.

5. Significación y Reivindicaciones

El artículo afirma que COMPAS establece la generación de adaptadores composicionales como una alternativa práctica y eficiente para escalar el despliegue de LLMs. Su significación radica en:

• Eficiencia: Reduce los costos de inferencia y la huella de memoria al reemplazar los tokens de prompt largos por parámetros de adaptadores compactos y reutilizables.
• Estabilidad: Mitiga la inestabilidad y la degradación del rendimiento asociadas con el procesamiento de contextos largos en transformadores.
• Escalabilidad: Ofrece una solución principista para manejar entradas que exceden la ventana de contexto del modelo mediante la generación y composición independiente de adaptadores.
• Seguridad e Interpretabilidad: La codificación reversible de la información en adaptadores facilita la recuperación de los contextos de entrada originales, lo cual es crucial para la seguridad y la auditoría.

Los autores posicionan este trabajo no como un reemplazo para todas las estrategias de adaptación, sino como un mecanismo escalable para integrar evidencia externa y múltiples demostraciones sin las penalizaciones computacionales del prompting tradicional o la rigidez del ajuste fino por tarea.