Resumen Técnico: LongAttnComp

Planteamiento del Problema

A medida que los modelos de lenguaje de gran tamaño (LLMs) se despliegan cada vez más en aplicaciones del mundo real que requieren el procesamiento de entradas que superan los 100,000 tokens, ha surgido un cuello de botella crítico entre la longitud del contexto y la eficiencia de la inferencia. Si bien la compresión de contexto ofrece una solución al filtrar o condensar la entrada antes de que llegue al modelo objetivo, los métodos existentes basados en atención y libres de entrenamiento (como el Prefill Especulativo) exhiben brechas de rendimiento sustanciales en tareas exigentes de contexto largo, particularmente en el razonamiento de código. Además, los enfoques previos de ajuste fino como AttnComp se han limitado estrechamente a la QA con aumento de recuperación con contextos cortos (~12k tokens) y puntuación a nivel de documento, dejando sin probar su potencial como compresores de contexto de propósito general.

Los autores enmarcan el rendimiento de las tareas de contexto largo como una descomposición de recuperación (localizar evidencia relevante para la consulta) y razonamiento (inferir respuestas a partir de esa evidencia). Identifican la recuperación como el cuello de botella principal, argumentando que la compresión de contexto efectiva es fundamentalmente un problema de recuperación que requiere la identificación de tokens y segmentos relevantes dentro de entradas masivas.

Metodología: LongAttnComp

LongAttnComp es un marco de compresión entrenable, impulsado por un modelo borrador, adaptado de AttnComp. Mantiene el mecanismo central de un backbone de LLM congelado aumentado con una capa de puntuación de atención cruzada entrenable, pero introduce cuatro adaptaciones arquitectónicas clave y una receta de ajuste fino de dos etapas para manejar la inferencia de contexto largo.

Adaptaciones Arquitectónicas

1. Fragmentación a Nivel de Token (Token-Level Chunking): A diferencia de la puntuación a nivel de documento de AttnComp, LongAttnComp particiona las entradas en fragmentos de tokens de tamaño fijo. Esto permite operar sobre entradas del mundo real (por ejemplo, documentos largos únicos o bases de código) que carecen de límites de documento naturales, y trata el tamaño del fragmento como un hiperparámetro ajustable.
2. Selección Top-p con Presupuesto de Tokens: El algoritmo original de umbral de puntuación top-p se modifica para incluir un presupuesto de tokens de contenido ($B$). La selección se detiene cuando el puntaje acumulado supera $p$ o cuando los tokens retenidos alcanzan $B$. Esto proporciona un control predecible sobre la longitud de la compresión, evitando la sub-retención agresiva observada en tareas de contexto largo con el umbral de puntuación mínima original.
3. Reordenación Posicional: Los fragmentos de tokens seleccionados se restauran a su orden posicional original antes de ser pasados al modelo objetivo, preservando la coherencia del discurso, algo que el AttnComp original no garantizaba.
4. Analizador de Consultas Agnóstico al Formato: Para manejar estructuras de prompts complejas sin plantillas fijas (por ejemplo, Code-Debug), el sistema emplea un analizador de consultas. Los autores evalúan tanto la extracción precisa de fragmentos como una estrategia "arbitraria" (asignando los últimos $N$ tokens como la consulta), encontrando que esta última es robusta con una degradación de rendimiento mínima.

Receta de Ajuste Fino de Dos Etapas

Los autores proponen un enfoque de aprendizaje por currículo para ampliar la cobertura de tareas:

• Etapa 1 (Base): Entrena en un conjunto de datos a gran escala (32k ejemplos) que combina SQuAD y HotpotQA. Esto establece una base de recuperación general utilizando datos tipo NIAH (recuperación de un solo hecho y de múltiples saltos básica).
• Etapa 2 (Extensión): Continúa el entrenamiento desde el checkpoint de la Etapa 1 en un conjunto de datos dirigido a patrones de recuperación más difíciles, incluyendo MuSiQue y 2WikiMultiHopQA, intercalado con la repetición de los datos de la Etapa 1 para evitar el olvido catastrófico. Esta etapa prueba específicamente el impacto de la descomposición de sub-preguntas (incluyendo explícitamente las sub-preguntas proporcionadas por el dataset en la consulta) frente al uso de solo la pregunta de múltiples saltos.

Contribuciones Clave

1. Marco LongAttnComp: Un marco de compresión modular y entrenable adaptado para la inferencia de contexto largo, que cuenta con fragmentación a nivel de token, un algoritmo top-p de presupuesto de tokens, reordenación posicional y un analizador de consultas agnóstico al formato.
2. Receta de Entrenamiento de Dos Etapas: Una metodología que extiende la cobertura de tareas de un compresor y fortalece sus capacidades de razonamiento de múltiples saltos sin comprometer sus fortalezas iniciales de recuperación.
3. Validación Empírica:
   • LongAttnComp iguala o supera la precisión de contexto completo en InfiniteBench Code-Debug.
   • Supera sustancialmente a los baselines libres de entrenamiento (por ejemplo, Speculative Prefill).
   • Demuestra generalización entre familias de modelos, transfiriéndose efectivamente a través de cuatro modelos objetivo de tres familias diferentes (DeepSeek, MiniMax, GPT-OSS) sin reentrenamiento.
   • La receta de dos etapas cierra significativamente la brecha de rendimiento en tareas de razonamiento multi-documento (LongBench v2) mientras preserva el razonamiento de código.

Resultados

• Razonamiento de Código (InfiniteBench Code-Debug): En el target DeepSeek-R1-0528, el compresor de la Etapa 1 alcanzó un 75.38% de precisión, superando el baseline de contexto completo (74.37%) y al Speculative Prefill libre de entrenamiento (62.44%). La variante de la Etapa 2 (subq) alcanzó el 76.90%. Se observaron tendencias similares en DeepSeek-V3.1, MiniMax-M2.5 y GPT-OSS-120B, donde LongAttnComp superó consistentemente al Speculative Prefill por 7 a 31 puntos.
• Razonamiento Multi-Documento (LongBench v2): La Etapa 1 tuvo un rendimiento inferior al baseline de contexto completo, lo que refleja las limitaciones de los datos de entrenamiento tipo NIAH para el razonamiento naturalista. El entrenamiento de la Etapa 2 recuperó entre 7 y 12 puntos sobre la Etapa 1, superando al Speculative Prefill y situándose a solo 1.4 puntos del baseline de contexto completo truncado a 100k.
• Benchmark RULER: LongAttnComp recuperó la precisión en subtareas que sufren efectos de "perdido en el medio" (por ejemplo, recuperación de una sola aguja/single-needle), pero mostró las limitaciones esperadas en tareas donde la evidencia está distribuida en muchas posiciones (multi-valor/multi-consulta), consistente con la distribución de los datos de entrenamiento.

Significado y Reivindicaciones

El artículo afirma que la sensibilidad de la tarea en la compresión refleja la composición de los datos de entrenamiento más que los límites arquitectónicos. La brecha de rendimiento observada en la Etapa 1 en tareas de razonamiento complejo no se debió a la incapacidad del modelo para aprender, sino a la falta de patrones de entrenamiento diversos y naturalistas. Al introducir la Etapa 2 con datos de múltiples saltos y naturalistas, los autores demuestran que una arquitectura de atención cruzada única puede extenderse para manejar tareas complejas de razonamiento de contexto largo.

Los autores enfatizan que el compresor actúa como un paso de preprocesamiento agnóstico al objetivo, capaz de transferirse entre familias de modelos no relacionadas sin reentrenamiento. También señalan que los hiperparámetros de inferencia (tamaño del fragmento, modo de selección) dependen de la tarea, lo que sugiere que el despliegue futuro puede requerir mecanismos adaptativos para tipos de tareas desconocidas. Finalmente, el artículo postula que la carga computacional de LongAttnComp es aproximadamente un tercio de la de Speculative Prefill, ya que utiliza solo las primeras 13 capas del modelo borrador en lugar del backbone completo.