Resumen Técnico: Poda de Contexto para Agentes de Codificación mediante Razonamiento Latente Multi-Rúbrica

Declaración del Problema

Los agentes de codificación potenciados por LLM (por ejemplo, SWE-agent, OpenHands) enfrentan una "pared de contexto" crítica. Aunque los marcos de trabajo más avanzados automatizan tareas complejas a nivel de repositorio, los agentes gastan aproximadamente entre el 67% y el 76% de su presupuesto de tokens simplemente leyendo archivos. Esta hinchazón del contexto incurre en costos de API prohibitivos y desencadena la "dilución de la atención" y el fenómeno "perdido en el medio", donde segmentos de código irrelevantes degradan la precisión del razonamiento.

Los métodos de poda aprendidos existentes, como SWE-Pruner, plantean la reducción del contexto como una tarea de etiquetado de secuencias estructurada utilizando un Campo Aleatorio Condicional (CRF) de un solo objetivo. Sin embargo, esta formulación crea un cuello de botella de modelado: intenta modelar todas las facetas de la relevancia del código (por ejemplo, span semánticos contiguos y líneas de soporte estructural dispersas como importaciones o pares de flujo de control) con una única matriz de transición. En consecuencia, el modelo se sesga hacia bloques semánticos densos y descarta frecuentemente líneas estructuralmente necesarias (por ejemplo, importaciones, encabezados de clase, bloques try/except) que tienen puntuaciones semánticas bajas pero son esenciales para la validez sintáctica y el razonamiento del agente. Esto conduce a sintaxis rota, reintentos repetidos del agente y, en última instancia, a un mayor consumo de tokens que las líneas base sin podar.

Metodología: LaMR (Multi-Rúbrica Latente)

Los autores proponen LaMR, un marco de poda estructurado que descompone la relevancia del código en dimensiones de calidad interpretables, modeladas por cabezales CRF dedicados y fusionados mediante una red de puerta adaptativa a la consulta.

1. Formulación Multi-Rúbrica Latente

En lugar de una única puntuación de relevancia, LaMR descompone las razones de retención en $K$ rúbricas latentes. En la práctica, los autores utilizan dos dimensiones:

• Evidencia Semántica: Líneas directamente relevantes para la consulta (relevancia temática).
• Soporte de Dependencia: Líneas estructuralmente necesarias para interpretar la evidencia (importaciones, encabezados de ámbito, hermanos de flujo de control como try/except).

Cada dimensión $k$ se modela mediante un cabezal CRF dedicado con su propia matriz de transición aprendible $T^{(k)}$. Esto permite que el modelo aprenda dinámicas secuenciales distintas: la relevancia semántica favorece bloques contiguos largos (alta auto-transición), mientras que el soporte de dependencia tolera una alternancia frecuente (líneas dispersas y estructuras emparejadas).

2. Puerta Adaptativa a la Consulta

Una red de puerta ligera de Mezcla de Expertos (MoE) pondera dinámicamente las emisiones por rúbrica basándose en la consulta del agente. Para cada token $t$, la puerta produce pesos $g_t \in \Delta^{K-1}$, y la emisión fusionada se calcula como:
$$e^{fused}_t = \sum_{k=1}^K g_{t,k} E_{t,k}$$
Esto permite que el modelo cambie el enfoque entre señales semánticas y estructurales dependiendo de la intención específica de la tarea.

3. Etiquetado Guiado por Rúbrica (Denoising Basado en AST)

Para supervisar estas dimensiones sin anotación humana adicional, los autores introducen el Etiquetado Guiado por Rúbrica. Utilizando las máscaras binarias existentes de mantener/podar del LLM maestro (corpus de entrenamiento de SWE-Pruner) y el análisis estático de programas (AST), derivan etiquetas de rúbrica detalladas:

• Etiquetas Semánticas: Mapean directamente la puntuación de relevancia a nivel de documento del maestro a las líneas retenidas.
• Etiquetas de Dependencia: Propagan puntuaciones desde las líneas retenidas hacia sus dependencias estructurales (importaciones, definiciones, encabezados envolventes y hermanos de flujo de control) a través de las aristas del AST.
  Este proceso efectivamente "elimina el ruido" de las etiquetas del maestro, recuperando líneas estructuralmente necesarias que el maestro podría haber podado basándose en puntuaciones semánticas bajas.

4. Arquitectura e Inferencia

• Esqueleto: Un reordenador de 0.6B de parámetros (Qwen3-Reranker) con fusión de características de múltiples capas (concatenando estados ocultos de capas tempranas, medias y finales).
• Entrenamiento: El modelo se entrena con una suma ponderada de la pérdida principal del CRF (sobre emisiones fusionadas) y pérdidas específicas de rúbrica del CRF.
• Inferencia: LaMR actúa como un middleware ligero. Procesa fragmentos de código, realiza decodificación de Viterbi sobre las emisiones fusionadas para generar decisiones binarias de mantener/podar y aplica un paso final de post-procesamiento consciente del AST. Este paso repara el código podado reinsertando encabezados de ámbito faltantes, importaciones y compañeros de flujo de control para garantizar la validez sintáctica.

Contribuciones Clave

1. Formulación Multi-Rúbrica Latente: Identifica y resuelve el conflicto de transición en la poda de un solo objetivo modelando la relevancia del código a través de cabezales CRF separados para las dimensiones semántica y de dependencia.
2. Puerta Adaptativa a la Consulta: Introduce una red de puerta MoE para equilibrar dinámicamente las señales semánticas y estructurales basándose en la consulta del agente.
3. Denoising de Etiquetas Basado en AST: Desarrolla una pipeline de costo cero para extraer etiquetas multidimensionales de máscaras binarias, corrigiendo tokens estructurales faltantes en los datos del maestro sin anotación adicional.
4. Compromiso Superior Eficiencia-Rendimiento: Demuestra que preservar unidades autocontenidas de evidencia-soporte (líneas relevantes para la tarea + contexto estructural) permite que el contexto podado iguale o supere las líneas base de contexto completo mientras reduce significativamente el uso de tokens.

Resultados Experimentales

Los autores evaluaron LaMR en cuatro puntos de referencia (SWE-Bench Verified, SWE-QA, LCC, LongCodeQA) utilizando dos modelos base (Claude Sonnet 4.5 y Opus 4.6).

• Tareas de Múltiples Vueltas (SWE-Bench, SWE-QA):

  • LaMR gana 12 de 16 comparaciones cara a cara contra el SWE-Pruner de un solo objetivo.
  • Ahorra hasta un 31% más de tokens en tareas de múltiples vueltas en comparación con las líneas base sin podar.
  • Crucialmente, mientras que SWE-Pruner a veces aumenta el uso de tokens con modelos más potentes (debido a fallos estructurales que causan reintentos), LaMR reduce o limita consistentemente la sobrecarga.
  • Las caídas de rendimiento son marginales (por ejemplo, ≤0.6 puntos porcentuales en la tasa de éxito), mientras que las ganancias de eficiencia son sustanciales.

• Tareas de Vuelta Única (LCC, LongCodeQA):

  • LaMR mejora las métricas de calidad de la tarea (Exact Match, Similitud de Edición, Precisión) en todas las restricciones de compresión (4× y 8×).
  • Las ganancias notables incluyen +3.5 Exact Match en LCC a compresión 8× y +1.80 de Precisión en LongCodeQA a 4×.
  • Las líneas base a nivel de token (LLMLingua-2, Selective-Context) se degradan bruscamente a alta compresión, mientras que LaMR mantiene la estabilidad a través de granularidad a nivel de línea y preservación estructural.

• Estudios de Ablación:

  • Eliminar la rúbrica de dependencia o la reparación consciente del AST degrada significativamente el rendimiento, confirmando que el soporte estructural es distinto y complementario a la relevancia semántica.
  • La recuperación gruesa (por ejemplo, LongCodeZip) combinada con la poda detallada de LaMR produce los mejores resultados, mientras que apilar múltiples compresores de líneas perjudica el rendimiento.

Significado y Afirmaciones

El artículo afirma que LaMR representa un cambio de "eliminar tokens" a "preservar unidades autocontenidas de evidencia-soporte". Al separar explícitamente la evidencia semántica del soporte de dependencia, el marco aborda la tensión inherente en la relevancia del código: una línea puede ser irrelevante semánticamente pero crítica estructuralmente.

Los autores afirman que LaMR proporciona un compromiso estrictamente mejor entre la compresión de contexto y la calidad de la tarea aguas abajo en comparación con métodos anteriores. Permite que los agentes de codificación operen de manera más eficiente sin sacrificar la integridad estructural requerida para el razonamiento complejo, filtrando efectivamente el ruido distractor mientras mantienen la "señal" necesaria para la finalización exitosa de la tarea. El trabajo sugiere que la gestión futura del contexto para los agentes debe ir más allá de las puntuaciones de relevancia de escalar único hacia un razonamiento estructurado y multidimensional sobre las dependencias del código.