SWE-Pruner: Self-Adaptive Context Pruning for Coding Agents

1. Planteamiento del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) han demostrado un potencial notable en tareas de ingeniería de software, desde la comprensión de código hasta la generación autónoma de parches. Sin embargo, su efectividad se ve severamente obstaculizada por el "Muro del Contexto":

• Acumulación de Tokens: Los repositorios de software del mundo real son masivos. Los agentes que navegan por estos repositorios acumulan largas historias de interacción y contenidos de archivos crudos, agotando rápidamente las ventanas de contexto incluso de los modelos de contexto largo.
• Costo y Latencia: La ingestión ciega de grandes volúmenes de código conduce a costos de API prohibitivos y alta latencia de inferencia.
• Dilución de la Atención: El exceso de contexto introduce ruido, causando "dilución de la atención" y alucinaciones, donde el modelo pierde el enfoque en los detalles críticos de implementación.
• Limitaciones de las Soluciones Existentes: Los métodos actuales de compresión de contexto (por ejemplo, LongLLMLingua, Selective-Context) dependen de métricas estáticas como la Perplejidad (PPL) o la autoinformación. Estos métodos son agnósticos a la tarea y a menudo operan a nivel de token, lo que altera la estructura sintáctica y lógica del código, volviéndolo inutilizable para la depuración o la compilación. No logran adaptarse a los objetivos dinámicos y evolutivos de las interacciones de agentes de múltiples turnos.

2. Metodología: SWE-Pruner

Los autores proponen SWE-Pruner, un marco de poda de contexto autoadaptativo diseñado específicamente para agentes de codificación. Funciona como middleware entre el agente y el entorno, interceptando comandos de lectura de archivos (por ejemplo, cat, grep) para filtrar el contexto crudo antes de que llegue al LLM.

Componentes Principales

1. Generación de Pistas de Objetivo:

   • En lugar de una compresión estática, se instruye al agente para que genere una Pista de Objetivo—una descripción en lenguaje natural de su necesidad de información actual (por ejemplo, "Enfocarse en la lógica de manejo de errores en el módulo Auth").
   • Esta pista se pasa como un parámetro opcional (context_focus_question) al sistema de poda, habilitando un filtrado consciente de la tarea.

2. Escáner Neural Ligero:

   • Arquitectura: Un modelo de 0.6B parámetros basado en Qwen3-Reranker-0.6B. Está diseñado para baja latencia y alta eficiencia.
   • Mecanismo: El escáner trata la poda de contexto como un problema de reevaluación (reranking). Dada una consulta (Pista de Objetivo) y un contexto (contenido de archivo crudo), calcula puntuaciones de relevancia.
   • Granularidad a Nivel de Línea: A diferencia de la poda a nivel de token, SWE-Pruner agrega las puntuaciones de tokens al nivel de línea. Esto asegura que las estructuras sintácticas (por ejemplo, definiciones de funciones, bloques de clases) se preserven intactas, evitando la ruptura del código.
   • Objetivo de Entrenamiento: El modelo se entrena utilizando una pérdida de Campo Aleatorio Condicional (CRF) para modelar dependencias secuenciales entre las decisiones de "retener" y "podar", asegurando una retención coherente a nivel de línea. También incluye una cabeza de reevaluación a nivel de documento para mantener la relevancia global.

3. Construcción de Datos de Entrenamiento:

   • Dado que no existe un conjunto de datos con anotaciones de relevancia a nivel de línea para agentes de codificación, los autores construyeron un corpus políglota de 61K muestras utilizando un paradigma de maestro-alumno.
   • Un LLM maestro (Qwen3-Coder-30B) sintetizó consultas orientadas a tareas y máscaras de retención a nivel de línea a partir de repositorios de GitHub, cubriendo nueve tareas agénticas distintas (por ejemplo, depuración, refactorización, adición de características).
   • Un mecanismo de "LLM como Juez" filtró los datos para garantizar anotaciones de alta calidad.

4. Flujo de Trabajo de Integración:

   • El marco se integra en bucles de agentes (por ejemplo, Mini SWE Agent, OpenHands). Cuando un agente lee un archivo, la salida cruda se envía al escáner junto con la Pista de Objetivo. El escáner devuelve un Contexto Podado que contiene solo las líneas relevantes, que el agente luego procesa.

3. Contribuciones Clave

• Marco de Poda Consciente de la Tarea: Introdujo un enfoque novedoso que adapta dinámicamente la compresión de contexto según los objetivos específicos de razonamiento del agente, yendo más allá de la compresión estática basada solo en contenido.
• Preservación Estructural a Nivel de Línea: Diseñó un escáner neural ligero que opera a nivel de línea, preservando la validez sintáctica y la estructura lógica, lo cual es crítico para la corrección del código.
• Arquitectura Eficiente: Desarrolló un modelo de 0.6B parámetros que introduce una latencia insignificante (<100ms) mientras logra una reducción significativa de tokens, haciéndolo práctico para flujos de trabajo de agentes en tiempo real.
• Pipeline de Datos Sintéticos: Creó un pipeline riguroso para generar datos supervisados de alta calidad a nivel de línea para la poda de código, abordando una brecha crítica de datos en el campo.

4. Resultados Experimentales

Los autores evaluaron SWE-Pruner en cuatro puntos de referencia: SWE-Bench Verified y SWE-QA (tareas de agentes de múltiples turnos), y Long Code Completion y Long Code QA (tareas de un solo turno).

• Tareas de Agentes de Múltiples Turnos (SWE-Bench Verified):

  • Reducción de Tokens: Logró una reducción del 23–38% en el consumo total de tokens.
  • Tasa de Éxito: Sorprendentemente, las tasas de éxito mejoraron entre 1.2 y 1.4 puntos porcentuales (por ejemplo, de 70.6% a 72.0% con Claude Sonnet 4.5).
  • Eficiencia: Redujo las rondas de interacción en un 18–26%, lo que indica que los agentes toman decisiones más decisivas con un contexto enfocado.
  • Costo: Reducción significativa en los costos de API (hasta ~36% de ahorro).

• Tareas de Un Solo Turno (Long Code QA/Completion):

  • Ratio de Compresión: Logró hasta 14.84× de compresión en Long Code QA bajo restricciones estrictas, superando ampliamente a líneas base como LLMLingua2 y RAG.
  • Rendimiento: Mantuvo o mejoró ligeramente la precisión (por ejemplo, 58.71% de precisión a 14.84× de compresión) en comparación con el contexto completo, mientras que las líneas base a nivel de token sufrieron una degradación severa del rendimiento bajo alta compresión.

• Eficiencia y Latencia:

  • El escáner de 0.6B añade una sobrecarga mínima (<100ms de latencia del primer token), que se amortiza con la reducción masiva en los costos de decodificación del LLM aguas abajo.
  • Correctitud AST: SWE-Pruner mantuvo una correctitud AST del 87.3% (validez sintáctica), superando significativamente a los métodos a nivel de token (que cayeron a cerca del 0% o <13%).

5. Significado

• Resolviendo el Muro del Contexto: SWE-Pruner proporciona una solución escalable a las limitaciones de la ventana de contexto de los agentes de codificación, permitiéndoles navegar por bases de código grandes y complejas sin incurrir en costos prohibitivos o perder el enfoque.
• Cambio de Paradigma: Desplaza la gestión del contexto de la compresión estática a la selección dinámica y guiada por objetivos, imitando cómo los desarrolladores humanos "hojean" el código basándose en objetivos específicos de depuración o características.
• Viabilidad Práctica: El marco es ligero, agnóstico al modelo (funciona con Claude, GLM, Qwen, etc.) y se integra sin problemas como middleware, haciéndolo inmediatamente aplicable a la infraestructura de agentes existente.
• Calidad sobre Cantidad: Los resultados demuestran que menos contexto es a menudo mejor para los agentes de codificación, siempre que el contexto retenido esté estructuralmente intacto y sea semánticamente relevante para la tarea actual. Esto desafía la suposición predominante de "más contexto es mejor" en la investigación de LLM de contexto largo.