Resumen Técnico: Reducción del Uso de Tokens en Agentes de Estado-en-Contexto mediante Minificación

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más como motores de razonamiento para agentes de ingeniería de software (SE), particularmente para tareas a nivel de repositorio como las que se encuentran en el benchmark SWE-bench. En estos flujos de trabajo, los agentes deben recuperar y razonar sobre bases de código extensas, lo que conduce a un crecimiento rápido en el tamaño del contexto y un alto consumo de tokens. Dado que el uso de tokens se correlaciona directamente con los costos operativos y puede provocar una degradación del rendimiento debido a las limitaciones del contexto, reducir eficazmente el tamaño del contexto manteniendo la información relevante es crítico.

Un trabajo reciente de Jiang et al. introdujo los agentes de "estado-en-contexto", que simplifican la arquitectura al alimentar una versión comprimida de todo el estado del entorno en un único prompt, en lugar de reconstruir incrementalmente el estado mediante llamadas a herramientas. Sin embargo, el análisis de estos agentes revela que la gran mayoría del consumo de tokens ocurre durante el paso de reparación, donde el código fuente domina el prompt. Específicamente, más del 90% de los tokens en el prompt de reparación son consumidos por el código fuente, mientras que las instrucciones en lenguaje natural y el ranking de archivos representan menos del 10%. Este artículo aborda el desafío de reducir este consumo de tokens sin incurrir en pérdidas de rendimiento prohibitivas.

Metodología

Replicación y Línea Base

Los autores realizaron primero una replicación independiente y una extensión del agente de estado-en-contexto DirectSolve. Dado que no había un artefacto público disponible, implementaron una versión de "limpieza de habitación" (clean-room) basada en las especificaciones originales. El flujo de trabajo involucra tres pasos:

1. Ranking: Un LLM clasifica los archivos del repositorio basándose en la relevancia respecto a una descripción de un problema utilizando únicamente las rutas de los archivos.
2. Agregación: Los archivos con mayor ranking se agregan en un contexto hasta un presupuesto de tokens predefinido (limitado a 100,000 tokens en este estudio para asegurar una comparación justa entre modelos).
3. Reparación: Un LLM genera un parche en formato SEARCH/REPLACE basado en el contexto agregado.

Los autores evaluaron esta línea base en el benchmark SWE-bench Verified, utilizando GPT-5-mini, logrando una tasa de pass@1 del 50.0%, consistente con el reporte original de 50.8% usando Gemini-2.5-Pro.

Estrategia de Minificación

Para reducir el uso de tokens, los autores aplicaron una serie de técnicas de minificación de código a los archivos fuente antes de que fueran pasados al LLM para la reparación. Estas transformaciones están diseñadas para eliminar o acortar elementos léxicos no esenciales mientras se preserva la semántica del programa. Las técnicas específicas incluyen:

• Eliminación de Espacios en Blanco de Líneas/Operadores: Eliminar líneas en blanco y quitar espacios alrededor de operadores (por ejemplo, a + b se convierte en a+b).
• Eliminación de Comentarios/Docstrings: Eliminar comentarios y docstrings, que son ignorados en tiempo de ejecución.
• Dedentación (Reducción de Indentación): Reducir los niveles de indentación (por ejemplo, de 4 espacios a 2) manteniendo la consistencia dentro de los bloques. Para evitar que el LLM genere parches inválidos debido a desajustes de indentación, el sistema instruye al modelo para que produzca bloques SEARCH/REPLACE con un estilo de indentación fijo de 4 espacios, independientemente del formato de entrada.
• Acortamiento de Identificadores: Reemplazar nombres de variables, funciones y clases con alias más cortos. Esto se probó en dos modos:
  • No preservación de la semántica: Reemplazo directo sin contexto.
  • Preservación de la semántica: Renombrar identificadores y anteponer una tabla de mapeo al prompt para que el LLM pueda reconstruir los nombres originales.
• Manipulación de Imports: Fusionar todas las importaciones en un único archivo sintético o eliminarlas por completo.

Estas transformaciones se integraron en el pipeline de reparación. Tras la generación del parche, se revirtieron los mapeos de identificadores y se utilizó un procedimiento de coincidencia tolerante a diferencias de espacios en blanco y comentarios para aplicar los parches al repositorio original.

Contribuciones Clave

1. Replicación Independiente: Una reimplementación de "limpieza de habitación" del agente de estado-en-contexto DirectSolve, demostrando que un agente de llamada única y sin herramientas puede lograr un rendimiento competitivo (50% pass@1) en SWE-bench Verified cuando se combina con un modelo capaz (GPT-5-mini).
2. Análisis de Asignación de Tokens: Un análisis empírico que revela que el código fuente en el prompt de reparación es el factor dominante en el uso de tokens, eclipsando las instrucciones en lenguaje natural y los prompts de ranking.
3. Marco de Minificación: La propuesta e integración de un conjunto de transformaciones de minificación de código ligeras y que preservan la semántica, adaptadas para el código fuente Python dentro del flujo de trabajo de reparación de estado-en-contexto.
4. Evaluación Empírica: Una evaluación sistemática en SWE-bench Verified que muestra que la minificación reduce el uso promedio de tokens de entrada aproximadamente en un 42% con una caída de 12 puntos porcentuales en la tasa de resolución (de 50.0% a 38.0%).
5. Ablación y Análisis de Fallos: Estudios detallados que aíslan transformaciones individuales y combinaciones apiladas, cuantificando sus compromisos específicos. Los autores identificaron que, si bien la mayoría de las transformaciones producen pérdidas de rendimiento modestas, la transformación "dedent" causa una caída significativa en la tasa de resolución debido a la generación de parches sintácticamente inválidos (errores de indentación).

Resultados

• Eficiencia vs. Efectividad: El hallazgo principal es un claro compromiso (trade-off). La minificación reduce los tokens de entrada promedio de ~90,535 a ~52,776 (una reducción del 42%). Esto resulta en una disminución absoluta del 12% en la tasa de resolución.
• Implicaciones de Costo: Dado que los tokens de entrada representan aproximadamente el 93% del costo de la etapa de reparación, la reducción de tokens se traduce directamente en ahorros de costos significativos.
• Especificaciones de la Transformación:
  • La eliminación de docstrings y comentarios proporcionó las mayores reducciones de tokens con penalizaciones de rendimiento relativamente pequeñas (las tasas de resolución se mantuvieron por encima del 40%).
  • La transformación "dedent" fue el principal valor atípico, causando una caída en la tasa de resolución al 27-36% dependiendo del modelo y la configuración de apilamiento. El análisis de fallos indicó que esto se debió a que el LLM no pudo restaurar la indentación requerida de 4 espacios en la salida, provocando un IndentationError en el código generado.
  • Apilar múltiples transformaciones (excluyendo "dedent") redujo consistentemente los costos manteniendo un rendimiento cercano a la línea base.
• Generalizabilidad: Las tendencias observadas fueron estables a través de diferentes repositorios y niveles de dificultad de los problemas, lo que sugiere que el enfoque se generaliza bien en diferentes condiciones.

Significado

El artículo sostiene que las transformaciones ligeras de código fuente ofrecen un camino prometedor hacia agentes de ingeniería de software más rentables. Al demostrar que se puede retener una fracción sustancial del rendimiento base mientras se logra una reducción de casi el 50% de los tokens, el trabajo sugiere que la compresión agresiva del contexto es viable para tareas a nivel de repositorio. Los autores enfatizan que sus hallazgos resaltan un compromiso explícito entre eficiencia y efectividad, proporcionando una base de datos para seleccionar estrategias de transformación basadas en requisitos específicos de costo y rendimiento. La implementación completa se pone a disposición pública para apoyar la investigación adicional en esta área.