Compressing Code Context for LLM-based Issue Resolution

1. El Problema

La resolución de problemas en repositorios reales (como los de GitHub) mediante Modelos de Lenguaje Grande (LLM) enfrenta dos cuellos de botella principales derivados del contexto de código:

• Costo Prohibitivo: Los enfoques actuales tienden a sobre-approximar el contexto, recuperando cientos de líneas de código (archivos, funciones, clases) para capturar solo unos pocos segmentos relevantes. Esto incrementa drásticamente el costo de inferencia, ya que este escala con el tamaño del contexto.
• Baja Efectividad (Ruido): El exceso de contexto inunda la ventana de atención del modelo, distrayéndolo de la señal real de corrección del error ("bug-fixing signal").
• Fallo de las Técnicas Existentes:
  • Los compresores genéricos (tratando el código como lenguaje natural) rompen la integridad semántica y las dependencias estructurales necesarias para generar parches correctos.
  • Las herramientas específicas de código basadas en heurísticas (similitud léxica o estructural) a menudo descartan "ingredientes de reparación" esenciales que no tienen una relación obvia con la descripción del error, pero son necesarios para construir la solución.

2. Metodología

Los autores proponen un marco de trabajo novedoso que consta de dos componentes principales:

A. Destilación de Código Guiada por Oráculo (OCD - Oracle-guided Code Distillation)

Este es un algoritmo de destilación de contexto diseñado para generar datos de entrenamiento de alta calidad. Su objetivo es reducir un contexto inicial sobre-approximado ($C_{init}$) a un Contexto Mínimo Suficiente (MSC).

• Definición de MSC: Una subsecuencia mínima donde cada fragmento retenido es funcionalmente necesario para que el LLM genere un parche que pase la suite de pruebas.
• Estrategia de Búsqueda en Dos Fases:
  1. Búsqueda Genética (GA): Utiliza un algoritmo genético para explorar el espacio de configuraciones de contexto y encontrar subsecuencias que permitan una reparación exitosa. Utiliza una representación jerárquica (Archivo > Función > Bloque) para mantener la validez sintáctica.
  2. Depuración Delta Jerárquica (HDD): Una vez encontrado un contexto suficiente, el HDD minimiza el conjunto eliminando unidades redundantes de forma sistemática, garantizando la "1-minimalidad" (si se elimina cualquier elemento, la reparación falla).
• Puntuación de Prioridad: Se utilizan señales como la superposición con el parche real, la cobertura de pruebas y la superposición de símbolos para guiar la búsqueda.

B. Modelo de Compresión SWEzze

Es un modelo ligero de inferencia listo para producción, diseñado para aprender a comprimir el contexto sin acceso al oráculo en tiempo de ejecución.

• Arquitectura: Un codificador cruzado (cross-encoder) basado en Qwen3-Reranker-0.6B, ajustado finamente mediante LoRA (Low-Rank Adaptation).
• Funcionamiento: Mapea un contexto inicial a su subconjunto mínimo suficiente. En inferencia, puntúa segmentos de código y selecciona aquellos necesarios mediante una selección voraz consciente del presupuesto de tokens.
• Entrenamiento: Aprende a distinguir entre "ingredientes de reparación" y código incidentalmente relacionado, utilizando los datos generados por OCD en el conjunto de datos SWESmith.

3. Contribuciones Clave

1. OCD: Un marco novedoso para destilar contextos mínimos suficientes para la resolución de problemas, combinando búsqueda genética y depuración delta.
2. SWEzze: Un modelo de compresión de contexto de código que retiene los ingredientes críticos para la reparación mientras elimina el ruido distractor, superando a los compresores basados en similitud.
3. Evaluación Exhaustiva: Demostración en SWE-bench Verified de que SWEzze reduce significativamente los costos de LLM mientras mejora la tasa de éxito, logrando un equilibrio superior entre efectividad, ratio de compresión y latencia.

4. Resultados

La evaluación se realizó en SWE-bench Verified (500 problemas reales) utilizando tres modelos LLM de vanguardia: GPT-5.2, DeepSeek-V3.2 y Qwen3-Coder-Next.

• Tasa de Resolución: SWEzze mejoró las tasas de resolución de problemas en un 5.0% – 9.2% en comparación con la configuración sin compresión (No_compression). Fue el mejor método en todos los modelos probados.
• Compresión y Costo:
  • Mantiene una tasa de compresión estable de aproximadamente 6× a través de todos los modelos.
  • Reduce el presupuesto total de tokens en un 51.8% – 71.3% en comparación con el contexto sin comprimir.
  • Reduce el costo de tokens de entrada (prompt) en un 60-73%.
• Cobertura: SWEzze recupera el conjunto más amplio de instancias resolubles, cubriendo entre el 93.8% y el 99.2% de la unión de todos los casos resueltos por cualquier línea base.
• Latencia: Aunque es más lento que compresores muy simples (como LLMLingua-2), es 4.0× más rápido que LongCodeZip, ofreciendo un mejor equilibrio entre velocidad y calidad.
• Análisis de Fallos: Se identificó que los fallos en otros compresores se deben a menudo a la retención de código distractor o a la eliminación de dependencias sintácticas críticas, mientras que SWEzze preserva la lógica de reparación.

5. Significado e Impacto

Este trabajo cambia el paradigma de la compresión de contexto en la reparación de software:

• De la Relevancia a la Suficiencia: Mientras que los métodos anteriores buscaban maximizar la similitud léxica o reducir tokens, SWEzze se enfoca en preservar la suficiencia funcional. No importa si un fragmento parece similar al error; importa si es necesario para que el LLM genere el parche correcto.
• Viabilidad Económica: Al reducir drásticamente el uso de tokens sin sacrificar (y de hecho mejorando) la precisión, hace que la resolución automatizada de problemas a nivel de repositorio sea más escalable y económica para la industria.
• Generalización: La capacidad de SWEzze para funcionar bien en modelos de diferentes proveedores y arquitecturas sugiere que los "ingredientes de reparación" identificados son dependencias semánticas genuinas del problema, no artefactos de un modelo específico.

En conclusión, el artículo demuestra que para la resolución de problemas en repositorios, la compresión efectiva no consiste en eliminar la mayor cantidad de texto posible, sino en destilar inteligentemente el contexto para retener exclusivamente la información causal necesaria para la reparación.