Resumen Técnico: SWE-MeM

Declaración del Problema

Los agentes de ingeniería de software (SWE) de largo horizonte se enfrentan a desafíos significativos al gestionar historiales de interacción extensos y ruidosos bajo presupuestos de contexto limitados. Los agentes existentes suelen seguir un paradigma de tipo ReAct de solo anexar (append-only), donde el historial de interacción se acumula continuamente. En las tareas de SWE, esto resulta en trayectorias que a menudo exceden la ventana de contexto de los Grandes Modelos de Lenguaje (LLMs) o se vuelven demasiado ruidosas para un razonamiento efectivo.

Los enfoques actuales de gestión de memoria sufren dos limitaciones principales:

1. Rigidez: Los métodos existentes dependen de flujos de trabajo de compresión estáticos, como la sumarización basada en umbrales, el plegado por subtareas o herramientas de compresión aprendidas con reglas fijas. Estos enfoques no logran adaptarse a la heterogeneidad del valor de la información dentro de una trayectoria. Por ejemplo, los registros de ejecución extensos podrían comprimirse de forma segura en cualquier momento, mientras que el código inspeccionado al inicio de una trayectoria puede seguir siendo esencial para el razonamiento posterior. Las reglas fijas no pueden distinguir entre estos escenarios.
2. Objetivos Subóptimos: La mayoría de los métodos existentes optimizan estrictamente la reducción de contexto en lugar de la eficiencia en la resolución de tareas. Aunque pueden reducir la longitud máxima del contexto, a menudo aumentan drásticamente el uso total de tokens o los pasos de interacción, lo que conduce a una peor eficiencia y rendimiento general.

Metodología

Los autores proponen SWE-MeM, un marco de entrenamiento diseñado para dotar a los agentes de SWE con capacidades de gestión de memoria proactivas y bajo demanda. El enfoque consta de tres componentes principales:

1. Herramienta de Gestión de Memoria Flexible

SWE-MeM introduce una herramienta que permite a los agentes decidir cuándo, qué y cómo comprimir basándose en el estado actual de la trayectoria.

• Mecanismo: El agente invoca una herramienta compress con argumentos que incluyen un análisis del progreso, un número de paso inicial/final que define el rango a comprimir, el contenido resumido y un plan de trabajo restante.
• Operación: La herramienta reemplaza un rango seleccionado de la historia bruta (por ejemplo, registros, intentos fallidos) con un resumen de alto nivel preservando el orden temporal. Crucialmente, los resúmenes comprimidos pueden ser seleccionados ellos mismos para una mayor compresión en pasos posteriores, permitiendo una reducción de contexto progresiva.

2. Ajuste Fino de Currículo con Trayectorias Sintetizadas

Para enseñar al modelo una gestión de memoria efectiva, los autores desarrollaron un flujo de trabajo de síntesis que aumenta las trayectorias de resolución de tareas con acciones de gestión de memoria.

• Síntesis de Trayectorias: Un modelo base genera ejecuciones de tareas, mientras que un modelo propietario actúa como un "monitor de contexto" para juzgar cuándo es necesaria la compresión. Los disparadores se basan en dos categorías:
  • Presión del Presupuesto de Contexto: Un programador probabilístico que aumenta la probabilidad de compresión a medida que el presupuesto de contexto restante cae por debajo del 20%.
  • Gestión de Memoria Proactiva: Un mecanismo de LLM-como-juez detecta situaciones donde la compresión es beneficiosa antes de que el presupuesto sea crítico, como la finalización de una subtarea, la baja densidad de información (por ejemplo, registros verbosos) o la degradación del enfoque.
• Filtrado de Calidad: Un pipeline basado en reglas filtra las trayectorias sintetizadas, enmascarando defectos como relaciones de reducción inapropiadas, rangos demasiado cortos o desalineación de rangos.
• Aprendizaje de Currículo: El entrenamiento ocurre en dos etapas. La primera etapa enseña el uso básico de la herramienta en un conjunto completo de trayectorias filtradas. La segunda etapa se centra en comportamientos de memoria proactiva de alta calidad, utilizando rúbricas para asegurar que el análisis y la compresión sean semánticamente consistentes y accionables.

3. GRPO (Optimización de Política Relativa de Grupo) Consciente de la Memoria

Para optimizar conjuntamente la gestión de la memoria y la resolución de problemas, los autores proponen una variante de aprendizaje por refuerzo llamada Memory-aware GRPO.

• División de Trayectorias Consciente de la Memoria: El RL estándar trata las ejecuciones como secuencias continuas. SWE-MeM marca puntos de control en las trayectorias en los pasos de compresión, dividiéndolas en sub-trayectorias que comienzan desde el prefijo comprimido exacto que el agente observaría durante la inferencia. Esto asegura la consistencia entre el entrenamiento y la inferencia.
• Asignación de Crédito a Nivel de Paso: El GRPO estándar asigna crédito basándose en el resultado final. SWE-MeM introduce máscaras a nivel de paso para mejorar la asignación de crédito:
  • Controles de Calidad: Máscaras para acciones de memoria inapropiadas (por ejemplo, relaciones de reducción incorrectas) en trayectorias exitosas.
  • Gestión Tardía: Penaliza las acciones de memoria tomadas solo después de que el presupuesto ha caído críticamente.
  • Fallo por Desbordamiento: Asigna penalizaciones específicamente a los pasos donde el agente falló al invocar la gestión de memoria a pesar de tener un presupuesto restante bajo.
  • Uso Inválido: Máscaras para pasos con llamadas a herramientas inválidas para evitar el aprendizaje de patrones indeseables.

Contribuciones Clave

1. Herramienta de Memoria Adaptativa: Una interfaz que permite a los agentes decidir dinámicamente el tiempo, el alcance y la estrategia de resumen de la compresión basándose en los estados de la trayectoria en tiempo real.
2. Marco de Entrenamiento: Un pipeline novedoso que combina trayectorias de memoria proactiva sintetizadas, ajuste fino de currículo y Memory-aware GRPO para optimizar conjuntamente las decisiones de memoria y el rendimiento de la tarea.
3. Rendimiento y Eficiencia: Evidencia empírica que muestra que SWE-MeM logra tasas de resolución superiores manteniendo un menor uso de tokens y menos pasos de interacción en comparación con las líneas base existentes.

Resultados Experimentales

El marco fue evaluado en SWE-Bench Verified utilizando modelos Qwen3-4B-Instruct y Qwen3-Coder-30B-A3B bajo un presupuesto de contexto de 32K.

• Tasas de Resolución:
  • Modelo 4B: Logró una tasa de resolución del 43.4% (SFT + RL), superando a todas las líneas base de ReAct y a los métodos de gestión de memoria existentes en el rango de menos de 10B de parámetros.
  • Modelo 30B: Logró una tasa de resolución del 60.2% (SFT + RL), superando a las líneas base de gestión de memoria existentes (por ejemplo, Context Folding, SWE-Compressor) que típicamente oscilan entre 53.8% y 58.8%.
• Eficiencia: SWE-MeM logró la tasa de resolución más alta manteniendo el uso de tokens reportado más bajo entre los métodos de gestión de memoria. Utilizó menos tokens que el agente ReAct base correspondiente, mientras que los métodos competidores a menudo aumentaron el uso total de tokens.
• Generalización: El método demostró mejoras consistentes en SWE-Bench Multilingual y SWE-Bench Pro, lo que sugiere que los comportamientos de gestión de memoria aprendidos se transfieren a través de lenguajes de programación y tareas de largo horizonte.

Significado y Reivindicaciones

El artículo afirma que SWE-MeM aborda el cuello de botella crítico de la gestión de contexto en los agentes de SWE de largo horizonte al pasar de una compresión rígida y activada externamente a una gestión de memoria proactiva y dirigida por el agente.

Los autores enfatizan que una gestión de memoria efectiva hace más que simplemente prevenir el desbordamiento de contexto; proporciona un contexto de trabajo más limpio que ayuda a los modelos a utilizar la información relevante para la tarea de manera más efectiva. Al entrenar a los agentes para reconocer cuándo la densidad de información es baja o cuándo se ha completado una subtarea, SWE-MeM reduce la distracción de un contexto redundante sin inducir una reexploración excesiva. Los resultados sugieren que la optimización conjunta de las decisiones de memoria y el rendimiento de la resolución de tareas mediante Memory-aware GRPO es esencial para lograr un alto rendimiento en entornos de contexto restringido.