One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents

Resumen Técnico: Una Herramienta es Suficiente: Aprendizaje por Refuerzo de Agentes LLM para la Navegación de Código a Nivel de Repositorio

Enunciado del Problema
Localizar archivos y funciones específicos que requieren modificación dentro de repositorios de software a gran escala es un desafío significativo debido al volumen masivo de código y a la complejidad estructural. Los agentes existentes de Modelos de Lenguaje Grande (LLM) suelen abordar esto como una tarea de recuperación a nivel de repositorio, dependiendo de múltiples herramientas auxiliares (por ejemplo, SearchClass, SearchMethods, GetImports). Los autores argumentan que estas pipelines de múltiples herramientas sufren dos problemas principales:

1. Desalineación con la Lógica de Ejecución: Abstracciones de alto nivel como clases o herencia a menudo desaparecen después de la compilación, mientras que la ejecución real del código depende de saltos secuenciales y resolución de símbolos. Las herramientas existentes a menudo no reflejan este flujo de ejecución.
2. Complejidad y Propagación de Errores: Gestionar múltiples herramientas complica el control del modelo. Dado que los espacios de definición de herramientas son ilimitados, los modelos preentrenados luchan por internalizar la semántica de numerosas herramientas sin un post-entrenamiento extenso, lo que lleva a errores de formato y fallos en el análisis de parámetros. Además, el entrenamiento de extremo a extremo para la resolución completa de problemas es computacionalmente prohibitivo debido a la necesidad de evaluación de parches basada en Docker.

Metodología: RepoNavigator
El artículo propone RepoNavigator, un agente LLM diseñado para la localización de problemas a nivel de repositorio que aborda estos desafíos mediante un diseño minimalista y Aprendizaje por Refuerzo (RL).

• Diseño Unificado de Herramientas (Jump): En lugar de un conjunto de herramientas de recuperación, RepoNavigator utiliza una única herramienta estructuralmente fundamentada: Jump. Esta herramienta, implementada mediante un servidor de lenguaje (por ejemplo, Pyright para Python), resuelve la definición precisa de un símbolo invocado. Abstrae la navegación consciente de la ejecución proporcionada por los IDE modernos, permitiendo que el agente recorra la base de código siguiendo las definiciones de los símbolos (por ejemplo, desde una llamada a función hasta su definición, y luego a sus dependencias).
• Arquitectura del Agente: El agente opera en un bucle razonar → actuar → observar. En cada paso, la política decide si generar razonamiento en lenguaje natural o invocar la herramienta Jump con un símbolo y una ruta de archivo específicos. La herramienta devuelve el fragmento de código de definición, que se convierte en la observación para el siguiente paso de razonamiento.
• Entrenamiento mediante Aprendizaje por Refuerzo: RepoNavigator se entrena de extremo a extremo directamente desde un modelo preentrenado base utilizando Optimización de Política Relativa de Grupo (GRPO).
  • Sin Destilación: A diferencia de trabajos anteriores (por ejemplo, RepoSearcher, LocAgent) que dependen de ajuste fino supervisado (SFT) con trayectorias destiladas de modelos de código cerrado (como Claude o GPT), este método no requiere un modelo "maestro".
  • Función de Recompensa Híbrida: La recompensa $R$ combina dos componentes:
    1. Recompensa de Resultado: Medida por el coeficiente de Dice entre el conjunto predicho de ubicaciones de código y la verdad fundamental.
    2. Recompensa de Herramienta: Basada en la tasa de éxito de las llamadas a herramientas (corrección de formato y existencia del símbolo).
  • Objetivo: El agente aprende a optimizar trayectorias de largo horizonte para identificar los archivos y funciones correctos mientras domina el uso de la herramienta única.

Contribuciones Clave

1. Primer Agente de Localización Entrenado con RL desde Modelos Preentrenados: Los autores presentan el primer agente de localización a nivel de repositorio entrenado directamente desde un modelo de código abierto preentrenado utilizando RL, eliminando la dependencia de la destilación de código cerrado.
2. Paradigma de Herramienta Única Consciente de la Ejecución: El diseño introduce una herramienta unificada Jump que se alinea con la semántica real de la ejecución del código (resolución de símbolos), en contraste con las abstracciones de alto nivel fragmentadas de los agentes de múltiples herramientas anteriores.
3. Eficiencia y Escalabilidad: El artículo demuestra que una única herramienta poderosa mejora significativamente la eficiencia y la controlabilidad en comparación con pipelines complejas de múltiples herramientas, permitiendo un rendimiento de vanguardia con una sobrecarga computacional reducida.

Resultados Experimentales
Los experimentos se realizaron en SWE-bench Verified y SWE-bench Pro (subconjunto de Python), utilizando modelos Qwen2.5 (7B, 14B, 32B) como líneas base.

• Rendimiento: RepoNavigator logra un rendimiento de vanguardia (SOTA) en ambas métricas de localización a nivel de función y archivo (Sample-F1 e IoU).
  • El modelo de 7B supera las líneas base de 14B.
  • El modelo de 14B supera a los competidores de 32B.
  • El modelo de 32B excede a los modelos de código cerrado (por ejemplo, GPT-5, Claude 3.7 Sonnet) en la mayoría de las métricas.
• Eficiencia de Entrenamiento: El agente entrenado con RL supera a las líneas base sin entrenamiento e incluso a los métodos basados en destilación (como RepoSearcher), a pesar de no utilizar un modelo maestro más fuerte para el calentamiento.
• Impacto en Cascada: Cuando se utiliza para localizar problemas para la generación de parches en cascada (sustituyendo el módulo de localización en Agentless), RepoNavigator mejora la tasa final de resolución de problemas.
• Estudios de Ablación:
  • Mecanismo de Recompensa: La recompensa híbrida (resultado + éxito de la herramienta) es crítica; eliminar la tasa de éxito de la herramienta degrada el rendimiento.
  • SFT vs. RL: El entrenamiento directo con RL desde el modelo preentrenado produce mejores resultados que una pipeline que involucra SFT seguido de RL, desafiando la necesidad de un "arranque en frío" mediante SFT.
  • Número de Herramientas: Añadir más herramientas (por ejemplo, GetClass, GetFunc) a la herramienta Jump en realidad degrada el rendimiento, confirmando que menos herramientas, pero más capaces, son preferibles.

Significado y Afirmaciones
El artículo afirma que integrar una única herramienta estructuralmente fundamentada con entrenamiento por RL proporciona una solución eficiente y escalable para la localización de problemas a nivel de repositorio. Al reflejar el flujo real de la ejecución del código y simplificar la manipulación de herramientas, RepoNavigator reduce la fragilidad de la encadenación de herramientas y la complejidad del espacio de acciones. Los resultados sugieren que, para tareas de razonamiento de largo horizonte en ingeniería de software, la profundidad de la exploración consciente de la ejecución (mediante una única herramienta robusta) es más crítica que la amplitud de la diversidad de herramientas. Este enfoque democratiza el acceso a agentes de alto rendimiento al eliminar la dependencia de modelos maestros de código cerrado para la destilación.