Learning to Commit: Generating Organic Pull Requests via Online Repository Memory

Resumen Técnico: Learning to Commit

1. Planteamiento del Problema

Aunque los agentes de codificación basados en Modelos de Lenguaje Grande (LLM) han logrado resultados impresionantes en benchmarks controlados (como SWE-bench), fallan sistemáticamente al generar Pull Requests (PR) que los mantenedores reales aceptan en entornos industriales.

• La Causa Raíz: No es un error de corrección funcional, sino una falta de "organicidad". El código generado ignora las convenciones específicas del proyecto, duplica funcionalidades que ya existen en APIs internas y viola restricciones arquitectónicas implícitas acumuladas a lo largo de años de desarrollo.
• Limitación de los Enfoques Actuales: Exponer al agente solo a la última instantánea (snapshot) del repositorio es insuficiente, ya que esta muestra el estado final, pero no los patrones de cambio ni la evolución histórica que llevó a ese estado. Los benchmarks actuales tratan las tareas como eventos aislados, sin permitir que el agente aprenda o internalice el contexto del repositorio antes de escribir código.
• El Resultado: Se genera "código alienígena": sintácticamente válido y funcionalmente correcto, pero estéticamente extraño, arquitectónicamente disonante y lleno de reimplementaciones redundantes, lo que lleva a su rechazo por parte de los mantenedores.

2. Metodología: Learning to Commit

El artículo propone un marco de trabajo llamado Learning to Commit, centrado en una Memoria de Repositorio en Línea (Online Repository Memory). La premisa es que la "organicidad" es aprendible a través del historial de commits.

El proceso se divide en dos fases principales:

Fase 1: Incorporación al Repositorio (Onboarding) mediante Reflexión Contrastiva

• División Temporal Estricta: El repositorio se divide cronológicamente en un conjunto de aprendizaje ($C^-$) y un conjunto de prueba futuro ($C^+$).
• Reflexión Contrastiva Supervisada: Para cada commit histórico en $C^-$, el agente realiza un ciclo de tres pasos:
  1. Intento Ciego: El agente intenta resolver la tarea (basada en una descripción sintética del problema) sin ver la solución real, generando un parche candidato ($\hat{\Delta}_t$).
  2. Revelación del Oráculo: Se revela el diff real aceptado por expertos humanos ($\Delta_t$).
  3. Actualización de Habilidades: El agente compara su intento con la solución del oráculo. Analiza las discrepancias en localización de archivos, lógica, uso de APIs y estilo. Esta brecha sirve como señal de supervisión densa para actualizar un documento de habilidades estructurado ($M$).
• Resultado: Se construye un documento de memoria que codifica patrones reutilizables: estilo de codificación, uso correcto de APIs internas, límites arquitectónicos y preferencias de los mantenedores.

Fase 2: Resolución Condicionada por Habilidades

• Cuando llega una nueva tarea futura ($d_k \in C^+$), el agente recibe la instantánea del repositorio y el documento de habilidades acumulado ($M$).
• El agente resuelve la tarea utilizando sus herramientas estándar, pero condicionando su generación en los patrones aprendidos en $M$. No sigue un flujo rígido, sino que decide qué habilidades consultar y qué archivos explorar, imitando a un desarrollador humano con conocimiento internalizado del proyecto.

3. Contribuciones Clave

1. Formalización de la Adaptación Online: Se establece un marco para que los agentes aprendan y se alineen orgánicamente con repositorios evolutivos, definiendo tanto un mecanismo de aprendizaje como un paradigma de evaluación riguroso.
2. Extracción de Habilidades sin Entrenamiento (Training-Free): Propone un método de extracción de habilidades en línea mediante reflexión contrastiva supervisada. A diferencia de la auto-reflexión no supervisada (que puede acumular errores), este método utiliza los diffs de expertos como supervisión densa para refinar la memoria.
3. Nuevo Benchmark con División Temporal Estricta: Se construye y libera un benchmark que garantiza cero fuga de datos (data leakage) al separar estrictamente el aprendizaje (pasado) de la evaluación (futuro). Incluye métricas multidimensionales más allá de la corrección funcional.

4. Resultados Experimentales

La evaluación se realizó en un repositorio interno de alto nivel mantenido por expertos en aprendizaje por refuerzo. Se comparó un agente con habilidades (Skill-conditioned) contra una línea base sin memoria (Base).

Métricas Deterministas:

• Precisión de Localización (File IoU): El agente con habilidades mejoró significativamente la precisión en la identificación de archivos a modificar (ej. +19 puntos porcentuales en la configuración seq-all, alcanzando un 80% vs 61%).
• Eficiencia: Reducción en el número de llamadas a herramientas (pasos de trayectoria), indicando una navegación más eficiente por el código.
• Bloat del Parche (Line Deviation): Los parches generados por el agente con habilidades fueron más cercanos en tamaño a los del oráculo, reduciendo la redundancia y la inflación de código.

Evaluación Multidimensional (Juez LLM):

• Se utilizaron dos modelos LLM independientes para comparar los parches en cuatro dimensiones: alineación de alcance, similitud lógica, redundancia/alucinación y consistencia de estilo.
• Hallazgos: El agente con habilidades ganó consistentemente en similitud lógica (50% vs 25%) y reducción de redundancia (54% vs 41%).
• Observación: Las habilidades ayudaron más a entender dónde y cómo implementar la lógica interna, mientras que la alineación de estilo superficial mostró mejoras marginales, sugiriendo que la memoria actual captura mejor la arquitectura que el estilo superficial.

5. Significado y Conclusión

Este trabajo marca un cambio de paradigma en la evaluación de agentes de codificación:

• De la Tarea Aislada al Aprendizaje Continuo: Demuestra que la capacidad de un agente no depende solo de gestionar el contexto en una sesión, sino de gestionar y actualizar la memoria a través del tiempo.
• Calidad Industrial: Al abordar la "organicidad", el marco cierra la brecha entre los resultados de los benchmarks y la tasa de aceptación real en la industria.
• Futuro: Aunque validado en un repositorio interno, el pipeline está diseñado para escalar a repositorios públicos de GitHub. El trabajo sugiere que la adaptación histórica es un paso necesario para transformar a los agentes de LLM en contribuyentes a largo plazo y experimentados, capaces de internalizar las normas y la evolución de un proyecto.

En resumen, Learning to Commit demuestra que enseñar a un agente a "aprender de sus errores históricos" mediante una memoria estructurada y supervisada es la clave para generar código que no solo funciona, sino que se siente como si hubiera sido escrito por un miembro nativo del equipo de desarrollo.