Resumen Técnico: Trayectorias que se Segmentan a sí Mismas

1. Planteamiento del Problema

Las trayectorias de agentes de codificación de largo horizonte presentan un desajuste fundamental con las unidades de entrenamiento estándar. Los enfoques actuales dependen de tres mecanismos defectuosos de asignación de crédito:

• Crédito por acción: Las acciones individuales (p. ej., grep, pytest) carecen de valor intrínseco; su utilidad depende enteramente de la hipótesis causal que sirven.
• Etiquetas de episodio terminal: Un único bit de éxito/fallo confunde la exploración productiva con las direcciones abandonadas, fusionando fases bien fundamentadas con compromisos fallidos.
• Ventanas fijas: Los límites arbitrarios de pasos de tiempo (p. ej., ventanas de $K$-turn) a menudo dividen investigaciones coherentes o fusionan el abandono de una causa con la adopción de otra.

Estos límites se derivan de la mecánica de registro en lugar del estado epistémico evolutivo del agente, lo que resulta en objetivos ruidosos que recompensan la forma superficial sobre el razonamiento causal.

2. Metodología

2.1 Autosegmentación Semántica Declarada por el Agente

El artículo introduce un protocolo en el momento de la recolección donde el agente actuante expone sus propios límites a través de un contrato declarativo.

• El Mecanismo: Durante un despliegue de uso de herramientas, el agente adopta una hipótesis causal falsable ($h_k$) y la declara. El agente luego reúne evidencia, edita código o ejecuta comprobaciones bajo esta hipótesis. La fase termina cuando el agente adopta una nueva hipótesis ($h_{k+1}$) o la trayectoria termina.
• El Costo: Esto añade una sobrecarga mínima (media de 52 tokens por declaración, ~9.8% de la salida del agente) en comparación con alternativas que requieren parches de oro, vocabularios específicos del entorno, entornos replicables o segmentadores post-hoc.
• El Protocolo de Recolección: Un agente intenta una tarea. Si falla en las pruebas ocultas, un modelo revisor interviene. El revisor ve la corrección de referencia pero tiene prohibido nombrarla. En su lugar, el revisor debe proporcionar: (1) una negación del enfoque erróneo actual y (2) la dirección positiva más pequeña para investigar a continuación. Esto obliga al agente a abandonar la hipótesis refutada y adoptar una nueva hipótesis, creando una transición clara de "causa-errónea-luego-corrección".

2.2 Cuatro Objetivos Supervisados de una Única Recolección

Un solo despliegue genera cuatro vistas de entrenamiento distintas, aprovechando la asimetría de la información:

1. Auditoría (2,721 filas): El auditor ve la fase completada y la evidencia vinculada para juzgar si la dirección fue sólida e identificar la evidencia faltante. Esto recupera lecciones de lapsos que una etiqueta de episodio descartaría.
2. Propuesta (1,405 filas): El modelo ve solo el estado en el límite (enmascarado) y debe derivar una próxima hipótesis verificable o la evidencia faltante.
3. Reparación (553 filas): El modelo ve una causa y fuente confirmadas por el resultado para convertir un diagnóstico localizado en un parche.
4. Pares de Preferencia (2,551 filas): El modelo ve el estado del límite enmascarado y aprende a preferir una apertura que avanza sobre una que se estanca o es refutada.

2.3 Phase-DPO

El artículo implementa una Optimización de Preferencia Directa (DPO) estándar sobre los pares de preferencia. El objetivo es aprender una política $\pi_\theta$ tal que $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$, donde $y^+$ es una apertura de hipótesis preferida y $y^-$ es una rechazada, dado el estado enmascarado $x$. La fase sirve como la unidad de crédito, fijando dónde se corta el contexto y qué texto es el objetivo.

3. Contribuciones Clave

1. Límites Independientes de Dependencias: La segmentación es suministrada por la propia política actuante bajo un contrato declarativo, sin requerir parches de oro externos, vocabularios de hitos o segmentadores post-hoc. El límite llega dentro de la misma trayectoria que produce el despliegue.
2. Unidades Direccionables: A diferencia de las ventanas definidas por posición, una hipótesis declarada es un manejador direccionable. Esto permite una asignación de crédito más fina, supervisión de proceso sin anotación de pasos y guía por nombre (negando conjeturas específicas en lugar de trayectorias completas).
3. Coherencia Semántica: Los límites rastrean el razonismo del agente, no los artefactos de registro.
   • Atribución: Cuando las declaraciones son eliminadas, un modelo independiente atribuye los bloques de acción a su hipótesis gobernante con una probabilidad de 2.18x (prueba de signo pareada $p=0.0002$), superando a las ventanas de igual longitud.
   • No Derivabilidad: Un anotador humano ciego al código coincide con 24/40 límites (frente a los 11.5 esperados por azar), mientras que una regla de evento de prueba mecánica no logra superar el azar en umbrales estrictos o permisivos.
4. Interfaz de Construcción: El protocolo manufactura transiciones de "causa-errónea-luego-corrección" raramente encontradas en el trabajo registrado, produciendo supervisión de auditoría a partir de regiones fallidas que las etiquetas de episodio estándar descartan.

4. Resultados

4.1 Validez de la Unidad

• Atribución: Los bloques de acción siguen siendo atribuibles a su hipótesis gobernante incluso después de eliminar el texto de la declaración, confirmando que el límite es semántico, no léxico.
• Recuperabilidad: Un lector ciego al código puede recuperar los límites significativamente mejor que el azar, aunque sobre-segmenta (1.55x), lo que indica que los límites no son trivialmente reproducibles mediante heurísticas simples.

4.2 Optimización de Descenso (Phase-DPO)

• Sensibilidad de Orientación: Entrenar en 2,551 pares con una política SFT de 27B produce un brazo de etiqueta invertida que no reproduce la separación, confirmando que la señal no es un artefacto del shell del optimizador.
• Límites de Generalización:
  • En ítems de control construidos adversariamente (87 instancias), el adaptador entrenado cambió 0/91 decisiones.
  • En ítems de construcción emparejados (60 ítems de la misma familia de generadores), el adaptador cambió 4/60 decisiones (todas de error-a-correcto), mientras que los controles no cambiaron ninguna.
  • Conclusión: La preferencia ajustada es real pero ligada a la construcción; aprende cómo se escribieron los pares en lugar de una capacidad generalizable.

4.3 Piloto de Despliegue

Un piloto de 20 tareas en SWE-bench Verified mostró:

• Tasa de Resolución: Base (13/20), SFT (14/20), Phase-DPO (14/20). Sin mejora estadísticamente significativa en la tasa de resolución.
• Eficiencia: Phase-DPO mostró una tendencia hacia trayectorias más cortas (reducción del 14.0% en mensajes frente a la base), pero los intervalos de confianza incluyeron el cero.
• Casos de Estudio: Casos específicos mostraron que DPO toma mejores decisiones locales (p. ej., preservar valores por defecto internos) o peores (p. ej., comprometerse con loci erróneos prematuramente), resaltando que una mejor selección de fase no garantiza el éxito global.

5. Significancia y Reivindicaciones

El artículo afirma modestamente que el protocolo de segmentación en el momento de la recolección y la interfaz de datos son las contribuciones primarias.

• Lo que se establece: Se puede obtener un límite semántico de forma económica sin dependencias externas. Este límite crea una unidad coherente donde las acciones son atribuibles a una hipótesis gobernante, permitiendo la extracción de lecciones de direcciones de búsqueda fallidas (supervisión de auditoría) y la construcción de pares de preferencia.
• Lo que no se establece: El artículo no afirma que entrenar con estas unidades resulte en una política con capacidades de codificación de extremo a extremo superiores o tasas de resolución más altas. La señal de optimización es sensible a la orientación, pero actualmente está ligada a la construcción de los pares de entrenamiento.
• Dirección Futura: El artículo postula que la siguiente variable a variar es la diversidad del corpus de pares, no la definición del límite en sí. El límite es una condición necesaria para la unidad, pero la utilidad de la unidad depende de la calidad y variedad de los datos que la estructuran.

El trabajo redefine el problema de la "unidad de crédito": al permitir que el agente declare sus propios compromisos causales, el sistema manufactura datos de entrenamiento que distinguen entre direcciones de búsqueda en lugar de solo resultados, ofreciendo un camino para un entrenamiento de agentes más granular e interpretable.