Resumen Técnico: Evolución del Arnés en Tiempo de Prueba (TTHE)

Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) modernos se construyen cada vez más como sistemas ejecutables donde el comportamiento está gobernado no solo por el modelo congelado subyacente, sino también por el "arnés" circundante—el programa de control que gestiona la construcción del contexto, la invocación de herramientas, la verificación intermedia y la recuperación de fallos. Las prácticas de despliegue actuales suelen consistir en optimizar este arnés utilizando datos de desarrollo o entrenamiento etiquetados antes de congelarlo para la evaluación. Este enfoque estático limita la adaptabilidad cuando las distribuciones de prueba, los modos de fallo o las interacciones con las herramientas difieren de lo observado durante el desarrollo.

Los mecanismos de adaptación existentes, como el ajuste fino (fine-tuning) o el entrenamiento en tiempo de prueba, modifican los pesos del modelo, mientras que los métodos de autodebugging o reflexión suelen revisar respuestas individuales o almacenar experiencias textuales. Las búsquedas de flujos de trabajo automatizados suelen ocurrir antes del despliegue. Una pregunta crítica sigue siendo: ¿Puede un agente de LLM adaptarse durante la evaluación únicamente a partir de sus propios rastros de ejecución no etiquetados, modificando su arnés ejecutable circundante, sin actualizar los pesos del modelo, sin requerir etiquetas de oro (gold labels) y sin entrenar un modelo de adaptación separado?

Metodología: Evolución del Arnés en Tiempo de Prueba (TTHE)

TTHE aborda esto tratando al arnés ejecutable como el estado de la adaptación en tiempo de prueba. En lugar de buscar un flujo de trabajo fijo en datos etiquetados, TTHE traslada la optimización del arnés al proceso de evaluación mismo, operando sobre lotes de prueba no etiquetados.

Mecanismo Central

TTHE mantiene una población de arneses candidatos y los refina mediante un bucle agéntico compuesto por tres roles instanciados alrededor del mismo LLM congelado:

1. Solver (Solucionador): El agente que ejecuta la tarea dentro del arnes actual.
2. Proposers (Proponentes): Agentes de codificación agénticos que razonan sobre los rastros de ejecución para reescribir el código del arnés.
3. Judge (Juez): Un selector agéntico que compromete un arnés mejorado basado en señales derivadas de la ejecución.

El Bucle de Evolución

Para cada lote de entradas $X_t$ no etiquetadas:

1. Observación: El arnes comprometido actual $H_t$ se ejecuta en $X_t$, generando rastros de ejecución detallados (prompts, llamadas a herramientas, stdout/stderr, errores, estados de ejecución) y señales proxy ligeras.
2. Evolución de la Población: TTHE evoluciona $G$ ramas paralelas a través de $R$ rondas. En cada ronda, $G$ proponentes editan sus respectivos arneses parentales para convertirlos en arneses hijos. Los proponentes leen los rastros de otras ramas para obtener contexto, pero editan su propia línea de descendencia. Esto asegura tanto la linaje (persistencia de estrategias útiles) como la diversidad (exploración de diferentes direcciones de edición, por ejemplo: reparación conservadora, exploración, adversaria).
3. Selección: Un juez inspecciona el conjunto final de arneses candidatos, sus rastros y señales proxy para comprometer un único arnés $H_{t+1}$ para el siguiente lote.
4. Medición: Las etiquetas de oro se consultan solo después de la selección para medir la precisión; nunca entran en el bucle de adaptación.

Señales de Optimización

Dado que las etiquetas de oro no están disponibles durante la adaptación, TTHE depende de señales proxy derivadas de la ejecución, que son evidencia imperfecta en lugar de oráculos de corrección:

• Salud de la Ejecución: Si la salida se ejecuta sin errores y devuelve un resultado bien formado.
• Consistencia de Ida y Vuelta (Round-Trip): Si la salida puede invertirse en una descripción que coincida con la entrada (detectando deriva semántica).
• Tasa de Aprobación de Pruebas Públicas: La fracción de ejemplos públicos o pruebas del repositorio superadas (evidencia incompleta, ya que las pruebas ocultas aún podrían fallar).

El sistema evita colapsar esto en un único escalar de recompensa, en su lugar expone los rastros brutos y las señales al proponente y al juez agénticos para prevenir el engaño (gaming) y la repetición de errores sistemáticos.

Contribuciones Clave

1. Formulación de la Evolución del Arnés en Tiempo de Prueba: El artículo define un nuevo paradigma de adaptación donde el arnés ejecutable persistente se adapta durante la evaluación a partir de rastros no etiquetados, con los pesos del modelo fijos y las etiquetas de oro aisladas para la medición post-selección.
2. Bucle de Generación y Juicio Basado en Población: Los autores lo materializan como un sistema donde el solver, los proponentes y el juez son diferentes roles alrededor del mismo LLM congelado, permitiendo la adaptación enteramente a través de cambios en el programa circundante.
3. Validación Empírica: El método se demuestra en cinco dominios basados en ejecución (Text-to-SQL, programación competitiva, ingeniería de software, codificación de ciencia de datos y uso de herramientas agénticas), produciendo políticas inspeccionables para la fundamentación, verificación y reparación.
4. Análisis Diagnóstico: El artículo proporciona estudios de ablación sobre el presupuesto de búsqueda, el tamaño del lote y los backbones de modelos, y realiza auditorías de rastros para caracterizar los modos de fallo, identificando específicamente el "arrepentimiento de selección" (buenos candidatos no comprometidos) y la cobertura limitada de candidatos.

Resultados

TTHE fue evaluado en cortes difíciles de cinco benchmarks: BIRD (Text-to-SQL), LiveCodeBench, SWE-bench Verified, DS-1000 y claw-eval (uso de herramientas agénticas).

• Mejoras de Rendimiento: Utilizando un backbone DeepSeek-v4-flash, TTHE mejoró significativamente el arnes ReAct base:
  • BIRD: 12.0% $\to$ 50.0%
  • LiveCodeBench: 30.0% $\to$ 38.3%
  • SWE-bench Verified: 20.0% $\to$ 35.0%
  • DS-1000: 38.0% $\to$ 44.0%
  • claw-eval: 48.9% $\to$ 69.8% (puntuación media graduada)
• Independencia del Modelo: Las mejoras fueron consistentes a través de diferentes backbones (MiMo V2.5, Kimi K2.5), indicando que el bucle no está ligado a un modelo específico.
• Políticas Emergentes: Los arneses evolucionados introdujeron comportamientos inspeccionables no presentes en la base, tales como flujos de trabajo estrictos de "reproducir primero", bucles de "ejecutar y autodebug" para SQL, y políticas condicionales de "verificación y reparación" para codificación.
• Perspectivas de Ablación:
  • Presupuesto de Búsqueda: El rendimiento no es monótono con el presupuesto de búsqueda; las líneas paralelas ($G=3$) superan a las líneas únicas ($G=1$) porque evitan la pérdida de buenos candidatos tempranos.
  • Tamaño del Lote: El rendimiento alcanza su punto máximo con un tamaño de lote moderado ($B=10$), equilibrando la evidencia por decisión frente al número de pasos de adaptación.
  • Acumulación: Llevar el arnes comprometido a través de los lotes produce una mayor precisión que reiniciar al baseline para cada lote.

Significado y Limitaciones

El artículo postula que TTHE redefine la adaptación en tiempo de prueba para agentes de LLM como la evolución sobre programas de control ejecutables. Demuestra que se pueden lograr mejoras persistentes e inspeccionables sin actualizaciones de pesos ni etiquetas de oro.

Sin embargo, los autores identifican cuellos de botella técnicos centrales:

• Fiabilidad de los Proxies: La calidad de las señales derivadas de la ejecución es crítica. El sistema debe optimizar bajo evidencia incompleta donde una consulta puede ejecutarse con éxito pero responder algo incorrecto.
• Fiabilidad del Juez: Una parte significativa de las ganancias potenciales se pierde debido al "arrepentimiento de selección", donde el juez agéntico compromete un programa plausible pero incorrecto o no logra seleccionar un mejor candidato del grupo. El juez está mensurablemente mal calibrado, prefiriendo a menudo formas de salida incompatibles con el benchmark.
• Límites de Cobertura: Incluso con un oráculo sobre todos los candidatos generados, algunas tareas permanecen sin resolver, lo que indica límites intrínsecos en la cobertura actual del espacio de búsqueda.

Los autores concluyen que, si bien TTHE ofrece un mecanismo práctico para adaptar agentes sin cambiar los pesos del modelo, la robustez de tal evolución depende fuertemente de la fiabilidad de las señales proxy y del mecanismo de selección. El trabajo futuro debe establecer la generalización hacia adelante mediante puntuación prequencial y abordar el cuello de botella de la selección.