Resumen Técnico: Arnés de Agentes Autoevolutivos mediante Diversidad de Calidad Semántica con Puertas de Control

1. Planteamiento del Problema

El rendimiento de un agente de Modelo de Lenguaje Grande (LLM) en tareas del mundo real está determinado no solo por los pesos del modelo, sino significativamente por su "arnés" (harness): el andamiaje de ejecución circundante que incluye prompts de sistema, conocimiento inyectado, bucles de control, definiciones de herramientas y configuración. En despliegue, los pesos del modelo suelen estar congelados (debido a costes, licencias o alquiler), dejando al arnés como la única palanca ajustable.

Los enfoques actuales para la evolución automática de los arneses de agentes enfrentan dos desafíos primarios:

1. Retroalimentación No Fiable: La retroalimentación autogenerada es ruidosa. Las ganancias aparentes pueden ser artefactos de medición (p. ej., sandboxes inestables, tiempos de espera del verificador) o fluctuaciones estadísticas en lugar de mejoras genuinas.
2. Sobreajuste y Colapso: Sin una búsqueda estructurada, los bucles de optimización tienden a sobreajustarse a tareas de entrenamiento específicas o a colapsar en un conjunto estrecho de ediciones "seguras" (típicamente ajustes menores de prompts), fallando en abordar modos de fallo más profundos.

Los métodos existentes suelen carecer de rigor estadístico, confiando en tasas de éxito máximas sobre rondas ruidosas sin validación con datos no vistos, lo que hace que las ganancias reportadas no sean auditables y sean propensas al sobreajuste.

2. Metodología

El artículo propone un marco que separa la propuesta de los cambios de la atribución de dichos cambios, utilizando un agente de tarea congelado y un modelo "evolucionador" separado y más fuerte.

2.1 Arquitectura del Sistema

• Agente de Tarea Congelado: El modelo que se está optimizando ($M$) permanece congelado. Ejecuta tareas dentro de un arnés mutable ($H$).
• Agente Evolucionador: Un modelo separado y más fuerte ($D \neq M$) diagnostica los fallos en las trayectorias del agente de tarea y propone parches semánticos.
• Capa de Medición Determinista: Todo el muestreo, puntuación y pruebas de significancia son gestionados por código determinista, no por el LLM, asegurando la reproducibilidad.

2.2 El Bucle de Autoevolución

El proceso sigue una estructura de embudo (Figura 1):

1. Diagnóstico: El evolucionador lee los rastros de fallo y asigna una coordenada (dónde $\times$ por qué) a cada fallo.
   • Dónde: La superficie mutable afectada (Prompt, Conocimiento, Tiempo de Ejecución, Configuración).
   • Por qué: La patología específica del fallo (p. ej., "ejecución de pensamiento descontrolada", "finalización prematura").
2. Propuesta: El evolucionador diseña parches (commits de git) dirigidos a patologías específicas.
3. Poda de Pre-vuelo: Verificaciones de cero inferencia descartan candidatos que declaran no tener activación o cuyos disparadores nunca se activaron.
4. Cribado y Validación:
   • Pantalla de Anclaje (Anchor Screen): Un subconjunto económico ($K=1$) filtra a los perdedores flagrantes.
   • Evaluación Completa: Los supervivientes se ejecutan en el conjunto completo de entrenamiento ($K=3$).
5. Atribución de Tres Puertas: Un parche solo se acredita si pasa por:
   • Puerta de Validez: Asegura que el entorno es saludable (sin caídas de sandbox/tiempos de espera). Los fallos de infraestructura se re-ejecutan, no se cuentan como fallos del agente.
   • Puerta de Activación: El parche debe haberse activado realmente durante la prueba.
   • Puerta de Significancia: Requiere una prueba de pares 2$\sigma$ ($z \ge 1.96$) sobre el mismo conjunto de tareas para distinguir ganancias reales de ruido.

2.3 MAP-Elites Semántico con Puertas (GSME)

Para prevenir el sobreajuste y el colapso de la búsqueda, las ediciones se organizan en un archivo de Diversidad de Calidad (QD) categórico:

• Indexación: Las celdas se indexan mediante la patología (dónde $\times$ por qué), no por la tarea específica. Esto actúa como un sesgo inductivo contra el sobreajuste.
• Estructura: Se mantiene un "élite con puerta" (el mejor parche) por celda.
• Selección y Variación: El sistema utiliza una selección sesgada por calidad (extendiendo el mejor global) combinada con la recombinación entre celdas (apilando élites de diferentes celdas de patología). Esto permite descubrir combinaciones sinérgicas (p. ej., un arreglo de tiempo de ejecución + un arreglo de prompt) sin el coste de una exploración uniforme.

2.4 Protocolo de Evaluación

• Prueba Sellada (Sealed Test): Un conjunto de prueba retenido se mantiene completamente fuera del alcance del evolucionador durante todo el proceso. Se puntúa una sola vez tras la terminación de la evolución.
• Terminación: El bucle se detiene si ningún candidato supera la línea base vanilla en el conjunto de entrenamiento durante $P$ rondas o si se alcanza un límite de rondas $R$.
• Métrica: El rendimiento se mide mediante la Retención (mejora en la prueba sellada / mejora en el entrenamiento) y la Ganancia Atribuida (mejora en la prueba sellada que supera el umbral de 2$\sigma$).

3. Contribuciones Clave

1. Bucle de Autoevolución Auditable: Un sistema reproducible donde el LLM posee la semántica (diagnóstico/parches) y el código determinista posee el juicio cuantitativo (muestreo/significancia). Esto asegura que cada mejora atribuida sea rastreable y reproducible.
2. MAP-Elites Semántico con Puertas (GSME): Una estructura de archivo novedosa indexada por patologías de fallo en lugar de tareas. El artículo proporciona evidencia de que esta estructura permite la recombinación entre celdas, permitiendo que el sistema acepte ediciones diversas (tiempo de ejecución, configuración, conocimiento) en lugar de colapsar hacia ajustes de solo prompt.
3. Evidencia de Generalización: El marco demuestra que las ganancias se generalizan en lugar de sobreajustarse. A través de seis dominios, las ganancias en la prueba sellada retuvieron entre 86–147% de las ganancias de entrenamiento, con todas las ganancias superando la barra de significancia de 2$\sigma$.
4. Emparejamiento de Patologías Específicas del Modelo: La investigación muestra que el "parche ganador" sigue la moda de fallo dominante del modelo específico (p. ej., "descuidado $\to$ enviar-verificar" para algunos modelos, "compromiso $\to$ verificar-finalizar" para otros), en lugar de ser una solución universal. La contribución transferible es el bucle de diagnóstico y atribución, no una configuración de arnés específica.

4. Resultados Experimentales

El marco fue evaluado en siete dominios de tres fuentes (Terminal-Bench-2, suite EvoAgentBench, AppWorld) utilizando un modelo de pesos abiertos congelado (Qwen3.6-27B).

• Ganancias de Rendimiento: El arnés seleccionado en el entrenamiento logró ganancias atribuidas de +9 a +15.5 puntos porcentuales (pp) en la prueba sellada.
• Generalización:
  • TB2: +9.3 pp (Retención: 147%)
  • LiveCode: +13.7 pp (Retención: 86%)
  • Omni-MATH: +11.7 pp (Retención: 115%)
  • BrowseComp+: +13.9 pp (Retención: 88%)
  • GDPval: +9.2 pp (Retención: 109%)
  • AppWorld: +15.5 pp (Retención: 87%)
  • SWE-bench: +5.1 pp (No atribuido debido a un bajo tamaño de muestra $n=26$ que no superó la barra de 2$\sigma$, aunque direccionalmente positivo).
• Diversidad de Ediciones: Las ediciones aceptadas abarcaron las cuatro palancas (Prompt, Conocimiento, Tiempo de Ejecución, Configuración), evitando el colapso hacia ediciones de solo prompt observado en trabajos previos.
• Validación Cruzada de Modelos: Experimentos en AppWorld con Qwen3.5 y Gemini 3 Flash confirmaron que el bucle se adapta a diferentes familias de modelos al identificar sus patologías dominantes específicas.

5. Significancia y Reivindicaciones

El artículo sostiene que el principal cuello de botella para mejorar los agentes de LLM congelados no es generar cambios, sino saber qué cambios ayudaron realmente. Al desacoplar la propuesta de la atribución y aplicar una estricta significancia estadística en una prueba sellada, los autores demuestran que:

• La autoevolución puede ser confiable por construcción, evitando el sobreajuste y la inflación de ruido comunes en la literatura previa de optimización automática.
• La generalización es alcanzable en un régimen de pesos congelados, con los arneses evolucionados reteniendo la mayor parte de sus ganancias de entrenamiento en datos no vistos.
• El bucle de diagnóstico y atribución es el mecanismo transferible. Los parches específicos encontrados son propios de cada modelo, pero la metodología para encontrarlos es aplicable a diferentes familias de modelos y dominios de tareas.

El trabajo redefine la autoevolución del arnés no como el descubrimiento de un andamiaje "universalmente bueno", sino como el ajuste de parches correctivos a la distribución de fallos de un modelo específico, donde el bucle mismo sirve como el motor robusto y generalizable para esta adaptación.