Resumen Técnico: De la Respuesta a Preguntas a la Completitud de Tareas: Un Estudio sobre Sistemas de Agentes y el Diseño de Andamiajes (Harness)

1. Planteamiento del Problema

El campo de los agentes basados en Modelos de Lenguaje de Gran Escala (LLM) ha pasado de la respuesta pasiva a preguntas (QA) a la completitud activa de tareas de múltiples pasos. Mientras que los modelos de frontera han alcanzado la saturación en benchmarks estáticos (p. ej., MMLU, GPQA), exhiben brechas de fiabilidad significativas en tareas agénticas interactivas de largo horizonte (p. ej., SWE-bench, WebArena). El problema central abordado por este estudio es la identificación de la fuente de los cuellos de botella en el rendimiento de los sistemas de agentes. Los autores argumentan que el cuello de botella ya no reside únicamente en la capacidad de razonamiento del modelo base, sino que reside cada vez más en el andamiaje de ejecución (execution harness) —la infraestructura de tiempo de ejecución que media la interacción entre el modelo y el entorno—. El artículo postula que la calidad del agente (éxito, eficiencia, seguridad, generalización) es una propiedad emergente del acoplamiento entre el modelo y su andamiaje, en lugar de ser una función del modelo por sí solo.

2. Metodología y Marco de Trabajo

El estudio emplea una lente de modelo-andamiaje para analizar la evolución de la ingeniería de agentes. No propone un nuevo algoritmo, sino que sintetiza la literatura existente, los benchmarks y los informes industriales a través de un marco conceptual específico:

• Vista Funcional vs. de Implementación: El documento distingue entre la definición funcional de un agente (un sistema de bucle cerrado dirigido a objetivos que realiza percepción, razonamiento, acción y adaptación) y la vista de implementación (un LLM acoplado a un andamiaje de ejecución).
• Descomposición Formal: El andamiaje de ejecución ($H$) se formaliza como una tupla de seis responsabilidades de tiempo de ejecución acopladas:
  1. Interfaz de Observación ($I_{obs}$): Transformar señales brutas del entorno (logs, DOMs, diffs) en observaciones utilizables por el modelo.
  2. Gestor de Contexto ($C$): Curar, comprimir y refrescar la información que entra en la ventana de contexto del modelo.
  3. Bucle de Control ($L$): Orquestar el ciclo de observar-razonar-actuar-retroalimentación, incluyendo la programación de pasos, delegación y criterios de parada.
  4. Interfaz de Acción ($I_{act}$): Mapear las salidas del modelo a operaciones ejecutables (APIs, comandos de shell, llamadas a herramientas).
  5. Almacén de Estado y Artefactos ($S$): Persistir el estado de ejecución, planes, puntos de control (checkpoints) y artefactos generados más allá de la ventana de contexto activa.
  6. Verificación y Gobernanza ($V$): Comprobar resultados, aplicar restricciones de seguridad, gestionar permisos y manejar la recuperación/reversión (rollback).
• Análisis Evolutivo: La literatura se organiza en cuatro paradigmas secuenciales de la ingeniería de agentes, analizando cómo el apalancamiento dominante de rendimiento se desplazó a través de las etapas:
  1. Ingeniería de Prompts: Optimizar instrucciones de un solo turno (abordando el problema de la "expresión").
  2. Flujos de Trabajo e Ingeniería de Contexto: Curar el ciclo de vida de la información y las definiciones de herramientas (abordando el problema de la "información").
  3. Ingeniería de Andamiaje (Harness Engineering): Diseñar la infraestructura de tiempo de ejecución para la ejecución basada en retroalimentación, persistencia de estado y recuperación de errores (abordando el problema de la "ejecución").
  4. Entrenamiento Nativo de Agentes y Co-evolución: Internalizar comportamientos agénticos (planificación, verificación) en los parámetros del modelo y evolucionar conjuntamente el par modelo-andamiaje.

3. Contribuciones Clave

El estudio realiza tres distinciones primarias respecto al trabajo previo:

1. Síntesis Basada en la Evolución: En lugar de una taxonomía de componentes estática, rastrea la migración de los cuellos de botella de ingeniería desde la optimización de prompts hacia el diseño de sistemas de tiempo de ejecución y la futura co-evolución.
2. Perspectiva Centrada en el Andamiaje: Trata al andamiaje de ejecución como un objeto técnico de primera clase, descomponiéndolo en los seis componentes de tiempo de ejecución mencionados anteriormente. Argumenta que el diseño del andamiaje determina la fiabilidad y la eficiencia incluso cuando el modelo subyacente es fijo.
3. Integración de Evidencia Empírica: Conecta los benchmarks académicos con las prácticas industriales, utilizando datos empíricos para demostrar cómo las elecciones de diseño de tiempo de ejecución (p. ej., conformación de la observación, gestión de contexto) impactan directamente en el rendimiento del agente.

Contribuciones Específicas:

• Límites del Escalamiento Centrado en el Modelo: El documento analiza cómo el escalamiento del modelo produce rendimientos decrecientes en tareas agénticas debido a los límites de recursos-rendimiento y la saturación de la medición en benchmarks estáticos.
• Mapeo de Tarea-a-Andamiaje: Mapea las propiedades de la tarea (horizonte, tipo de entorno, nivel de autonomía) a configuraciones específicas de andamiaje. Por ejemplo, las tareas de ingeniería de software estresan la Verificación, mientras que las tareas de web/GUI estresan las interfaces de Observación y Acción.
• Análisis de Benchmarks: El estudio proporciona un análisis empírico detallado de SWE-bench, Terminal-Bench y WebArena, demostrando que:
  • El mismo modelo base puede lograr diferencias de precisión de dos dígitos dependiendo del andamiaje.
  • Los scaffolds mínimos (p. ej., mini-SWE-agent) a veces pueden igualar o acercarse al rendimiento de runtimes complejos y completos si el diseño de la interfaz es óptimo.
  • Las puntuaciones reportadas por proveedores suelen exceder los resultados de código abierto debido a las optimizaciones de andamiaje propietarias, resaltando la importancia del "scaffold".

4. Resultados y Hallazgos

• Impacto del Andamiaje: La evidencia empírica de SWE-bench Verified muestra que, para un modelo fijo (p. ej., Claude 3.5 Sonnet), las tasas de resolución varían de ~33% a ~53% dependiendo del andamiaje. Del mismo modo, en Terminal-Bench 2.0, el mismo modelo (p. ej., GPT-5.3-Codex) varía de 64.7% a 78.4% a través de diferentes andamiajes.
• Migración de Cuellos de Botella: A medida que las tareas se vuelven más complejas (pasando de L2 de corto horizonte a L4 de final abierto), el cuello de botella se desplaza del razonamiento del modelo a la capacidad del andamiaje para gestionar el estado, verificar resultados y recuperarse de errores.
• Costo y Eficiencia: Una mayor precisión suele correlacionarse con mayores costos de recursos (uso de tokens, latencia, tiempos de espera). El documento señala que el "éxito" es condicional a la configuración del tiempo de ejecución, incluyendo presupuestos de reintento y políticas de contexto.
• Modelos Múltiples y Andamiajes Aprendibles: Las tendencias recientes muestran un cambio hacia runtimes composicionales (enrutando diferentes modelos para planificación, codificación y verificación) y andamiajes aprendibles donde las políticas de tiempo de ejecución se optimizan como artefactos.

5. Significado y Reivindicaciones

El documento afirma que el campo ha ido más allá del "diseño de prompts" para entrar en el estudio de sistemas completos. Su importancia radica en el replanteamiento del desarrollo de agentes:

• La Calidad del Agente es Emergente: El éxito, la eficiencia y la seguridad no son inherentes al modelo, sino que emergen de la interacción entre la capacidad del modelo, la infraestructura de tiempo de ejecución, la estructura de la tarea y el diseño de la evaluación.
• Necesidad de una Evaluación Consciente del Valor: Los autores abogan por un cambio de los leaderboards centrados en puntuaciones hacia una evaluación consciente del valor, que optimice conjuntamente el éxito de la tarea, el costo, la latencia, la seguridad y la calidad del proceso. Proponen una función objetivo formal que equilibra la utilidad frente a las restricciones de costo, latencia y riesgo.
• Dirección Futura: El estudio identifica el camino hacia el Entrenamiento Nativo de Agentes, donde los comportamientos de verificación y recuperación se internalizan en los parámetros del modelo, y la Co-evolución, donde el modelo y el andamiaje se actualizan conjuntamente a partir de trazas de ejecución. Sin embargo, señala modestamente que la frontera entre el diseño del modelo y el diseño del sistema aún se está renegociando, y que la fiabilidad en entornos realistas sigue estando por debajo de las necesidades de despliegue.

En conclusión, el estudio sostiene que comprender el andamiaje de ejecución es ahora el desafío central en la ingeniería de agentes, ya que gobierna cómo las capacidades del modelo se traducen en una completitud de tareas fiable y de largo horizonte.