StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
El artículo presenta StateM, un tiempo de ejecución nativo para agentes que aprovecha el escalado de arnés mediante estados duraderos, transiciones verificadas y manuales de procedimientos versionados para aumentar significativamente la precisión de agentes de largo alcance en Terminal-Bench 2.1 al 95.3%, reduciendo drásticamente los costos de inferencia en comparación con los modelos de referencia.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el campo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un rompecabezas persistente: ¿por qué los programas informáticos sofisticados, capaces de resolver pasos complejos individualmente, suelen fallar cuando se les pide completar un trabajo de múltiples pasos y larga duración? Imagine a un arquitecto brillante que puede diseñar una habitación perfecta pero olvida colocar los cimientos, o a un cirujano experto que realiza una incisión impecable pero pierde el rastro de los signos vitales del paciente a mitad del proceso. Estos sistemas, conocidos como agentes de largo horizonte, tropiezan con frecuencia no porque carezcan de inteligencia, sino porque pierden su lugar en el proceso. Pueden olvidar lo que ya han hecho, saltarse un control necesario o dejar de trabajar antes de que el objetivo final se haya alcanzado realmente. Durante años, la solución estándar ha sido construir cerebros más grandes y más inteligentes, con la esperanza de que un modelo más potente simplemente no cometa estos errores. Sin embargo, una nueva línea de investigación sugiere que el problema podría no ser el cerebro en absoluto, sino el entorno en el que trabaja.
Los investigadores han comenzado a plantearse una pregunta diferente: ¿cuánto de este fallo es en realidad un fallo del sistema que mantiene la atención del agente, rastrea su progreso y le obliga a terminar el trabajo? Este enfoque, que los autores llaman "escalado de arnés" (harness scaling), propone que podemos hacer que un modelo capaz existente sea mucho más fiable mejorando las herramientas y las reglas que lo rodean, sin cambiar el modelo en sí. En lugar de intentar forzar al modelo a recordarlo todo por su cuenta, este método le otorza al agente un cuaderno compartido y externo que tanto él como un supervisor humano pueden leer y actualizar. Este cuaderno actúa como un registro duradero de dónde se encuentra el agente, qué ha prometido hacer a continuación y qué prueba se requiere antes de que pueda avanzar. Al tratar el proceso de ejecución como una serie de fases distintas con puntos de control claros, el sistema asegura que el agente no se desvíe del curso o deje una tarea a medio terminar.
Los investigadores detrás de este estudio, liderados por Ziheng Qin y sus colegas, construyeron un sistema ligero llamado StateM para probar esta idea. Lo diseñaron para que funcionara con agentes informáticos estándar que operan a través de líneas de comandos, de forma muy parecida a un humano escribiendo instrucciones en una terminal. El núcleo de su invención es un documento sencillo y legible llamado libro de ejecución (runbook). Este documento actúa como un mapa y un contrato para el agente. Divide una tarea grande en etapas específicas, o estados, tales como planificación, construcción, verificación y entrega del trabajo. Cuando el agente entra en una nueva etapa, el sistema actualiza sus instrucciones y le muestra exactamente lo que necesita lograr antes de poder salir. Crucialmente, el agente no puede simplemente declarar una etapa como completada; debe superar una verificación. Si el agente intenta saltarse un paso o falla una comprobación, el sistema lo detifica y lo obliga a reparar el error antes de proceder. Esto crea un espacio compartido donde el agente y un humano pueden inspeccionar el trabajo, auditar las decisiones y actualizar las reglas juntos.
Para ver si este enfoque funcionaba, el equipo lo probó en un riguroso conjunto de 89 tareas informáticas complejas conocidas como Terminal-Bench. Comenzaron con un modelo potente llamado GPT-5.5 y aplicaron su nuevo sistema. Los resultados fueron sorprendentes. Sin cambiar el código interno del modelo ni entrenarlo con nuevos datos, el sistema mejoró la tasa de éxito del modelo del 83,1 por ciento al 92,1 por ciento. Esta ganancia fue tan significativa que efectivamente cerró la brecha entre este modelo antiguo y una versión más nueva y avanzada del software. Los investigadores tomaron el mismo conjunto de reglas, o libro de ejecución, y lo aplicaron a un modelo aún más nuevo, GPT-5.6, sin realizar ningún ajuste. El sistema funcionó incluso mejor, logrando una precisión bruta del 95,3 por ciento a través de cientos de ensayos. Resolvió con éxito todas las 89 tareas al menos una vez, demostrando que las reglas desarrolladas para un modelo podían transferirse sin problemas a uno más nuevo.
El estudio también exploró si estos beneficios podrían lograrse con tipos de modelos de inteligencia artificial más baratos y diferentes. Cuando aplicaron los mismos principios a un modelo llamado DeepSeek-V4 Flash, los resultados iniciales fueron mixtos porque las reglas exactas no encajaban perfectamente. Sin embargo, dedicando una pequeña cantidad de dinero —menos de treinta y ocho dólares— para adaptar las prácticas específicas a este nuevo modelo, lograron elevar su rendimiento del 82,7 por ciento al 88,1 por ciento. El coste total para demostrar este resultado, incluyendo la adaptación y la prueba final, fue de aproximadamente cincuenta y dos dólares. En contraste, la propuesta pública más cara para un resultado de nivel similar costó casi seiscientos dólares. Esto sugiere que invertir en un mejor sistema de ejecución puede ser mucho más rentable que simplemente comprar el modelo más potente disponible.
Los investigadores también probaron su sistema en un conjunto diferente de tareas relacionadas con flujos de trabajo empresariales, como la aprobación de presupuestos o la operación de maquinaria. Aquí, los resultados mostraron que las reglas funcionaban mejor cuando coincidían con la naturaleza específica del trabajo. Para tareas que requerían un cumplimiento estricto de las normas y entregas claras, el sistema proporcionó mejoras masivas, duplicando a veces la tasa de éxito. Sin embargo, para tareas que eran muy diferentes en su estructura, el sistema a veces empeoraba las cosas si las reglas eran demasiado rígidas o se aplicaban a la parte incorrecta del proceso. Esto enseñó a los investigadores que la clave no es tener una lista masiva de reglas para cada situación posible, sino identificar los límites específicos donde es más probable que ocurran errores y aplicar controles solo allí.
En última instancia, este trabajo sugiere que la fiabilidad de la inteligencia artificial depende tanto de cómo gestionamos su trabajo como de lo inteligente que sea el modelo. Los investigadores identificaron tres razones principales por las que los agentes capaces fallan: carecen del conocimiento adecuado en el momento de la decisión, olvidan las lecciones aprendidas de intentos previos o no siguen un procedimiento que ya conocen. Su sistema aborda estos problemas manteniendo un registro fresco y claro de la fase actual, almacenando las lecciones en un documento versionado que puede reutilizarse y obligando al agente a demostrar que ha terminado un paso antes de seguir adelante. Los hallazgos indican que no es necesario esperar a la próxima generación de modelos superinteligentes para resolver problemas complejos. En su lugar, al construir mejores sistemas para guiar a los modelos que ya tenemos, podemos convertir a los agentes capaces pero poco fiables en máquinas robustas que terminan su labor. El camino a seguir no es solo hacer el cerebro más grande, sino construir un mejor cuerpo para que lo transporte a través del trabajo.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.