Resumen Técnico: TERMINALWORLD: Evaluación de Agentes en Tareas de Terminal del Mundo Real

Declaración del Problema

Los agentes autónomos impulsados por Modelos de Lenguaje Grande (LLM) son cada vez más capaces de automatizar flujos de trabajo complejos en terminal mediante la emisión de comandos, la composición de herramientas y la interpretación de retroalimentación dentro de sesiones interactivas de Interfaz de Línea de Comandos (CLI). Sin embargo, evaluar de manera fiable estos agentes en tareas auténticas y del mundo real sigue siendo un desafío abierto.

Los estándares de evaluación actuales dependen en gran medida de conjuntos de pruebas curados manualmente (por ejemplo, Terminal-Bench, LongCLI-Bench). Estos conjuntos de pruebas adolecen de tres limitaciones principales:

1. Brecha de Autenticidad: Los expertos a menudo priorizan acertijos adversarios para maximizar la dificultad, lo que hace que las tareas se desvíen de los flujos de trabajo rutinarios y auténticos que los desarrolladores realmente realizan.
2. Cuello de Botella de Escalabilidad: La curación manual es intensiva en mano de obra y lucha por mantener el ritmo con las prácticas de terminal en evolución y las diversas herramientas emergentes, lo que conduce a conjuntos de pruebas de alcance estrecho y rápidamente obsoletos.
3. Déficit de Validación: Los métodos recientes de síntesis automatizada intentan eludir la curación manual, pero están diseñados principalmente para la generación de datos de entrenamiento. Rara vez se someten a la validación rigurosa requerida para garantizar la autenticidad real y la solidez de las pruebas.

En consecuencia, existe una falta de un sistema de evaluación que sea tanto auténtico a las prácticas reales de los desarrolladores como lo suficientemente escalable para evolucionar junto con ellas.

Metodología: El Motor de Datos TERMINALWORLD

Para abordar estas limitaciones, los autores introducen TERMINALWORLD, un motor de datos escalable que reverse-enginea automáticamente tareas de evaluación de alta fidelidad a partir de grabaciones de terminal "in-the-wild". El motor opera sobre un corpus de 80.870 grabaciones de sesiones de terminal recolectadas de la plataforma asciinema, un repositorio público donde los desarrolladores comparten voluntariamente transcripciones de sesiones.

El motor procesa las grabaciones crudas a través de cuatro etapas sistemáticas para transformar registros ruidosos en conjuntos de pruebas rigurosos:

1. Recopilación y Filtrado de Grabaciones Humanas

El motor recupera transcripciones y metadatos de asciinema. Un proceso de filtrado multietapa asegura la calidad y seguridad de los datos:

• Privacidad y Seguridad: Exclusión de grabaciones que contengan Información de Identificación Personal (PII), credenciales sensibles o comandos maliciosos (por ejemplo, rm -rf *).
• Definición del Alcance: Descartar grabaciones que involucren Interfaces de Usuario de Texto (TUI como vim o nano) o interfaces gráficas (GUI), centrándose estrictamente en flujos de trabajo CLI puros.
• Reproducibilidad: Eliminar sesiones dependientes de URLs inaccesibles, entornos Windows o software propietario que no pueda ser contenerizado.
• Puntuación de Calidad: Utilizar un LLM para filtrar sesiones opacas o puramente exploratorias, reteniendo solo flujos de trabajo de alta calidad y deterministas.
• Resultado: Se retuvieron 9.492 grabaciones de alta calidad para la síntesis.

2. Síntesis de Tareas de Terminal

Las transcripciones crudas son ruidosas, contienen errores tipográficos, reintentos y salida del sistema verbosa. El motor utiliza un LLM (por ejemplo, Claude Sonnet 4.6) para destilarlas en dos artefactos:

• Formalización de la Instrucción de la Tarea: El LLM infiere la intención subyacente del desarrollador para generar una instrucción orientada a resultados. Crucialmente, la instrucción especifica el estado final (por ejemplo, "guardar las IPs bloqueadas en /app/result.txt") en lugar de la ruta procedimental, evitando que se filtren pistas específicas de la solución en la tarea.
• Extracción de la Solución de Referencia: El LLM extrae un script Bash limpio y ejecutable de la transcripción, eliminando duplicados e intentos fallidos para crear una solución de referencia de verdad fundamental.

3. Reproducción de Entornos Ejecutables

Dado que las grabaciones crudas dependen del estado específico del sistema del desarrollador original, el motor debe reverse-enginear el entorno de ejecución.

• Síntesis del Entorno: Un agente LLM (por ejemplo, Claude Code) infiere dependencias (imágenes base, paquetes del sistema, tiempos de ejecución) de la solución de referencia para sintetizar un Dockerfile y un docker-compose.yaml.
• Bucle de Refinamiento Basado en Ejecución: Para garantizar que el entorno sea fiel y no alucinado, el agente construye la imagen Docker, intenta reproducir la solución de referencia y utiliza fallos en tiempo de ejecución (por ejemplo, bibliotecas faltantes, variables no configuradas) como retroalimentación para reparar iterativamente el Dockerfile.
• Resultado: Este bucle reproduce con éxito entornos ejecutables para 5.035 tareas.

4. Generación de Conjuntos de Pruebas

Para juzgar automáticamente el éxito de la tarea, el motor genera un conjunto de pruebas dentro del contenedor Docker reproducido utilizando un bucle de refinamiento basado en ensayos:

• Síntesis de Pruebas: Un agente genera aserciones basadas en la instrucción formalizada y los cambios reales en el sistema de archivos (deltas de estado) causados por la solución de referencia.
• Validación de Tres Ensayos:
  1. Ensayo TodosAprobados: Ejecuta la solución de referencia; todas las pruebas deben aprobar (asegura la resolubilidad).
  2. Ensayo Nop: No ejecuta nada; todas las pruebas deben fallar (asegura la no trivialidad).
  3. Ensayos Parciales: Ejecuta soluciones truncadas/ablacionadas; al menos una prueba debe fallar (asegura la discriminabilidad frente a soluciones incompletas).
• Resultado: Solo se admiten las tareas donde el conjunto de pruebas aprueba los tres ensayos. Este proceso produce 1.530 tareas de terminal validadas para el conjunto de pruebas completo.

De este conjunto completo, los autores curaron un subconjunto VERIFICADO de 200 tareas, revisado manualmente por los autores para garantizar la alineación semántica y la corrección, sirviendo como un campo de pruebas riguroso para modelos de vanguardia.

Contribuciones Clave

1. Conjunto de Pruebas TERMINALWORLD: Un conjunto de datos de 1.530 tareas validadas que abarcan 18 categorías del mundo real (por ejemplo, orquestación de contenedores, CI/CD, seguridad) y cubren 1.280 comandos únicos. Cabe destacar que el 91% de estos comandos están ausentes en conjuntos de pruebas existentes como Terminal-Bench.
2. Motor de Datos Automatizado: Una pipeline totalmente automatizada que reverse-enginea tareas a partir de grabaciones del mundo real, asegurando que el conjunto de pruebas sea "auténtico y escalable por construcción".
3. Subconjunto VERIFICADO: Un núcleo revisado manualmente de 200 tareas diseñado para la evaluación de alta fidelidad de flujos de trabajo complejos.
4. Evaluación Exhaustiva: Evaluación extensa de ocho LLMs de vanguardia y seis agentes de terminal líderes en el subconjunto VERIFICADO.

Resultados Experimentales

Los autores evaluaron modelos de vanguardia (por ejemplo, Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro) y agentes (por ejemplo, Terminus-2, Claude Code, OpenHands) en el subconjunto TERMINALWORLD-VERIFICADO.

• Techo de Rendimiento: Los sistemas actuales luchan significativamente con flujos de trabajo de terminal auténticos. El modelo con mejor rendimiento (Claude Opus 4.7) logró una tasa de aprobación de solo 62.5%.
• Paradoja de Eficiencia: Existe una correlación negativa débil entre el consumo de recursos (vueltas, tokens) y el éxito. Los modelos a menudo gastan recursos computacionales excesivos explorando entornos sin lograr progreso. Los intentos fallidos consumen significativamente más recursos (3.3 veces más tokens) que los exitosos.
• Especificidad de Dominio: El rendimiento varía drásticamente según el dominio. Los modelos se desempeñan bien en la configuración del entorno (87.5%) pero luchan con la optimización del rendimiento (28.1%) y la scripting/automatización (39.1%).
• Impacto del Marco de Agentes: Los marcos de agentes influyen principalmente en la rentabilidad en lugar del techo de capacidad subyacente. Por ejemplo, Terminus-2 y mini-SWE-agent lograron tasas de aprobación similares a las de Claude Code pero a una fracción del costo.
• Débil Correlación con Conjuntos de Pruebas Existentes: Las puntuaciones en Terminal-Bench 2.0 muestran solo una correlación débil ($r = 0.20$ de Pearson) con las puntuaciones de TERMINALWORLD-VERIFICADO. Los modelos que dominan los desafíos curados por expertos (por ejemplo, GPT-5.5) a menudo tienen un rendimiento inferior en flujos de trabajo del mundo real, lo que sugiere que los conjuntos de pruebas existentes no capturan completamente las capacidades necesarias.
• Divergencia de Flujos de Trabajo Humanos: Los agentes rara vez imitan las rutas de comandos específicas de las grabaciones humanas originales. La superposición mediana del conjunto de comandos entre las trayectorias de los agentes y las soluciones de referencia humanas es solo del 21.4%, lo que indica que los agentes a menudo resuelven tareas mediante estrategias alternativas válidas pero distintas.

Significado y Afirmaciones

El artículo afirma que TERMINALWORLD establece un nuevo estándar para evaluar agentes de terminal al cambiar de acertijos adversarios curados por expertos a flujos de trabajo auténticos, escalables y del mundo real.

• Autenticidad: Al reverse-enginear tareas a partir de grabaciones reales de desarrolladores, el conjunto de pruebas captura los matices de las dependencias del mundo real, la diversidad de herramientas y la complejidad de los flujos de trabajo que los conjuntos de pruebas sintéticos o elaborados manualmente pasan por alto.
• Escalabilidad: La naturaleza automatizada del motor permite que el conjunto de pruebas evolucione continuamente a medida que se suben nuevas grabaciones a asciinema, evitando que el conjunto de datos se vuelva obsoleto.
• Valor Diagnóstico: El conjunto de pruebas revela que los modelos y agentes actuales más avanzados carecen de capacidades robustas de uso de herramientas en espacios de acción abiertos y del mundo real. Destaca que las puntuaciones altas en conjuntos de pruebas existentes pueden sobreestimar la competencia de un agente en entornos de terminal prácticos y en evolución.

Los autores concluyen que TERMINALWORLD proporciona una base necesaria para desarrollar agentes que sean confiables en entornos de terminal del mundo real, moviendo a la comunidad más allá de las evaluaciones estáticas curadas por expertos.