Resumen Técnico: MMTB: Evaluación de Agentes de Terminal en Tareas de Archivos Multimedia

Enunciado del Problema

Si bien las interfaces de terminal proporcionan entornos potentes para que los agentes de IA automatizan flujos de trabajo complejos utilizando diversas herramientas, las evaluaciones existentes para agentes de terminal (por ejemplo, Terminal-Bench, InterCode) se centran predominantemente en tareas basadas en texto, código y archivos estructurados. Sin embargo, muchos flujos de trabajo reales de profesionales —desde la producción de medios y la auditoría de cumplimiento hasta la creación de contenido educativo— requieren una interacción directa con archivos de audio y video.

Los agentes de terminal actuales enfrentan una limitación significativa en estos escenarios: carecen de percepción nativa del contenido multimedia. En lugar de inspeccionar directamente el audio o el video, los agentes deben depender de herramientas de línea de comandos para convertir los medios en representaciones intermedias (por ejemplo, espectrogramas, fotogramas extraídos o transcripciones) antes de razonar. Este proceso de conversión introduce ineficiencias, posibles pérdidas de información y puntos adicionales de fallo. Además, las evaluaciones existentes carecen por completo de tareas con archivos multimedia o se centran en la comprensión multimedia (responder preguntas sobre medios) en lugar de la acción multimedia (ejecutar flujos de trabajo de terminal para transformar o analizar archivos multimedia).

Metodología

Construcción de la Evaluación: MultiMedia-TerminalBench (MMTB)

Los autores presentan MMTB, una evaluación compuesta por 105 tareas realistas diseñadas para evaluar agentes de terminal en flujos de trabajo con archivos multimedia.

• Alcance: Las tareas se basan en fuentes públicas que reflejan flujos de trabajo profesionales remunerados (por ejemplo, Upwork, Fiverr) y cubren cinco metacategorías: Producción de Medios, Rendimiento y Entrenamiento, Empresa y Cumplimiento, Personal y Educación, y Operaciones e Investigación.
• Formato: Las tareas siguen el formato Harbor utilizado por Terminal-Bench, que consiste en una instrucción, un espacio de trabajo contenedorizado persistente con activos multimedia, una interfaz de herramientas permitida, un esquema de salida y un evaluador de artefactos.
• Contenido: La evaluación incluye 536 archivos multimedia que suman casi 7 horas de contenido audiovisual. Las tareas requieren que los agentes fundamenten sus decisiones en evidencia auditiva y visual a través de archivos y produzcan artefactos de salida verificables (por ejemplo, clips editados, registros JSON, marcas de tiempo).
• Validación: El proceso de construcción incluyó verificaciones automatizadas de la estructura de las tareas, la integridad de la compilación de Docker y la solvabilidad por parte de un oráculo, seguidas de una revisión manual para eliminar atajos triviales y configuraciones poco realistas.

Entorno de Evaluación: Terminus-MM

Para evaluar agentes en condiciones controladas, los autores proponen Terminus-MM, un entorno multimedia que extiende el marco Terminus-KIRA.

• Percepción Nativa: A diferencia de los agentes de terminal estándar que dependen de comandos de shell para extraer características, Terminus-MM expone herramientas de percepción nativa (view_image, listen_audio, watch_video) directamente al agente.
• Enrutamiento Consciente del Espacio de Trabajo: Una característica clave de diseño es el enmascaramiento dinámico de herramientas. El entorno escanea el espacio de trabajo en tiempo de ejecución y expone solo las herramientas de percepción relevantes para los archivos presentes (por ejemplo, ocultando listen_audio si no existen archivos de audio). Esto evita que los agentes desperdicien recursos en modalidades irrelevantes.
• Variantes Comparativas: El estudio evalúa una familia de entornos controlados con acceso a modalidades variables (Solo Texto, Texto + Imagen, Texto + Audio, Texto + Video y Multimodal Completo) para aislar el impacto de capacidades de percepción específicas.
• Líneas Base: La evaluación también analiza agentes comerciales, específicamente Codex CLI (con GPT-5.2) y Claude Code (con Sonnet-4.6), que operan a través de sus propios bucles de agente e interfaces de herramientas sin el entorno controlado de Terminus.

Métricas

El rendimiento se mide utilizando:

1. Tasas de Éxito: Éxito binario (superar el umbral del verificador) y éxito parcial (puntuación promedio de corrección).
2. Eficiencia: Costo medio de API por tarea y tiempo medio de ejecución.
3. Análisis de Fallos: Clasificación de modos de fallo (por ejemplo, tiempos de espera en la configuración de herramientas, fallos en la ejecución de herramientas, errores de razonamiento del modelo, formatos de salida incorrectos).

Resultados Clave

1. El Acceso Multimedia Nativo Mejora Significativamente el Rendimiento

El estudio demuestra que el acceso solo a texto y a texto-imagen es insuficiente para muchas tareas con archivos multimedia.

• En la base Gemini-3.1-Pro, el Terminus-2 solo texto logró una tasa de éxito binario del 12.4%.
• Añadir acceso nativo a audio y video mediante Terminus-MM (T+I+A+V) aumentó la tasa de éxito binario al 37.1% y el éxito parcial al 46.9%.
• Se observaron tendencias similares con Gemini-2.5-Flash, donde el acceso multimodal completo arrojó una tasa de éxito binario del 22.9% en comparación con el 6.7% para solo texto.
• Eficiencia de Costos: Terminus-MM también fue más rentable, requiriendo a menudo menos llamadas a la API y menos tiempo que los agentes obligados a utilizar herramientas de conversión de línea de comandos para derivar evidencia.

2. Las Conversiones de Línea de Comandos Introducen Sobrecarga Significativa

Cuando no está disponible la percepción nativa, los agentes deben utilizar herramientas de línea de comandos (por ejemplo, ffmpeg, tesseract, whisper) para inspeccionar los medios.

• La Tabla 5 muestra que para las tareas donde tanto los entornos de modalidad parcial como Terminus-MM tuvieron éxito, los entornos parciales incurrieron en costos significativamente más altos. Las relaciones de costo de API oscilaron entre 1.63× y 7.72× más altas que Terminus-MM, con escenarios de peor caso alcanzando 42.49× cuando faltaba el audio nativo.
• Esta sobrecarga proviene de rutas más largas para la adquisición de evidencia: selección de representaciones intermedias, ejecución de herramientas, interpretación de resultados con pérdida y reintento.

3. Modos de Fallo Distintos y Regímenes de Solución

• Los fallos de Terminus-MM fueron impulsados principalmente por el razonamiento del modelo (47% de los fallos), donde el agente interpretó mal la evidencia disponible. Los fallos en la operación de herramientas (configuración, ejecución, bloqueos) representaron una porción menor (24%).
• Codex CLI (que depende de conversiones de línea de comandos) mostró una tasa de fallo mucho más alta en flujos de trabajo mediados por herramientas. Solo los tiempos de espera en la configuración y la ejecución representaron el 39% de los fallos, con problemas de operación de herramientas que componían casi la mitad de todos los fallos.
• Regímenes de Solución: El análisis de la superposición de tareas reveló que Terminus-MM y Codex CLI resuelven subconjuntos diferentes de tareas.
  • Tareas solo MM (28 tareas): A menudo requieren comprensión nativa de la modalidad (por ejemplo, alinear pistas de audio con eventos visuales).
  • Tareas solo Codex (6 tareas): A menudo involucran flujos de trabajo donde los medios pueden convertirse confiablemente en señales de texto/numéricas mediante pipelines estándar (por ejemplo, OCR, transcripción).
  • Tareas de fallo en ambos (60 tareas): Representan la frontera actual, requiriendo tanto una fundamentación precisa de los medios como una construcción robusta de artefactos de terminal.

Significado y Afirmaciones

El artículo afirma que MMTB llena una brecha crítica en la evaluación de agentes de IA al cambiar el enfoque de la "comprensión multimedia" (responder preguntas) a la "acción multimedia" (ejecutar flujos de trabajo). Los autores argumentan que:

1. El Acceso Nativo es Esencial: Para que los agentes de terminal manejen eficazmente flujos de trabajo multimedia del mundo real, requieren acceso directo al contenido de audio y video, no solo la capacidad de ejecutar scripts de conversión.
2. Ganancias de Eficiencia: La percepción nativa acorta la ruta de adquisición de evidencia, reduciendo tanto el costo como la probabilidad de fallo en comparación con las pipelines de conversión de línea de comandos.
3. Necesidad de Capacidades Híbridas: Los agentes de terminal multimedia efectivos deben combinar la percepción nativa con habilidades confiables de uso de herramientas. Los conjuntos de tareas "solo MM" y "solo Codex" sugieren que los sistemas futuros deben ser lo suficientemente versátiles para manejar tanto flujos de trabajo limitados por la fundamentación como limitados por la pipeline.
4. Higiene de la Evaluación: MMTB trata los workarounds de línea de comandos para modalidades faltantes como evidencia de la complejidad del flujo de trabajo en lugar de contaminación, proporcionando una evaluación más realista de las capacidades del agente en entornos de terminal persistentes.

Los autores concluyen que, aunque se ha avanzado en los agentes de terminal, la integración de la fundamentación audiovisual nativa con una ejecución de shell confiable es necesaria para avanzar hacia agentes capaces de automatizar flujos de trabajo multimedia complejos basados en archivos.