Resumo Técnico: MMTB: Avaliação de Agentes de Terminal em Tarefas de Arquivos Multimídia

Declaração do Problema

Embora as interfaces de terminal forneçam ambientes poderosos para agentes de IA automatizarem fluxos de trabalho complexos utilizando diversas ferramentas, os benchmarks existentes para agentes de terminal (por exemplo, Terminal-Bench, InterCode) concentram-se predominantemente em tarefas fundamentadas em texto, código e arquivos estruturados. No entanto, muitos fluxos de trabalho reais de profissionais — que vão desde a produção de mídia e auditoria de conformidade até a criação de conteúdo educacional — exigem interação direta com arquivos de áudio e vídeo.

Os agentes de terminal atuais enfrentam uma limitação significativa nesses cenários: carecem de percepção nativa de conteúdo multimídia. Em vez de inspecionar diretamente áudio ou vídeo, os agentes devem depender de ferramentas de linha de comando para converter mídias em representações intermediárias (por exemplo, espectrogramas, quadros extraídos ou transcrições) antes de raciocinar. Esse processo de conversão introduz ineficiências, perda potencial de informações e pontos adicionais de falha. Além disso, os benchmarks existentes ou carecem totalmente de tarefas com arquivos multimídia ou focam na compreensão multimídia (responder perguntas sobre mídia) em vez da ação multimídia (executar fluxos de trabalho de terminal para transformar ou analisar arquivos de mídia).

Metodologia

Construção do Benchmark: MultiMedia-TerminalBench (MMTB)

Os autores introduzem o MMTB, um benchmark composto por 105 tarefas realistas projetadas para avaliar agentes de terminal em fluxos de trabalho com arquivos multimídia.

• Escopo: As tarefas são fundamentadas em fontes públicas que refletem fluxos de trabalho remunerados de profissionais (por exemplo, Upwork, Fiverr) e cobrem cinco metacategorias: Produção de Mídia, Performance e Coaching, Empresarial e Conformidade, Pessoal e Educação, e Operações e Pesquisa.
• Formato: As tarefas seguem o formato Harbor utilizado pelo Terminal-Bench, consistindo em uma instrução, um workspace contêinerizado persistente com ativos multimídia, uma interface de ferramentas permitida, um esquema de saída e um avaliador de artefatos.
• Conteúdo: O benchmark inclui 536 arquivos de mídia totalizando quase 7 horas de conteúdo audiovisual. As tarefas exigem que os agentes fundamentem decisões em evidências auditivas e visuais entre arquivos e produzam artefatos de saída verificáveis (por exemplo, clipes editados, logs JSON, carimbos de data e hora).
• Validação: O pipeline de construção envolveu verificações automatizadas da estrutura da tarefa, integridade da construção do Docker e solvabilidade pelo oráculo, seguidas por revisão manual para eliminar atalhos triviais e configurações irreais.

Ambiente de Avaliação: Terminus-MM

Para avaliar agentes sob condições controladas, os autores propõem o Terminus-MM, um ambiente multimídia que estende o framework Terminus-KIRA.

• Percepção Nativa: Diferentemente dos agentes de terminal padrão que dependem de comandos de shell para extrair recursos, o Terminus-MM expõe ferramentas de percepção nativa (view_image, listen_audio, watch_video) diretamente ao agente.
• Roteamento Consciente do Workspace: Uma característica chave de design é a máscara dinâmica de ferramentas. O ambiente escaneia o workspace em tempo de execução e expõe apenas as ferramentas de percepção relevantes para os arquivos presentes (por exemplo, ocultando listen_audio se não houver arquivos de áudio). Isso impede que os agentes desperdicem recursos em modalidades irrelevantes.
• Variantes Comparativas: O estudo avalia uma família de ambientes controlados com acesso variável a modalidades (Apenas Texto, Texto+Imagem, Texto+Áudio, Texto+Vídeo e Multimodal Completo) para isolar o impacto de capacidades de percepção específicas.
• Baselines: O benchmark também avalia agentes prontos para uso, especificamente Codex CLI (com GPT-5.2) e Claude Code (com Sonnet-4.6), que operam através de seus próprios loops de agente e interfaces de ferramentas sem o ambiente controlado Terminus.

Métricas

O desempenho é medido usando:

1. Taxas de Sucesso: Sucesso binário (passar no limiar do verificador) e sucesso parcial (pontuação média de correção).
2. Eficiência: Custo médio de API por tarefa e tempo médio de execução.
3. Análise de Falhas: Categorização de modos de falha (por exemplo, tempos de limite na configuração de ferramentas, falhas na execução de ferramentas, erros de raciocínio do modelo, formatos de saída incorretos).

Principais Resultados

1. Acesso Multimídia Nativo Melhora Significativamente o Desempenho

O estudo demonstra que o acesso apenas a texto e imagem-texto é insuficiente para muitas tarefas com arquivos multimídia.

• Na base Gemini-3.1-Pro, o Terminus-2 apenas texto alcançou uma taxa de sucesso binário de 12,4%.
• Adicionar acesso nativo a áudio e vídeo via Terminus-MM (T+I+A+V) aumentou a taxa de sucesso binário para 37,1% e o sucesso parcial para 46,9%.
• Tendências semelhantes foram observadas com o Gemini-2.5-Flash, onde o acesso multimodal completo rendeu uma taxa de sucesso binário de 22,9% em comparação com 6,7% para apenas texto.
• Eficiência de Custos: O Terminus-MM também foi mais econômico, frequentemente exigindo menos chamadas de API e menos tempo do que agentes forçados a usar ferramentas de conversão de linha de comando para derivar evidências.

2. Conversões de Linha de Comando Introduzem Sobrecarga Significativa

Quando a percepção nativa não está disponível, os agentes devem usar ferramentas de linha de comando (por exemplo, ffmpeg, tesseract, whisper) para inspecionar mídias.

• A Tabela 5 mostra que, para tarefas onde tanto os ambientes de modalidade parcial quanto o Terminus-MM tiveram sucesso, os ambientes parciais incorreram em custos significativamente mais altos. As razões de custo de API variaram de 1,63× a 7,72× mais altas do que o Terminus-MM, com os piores casos atingindo 42,49× quando o áudio nativo estava ausente.
• Essa sobrecarga decorre de caminhos mais longos de aquisição de evidências: seleção de representações intermediárias, execução de ferramentas, interpretação de resultados com perdas e novas tentativas.

3. Modos de Falha Distintos e Regimes de Solução

• As falhas do Terminus-MM foram impulsionadas principalmente pelo raciocínio do modelo (47% das falhas), onde o agente interpretou mal as evidências disponíveis. Falhas na operação de ferramentas (configuração, execução, travamentos) representaram uma parcela menor (24%).
• O Codex CLI (dependendo de conversões de linha de comando) mostrou uma taxa de falha muito maior em fluxos de trabalho mediados por ferramentas. Tempos de limite na configuração e execução sozinhos representaram 39% das falhas, com problemas de operação de ferramenta compondo quase metade de todas as falhas.
• Regimes de Solução: A análise da sobreposição de tarefas revelou que o Terminus-MM e o Codex CLI resolvem subconjuntos diferentes de tarefas.
  • Tarefas apenas-MM (28 tarefas): Frequentemente exigem compreensão nativa de modalidades (por exemplo, alinhar pistas de áudio com eventos visuais).
  • Tarefas apenas-Codex (6 tarefas): Frequentemente envolvem fluxos de trabalho onde a mídia pode ser convertida de forma confiável em sinais de texto/numéricos através de pipelines padrão (por exemplo, OCR, transcrição).
  • Tarefas de falha em ambos (60 tarefas): Representam a fronteira atual, exigindo tanto fundamentação precisa de mídia quanto construção robusta de artefatos de terminal.

Significado e Alegações

O artigo afirma que o MMTB preenche uma lacuna crítica na avaliação de agentes de IA ao deslocar o foco da "compreensão multimídia" (responder perguntas) para a "ação multimídia" (executar fluxos de trabalho). Os autores argumentam que:

1. O Acesso Nativo é Essencial: Para que agentes de terminal lidem efetivamente com fluxos de trabalho multimídia do mundo real, eles exigem acesso direto a conteúdo de áudio e vídeo, não apenas a capacidade de executar scripts de conversão.
2. Ganhos de Eficiência: A percepção nativa encurta o caminho de aquisição de evidências, reduzindo tanto o custo quanto a probabilidade de falha em comparação com pipelines de conversão de linha de comando.
3. Necessidade de Capacidades Híbridas: Agentes de terminal multimídia eficazes devem combinar percepção nativa com habilidades confiáveis de uso de ferramentas. Os conjuntos de tarefas "apenas-MM" e "apenas-Codex" sugerem que sistemas futuros precisam ser versáteis o suficiente para lidar com fluxos de trabalho limitados por fundamentação e limitados por pipeline.
4. Higiene do Benchmark: O MMTB trata as soluções alternativas de linha de comando para modalidades ausentes como evidência de complexidade do fluxo de trabalho em vez de contaminação, fornecendo uma avaliação mais realista das capacidades do agente em ambientes de terminal persistentes.

Os autores concluem que, embora tenha havido progresso em agentes de terminal, a integração de fundamentação audiovisual nativa com execução de shell confiável é necessária para avançar agentes capazes de automatizar fluxos de trabalho multimídia complexos baseados em arquivos.