Resumo Técnico: Agentes de Codificação em Sandbox são Solucionadores Competitivos de Tarefas Omni-modais

1. Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) multimodais visam cada vez mais vídeo e áudio, a suposição predominante é que modelos omnimodais nativos — que ingerem diretamente fluxos de áudio e vídeo em seu contexto — são necessários para a resolução eficaz de tarefas. No entanto, a implantação de tais modelos exige um esforio de engenharia e uma sobrecarga de modelagem substanciais. Por outro lado, muitos sistemas agênticos existentes (por exemplo, OpenClaw, Hermes) permanecem como sistemas apenas de texto ou texto+imagem.

Este artigo investiga uma lacuna crítica: Podem agentes de codificação, que carecem de percepção de vídeo/áudio nativa, mas possuem acesso a um ambiente de terminal em sandbox, resolver tarefas omnimodais orquestrando ferramentas externas (por exemplo, ffmpeg, whisper, tesseract) para extrair evidências, em vez de depender de percepção de ponta a ponta? Os autores desafiam a necessidade de arquiteturas omnimodais nativas para tarefas que podem ser decompostas em problemas de recuperação e processamento de informação.

2. Metodologia

2.1. Estrutura de Agente em Sandbox

Os autores avaliam agentes de codificação dentro de espaços de trabalho isolados (Ubuntu 22.04) onde arquivos de mídia brutos (vídeo, áudio, imagens, documentos) são posicionados como objetos de sistema de arquivos, em vez de serem empacotados no contexto do modelo.

• Entrada: O agente recebe uma instrução em linguagem natural e caminhos de arquivos.
• Processo: O agente interage com o ambiente por meio de uma interface de terminal. Ele escreve e executa scripts para:
  • Extrair transcrições (usando whisper/ASR).
  • Amostrar quadros ou recortar regiões (usando ffmpeg, ffprobe, OpenCV).
  • Realizar OCR (tesseract).
  • Realizar buscas na web e análise de metadados.
  • Sintetizar artefatos intermediários (tabelas, logs, recortes) para formar uma trajetória de raciocínio.
• Saída: Uma resposta final analisada a partir da trajetória, tipicamente formatada dentro de uma tag específica (por exemplo, <answer>).

2.2. Benchmarks de Avaliação

O estudo utiliza quatro benchmarks com diferentes ênfases:

• OmniGAIA: Raciocínio omnimodal factual e de múltiplos saltos (multi-hop), aberto e mediado por ferramentas.
• SocialOmni: Percepção social audiovisual e reconhecimento de identidade.
• LVOmniBench: Compreensão de áudio e vídeo de longa duração.
• VideoZeroBench: Raciocínio centrado em vídeo desafiador que requer evidência espaço-temporal.

Os autores comparam Agentes de Codificação em Sandbox (usando harnesses Codex e Claude Code com modelos como GPT-5.4 e Claude Opus 4.6) contra LLMs Omnimodais Nativos (Gemini 3.1 Pro, Qwen 3.5-Omni, MiMo-V2-Omni) e Scaffolds de Agentes Multimodais Predefinidos (OmniAgent, Agent-Omni).

2.3. Análise de Falhas e Injeção de Habilidades

Para entender as limitações, os autores construíram uma Taxonomia de Falhas de Terminal Omni baseada em 200 trajetórias anotadas, categorizando erros em:

1. Percepção e Extração de Áudio
2. Percepção e Extração de Vídeo
3. Exploração Insuficiente de Conteúdo Modal
4. Recuperação de Conhecimento e Erros Fatuais
5. Raciocínio Lógico e Cálculo
6. Falhas de Ferramentas e Infraestrutura de Ambiente

Eles exploraram ainda a Injeção de Habilidades para melhorar o desempenho sem o retreinamento dos modelos base:

• Auto-iteração de conjunto de calibração: Agentes revisam habilidades com base em feedback de correção binária.
• Autodestilação impulsionada por logs: Um agente separado minera habilidades reutilizáveis a partir de traços de execução brutos.
• Habilidades Human-in-the-loop: Fluxos de trabalho escritos manualmente codificando estratégias de especialistas.

2.4. Elicitação de Código Aberto (Code-X)

Para demonstrar a reprodutibilidade em modelos de código aberto, os autores introduziram o Code-X, uma receita de treinamento envolvendo:

• Conjunto de Dados OmniCoding: Um conjunto de dados de trajetória com 6.035 exemplos abrangendo tarefas de vídeo, áudio, imagem e cross-modal.
• Pipeline de Treinamento: Fine-Tuning Supervisionado (SFT) seguido de Aprendizado por Reforço (RL) usando Otimização de Política de Sequência de Grupo (GSPO).
• Design de Recompensa: Uma recompensa verificável consciente do processo que penaliza o salto de modalidade, chamadas de ferramenta malformadas e incompatibilidades de resposta, enquanto recompensa o formato correto e o engajamento com a ferramenta.

2.5. TerminalBench-O

Reconhecendo que a compreensão é distinta do processamento, os autores introduziram o TerminalBench-O, o primeiro benchmark de nível de processo para agentes de codificação em tarefas de processamento omnimodal (por exemplo, edição de vídeos, auditoria de bancos de dados). Ele avalia agentes em tarefas do mundo real que exigem planejamento de longo horizonte, encadeamento de ferramentas e conformidade estrita de saída.

3. Principais Resultados

3.1. Competitividade de Desempenho

• Superando Modelos Nativos: No OmniGAIA, o agente de codificação GPT-5.4 xHigh alcançou 75,0% de precisão, superando o modelo omnimodal nativo mais forte, Gemmini 3.1 Pro (66,1%), por mais de 8%. O Claude Opus 4.6 também excedeu o Gemini 3.1 Pro em 2,5%.
• Eficiência: Agentes de codificação consumiram significativamente menos tokens do que modelos omnimodais nativos. Ao recuperar seletivamente evidências (transcrições, quadros) em vez de ingerir fluxos de mídia inteiros, eles alcançaram desempenho competitivo com uma pegada multimídia muito menor.
• Profundidade de Raciocínio: O aumento do esforço de raciocínio (por exemplo, de "Baixo" para "xHigh" no GPT-5.4) gerou ganhos claros de desempenho, sugerindo que a profundidade de computação agêntica é tão crítica quanto a capacidade de percepção.

3.2. Dinâmica de Uso de Ferramentas

• Pipelines Estagiados: Agentes bem-sucedidos empregaram um pipeline estagiado: extração de mídia $\rightarrow$ transcrição $\rightarrow$ busca externa $\rightarrow$ raciocínio.
• Ferramentas Chave: ffmpeg, ffprobe, whisper e web_search proporcionaram os ganhos mais consistentes. O python3 (ferramentas autorais) foi frequentemente invocado, mas mostrou confiabilidade mista.
• Ablação de Texto Único: Mesmo agentes apenas de texto (sem acesso direto a imagens) permaneceram competitivos em muitos benchmarks, indicando que muitas tarefas "omnimodais" podem ser resolvidas via texto ou percepção rasa (OCR) em vez de compreensão visual profunda.

3.3. Impacto da Injeção de Habilidades

• A injeção de habilidades melhorou substancialmente o desempenho. A configuração de Autodestilação impulsionada por Logs elevou a precisão média do OmniGAIA de 61,4% (Sem Habilidades) para 76,7%, superando tanto a auto-iteração de conjunto de calibração quanto as habilidades escritas por humanos.
• Isso sugere que os traços de execução fornecem supervisão mais rica para refinar o conhecimento procedural do que o feedback binário ou guias humanos estáticos.

3.4. Resultados de Código Aberto (Code-X)

• A receita Code-X permitiu que modelos de código aberto (Qwen-3.6-27B) alcançassem resultados de estado da arte entre os modelos de código aberto.
• O modelo 27B atingiu 43,3% no OmniGAIA e 60,0% no LVOmniBench, superando todos os agentes de codificação de código aberto existentes e dobrando o desempenho no VideoZeroBench.

3.5. Desafios do TerminalBench-O

• Apesar dos fortes resultados de compreensão, o TerminalBench-O provou ser difícil para os atuais agentes. Mesmo o mais forte GPT-5.5 Codex alcançou apenas 24% de taxa de aprovação.
• Tarefas que exigem planejamento de longo horizonte, encadeamento de ferramentas confiável e adesão estrita de saída continuam sendo um gargalo significativo, destacando a lacuna entre compreensão e processamento ativo.

4. Significância e Alegações

O artigo argumenta que agentes de codificação em sandbox representam um paradigma altamente competitivo, e frequentemente superior, para a resolução de tarefas omnimodais offline em comparação com modelos omnimodais nativos.

• Mudança de Paradigma: Os autores afirmam que, para muitas tarefas, o gargalo não é a habilidade do modelo de "ver" ou "ouvir" dados brutos, mas sua habilidade de orquestrar ferramentas para converter mídia bruta em evidência compacta e verificável que se ajuste a uma interface de raciocínio de propósito geral.
• Eficiência: Esta abordagem oferece um caminho mais eficiente em termos de tokens, evitando os custos massivos de contexto ao empacotar fluxos de vídeo/áudio brutos.
• Fronteira Futura: O artigo postula que a próxima fronteira é o Processamento de Muitas Modalidades (edição, auditoria, geração) em vez de apenas compreensão. A introdução do TerminalBench-O visa deslocar o foco da avaliação para essas capacidades ativas de nível de processo, onde os agentes de codificação detêm uma vantagem estrutural sobre modelos de ponta a ponta.
• Reprodutibilidade: Ao lançar Code-X, OmniCoding e TerminalBench-O, os autores fornecem uma base para a pesquisa de código aberto em inteligência agêntica multimodal, indo além da dependência de APIs omnimodais nativas proprietárias.

Em conclusão, o estudo demonstra que a percepção multimodal "nativa" não é estritamente necessária para agentes omnimodais de alto desempenho; em vez disso, a extração de evidência mediada por ferramentas dentro de um ambiente em sandbox pode gerar resultados superiores em termos de precisão e eficiência para uma ampla gama de tarefas de vídeo e áudio.