Resumo Técnico: OmniaBench

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão evoluindo rapidamente de geradores de texto estáticos para agentes gerais capazes de compreender intenções do usuário, invocar ferramentas externas e completar tarefas complexas por meio de interação. No entanto, os benchmarks existentes para avaliar esses agentes sofem de limitações significativas: eles frequentemente focam em cenários estreitos, ecossistemas de ferramentas restritos ou formatos de interação isolados. Essa falta de diversidade torna difícil caracterizar sistematicamente as capacidades dos modelos através das configurações de aplicação heterogêneas encontradas no mundo real. Existe uma lacuna crítica entre a cobertura atual dos benchmarks e a natureza diversa, de múltiplos turnos, com estado (stateful) e baseada em restrições dos casos de uso de agentes do mundo real.

Metodologia

1. Taxonomia e Construção de Cenários

O OmniaBench aborda essa lacuna construindo uma taxonomia hierárquica fundamentada em ecossistemas de aplicações do mundo real. Os autores derivam o conhecimento dos cenários a partir de lojas de aplicativos, documentos de requisitos de produto (PRDs), recursos da indústria, recuperação web e refinamento humano. Isso resulta em uma taxonomia que abrange três configurações primárias:

• ToC (Consumidor): 22 Nível-1 e 101 Nível-2 domínios.
• ToB (Negócios): 38 Nível-1 e 186 Nível-2 domínios.
• ToE (Funcionário): 30 Nível-1 e 67 Nível-2 domínios.
  O escopo total cobre 90 domínios de Nível-1 e 354 domínios de Nível-2, proporcionando um espaço de domínio significativamente mais amplo do que os benchmarks centrados em um único ecossistema de ferramentas.

2. Síntese de Ambiente e Tarefa

Para cada domínio, a equipe constrói ambientes executáveis contendo entidades, variáveis de estado, ferramentas e configurações de inicialização. Estes são instanciados como classes Python com ambientes de sandbox controlados para operações de arquivos e código. As tarefas são sintetizadas através de quatro rotas complementares para garantir formas de interação diversas:

• DAG (Grafo Acíclico Dirigido): Foca na interação de múltiplos turnos com estado e execução de cadeia de ferramentas (tool-chain).
• DAG-S: Deriva tarefas de turno único a partir de tarefas baseadas em DAG através de refinamento de consulta.
• Solver (Solucionador): Visa cenários de seleção, agendamento, alocação e otimização usando síntese guiada por solver implícito ou explícito.
• Program (Programa): Foca em raciocínio procedimental complexo envolvendo ramificação, iteração, síntese de tarefa-programa e depuração.

O conjunto de dados resultante contém 1.431 tarefas, com um "conjunto desafiador" curado de 644 tarefas projetado para reduzir custos de avaliação e mitigar a contaminação de dados.

3. Estrutura de Avaliação

O OmniaBench emprega uma estrutura de avaliação baseada em trajetória unificada dentro de uma formulação de Processo de Decisão de Markov Parcialmente Observável (POMDP).

• Métricas: A métrica primária é o Pass@1.
• Pontuação: As tarefas são avaliadas usando uma taxonomia de capacidade de dez dimensões (Compreensão de Tarefa, Coleta de Informações, Planejamento e Tomada de Decisão, Gerenciamento de Estado, Uso de Ferramentas, Operações de Código e Programáticas, Análise de Dados, Manipulação de Escritório e Documentos, Colaboração Interativa, Confiabilidade e Segurança).
• Verificação: Critérios baseados em rubricas são usados para tarefas gerais, enquanto o VerifyCode é empregado para tarefas baseadas em programas para determinar resultados binários de passar/falhar com base em trajetórias e observações finais.
• Simulação: Interações de múltiplos turnos utilizam simuladores de usuário baseados em persona para controlar a dificuldade via preferências, estilos de comunicação e divulgação de informações.

Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Benchmark OmniaBench: Um benchmark rico em cenários e desafiador, integrando lojas de aplicativos do mundo real, PRDs e busca web para construir uma ampla taxonomia (ToC/ToB/ToE) instanciada em tarefas de agente executáveis e avaliáveis.
2. Taxonomia de Capacidade Multidimensional: Uma estrutura que caracteriza as capacidades do modelo através de dez dimensões distintas, permitindo uma análise diagnóstica detalhada além das taxas de sucesso agregadas.
3. Estrutura de Dificuldade Atômica Composicional: Um design que organiza os desafios das tarefas em torno da intenção do usuário, restrições de persona, estados do ambiente, execução de ferramentas, interação de múltiplos turnos, recuperação de erros e verificação de resultados.
4. Avaliação Sistemática: Uma avaliação abrangente de modelos tanto de código fechado quanto de código aberto, fornecendo evidências sobre limites de capacidade, especialização de domínio e padrões de erro.

Resultados

O benchmark apresenta desafios substanciais para os modelos de fronteira atuais:

• Teto de Desempenho: Mesmo os modelos mais avançados testados, Claude-Sonnet-5 e GPT-5.6-Sol, alcançaram pontuações de Overall Pass@1 de apenas 58,54% e 57,14%, respectivamente.
• Variância de Capacidade: O desempenho é altamente não uniforme através das dez dimensões de capacidade. Modelos com pontuações gerais semelhantes exibem forças marcadamente diferentes (ex: em Compreensão de Tarefa vs. Gerenciamento de Estado).
• Variância de Domínio: Diferenças significativas de desempenho existem entre as divisões ToB, ToC e ToE. Por exemplo, enquanto alguns modelos se destacam no ToB, seu desempenho pode cair no ToE, indicando que uma única métrica agregada não pode caracterizar totalmente a aplicabilidade prática.
• Eficiência: Modelos com taxas de sucesso comparáveis frequentemente diferem significamente em eficiência de uso de ferramentas. Alguns requerem exploração redundante e interações circuitais, enquanto outros alcançam resultados com sequências de ferramentas compactas e direcionadas.
• Análise de Erros: Falhas relacionadas ao raciocínio representam 53,8% dos erros, sendo planejamento/decomposição (36,7%) e violações de restrição (16,5%) os principais contribuintes. Erros diretos de uso de ferramenta (ex: formatação) constituem uma proporção menor, sugerindo que os gargalos residem em planejamento de longo horizonte e correção adaptativa, em vez de invocação básica.

Significância

O OmniaBench fornece um benchmark amplo e diagnóstico para caracterizar os limites de capacidade de agentes gerais. Os autores argumentam que, à medida que as taxas de sucesso de tarefas gerais melhoram, uma única pontuação agregada torna-se insuficiente. Em vez disso, o benchmark oferece uma base sistemática para analisar habilidades específicas, especializações de domínio e padrões de falha. Ao revelar limitações persistentes em planejamento, manutenção de restrições e correção adaptativa, o OmniaBench serve como uma ferramenta crítica para guiar o desenvolvimento de agentes de IA gerais mais robustos, eficientes e confiáveis, capazes de operar em diversos cenários do mundo real.