Resumo Técnico: OmegaUse-OfficeVal

Definição do Problema

Espera-se cada vez mais que os agentes de Grandes Modelos de Linguagem (LLMs) transitem da interação em linguagem natural para a entrega de produtos de trabalho concretos, especificamente no domínio do "vibe working" — a conclusão de tarefas de longo horizonte em suítes de escritório. No entanto, os benchmarks existentes falham em avaliar adequadamente se os agentes podem realizar esses fluxos de trabalho a um custo econômico razoável. Os benchmarks de produtividade atuais (ex: GDPVal, RLI) frequentemente carecem de anotações econômicas ao nível da tarefa ou restringem o acesso a saídas de referência. Benchmarks de automação de escritório (ex: OfficeBench, OdysseyBench) tipicamente focam em operações de curto horizonte, sintéticas ou limitadas, sem medir o tempo de trabalho humano ou o valor de mercado. Consequentemente, há uma falta de frameworks de avaliação rigorosos que determinem se um agente pode produzir um artefato correto e utilizável para uma tarefa de escritório de longo horizonte, enquanto quantifica o trabalho humano associado e o valor econômico.

Metodologia

Construção do Benchmark: OmegaUse-OfficeVal

Os autores introduzem o OmegaUse-OfficeVal, um benchmark composto por 100 tarefas de longo horizonte em suítes de escritório derivadas de solicitações autênticas de profissionais. O pipeline de construção envolve quatro estágios principais:

1. Coleta e Triagem de Tarefas: Partindo de 1.715 tarefas propostas por profissionais, um processo de triagem baseado em funil filtra por relevância no mundo real, clareza e não-trivialidade. Um conjunto final de 100 tarefas é selecionado com base no acordo entre especialistas seniores, garantindo que representem fluxos de trabalho tipicamente atribuídos a trabalhadores juniores ou estagiários, mas que exigem execução sustentada.
2. Adaptação de Preservação de Privacidade: As instruções das tarefas são reescritas para remover informações sensíveis enquanto preservam a intenção do usuário. Os arquivos de entrada (DOCX, PPTX, XLSX, PDF, imagens, vídeos) são reconstruídos usando assistência de LLM e revisados manualmente para garantir realismo e fidelidade aos requisitos originais da tarefa.
3. Fundamentação Econômica: Cada tarefa é anotada com dois sinais econômicos:
   • Tempo de Trabalho Humano: Tempo registrado para anotadores qualificados completarem a tarefa sem assistência de LLM. O valor final é a média dos dois tempos de conclusão válidos mais curtos por tarefa (coletados de 20 anotadores).
   • Proxy de Preço da Tarefa: Um preço de mercado estimado. Para cerca de 20% das tarefas, são usados preços explícitos de profissionais. Para o restante, três especialistas de domínio fornecem estimativas independentes, que são agregadas usando um método de rejeição de outliers baseado em consistência para derivar um preço final.
4. Verificação Baseada em Código: Para garantir uma avaliação reproduzível e estável, os autores evitam a pontuação por humanos ou LLM-as-judge (LLM como juiz). Em vez disso, eles desenvolvem verificadores baseados em código derivados de rubricas detalhadas.
   • Rubricas: Cada tarefa possui uma rubrica de usabilidade (verificando se o artefato é válido, abrível e editável) e uma rubrica de conclusão de tarefa (recompensando requisitos concluídos e penalizando danos não pretendidos).
   • Pontuação: Uma tarefa deve passar em todos os testes de usabilidade para receber uma pontuação diferente de zero. A pontuação final é uma soma ponderada normalizada de itens de conclusão de tarefa, limitada a zero para evitar pontuações negativas.

Configuração Experimental

O benchmark avalia vários LLMs de fronteira (GLM-5.2, Kimi K2.6, DeepSeek-V4-Pro, MiniMax M3, Qwen3.7-Plus) contra um baseline humano. O baseline humano utiliza a submissão de maior pontuação do processo de anotação para representar uma referência de "melhor trabalhador júnior". O benchmark inclui as seguintes métricas de avaliação:

• Score (Pontuação): Qualidade agregada da conclusão da tarefa.
• Time-Weighted Score (Pontuação Ponderada pelo Tempo): Desempenho ponderado pelo tempo de trabalho humano.
• Price-Weighted Score (Pontuação Ponderada pelo Preço): Desempenho ponderado pelo proxy de preço da tarefa.
• Eficiência: Custo e tempo de execução por tarefa.

Resultados Principais

Desempenho vs. Baseline Humano

• Lacuna de Qualidade: O baseline humano atinge uma pontuação de 27,79, superando substancialmente todos os LLMs avaliados. O modelo com melhor desempenho, GLM-5.2, atinge uma pontuação de 17,91.
• Taxas de Falha: Humanos produzem o menor número de tarefas com pontuação zero (29%). Entre os LLMs, o GLM-5.2 possui a maior proporção de tarefas de alta pontuação (>50), enquanto o DeepSeek-V4-Pro e o MiniMax M3 exibem altas taxas de pontuação zero (50% e 51%, respectivamente), indicando falhas completas frequentes em tarefas complexas.
• Eficiência: Todos os LLMs avaliados são significativamente mais baratos e rápidos que os trabalhadores humanos. Por exemplo, o Qwen3.7-Plus custa apenas $0,22 por tarefa e leva 0,19 horas, comparado à média humana de $6,86 e 2,32 horas.

Insights Econômicos e de Valor Ponderado

• Discrepância de Valor Ponderado: O modelo com a maior pontuação média (GLM-5.2) não é necessariamente aquele que captura as tarefas economicamente mais importantes. O Qwen3.7-Plus atinge as maiores pontuações ponderadas por tempo e por preço, sugerindo que ele performa relativamente melhor em tarefas de alto valor ou intensivas em mão de obra, apesar de ter uma média bruta ligeiramente inferior.
• Correlação de Dificuldade: Existe uma correlação negativa entre o tempo de trabalho humano e as pontuações das tarefas. Tarefas que exigem mais esforço humano tendem a receber pontuações mais baixas tanto de humanos quanto de LLMs, sendo o declínio mais pronunciado para os LLMs. Isso indica que os agentes atuais têm dificuldade em manter o estado e a qualidade ao longo de fluxos de trabalho extensos e complexos.

Contribuições

1. Benchmark OmegaUse-OfficeVal: Um conjunto de dados totalmente open-source de 100 tarefas autênticas de longo horizonte em suítes de escritório, com entradas e saídas multimodais, cobrindo diversos domínios e intenções de operação.
2. Fundamentação Econômica ao Nível da Tarefa: A introdução de anotações de tempo de trabalho humano e proxy de preço de tarefa para cada tarefa, permitindo análise direta de custo-benefício e avaliação ponderada pelo valor do desempenho do agente.
3. Protocolo de Verificação Baseado em Código: Um framework de avaliação determinístico usando rubricas detalhadas e código executável para garantir uma pontuação estável, reproduzível e objetiva dos entregáveis finais, evitando a subjetividade da avaliação humana ou de LLM-as-judge.
4. Avaliação Empírica: Uma avaliação abrangente mostrando que, embora os agentes de LLM atuais ofereçam ganhos significativos de eficiência (menor custo e tempo), eles ainda não atingiram o nível de qualidade de entrega humana em fluxos de trabalho de escritório de longo horizonte.

Significância

O artigo posiciona o OmegaUse-OfficeVal como um campo de teste rigoroso para rastrear o progresso em direção ao "vibe working" confiável. Ao deslocar o foco da avaliação da alcançabilidade do estado do ambiente para a qualidade e usabilidade dos artefatos de escritório finais, e ao fundamentar as tarefas na realidade econômica, o benchmark aborda lacunas críticas na pesquisa atual de agentes de produtividade. Os autores afirmam que o benchmark e seus ativos liberados (código, dataset, rubricas) fornecem uma base necessária para o desenvolvimento de agentes que possam não apenas executar tarefas de escritório, mas fazê-lo com um nível de qualidade e viabilidade econômica adequado para implantação no mundo real. Os resultados sugerem que, embora as vantagens de eficiência já estejam presentes, o principal desafio para os futuros agentes reside em melhorar a qualidade do entregável para igualar os padrões humanos em cenários complexos de longo horizonte.