Resumo Técnico: EuroExec – Modelos de Linguagem de Fronteira Ficam Aquém do Julgamento Especialista em Tarefas de Decisão Executiva Europeia

1. Declaração do Problema

A avaliação de IA generativa tem dependido tradicionalmente de tarefas de questões fechadas com métricas determinísticas (ex: múltipla escolha, execução de código ou tradução com referências de padrão ouro). No entanto, esses benchmarks falham em capturar a natureza das aplicações do mundo real onde os Grandes Modelos de Linguagem (LLMs) estão cada vez mais sendo implantados: geração de texto de formato longo e aberto que exige julgamento profissional, como a tomada de decisão executiva. Nesses cenários, não existe uma única resposta "correta", mas sim um padrão profissional que especialistas humanos podem reconhecer.

Os métodos de avaliação atuais enfrentam dois desafios primários:

1. Contaminação de Dados: Os modelos podem ter sido treinados em benchmarks públicos com respostas definitivas, inflando as métricas de desempenho através da regurgitação em vez de um raciocínio genuíno.
2. Fidelidade de Avaliação: Métricas automáticas (ex: BLEU, ROUGE) e juízes de IA (LLMs avaliando LLMs) frequentemente falham em replicar a nuance, a subjetividade e a consistência do julgamento especializado humano, particularmente em tarefas complexas e específicas de domínio.

Este artigo aborda essa lacuna introduzindo o EuroExec, um benchmark projetado para avaliar LLMs de fronteira em tarefas de decisão executiva europeia de formato aberto, e comparando rigorosamente as avaliações de especialistas humanos contra métricas automáticas.

2. Metodologia

2.1 O Benchmark EuroExec

Os autores construíram um conjunto de dados de 413 perguntas de formato aberto e longo texto elaboradas por 47 especialistas no domínio com experiência profissional certificada na Europa. As perguntas são divididas em quatro domínios:

• Finanças (74 perguntas)
• Marketing (85 perguntas)
• Negócios (113 perguntas)
• Produto (141 perguntas)

Formulação das Perguntas:
Cada item é um cenário autossuficiente e orientado a objetivos (aprox. 200 palavras) descrevendo uma situação de negócios real com pontos de fricção específicos (ex: restrições regulatórias, custos de mão de obra, fragmentação de mercado). Crucialmente, cada pergunta é acompanhada por um checklist de 5 a 10 critérios específicos (verdade fundamental/ground truth) que uma resposta de alta qualidade deve satisfazer.

Pipeline de Validação:
Para garantir que as perguntas desafiem os modelos atuais e não sejam trivialmente solúveis por sistemas automatizados, foi empregado um pipeline de validação de dois estágios:

1. QA Automatizado: Um LLM (Claude Sonnet 4.6) rejeitou itens baseando-se em critérios como vazamento de dicas (hint leakage), relevância do checklist e segurança.
2. Portão de Dificuldade: Dois LLMs diferentes (Claude Haiku 4.5 como solver e Gemini Flash 3.5 como grader) tentaram resolver as perguntas contra o checklist. As perguntas foram iterativamente reescritas até que a taxa de cumprimento automático caísse abaixo de um limiar de 60%, garantindo que as tarefas exigissem raciocínio genuíno em vez de correspondência de padrões (pattern matching).

2.2 Seleção de Modelos e Geração de Respostas

Seis LLMs de fronteira foram avaliados via suas APIs de provedor usando configurações de decodificação padrão, sem contexto adicional ou ferramentas:

• Fable 5 (Anthropic)
• Claude Opus 4.8 (Anthropic)
• GPT-5.5 (OpenAI)
• Gemini 3.1 Pro (Google)
• GLM-5.2 (Zhipu AI)
• Mistral Large (Mistral AI)

2.3 Protocolo de Avaliação Humana

O cerne do estudo é um esforço massivo de avaliação humana envolvendo >4.000 horas de especialistas. As respostas foram avaliadas por dois especialistas independentes do domínio por pergunta usando três instrumentos:

1. Pontuação de Rubrica: Uma escala Likert de 5 pontos em cinco atributos: Domínio (precisão factual), Localização (contexto do mercado europeu), Raciocínio (lógica), Comunicação (estrutura para executivos) e Capacidade de Ação (planos concretos).
2. Cumprimento de Checklist: Uma avaliação binária/parcial de se a resposta atendeu aos critérios específicos definidos no checklist da pergunta.
3. Ranking de Preferência: Um ranking explícito de todas as seis respostas dos modelos para uma determinada pergunta.

Métrica Agregada: Os autores introduziram a "Taxa de Solução" (Solve Rate - SR). Uma resposta é considerada "resolvida" se atingir uma pontuação média de rubrica $\ge$ 3.0 E uma taxa de cumprimento de checklist $\ge$ 60%.

2.4 Análise Comparativa

O estudo também avaliou:

• Baseline Humano: Para um subconjunto de 33 perguntas, especialistas escreveram respostas ideais, que foram avaliadas cegamente como um sétimo "modelo".
• Métricas Automáticas: As pontuações ROUGE-Lsum e BLEU foram computadas contra as respostas escritas pelos especialistas.
• Juízes de IA: Um LLM independente (DeepSeek v4-Pro) foi usado para avaliar o conjunto de dados completo usando os mesmos três instrumentos para testar a confiabilidade do "LLM-as-a-Judge" (LLM como Juiz).

3. Resultados Principais

3.1 Lacuna de Desempenho

Os resultados demonstram uma lacuna de desempenho significativa entre os modelos de fronteira e os especialistas humanos:

• Especialistas Humanos: Alcançaram uma Taxa de Solução de 92,4% e uma taxa de cumprimento de checklist de 94,9%.
• Melhor Modelo de Fronteira (Fable 5): Alcançou apenas 56,9% de Taxa de Solução e 61,9% de cumprimento de checklist.
• Rankings de Preferência: Em rankings de preferência cegos, as respostas escritas por humanos foram preferidas sobre cada resposta de modelo em 74,24% dos casos.

Mesmo os modelos mais fortes mal ultrapassaram uma Taxa de Solução de 50% no subconjunto mais fácil de perguntas, indicando que estão longe dos padrões profissionais exigidos para a tomada de decisão executiva.

3.2 Análise Dimensional

• Raciocínio vs. Comunicação: Os modelos geralmente tiveram melhor desempenho em Comunicação e Localização (estrutura de texto e costumes locais), mas mostraram o desempenho mais fraco em Raciocínio.
• Correlação de Domínio: O desempenho foi altamente correlacionado entre os domínios, com exceção de Finanças, onde o GPT-5.5 teve um desempenho inferior em relação ao seu patamar nos outros domínios, sugerindo limitações no raciocínio numérico.
• Significância Estatística: Testes t pareados confirmaram que o ranking dos modelos é estatisticamente significativo ($p < 0,01$) com apenas 100 amostras, e altamente significativo ($p \approx 1,26 \times 10^{-6}$) com o total de 413 itens.

3.3 Consistência de Avaliação

• Consistência Humana: A concordância entre anotadores foi alta, particularmente para itens de checklist. Embora as métricas subjetivas (rubrica, preferência) tenham se correlacionado bem entre si, o checklist forneceu um sinal mais objetivo que foi consistente entre os diferentes avaliadores.
• Juízes de IA vs. Humanos: Embora o juiz de IA (DeepSeek v4-Pro) tenha mostrado uma forte correlação com os rankings humanos, ele falhou em replicar a diversidade e a nuance da avaliação humana. O juiz de IA tendeu a superestimar os modelos de topo e subestimar os modelos mais fracos, produzindo avaliações "nítidas" que careciam da heterogeneidade da opinião humana.
• Métricas Automáticas: As métricas tradicionais (BLEU, ROUGE) mostraram correlação fraca com as pontuações de rubrica humana e falharam em prever os rankings dos modelos com precisão.

4. Principais Contribuições

1. Benchmark EuroExec: Um novo benchmark de autoria humana com 413 tarefas executivas europeias complexas e de formato aberto, projetado para testar o julgamento profissional em vez da recuperação de conhecimento.
2. Avaliação Humana Rigorosa: Um estudo de larga escala utilizando >4.000 horas de especialistas para avaliar modelos em múltiplas dimensões, estabelecendo um novo padrão para a avaliação de geração de formato aberto.
3. Evidência Empírica de Limitações: Prova quantitativa de que mesmo os LLMs de fronteira mais capazes ficam aquém dos padrões profissionais na tomada de decisão executiva, resolvendo menos de 60% das tarefas comparado a >90% para humanos.
4. Crítica à Metodologia de Avaliação: Uma demonstração de que métricas automáticas e juízes de IA são substitutos insuficientes para a avaliação humana em tarefas com verdades fundamentais subjetivas, pois falham em capturar a nuance e a diversidade necessárias do julgamento especialista.

5. Significância e Alegações

O artigo alega que, para tarefas profissionais de formato aberto, a avaliação humana permanece inigualável pelos métodos automáticos atuais. Os autores argumentam que o campo deve ir além dos benchmarks de questões fechadas que são suscetíveis à contaminação de dados e depender de uma avaliação rigorosa e centrada no humano para avaliar verdadeiramente as capacidades dos modelos generativos em cenários do mundo real.

O estudo conclui que, embora os modelos de fronteira estejam melhorando, eles ainda não estão prontos para substituir especialistas humanos em tomadas de decisão executivas de alto risco. Além disso, a dependência de juízes de IA ou métricas determinísticas para avaliar tais tarefas leva a conclusões enganosas sobre as capacidades dos modelos. Os autores enfatizam que a métrica "Taxa de Solução", derivada do julgamento humano, fornece uma medida mais honesta e confiável de progresso neste domínio.

Limitações Reconhecidas:

• O estudo é intensivo em recursos, o que limita o número de respostas ideais escritas por especialistas (apenas 33 de 413).
• A reprodutibilidade é desafiadora devido ao custo e à coordenação necessários para a avaliação humana.
• A análise foca em cenários factuais e autossuficientes e ainda não aborda tarefas envolvendo dados de baixa qualidade ou incertos (ex: saúde).
• Apenas um LLM foi testado como juiz de IA, embora os autores acreditem que os achados sejam representativos da classe de juízes de IA.