MARCA: A Checklist-Based Benchmark for Multilingual Web Search

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados como fontes de informação, dependendo da sua capacidade de buscar na web, selecionar evidências relevantes e sintetizar respostas completas. No entanto, a literatura atual apresenta lacunas significativas:

• Viés Linguístico: A maioria dos benchmarks existentes foca no inglês, negligenciando idiomas como o português, que possui mais de 250 milhões de falantes nativos.
• Falta de Avaliação Multilíngue Específica: Não há avaliações robustas que testem a capacidade de agentes de IA de realizar buscas na web e responder com base em evidências em português.
• Limitações de Tradução Simples: Traduzir benchmarks de inglês para português é insuficiente, pois ignora dinâmicas de recuperação, disponibilidade de conteúdo e conhecimento regional específicos.

2. Metodologia

O trabalho apresenta o MARCA (Maritaca AI Research Checklist evAluation), um benchmark bilíngue (Inglês e Português) projetado para avaliar a busca de informações na web.

• Construção do Dataset:
  • 52 Questões: Criadas manualmente, cobrindo 9 domínios temáticos.
  • Foco em Multi-entidades: As perguntas exigem que o modelo identifique, recupere e associe informações sobre múltiplas entidades, frequentemente exigindo a construção de listas estruturadas.
  • Rubricas Baseadas em Checklist: Cada pergunta é acompanhada por uma lista de verificação (checklist) manualmente curada. Esses checklists especificam as entidades esperadas e os atributos necessários, permitindo uma avaliação granular de correção e completude. Alguns checklists são dinâmicos, atualizados no momento da avaliação para refletir o estado atual da web.
• Frameworks de Avaliação:
  Os modelos foram testados em dois cenários de interação distintos:
  1. Framework Básico: Um único modelo tem acesso direto às ferramentas web_search e web_scrape. O modelo deve gerenciar todo o processo de busca, extração e síntese em um único contexto de raciocínio (até 40 iterações).
  2. Framework Orquestrador: Utiliza uma arquitetura hierárquica de múltiplos agentes. Um modelo "orquestrador" de alto nível decompõe a tarefa complexa em sub-questões e delega a agentes subordinados (subagents) a execução das buscas na web. O orquestrador não interage diretamente com a web, apenas sintetiza os resultados parciais.
• Protocolo Experimental:
  • Cada pergunta foi executada 3 vezes para capturar a estocasticidade dos modelos.
  • A avaliação foi realizada por um juiz baseado em LLM (GPT-4.11), que compara a resposta gerada contra o checklist, gerando uma pontuação binária (satisfeito/não satisfeito) para cada item.
  • A métrica principal é a Precisão do Checklist (Checklist Accuracy), calculada como a fração de itens satisfeitos.

3. Principais Contribuições

1. Novo Benchmark Bilíngue: O MARCA oferece versões paralelas em inglês e português com 52 questões e rubricas validadas, permitindo a comparação direta de desempenho entre idiomas.
2. Avaliação Baseada em Checklist: Introduz uma metodologia de avaliação que mede explicitamente a completude e a correção factual em tarefas de múltiplas entidades, superando avaliações qualitativas vagas.
3. Comparação de Arquiteturas: Estuda sistematicamente como o design de interação (uso direto de ferramentas vs. delegação em agentes) impacta o desempenho na busca de informações.
4. Análise de Transferência Linguística: Fornece dados empíricos sobre como os modelos transferem capacidades de busca da web do inglês para o português.

4. Resultados Chave

• Variação de Desempenho: Houve uma grande disparidade entre os modelos avaliados (14 modelos testados). Os melhores sistemas (ex: Gemini-3-pro, GPT-5.2) alcançaram cerca de 0,90 de precisão no checklist, enquanto os piores (ex: Gemini-2.5-Flash-Lite) ficaram em torno de 0,26.
• Impacto do Framework (Orquestração):
  • Para a maioria dos modelos, o modo Orquestrador melhorou a cobertura do checklist em comparação ao modo Básico.
  • A decomposição de tarefas foi particularmente benéfica para modelos que têm dificuldade em gerenciar múltiplas entidades simultaneamente em um único contexto.
  • Modelos já muito fortes (ex: GPT-4.1) não necessariamente se beneficiaram da orquestração, e em alguns casos, o overhead de decomposição pode ter sido prejudicial.
• Impacto do Idioma (Inglês vs. Português):
  • O desempenho não é uniforme ao mudar de inglês para português.
  • Alguns modelos mantiveram ou até melhoraram ligeiramente o desempenho em português.
  • Outros sofreram degradação significativa (gaps > 5% de precisão), indicando que a capacidade de formular consultas eficazes e interpretar páginas em português varia drasticamente entre os modelos.
  • Observou-se que alguns modelos podem traduzir implicitamente consultas para inglês, o que falha quando a resposta depende de conteúdo específico do ecossistema brasileiro/português.
• Custo vs. Desempenho: Existe uma correlação geral entre maior custo de inferência e maior precisão, mas a relação não é linear. Modelos intermediários oferecem boas taxas de acurácia por custo, sugerindo que há espaço para escolhas otimizadas baseadas em orçamentos.

5. Significância e Conclusão

O MARCA preenche uma lacuna crítica na avaliação de LLMs, demonstrando que a busca na web e a síntese de informações são tarefas complexas que dependem não apenas da compreensão linguística, mas também de dinâmicas de recuperação específicas de cada idioma e ecossistema de conteúdo.

O estudo conclui que:

1. A orquestração de agentes é uma estratégia eficaz para melhorar a completude em tarefas complexas de múltiplas entidades.
2. A avaliação multilíngue não pode ser inferida apenas a partir de testes em inglês; existem falhas específicas na recuperação de informações em português.
3. Praticantes devem considerar o trade-off entre custo e precisão, pois diferentes modelos ocupam pontos distintos na fronteira de Pareto.

O benchmark está disponível publicamente no repositório GitHub da Maritaca AI, incentivando o desenvolvimento de agentes de busca mais robustos e culturalmente adaptados.