Resumo Técnico: Beyond Questions (BeQu)

Declaração do Problema

As atuais benchmarks para avaliar o conhecimento de Modelos de Linguagem de Grande Escala (LLM) dependem fortemente de pares pré-definidos de pergunta-resposta (QA). Os autores argumentam que esse paradigma sofre de um viés de disponibilidade fundamental: só pode avaliar o conhecimento que os designers da benchmark escolhem explicitamente consultar. Consequentemente, fatos fora do escopo dessas perguntas permanecem invisíveis, e um alto desempenho nessas benchmarks não implica necessariamente um conhecimento amplo e geral. Além disso, as benchmarks de QA existentes enfrentam problemas de saturação, vazamento de dados e sensibilidade a prompts. Embora trabalhos recentes sobre "materialização do conhecimento" tentem extrair conhecimento por meio de prompts abertos, não há um quadro sistemático para avaliar a confiabilidade, precisão e recall dessa elicitação de conhecimento aberto.

Metodologia: A Benchmark BeQu

O artigo introduz a Avaliação de Conhecimento Aberto, um paradigma que desloca o foco da recuperação de respostas para consultas fixas para a caracterização do conhecimento que os modelos naturalmente trazem à tona em resposta a prompts abertos (por exemplo, "Conte-me tudo o que você sabe sobre X"). Isso é concretizado através do BeQu (Beyond Questions), uma benchmark composta por 10.000 entidades e 6 GB de corpora de referência.

Construção da Benchmark

1. Seleção de Entidades: Três subconjuntos são definidos:
   • Aleatório: 10.000 artigos da Wikipedia filtrados por comprimento, contagem de declarações do Wikidata e não ambiguidade, depois classificados por um juiz LLM (Llama 4 Scout) quanto à informatividade e adequação.
   • Domínios: 100 entidades para cada um dos 10 domínios (por exemplo, Pessoa, Organização, Evento).
   • Inexistentes: 10 entidades fictícias criadas manualmente para testar alucinações.
2. Construção do Corpus de Referência: Para cada entidade, um corpus de referência é construído a partir do artigo completo da Wikipedia e de até 20 documentos da web (via API Brave Search). Um LLM extrai tripletas factuais (sujeito, predicado, objeto) dessas fontes para servir como verdade fundamental.
3. Protocolo de Avaliação: A avaliação trata a saída do modelo como um conjunto de tripletas elicidadas e as compara com o corpus de referência usando Entailment Textual (Inferência de Linguagem Natural) por meio de um juiz LLM.
   • Precisão: Mede a fração de tripletas geradas pelo modelo que são entailed pelo corpus de referência.
   • Recall: Mede a fração de tripletas de referência que são entailed pelas tripletas geradas pelo modelo.
   • Métricas: Precisão de Entailment, Recall e Pontuação F1.

Contribuições Principais

1. Mudança de Paradigma: Introdução da Avaliação de Conhecimento Aberto, indo além de pares QA pré-definidos para avaliar a expressão de conhecimento por meio de elicitação aberta.
2. Benchmark BeQu: Uma benchmark em grande escala com 10.000 entidades e corpora de referência projetados para medir tanto a precisão quanto o recall do conhecimento gerado.
3. Análise Empírica: Um estudo abrangente em 20 modelos (comerciais e de código aberto) analisando os efeitos do esforço de raciocínio, escala do modelo, formato do prompt e domínio de conhecimento.

Resultados Experimentais

1. Classificação de Modelos e Escala

• Desempenho: Modelos comerciais geralmente dominam os primeiros lugares (por exemplo, Claude Opus 4.6, Kimi K2.5, Gemini 3 Flash), embora vários modelos de pesos abertos cheguem notavelmente perto.
• Escala: As pontuações F1 geralmente aumentam com o tamanho do modelo dentro de famílias (por exemplo, Anthropic, OpenAI, Google). No entanto, os efeitos de escala variam: modelos maiores frequentemente mostram recall mais alto, mas às vezes precisão mais baixa.
• Fronteira Precisão-Recall: Existe um trade-off claro; nenhum modelo alcança simultaneamente alta precisão e alto recall. Os modelos se agrupam em "alta precisão/baixo recall" (por exemplo, GPT-5 Nano) ou "alto recall/precisão moderada" (por exemplo, Claude Opus 4.6). As pontuações F1 líderes são impulsionadas principalmente pelo recall, sugerindo que o fator limitante é frequentemente a falha do modelo em afirmar fatos conhecidos, em vez de afirmar incorretamente.

2. Esforço de Raciocínio

• Impacto Mínimo: Variar o esforço de raciocínio (baixo, médio, alto) em modelos como Claude Opus 4.6, GPT-5.4 e Gemini 3.1 Pro resultou em mudanças negligenciáveis nas pontuações F1 gerais (variações < 0,05). Isso sugere que o conhecimento factual é amplamente codificado e recuperado sem exigir etapas de raciocínio explícitas e esforçadas.

3. Domínio e Alucinação

• Variação de Domínio: O desempenho varia por domínio. "Evento" e "Conceito Científico" renderam as pontuações mais altas, enquanto "Pessoa" foi o mais fraco para todos os modelos testados, impulsionado principalmente por baixo recall.
• Alucinação: Em entidades inexistentes, apenas o GPT-5.4 se abstive completamente de gerar tripletas. Outros modelos (DeepSeek V3.2, Llama 4 Scout) alucinaram números significativos de tripletas.

4. Formato do Prompt e Restrições

• Restrições de Esquema: A imposição de esquemas de saída padronizados (por exemplo, Wikidata, Schema.org) melhorou substancialmente a precisão, mas colapsou drasticamente o recall.
• Aberto vs. Restrito: Prompts abertos renderam as melhores pontuações F1 gerais.
• Listas de Predicados: Listas de predicados pré-definidas foram o fator dominante no trade-off precisão-recall; removê-las recuperou recall substancial a um custo moderado de precisão.

5. Faixa de Tripletas

• Retornos Decrescentes: Aumentar o número solicitado de tripletas por entidade melhorou o recall e o F1 até certo ponto (por exemplo, GPT-5.4 atingiu o pico em 75–150 tripletas), após o qual o desempenho estagnou ou degradou devido a alucinações. Isso indica que os modelos possuem conhecimento latente não totalmente expresso quando restritos a pequenos volumes de saída.

Significado e Alegações

O artigo alega que o BeQu fornece um complemento necessário às benchmarks existentes baseadas em QA, abordando o viés de disponibilidade e medindo o espectro completo da expressão de conhecimento (tanto o que os modelos sabem quanto o que escolhem dizer).

As principais conclusões enfatizadas pelos autores incluem:

• Durabilidade da Benchmark: A geração de conhecimento aberto está longe de estar saturada, e modelos de código aberto são competitivos com os comerciais neste paradigma.
• A Tarefa "Irracional": Ao contrário de outras tarefas, o esforço de raciocínio explícito oferece benefícios negligenciáveis para a expressão de conhecimento aberto.
• Trade-offs: Embora a imposição de esquemas aumente a precisão, ela prejudica significativamente o recall, e tentativas explícitas de trocar precisão por recall via prompts têm efeito limitado.
• Padronização: Os autores propõem que a avaliação de conhecimento aberto deve se tornar uma dimensão padrão da avaliação de LLM ao lado do QA convencional.

Os autores reconhecem limitações, principalmente a dependência de um LLM como juiz (Llama 4 Scout) para entailment, o que pode propagar vieses sistemáticos, e o uso de subconjuntos amostrados (200 entidades) para a maioria dos experimentos devido a restrições computacionais.