💬 NLP

Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness

Este artigo apresenta o GAMUT, um novo benchmark e uma estrutura de rubrica meta de dois níveis projetada para avaliar a completude factual de gerações de formato longo e abertas, convertendo requisitos de conteúdo estruturado em listas de verificação passíveis de graduação por máquina, revelando que os modelos de fronteira atuais têm dificuldade em alcançar uma cobertura abrangente através de diversos domínios baseados em evidências.

Autores originais: Xilun Chen, Zhaleh Feizollahi, Ross Goodwin, Seungwhan Moon, Scott Yih, Pinar Donmez, Babak Damavandi, Luna Dong

Publicado 2026-07-22

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xilun Chen, Zhaleh Feizollahi, Ross Goodwin, Seungwhan Moon, Scott Yih, Pinar Donmez, Babak Damavandi, Luna Dong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Busca pela Resposta Completa

Imagine que você está ensinando um robô a ser um assistente útil. Você não quer apenas que ele evite mentir; você quer que ele seja genuinamente útil. No mundo da inteligência artificial, esta é a diferença entre precisão e revocação (ou recall). Pense na precisão como um professor rigoroso que só te dá um "X" vermelho se você escrever algo errado. Se você disser: "O céu é verde", o professor marca como errado. Mas se você disser: "O céu é azul", o professor lhe dá uma estrela de ouro, mesmo que você tenha esquecido de mencionar que ele também é azul com nuvens brancas, ou que muda de cor ao pôr do sol. Isso é precisão: verificar se o que você disse é verdadeiro.

Agora, pense na revocação como um tipo diferente de professor que pergunta: "Você me contou tudo o que sabe sobre o céu?" Se você disse apenas "O céu é azul", este professor pode dizer: "Isso é verdade, mas você esqueceu as nuvens e o pôr do sol. Você não me deu o quadro completo". Por muito tempo, os pesquisadores de IA foram ótimos no primeiro professor (precisão), garantindo que os robôs não alucinem fatos falsos. Mas eles tiveram dificuldades com o segundo professor (revocação). Eles não tinham uma boa maneira de medir se a resposta de um robô é completa, especialmente quando a resposta não é apenas uma lista de fatos, mas uma história complexa com etapas, relações e detalhes abertos. Este artigo entra nesse vazio, perguntando: "Como avaliamos uma IA não apenas pelo fato de ela estar certa, mas pelo fato de ela ser minuciosa?"

Surge o GAMUT: O Teste do "Você Esqueceu Algo?"

Os pesquisadores da Meta AI construíram um novo benchmark chamado GAMUT (Grounded Assessment of Multimodal Factuality). Pense no GAMUT como um jogo de trivia super desafiador, projetado para testar se uma IA pode ser uma "pesquisadora profunda" em vez de apenas uma recitadora de fatos.

Aqui está a configuração: Imagine que você está usando óculos inteligentes. Você olha para uma massa estranha e descascada em uma padaria, ou um motor de carro estranho, ou um tipo específico de planta. Você pergunta aos seus óculos: "O que é isso e como é feito?". A IA tem que olhar para a imagem, ir até a internet, buscar informações de múltiplas fontes e escrever uma resposta longa e detalhada.

O problema com os testes anteriores era que eles tratavam as respostas como uma lista de verificação simples. Eles perguntavam: "Você mencionou arroz?" Sim. "Você mencionou tomates?" Sim. "Passou!". Mas a vida real não é uma lista plana. Às vezes, você precisa saber a ordem das etapas (você não pode fritar o arroz antes de lavá-lo). Às vezes, você precisa saber que existem muitos ingredientes válidos, e você só precisa nomear o suficiente deles para ser útil, não todos os existentes no mundo. Às vezes, você precisa explicar por que algo acontece, conectando dois fatos. Uma simples lista de "sim/não" falha em capturar essas nuances.

O Truque de Mágica de Dois Níveis
Para resolver isso, os autores inventaram um sistema de graduação inteligente de duas etapas, que chamam de Meta-Rubrica de Dois Níveis.

Nível 1: O Plano Mestre (A Meta-Rubrica). Primeiro, um especialista humano (auxiliado por uma IA inteligente) cria um "Plano Mestre" detalhado do que seria uma resposta perfeita. Este plano não é apenas uma lista; é um mapa estruturado. Ele diz: "Ok, para esta pergunta, você deve identificar o prato (Crítico). Você deve listar os ingredientes principais (Crítico). Você deveria mencionar pelo menos dois destes temperos opcionais (Flexível). E você deve descrever as etapas de cozimento na ordem exata (Processo)". Este nível captura a realidade complexa e desordenada de uma boa resposta.
Nível 2: A Lista de Verificação (A Rubrica Binária). Aqui está o truque. O computador então traduz mecanicamente esse Plano Mestre complexo em uma lista longa e plana de perguntas simples de "Passa/Falha" que um juiz robô pode avaliar facilmente. Ele transforma "Você precisa cobrir temperos opcionais suficientes" em uma verificação específica: "A resposta mencionou pelo menos 2 destes 6 temperos específicos?". Ele transforma "Faça as etapas em ordem" em uma verificação: "A resposta disse 'fritar' antes de 'cozinhar em fogo baixo'?".

Dessa forma, os humanos podem projetar um teste rico e matizado, mas a avaliação é feita por um robô marcando caixas simples, o que é muito mais confiável e consistente do que pedir a um robô para "adivinhar" o quão boa uma resposta parece ser.

O Jogo: 1.813 Perguntas e Imagens Reais

A equipe construiu um enorme conjunto de dados chamado GAMUT contendo 1.813 perguntas. Estas não são perguntas inventadas; elas são baseadas em fotos reais tiradas por pessoas usando óculos inteligentes. As fotos mostram coisas cotidianas: um tipo específico de sapato, um ponto turístico local, um vegetal estranho ou uma peça de carro. As perguntas são projetadas para serem uma "pesquisa profunda do dia a dia" — coisas que uma pessoa curiosa realmente perguntaria enquanto observa algo, mas que exigem uma busca profunda na internet para serem respondidas totalmente.

Eles testaram 14 modelos de IA diferentes (tanto os grandes e caros de gigantes da tecnologia quanto os de código aberto) neste benchmark. Os resultados foram reveladores.

As Descobertas:

É Difícil. Mesmo o modelo mais inteligente, o Gemini 3.1 Pro, obteve uma pontuação de 58,7%. Isso é mal uma nota de passagem no ensino médio! Isso significa que a melhor IA do mundo ainda está perdendo uma grande parte das informações que uma resposta completa deveria ter.
Omissão vs. Erro. O maior problema não foi que as IAs estavam mentindo (contradizendo fatos). O maior problema foi a omissão. Os modelos estavam pulando detalhes importantes. Eles eram como alunos que escreveram um ensaio curto quando o professor pediu um livro. Eles acertaram os fatos principais (precisão), mas não contaram a história toda (completude).
O "Imposto" da Visão. Os pesquisadores também testaram os modelos sem as imagens (apenas texto). Quando fizeram isso, as pontuações subiram cerca de 10 a 20 pontos para todos. Isso mostra que parte da dificuldade era apenas "enxergar" o objeto corretamente. Mas mesmo após remover a parte da visão, os modelos ainda tinham lacunas de conhecimento. O ranking dos modelos permaneceu o mesmo, provando que o teste está realmente medindo o quanto a IA sabe, e não apenas o quão bem ela vê.
Robustez. Eles testaram os resultados com três "juízes" de IA diferentes. O ranking permaneceu o mesmo, não importa quem estivesse fazendo a avaliação, o que significa que o teste é justo e confiável.

Por Que Isso Importa

Este artigo não diz apenas que "a IA está melhorando". Ele diz: "Temos uma nova maneira de medir se a IA é realmente útil". Ao ir além de simples verificações de "este fato é verdadeiro?" para verificações de "você cobriu todo o tópico?", o GAMUT revela que mesmo nossos modelos mais avançados ainda estão perdendo a floresta por causa das árvores. Eles podem dizer que um fato é verdadeiro, mas frequentemente esquecem de contar a história toda.

Os autores sugerem que, para a IA ser verdadeiramente um assistente útil em nossas vidas diárias — ajudando-nos a cozinhar, consertar coisas ou aprender sobre o mundo — ela precisa dominar a completude factual. O GAMUT nos dá a régua para medir esse progresso e, no momento, as réguas mostram que temos um longo caminho a percorrer. Os melhores modelos estão apenas cerca de 60% do caminho, deixando muito espaço para a próxima geração de IA aprender a ser verdadeiramente minuciosa.

Resumo Técnico: GAMUT – Um Benchmark para Completude Factual em Geração de Texto Aberto

Definição do Problema

A avaliação atual da factualidade de IA generativa de longo formato tem se concentrado predominantemente na precisão: determinar se as afirmações específicas que um modelo faz são corretas. O paradigma dominante, decompor-pesquisar-verificar (DSV), decompõe as respostas em alegações atômicas e as verifica contra documentos recuperados. No entanto, essa abordagem ignora amplamente a revocação (recall): se uma resposta contém todas as informações que uma resposta completa deveria possuir.

O artigo argumenta que reduzir a factualidade a uma lista plana de verificações booleanas independentes é uma limitação fundamental. Esse modelo falha em capturar:

Cobertura aberta: Muitas perguntas exigem a cobertura de um subconjunto suficiente de um conjunto grande e ilimitado de fatos aceitáveis (ex: listar pratos tradicionais usando um ingrediente específico), onde nenhum item é obrigatório.
Processos ordenados: A qualidade de uma resposta muitas vezes depende da sequência correta de etapas, que verificações independentes não conseguem avaliar.
Relacionamentos estruturais: Os fatos frequentemente existem em contextos hierárquicos ou relacionais que uma simples lista de verificação não consegue representar.

Consequentemente, os métodos existentes têm dificuldade em medir a completude factual, a "outra metade" da factualidade.

Metodologia: O Framework de Meta-Rubrica de Dois Níveis

Para abordar a tensão entre a expressividade necessária para descrever uma boa resposta e a confiabilidade exigida para a graduação automática, os autores introduzem um framework de meta-rubrica de dois níveis.

1. Meta-Rubrica Estruturada (Espaço de Anotação)

Neste nível, uma representação estruturada captura a organização, importância e relações do conteúdo necessário. Ela é fundamentada em evidências da web verificadas por humanos. O framework define cinco tipos de itens:

Conhecimento Simples: Fatos discretos (ex: identidade de uma entidade).
Lista Estrita: Um conjunto finito onde todos os itens são obrigatórios.
Lista Flexível: Um conjunto de opções válidas onde um limiar mínimo de cobertura é exigido (ex: "nomeie pelo menos 2 de 6 especiarias").
Processo: Uma sequência ordenada de etapas, distinguindo entre etapas obrigatórias e opcionais.
Relacionamento: Conexões ou contrastes entre entidades.

Os itens recebem níveis de importância: Crítico para a Resposta (essencial para a correção), Valioso (melhora significativamente a resposta) e Contexto (ajuda como pano de fundo). As meta-rubricas também podem incluir meta-insights, que sintetizam padrões através dos itens.

2. Rubrica Binária Compilada (Espaço de Avaliação)

Para permitir a pontuação confiável por juízes de LLM (Modelos de Linguagem de Grande Escala), a meta-rubrica estruturada é mecanicamente convertida em uma lista de verificação binária plana de passar/falhar.

Regras de Conversão:
- Listas Estritas tornam-se verificações individuais para cada item.
- Listas Flexíveis tornam-se uma verificação de limiar de base (ex: "mencione pelo menos N de X") além de verificações individuais para itens específicos em um nível de importância inferior.
- Processos geram verificações de presença para cada etapa e verificações de sequência para a ordenação das etapas obrigatórias.
Pontuação: Um juiz LLM avalia a resposta contra cada verificação binária de forma independente, retornando um de quatro vereditos: atende, atende parcialmente, ausente ou contradiz.
Pontuação Gamut: Uma média ponderada das pontuações de nível (Crítico para a Resposta, Valioso, Contexto). Contradições são penalizadas mais pesadamente do que omissões ( $\mu < 0$ ), e crédito parcial é concedido para respostas direcionais corretas, mas imprecisas ( $\lambda$ ).

Construção do Dataset: GAMUT

O framework é instanciado como GAMUT (Grounded Assessment of Multimodal Factuality), um benchmark para "pesquisa profunda cotidiana".

Escopo: 1.813 perguntas em 10 domínios diversos (ex: comida, veículos, plantas, locais locais).
Modalidade: Prioridade multimodal, fundamentada em imagens reais de dispositivos vestíveis (do dataset CRAG-MM) que frequentemente retratam objetos sob condições imperfeitas (baixa luz, oclusão). Uma variante apenas de texto também é disponibilizada.
Processo de Criação: Um pipeline híbrido onde LLMs de fronteira propõem perguntas candidatas e rubricas, que são então rigorosamente revisadas, corrigidas e verificadas por anotadores humanos especialistas. Isso garante que as perguntas não sejam indutivas (solúveis sem a imagem) e que as rubricas sejam fundamentadas em evidências, e não em alucinações de modelos.
Complexidade: Cada pergunta é pareada com uma rubrica contendo uma média de 15,2 verificações binárias, derivadas de aproximadamente 10 trechos da web por pergunta. 98% das perguntas exigem componentes estruturados (listas, processos, relacionamentos) além de fatos simples.

Resultados Principais

Os autores avaliaram 14 modelos de fronteira e de pesos abertos no GAMUT.

Nível de Desafio: O benchmark é altamente desafiador. O melhor modelo, Gemini 3.1 Pro, alcançou uma pontuação Gamut de apenas 58,7%, atendendo no máximo 55% dos elementos da rubrica.
Poder Discriminativo: O benchmark classifica efetivamente os modelos de acordo com capacidades compreendidas de forma independente (modelos mais novos/maiores superam os mais antigos/menores; modelos proprietários superam os de pesos abertos). Os rankings permaneceram estáveis através de diferentes juízes LLM (Gemini, Claude, Qwen), indicando robustez.
Modos de Falha: O modo de falha dominante é a omissão em vez da contradição. Mesmo os modelos mais fortes perdem partes significativas da informação necessária, enquanto as taxas de contradição permanecem relativamente baixas para os principais modelos.
Multimodal vs. Apenas Texto: Remover a exigência de identificação visual (variante apenas de texto) aumentou as pontuações em cerca de 10 a 20 pontos constantes em todos os modelos. Isso sugere que o ranking multimodal reflete diferenças em completude de conhecimento e não apenas capacidades de percepção.

Significância e Contribuições

O artigo apresenta quatro contribuições primárias:

Reenquadramento da Factualidade: Estabelece a completude factual como um alvo de avaliação de primeira classe, identificando a redução da factualidade a verificações booleanas independentes como uma limitação compartilhada dos métodos atuais de precisão e revocação.
Inovação Metodológica: Introduz o framework de meta-rubrica de dois níveis, que reconcilia a necessidade de anotação estruturada e expressiva com a confiabilidade de uma avaliação binária e computável por máquina.
Lançamento de Benchmark: Apresenta o GAMUT, um benchmark multimodal de perguntas de pesquisa profunda cotidiana fundamentadas em imagens reais, construído via um rigoroso processo humano-no-loop.
Evidência Empírica: Demonstra que a revocação factual está longe de ser resolvida, revelando grandes lacunas no desempenho dos modelos que as avaliações baseadas em precisão não conseguem detectar.

Os autores concluem que a meta-rubrica de dois níveis é uma receita generalizável para avaliar a geração de texto aberto onde listas de verificação planas são insuficientes, e disponibilizam o benchmark, sua variante apenas de texto e scripts de avaliação para uso da comunidade.