DoGMaTiQ: Automated Generation of Question-and-Answer Nuggets for Report Evaluation

Resumo Técnico: DoGMaTiQ – Geração Automatizada de Nuggets de Pergunta e Resposta para Avaliação de Relatórios

Definição do Problema
A avaliação de relatórios de formato longo, com base em citações, gerados por sistemas de Geração Aumentada de Recuperação (RAG), tornou-se um desafio crítico, particularmente em contextos multilingues onde as consultas dos utilizadores são em inglês, mas os documentos de origem são multilingues. As estruturas de avaliação tradicionais dependem de "nuggets" (pequenas unidades de informação atómicas) para avaliar a cobertura de um relatório. No entanto, as abordagens existentes enfrentam limitações significativas:

1. Gargalo de Curadoria Manual: A criação de conjuntos de nuggets de alta qualidade exige um esforço humano laborioso, escalando mal para novos tópicos e coleções multilingues.
2. Limitações de Representação: Os nuggets tradicionais são frequentemente afirmações factuais curtas. Estes sofrem de enviesamentos de leniência, compressão de pontuação e dificuldade em lidar com necessidades de informação complexas, onde existem múltiplas respostas válidas ou onde a necessidade de informação (pergunta) deve ser desvinculada de respostas multilingues diversas.
3. Riscos de Circularidade: Os sistemas de avaliação automatizados utilizam frequentemente os mesmos Modelos de Linguagem de Grande Escala (LLMs) tanto para a geração como para a pontuação, o que pode inflacionar os resultados através de julgamentos circulares.

Metodologia: O Pipeline DoGMaTiQ
Os autores apresentam o DoGMaTiQ (Document-Grounded, Merged and Top-Criteria Question-based Nuggets), um pipeline de três estágios concebido para gerar automaticamente conjuntos de nuggets de Pergunta e Resposta (QA) de alta qualidade e fundamentados em documentos. O pipeline opera sobre documentos recuperados para um determinado tópico:

1. Estágio 1: Geração de QA Fundamentada em Documentos

   • Sumarização: Para evitar a indexação excessiva de detalhes específicos de documentos, o sistema primeiro solicita a um LLM que resuma cada documento recuperado na sua língua original.
   • Geração de QA: Utilizando o resumo e a consulta do utilizador, o LLM gera de 1 a 6 pares de QA por documento. As respostas são geradas antes das perguntas para minimizar alucinações, garantindo que cada nugget está fundamentado num documento de origem específico.

2. Estágio 2: Agrupamento de Paráfrases e Refinamento

   • Agrupamento de Perguntas: Uma vez que os pares de QA são gerados independentemente por documento, a sobreposição semântica é elevada. O sistema identifica perguntas parafraseadas utilizando um modelo de embedding afinado (bge-large-en-v1.5) seguido de verificação por LLM em candidatos de alta similaridade. Estas são fundidas em clusters através de agrupamento de ligação simples (single-link clustering).
   • Refinamento: Para cada cluster, é selecionada uma única pergunta "canónica". Os conjuntos de respostas são validados para remover respostas não informativas ou contraditórias. Finalmente, um LLM atribui uma lógica de agregação (OR ou AND) para determinar se um nugget é satisfeito por qualquer resposta individual ou se requer todas as respostas.

3. Estágio 3: Seleção Final de Nuggets

   • O pipeline classifica os nuggets fundidos para selecionar os 20 principais para o "banco de nuggets" final. Três métodos de classificação são avaliados:
     • Mais Comum (Most Common): Classifica pela frequência de ocorrência entre documentos.
     • Critérios de Qualidade (DoGMaTiQ): Representa cada nugget como um vetor de 19 critérios linguísticos e de utilidade explícitos (ex: fluência, clareza, criticidade, correspondência de objetivo). Um Vetor de Suporte Máximo (SVM), treinado em nuggets escritos por humanos como exemplos positivos, pontua e classifica os candidatos.
     • Amostra (Sample): Seleção aleatória (utilizada como um estudo de ablação).

Principais Contribuições

• Representação de QA para Avaliação: O artigo argumenta que os pares de QA são superiores aos nuggets baseados em afirmações porque desvinculam as necessidades de informação de respostas diversas, evitam a ponderação excessiva de afirmações duplicadas e permitem uma avaliação granular através da agregação de respostas (OR/AND).
• Pipeline Automatizado: O DoGMaTiQ fornece um método totalmente automatizado para gerar conjuntos de nuggets fundamentados em documentos de origem, eliminando a necessidade de curadoria manual.
• Robustez à Circularidade: Ao fundamentar os nuggets em documentos de origem e utilizar uma família de LLM diferente para a geração (Claude) versus os modelos de geração que estão a ser avaliados (frequentamente baseados em Llama), o sistema mitiga o risco de julgamentos circulares.
• Integração com Auto-ARGUE: Os nuggets gerados são integrados com o framework Auto-ARGUE para permitir a avaliação totalmente automática de relatórios.

Resultos Experimentais
Os autores avaliaram o DoGMaTiQ em duas tarefas partilhadas de TREC cross-lingual: NeuCLIR (2024) e RAGTIME (2025).

• Correlação com Julgamentos Humanos:
  • Na pista RAGTIME, as classificações de sistemas baseadas nos nuggets gerados pelo DoGMaTiQ mostraram fortes correlações de ranking com as classificações baseadas em nuggets escritos por humanos (Spearman's $\rho = 0.899$, Kendall's $\tau = 0.734$).
  • Quando comparado com julgamentos totalmente manuais (tanto a criação de nuggets como o alinhamento), o DoGMaTiQ alcançou uma correlação moderada mas significativa ($\tau = 0.505$), superando métodos automatizados de base como o GINGER e a amostragem aleatória.
• Comparação com Baselines:
  • O DoGMaTiQ superou significativamente o sistema GINGER (que utiliza nuggets baseados em afirmações) e variantes de amostragem aleatória.
  • O método de seleção por "Critérios de Qualidade" (SVM) provou ser superior aos métodos de seleção por frequência simples ("Mais Comum") ou seleção aleatória.
• Análise de Robustez:
  • Sistemas Outliers: As classificações de sistemas induzidas pelo DoGMaTiQ permaneceram estáveis mesmo ao avaliar um subconjunto de sistemas de alta prioridade, enquanto outros métodos mostraram correlações inflacionadas devido à presença de muitos sistemas de baixo desempenho.
  • Circularidade: Experiências revelaram que utilizar a mesma família de LLM para geração e avaliação (ex: Llama para ambos) levou a pontuações inflacionadas para sistemas que utilizavam essa mesma família (Crucible), confirmando a importância de desvincular os modelos de geração e avaliação.

Significância e Alegações
O artigo alega que o DoGMaTiQ representa um passo significativo em direção à avaliação escalável e totalmente automática da geração de relatórios baseados em RAG. Ao mudar de nuggets baseados em afirmações para nuggets baseados em QA e empregar um processo de filtragem de múltiplos estágios e principiado, o sistema alcança classificações que espelham de perto as avaliações humanas sem exigir a curadoria manual de nuggets.

Os autores mantêm um tom modesto, enfatizando que o DoGMaTiQ é destinado a complementar, não substituir, o esforço humano especializado. Notam que, embora as correlações sejam fortes, as pontuações por tópico ainda exibem variância devido à subjetividade inerente das necessidades de informação. O trabalho aborda a necessidade urgente de ferramentas de avaliação à medida que a IA generativa transforma o consumo de informação, fornecendo um mecanismo para avaliar quão bem os sistemas satisfazem as necessidades de informação em ambientes complexos e multilingues. O código e os artefactos são disponibilizados publicamente para facilitar futuras investigações.