Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding

Resumo Técnico: Aprimoramento da Factualidade por Meio de Consenso e Consistência em Sumarização Usando Decodificação de Risco Bayesiano Mínimo

Declaração do Problema
Melhorar a factualidade de resumos gerados por modelos — definida como a precisão de um resumo em relação ao seu conteúdo fonte — permanece um desafio significativo na Geração de Linguagem Natural (NLG). Embora existam métodos de reclassificação para selecionar saídas ótimas entre múltiplos candidatos, as abordagens atuais sofrem com três limitações primárias:

1. Incapacidade de usar métricas baseadas em referência: Referências "ouro" de alta qualidade são intensivas em mão de obra para criar, forçando a dependência de métricas sem referência.
2. Dependência exclusiva da fonte: A reclassificação baseada apenas no documento fonte frequentemente falha em penalizar erros factuais específicos devido à natureza ampla da pontuação de métricas sem referência, levando a inconsistências factuais.
3. Viés de métrica: Confiar em uma única métrica pode causar sobreajuste e herdar vieses específicos daquela métrica.

Métodos existentes frequentemente lutam para equilibrar fluência e coerência com alinhamento factual estrito, particularmente quando referências ouro estão indisponíveis ou são de baixa qualidade.

Metodologia: ConSUM
Os autores propõem o ConSUM (Consistência e Consenso em Sumarização), um novo framework de reclassificação que combina dois sinais distintos para selecionar o melhor candidato de resumo. O método opera em três etapas:

1. Geração: Dado um documento fonte $s$, o modelo gera dois conjuntos distintos:

   • Resumos Candidatos ($Y$): Um conjunto de possíveis saídas.
   • Pseudo-Referências ($R$): Um conjunto de "verdades" proxy amostradas do mesmo modelo, mas potencialmente usando estratégias de decodificação diferentes (por exemplo, amostragem epsilon) para capturar melhor a verdadeira distribuição do modelo. Os autores distinguem $Y$ e $R$ para impedir que o modelo reforce seus próprios vieses.

2. Pontuação: Cada candidato $y_i$ é pontuado usando dois fatores:

   • Pontuação de Consistência ($S_{sis}$): Mede o alinhamento entre o candidato e o documento fonte usando métricas de factualidade sem referência (especificamente FENICE e FIZZ).
   • Pontuação de Consenso ($S_{sen}$): Mede o acordo entre o candidato e o conjunto de pseudo-referências usando decodificação de Risco Bayesiano Mínimo (MBR). A função de utilidade para MBR é uma métrica baseada em referência, MENLI (Métricas de Inferência de Linguagem Natural), que avalia entailment, contradição e qualidade de sumarização. Esta etapa identifica o candidato que maximiza a utilidade esperada contra as pseudo-referências.

3. Reclassificação: A pontuação final ($S_{fin}$) é uma combinação linear ponderada das pontuações de consistência e consenso normalizadas:
   $$S_{fin}(y_i, s, R) = w \cdot Z(S_{sen}(y_i, R)) + (1-w) \cdot Z(S_{sis}(y_i, s))$$
   onde $w$ é um hiperparâmetro (definido como 0,75 nos principais experimentos) equilibrando a importância do consenso versus a consistência com a fonte. O candidato com a maior $S_{fin}$ é selecionado como a saída final.

Contribuições Principais

• Reclassificação de Sinal Duplo: O artigo introduz um framework que alavanca simultaneamente a consistência com a fonte (via métricas sem referência) e o consenso do modelo (via MBR com pseudo-referências) para melhorar a factualidade.
• Desacoplamento de Candidatos e Referências: Diferentemente de trabalhos anteriores que frequentemente tratam candidatos e referências como o mesmo conjunto, o ConSUM separa-os explicitamente. As pseudo-referências servem como uma proxy imparcial para a verdade fundamental para estimar a distribuição do modelo, enquanto os candidatos servem como o conjunto para seleção.
• Integração de MBR e Métricas Sem Referência: O método combina com sucesso a decodificação MBR (tipicamente usada em Tradução Automática) com métricas de factualidade sem referência de última geração (FENICE, FIZZ) para sumarização, abordando a falta de referências ouro.

Resultados Experimentais
O método foi avaliado nos conjuntos de dados CNN/DailyMail e XSum usando três Modelos de Linguagem Pré-treinados (BART, PEGASUS, T5) e um Modelo de Linguagem Grande (Llama-3).

• Melhorias na Factualidade: O ConSUM alcançou consistentemente pontuações de factualidade superiores em comparação com as linhas de base (decodificação padrão e reclassificadores apenas de consistência). Por exemplo, no CNN/DM, a configuração FENICE-0,75 melhorou a pontuação FIZZ de 39,36 (Linha de Base) para 52,44. No XSum, a mesma configuração elevou a pontuação FIZZ de 16,91 para 27,79.
• Preservação de Qualidade: As melhorias na factualidade não ocorreram à custa da qualidade do resumo. As pontuações ROUGE, BERTScore e MoverScore permaneceram competitivas ou significativamente melhores que as linhas de base.
• Avaliação Humana: Em uma avaliação humana envolvendo 50 documentos fonte, o sistema FENICE-0,75 alcançou as maiores pontuações médias gerais para Informatividade, Factualidade e Fluência. Os anotadores consistentemente preferiram resumos gerados pelo ConSUM em relação às linhas de base e até mesmo às referências "ouro" (que foram notadas como de baixa qualidade na literatura recente).
• Sensibilidade de Hiperparâmetros: O peso ótimo $w$ variou por conjunto de dados (0,75 para CNN/DM, 0,25 para XSum com FENICE), mas uma configuração unificada de $w=0,75$ foi escolhida por seu desempenho equilibrado. O estudo encontrou que 16 candidatos e 64 pseudo-referências (geradas via amostragem epsilon) produziram resultados ótimos.

Significado e Alegações
Os autores afirmam que o ConSUM demonstra que combinar factualidade baseada na fonte com consenso baseado no modelo melhora efetivamente a confiabilidade de resumos gerados sem exigir referências ouro. Os resultados sugerem que a "sabedoria das multidões" (consenso entre as saídas do modelo) pode servir como um sinal robusto para filtrar alucinações e erros factuais, particularmente em tarefas altamente abstrativas como o XSum, onde alucinações são frequentes.

O artigo conclui que, embora ainda haja espaço para melhoria (como evidenciado pela lacuna entre as pontuações do ConSUM e do Oracle), o método proposto oferece uma abordagem prática e não supervisionada para aprimorar a factualidade de resumos que é preferida por avaliadores humanos. Os autores reconhecem limitações, incluindo a complexidade computacional do MBR ($O(n^2)$) e a restrição atual a conjuntos de dados de notícias em inglês, sugerindo que trabalhos futuros poderiam explorar tipos de texto diversos e idiomas.