Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

Resumo Técnico: Otimização da Consistência Factual em Sumarização via Aprendizado de Preferência a partir de Múltiplas Métricas Imperfeitas

Declaração do Problema
Embora os modelos de linguagem de grande porte (LLMs) demonstrem fluência impressionante, eles frequentemente lutam com a consistência factual, gerando comumente resumos contendo detalhes alucinados ou inconsistências com o texto fonte. A Aprendizagem por Reforço (RL) foi proposta para mitigar isso, utilizando métricas de avaliação como sinais de recompensa. No entanto, as métricas automáticas de factualidade existentes são individualmente pouco confiáveis e frequentemente têm dificuldade com erros sutis. Além disso, o uso de uma única métrica como recompensa escalar pode levar a um treinamento instável, enquanto a combinação de métricas geralmente requer ponderação manual (modelagem de recompensa), o que é complexo e propenso a erros. Abordagens alternativas como Aprendizagem por Reforço a partir de Feedback Humano (RLHF) frequentemente falham em priorizar a factualidade, pois anotadores humanos podem ignorar erros factuais em favor de outras qualidades, como fluência ou coerência. A construção de conjuntos de dados de preferência de alta qualidade e focados na factualidade via anotação humana é intensiva em recursos e difícil de escalar.

Metodologia
Os autores propõem um pipeline de treinamento totalmente automatizado que melhora a consistência factual sem depender de anotações humanas ou resumos de referência. A metodologia central consiste em três etapas principais:

1. Geração de Resumo Lexicalmente Similar:
   Em vez de emparelhar amostras diversas, o método gera pares de resumos que são lexicalmente similares para minimizar diferenças estilísticas ou estruturais confusas. Isso permite que o modelo se concentre especificamente em distinções factuais.

   • Para um documento fonte dado, o modelo gera um resumo principal usando Busca em Feixe (BS#1).
   • Um segundo resumo é gerado selecionando a segunda sequência mais provável da mesma busca em feixe (BS#2) ou usando Decodificação Gulosa.
   • Essa abordagem garante que as diferenças entre o par sejam sutis, impulsionadas principalmente por variações de decodificação e não por grandes mudanças estruturais.

2. Rotulagem Automática de Preferência via Ensembles de Métricas:
   Para evitar a falta de confiabilidade de métricas únicas, o pipeline emprega um ensemble de métricas de factualidade (especificamente SBERTScore e SummaC-Conv nos experimentos) para pontuar os pares gerados.

   • Pontuações de diferentes métricas são convertidas em rótulos de preferência binários.
   • Um filtro de conflito é aplicado: um par de resumos é retido para treinamento apenas se todas as métricas selecionadas concordarem sobre o rótulo de preferência. Pares com alta discordância entre as métricas são filtrados para remover anotações ruidosas.
   • Esse processo constrói um conjunto de dados de preferência de alta qualidade usando apenas documentos fonte.

3. Otimização de Preferência (DPO):
   O conjunto de dados de preferência filtrado é usado para treinar os modelos de linguagem via Otimização Direta de Preferência (DPO). Diferentemente da RL padrão, a DPO otimiza os parâmetros do modelo diretamente para aumentar a probabilidade do resumo preferido, sem exigir um modelo de recompensa separado e complexo. Isso reduz a complexidade do treinamento e mitiga problemas como esquecimento catastrófico.

Principais Contribuições

• Pipeline Automatizado: Um pipeline de aprendizado de preferência totalmente automatizado e inovador que otimiza a factualidade da sumarização sem anotações humanas ou resumos de referência.
• Estratégia de Agregação de Métricas: Um método para adaptar múltiplas métricas de factualidade existentes e imperfeitas em objetivos de treinamento, convertendo pontuações em preferências e filtrando casos com alta discordância inter-métrica, aumentando assim a confiabilidade dos dados.
• Foco em Similaridade Lexical: Uma análise demonstrando que o treinamento em pares de resumos lexicalmente similares é mais eficaz para aprimorar a factualidade do que o treinamento em pares diversos, pois isola erros factuais de variações estilísticas.
• Desempenho em Modelos Menores: O método eleva com sucesso o desempenho de factualidade de modelos menores (por exemplo, BART) para níveis comparáveis aos de LLMs modernos significativamente maiores.

Resultados Experimentais
A abordagem foi avaliada nos conjuntos de dados XSUM e TL;DR usando quatro modelos de arquiteturas e escalas variadas: BART-large, GPT-J, LLaMA-3 e DeepSeek-R1.

• Ganhos de Factualidade: O método proposto superou consistentemente as linhas de base, incluindo Ajuste Fino Supervisionado (SFT), RLHF e Otimização de Preferência Baseada em Modelo (MPO), que depende de suposições heurísticas sobre estratégias de decodificação.
  • No XSUM, o BART alcançou um aumento de +24,7 pontos na AlignScore em relação ao SFT.
  • No TL;DR, o BART viu um aumento de +9,3 pontos.
  • Modelos menores (BART) alcançaram pontuações de factualidade comparáveis ou superiores às de modelos maiores (LLaMA, DeepSeek) após o treinamento.
• Robustez: O método demonstrou estabilidade entre diferentes famílias e escalas de modelos, evitando o esquecimento catastrófico observado em outras abordagens baseadas em RL.
• Compensações: Embora a factualidade tenha melhorado significativamente, houve uma leve compensação nas pontuações ROUGE-L e nas preferências de qualidade geral quando julgadas pelo ChatGPT. Os autores observam que os resumos preferidos (SFT/RLHF) frequentemente continham detalhes excessivos, enquanto os resumos otimizados para factualidade eram mais abstratos para reduzir o risco de inconsistência.

Significado e Alegações
O artigo afirma que essa abordagem fornece uma alternativa estável e escalável ao RLHF anotado por humanos para melhorar a factualidade. Ao aproveitar o acordo de múltiplas métricas fracas e focar em diferenças lexicais sutis, o método treina efetivamente os modelos a evitar a geração de texto plausível, mas factualmente incorreto. Os autores destacam que esse pipeline "revitaliza" o potencial de modelos mais antigos e menores para produzir resumos precisos com custos computacionais menores, tornando a sumarização de alta factualidade mais acessível. O trabalho sugere que o aprendizado de preferência, quando fundamentado no acordo de métricas e não em viés humano ou recompensas de métrica única, oferece um caminho robusto para saídas de modelos de linguagem mais fiéis.