From Fragments to Facts: A Curriculum-Driven DPO Approach for Generating Hindi News Veracity Explanations

1. O Problema

A disseminação de desinformação (fake news) representa uma ameaça crítica à integridade jornalística e à estabilidade social, especialmente em idiomas com poucos recursos computacionais, como o Hindi. Apesar de o Hindi ter mais de 600 milhões de falantes, existem ferramentas automatizadas robustas para verificação de fatos e geração de explicações confiáveis.

Os desafios principais identificados são:

• Falta de Ferramentas Automatizadas: A verificação de fatos em Hindi é predominantemente manual, dificultando a escalabilidade.
• Limitações dos LLMs Atuais: Modelos de linguagem pré-treinados (LLMs) geralmente falham em avaliar a veracidade de notícias em Hindi e geram explicações que carecem de coerência, fundamentação factual e alinhamento com o raciocínio humano.
• Viés de Idioma: A maioria dos sistemas de geração de explicações foca em idiomas de alto recurso (como inglês e chinês), deixando o Hindi subatendido.

2. Metodologia: O Framework DeFactoX

Os autores propõem o DeFactoX, um framework unificado que combina Aprendizado de Currículo (Curriculum Learning) com Otimização Direta de Preferência (DPO) para gerar explicações de veracidade alinhadas ao raciocínio humano.

A. Criação do Conjunto de Dados de Preferência Sintético

Para superar a escassez de dados, os autores criaram um conjunto de dados sintético de preferência:

• Respostas Preferidas (Humanas): Explicações escritas por humanos, extraídas de sites de fact-checking credíveis (como OneIndia, Vishvas News, Aaj Tak).
  • Padronização: As explicações de notícias "verdadeiras" (que originalmente eram apenas informativas) foram reescritas via prompting para incluir afirmações explícitas de veracidade, alinhando-as estruturalmente com as explicações de notícias "falsas" (que já contêm raciocínio explícito de refutação).
• Respostas Rejeitadas (LLMs): Explicações geradas por três LLMs de ponta (GPT-4o-mini, Mistral-7B, Gemini-1.5-Flash) usando apenas o primeiro parágrafo da notícia como entrada. O objetivo foi capturar intencionalmente as limitações e alucinações desses modelos.
• Razão: O dataset mantém uma proporção de 1:3 (uma resposta humana para três rejeitadas).

B. Aprendizado de Currículo (Curriculum Learning)

O treinamento não ocorre de forma aleatória. As explicações rejeitadas são classificadas em três níveis de dificuldade com base em sua similaridade com a verdade fundamental (ground truth), usando uma função de pontuação ($f_s$) que combina BERTScore, ROUGE-L e METEOR:

1. Rank-0 (Fácil): Explicações claramente erradas e fáceis de distinguir.
2. Rank-1 (Moderado): Explicações com similaridade média.
3. Rank-2 (Difícil): Explicações que diferem sutilmente das preferidas, exigindo distinções granulares.
   O modelo é treinado progressivamente, começando pelos casos mais fáceis e avançando para os mais complexos.

C. Hin-DPO: Uma Função de Perda Aprimorada

O núcleo da proposta é o Hin-DPO, uma variação da DPO padrão que incorpora dois novos parâmetros na função de perda para melhorar a qualidade e a consistência:

1. Actuality (Atualidade):

   • Objetivo: Garantir a correção factual.
   • Cálculo: Utiliza o GPT-4o-mini com acesso à web para extrair afirmações factuais da notícia e avaliar sua veracidade, gerando uma pontuação entre 0 e 1.
   • Impacto: Amplifica a probabilidade de respostas factualmente corretas e penaliza as incorretas.

2. Finesse (Refinamento/Estabilidade):

   • Objetivo: Medir e reduzir alucinações baseadas em incerteza do modelo.
   • Cálculo: Baseia-se na variância das distribuições de probabilidade do modelo. O modelo gera 5 respostas estocásticas para a mesma entrada (com temperatura alta, $T=0.9$). A variância média entre essas distribuições é calculada.
   • Impacto: Respostas com baixa variância (consistentes) recebem maior peso; respostas com alta variância (instáveis/alucinações) são penalizadas.

A função de perda modificada integra esses fatores, ajustando o peso das respostas preferidas e rejeitadas dinamicamente.

3. Contribuições Principais

1. Primeiro Framework para Hindi: O DeFactoX é, segundo os autores, o primeiro framework para geração automática de explicações baseadas em veracidade especificamente para notícias em Hindi.
2. Conjunto de Dados Sintético de Preferência: Criação de um dataset robusto onde explicações humanas fact-checkadas são preferidas e saídas de LLMs (com falhas intencionais) são rejeitadas, com uma estratégia de padronização para notícias verdadeiras.
3. Hin-DPO e Novas Métricas: Introdução da função de perda Hin-DPO, que integra as métricas Actuality (factualidade) e Finesse (estabilidade/anti-alucinação) diretamente no processo de otimização.
4. Estratégia de Currículo: Demonstração de como o aprendizado progressivo (do fácil ao difícil) melhora a capacidade do modelo de distinguir nuances em explicações de veracidade.

4. Resultados e Análise

Os experimentos foram conduzidos em cinco modelos base (3 LLMs: Gemma-2, Llama-3, Mistral; e 2 PLMs: mBART, mT5).

• Métricas Automáticas: O Hin-DPO superou consistentemente as linhas de base (Base, Base+SFT, DPO padrão, DPO+Actuality, DPO+Finesse) em todas as métricas: ROUGE-1/2/L, METEOR e BERTScore.
  • Exemplo: No modelo Llama-3.1-8B, o Hin-DPO alcançou um BERTScore de 84.73, comparado a 80.98 do DPO padrão.
• Avaliação Humana: Avaliadores humanos classificaram as explicações em uma escala de 0 a 5. O Hin-DPO obteve as pontuações mais altas (4.23 para Llama e 4.12 para Gemma), indicando melhor alinhamento com o julgamento humano em termos de precisão factual, alinhamento de raciocínio e completude.
• Estudo de Ablação:
  • A inclusão do Currículo melhorou consistentemente o desempenho em todos os modelos.
  • Os componentes Actuality e Finesse mostraram contribuições positivas individuais, mas sua combinação (Hin-DPO) produziu os melhores resultados, validando a eficácia de penalizar tanto erros factuais quanto instabilidade.
• Previsão de Veracidade: Além da geração de texto, o framework também melhorou a precisão na classificação binária (Fake/Real), atingindo até 81.2% de acurácia no Llama-3.1-8B.

5. Significado e Impacto

Este trabalho é significativo por abordar a lacuna crítica na detecção de desinformação para idiomas de baixo recurso, especificamente o Hindi.

• Escalabilidade: Oferece uma metodologia escalável para gerar explicações confiáveis, reduzindo a dependência de fact-checking manual.
• Qualidade e Confiabilidade: Ao integrar métricas de factualidade e estabilidade diretamente no treinamento (via DPO), o modelo produz explicações que não são apenas fluentes, mas também factualmente precisas e menos propensas a alucinações.
• Aplicabilidade Prática: O framework pode ser utilizado por casas de mídia e agências de fact-checking para detectar narrativas enganosas e fornecer aos usuários explicações contextuais que fortalecem a alfabetização midiática.

Limitações: O trabalho reconhece a dependência de dados fact-checkados de alta qualidade (que ainda são limitados em Hindi), o custo computacional adicional para calcular a pontuação Finesse (múltiplas gerações) e a dependência de modelos externos para calcular a pontuação Actuality.

Em suma, o DeFactoX representa um avanço técnico ao combinar otimização de preferências, aprendizado de currículo e métricas de qualidade específicas de domínio para criar sistemas de IA mais confiáveis e alinhados com a realidade factual em idiomas sub-representados.