Resumo Técnico: ChronoFact – Verificação de Fatos Temporais Baseada em Linha do Tempo

Declaração do Problema

A proliferação da desinformação digital inclui uma categoria significativa de alegações temporais — afirmações que contêm elementos temporais explícitos (ex: "em 1953") ou implícitos (ex: "antes de outro evento"). Os sistemas de verificação de fatos existentes frequentemente falham em verificar essas alegações com precisão porque focam na veracidade de eventos individuais isoladamente, negligenciando a ordem cronológica e as relações temporais entre os eventos.

As limitações atuais incluem:

• Omissão de Sequência: Sistemas podem validar eventos individuais como verdadeiros, mas perder o fato de que sua sequência na alegação contradiz a evidência (ex: alegar que negociações ocorreram apras bombardeios quando a evidência mostra o contrário).
• Tratamento de Complexidade: Métodos existentes têm dificuldade com alegações envolvendo eventos sobrepostos (eventos ocorrendo simultaneamente) ou eventos recorrentes (o mesmo evento acontecendo em múltiplos tempos distintos).
• Escassez de Dados: Conjuntos de dados atuais (ex: T-FEVER, T-FEVEROUS) consistem primariamente em alegações de evento único ou carecem de dependências cronológicas estritas, falhando em capturar a complexidade das narrativas temporais do mundo real.

Metodologia: O Framework ChronoFact

O ChronoFact é um framework inovador projetado para verificar alegações temporais através da construção e comparação de linhas do tempo coerentes tanto para a alegação quanto para a evidência. O sistema opera através dos seguintes módulos:

1. Extração e Codificação de Eventos

• Extração de Eventos: O sistema utiliza o modelo GENRE para recuperar documentos relevantes da Wikipedia e o AllenNLP's Semantic Role Labeling para extrair eventos tanto da alegação quanto da evidência. Cada evento é enriquecido com informações essenciais e argumentos temporais.
• Codificador de Eventos: Os eventos são tokenizados e processados usando um modelo flan-T5.
  • Representações de Token: Embeddings de tokens padrão são gerados.
  • Codificação Temporal: Para tokens de data, aplica-se o pooling médio seguido de codificação posicional baseada na distância da data mais antiga no contexto.
  • Representação Final: Uma combinação de representações de nível de evento (token CLS) e de nível de token.

2. Codificador de Atenção de Múltiplos Níveis

Para determinar a relevância dos eventos da evidência para os eventos da alegação, o framework calcula pontuações de atenção em três níveis distintos:

• Nível de Token: Similaridade de cosseno entre todos os pares de tokens.
• Nível de Evento: Similaridade de cosseno entre as representações CLS dos eventos da alegação e da evidência.
• Nível de Tempo: Similaridade de cosseno entre as representações de data via mean-pooling.
  A pontuação de atenção final é a média desses três níveis, usada para ponderar os eventos de evidência para a classificação subsequente.

3. Módulos de Classificação

O framework emprega três classificadores interconectados:

• Classificador de Evento da Alegação: Prediz a veracidade (Suporte, Refutação, Informação Insuficiente) de cada evento individual da alegação com base nos top-$k$ eventos de evidência mais relevantes, ponderados pelas pontuações de atenção.
• Classificador de Ordem Cronológica: Esta é uma inovação central. Ele avalia se a sequência de eventos da alegação se alinha com a linha do tempo dos eventos da evidência.
  • Os eventos da evidência são ordenados por relevância e reordenados com os eventos da alegação usando GPT para estabelecer uma sequência cronológica.
  • Dois Bi-LSTMs codificam as sequências reordenadas de eventos da alegação e da evidência.
  • Um classificador final prediz se a ordem cronológica da alegação é suportada ou refutada pela evidência.
• Classificador de Alegação: Agrega as saídas do classificador de evento e do classificador de ordem cronológica para determinar a veracidade global da alegação.

4. Estratégia de Treinamento

O modelo é treinado usando uma função de perda composta:

• Perda de Entropia Cruzada ($L_{cross}$): Perda padrão para prever rótulos de eventos individuais, ordem cronológica e o rótulo geral da alegação.
• Perda de Lógica Suave ($L_{soft}$): Impõe consistência lógica usando t-normas de Gödel. Garante que a alegação global seja "Suportada" apenas se todos os eventos constituintes forem suportados e a ordem cronológica estiver correta. Se qualquer evento for refutado ou a ordem estiver errada, a alegação é "Refutada".
• Perda Total: Uma combinação ponderada $L = (1-\mu)L_{cross} + \mu L_{soft}$.

Principais Contribuições

1. Framework ChronoFact: Uma abordagem sistemática que vai além da verificação de eventos isolados para avaliar a precisão cronológica de toda a narrativa da alegação. Ele lida explicitamente com eventos sobrepostos e recorrentes ao organizar as evidências em linhas do tempo.
2. Dataset ChronoClaims: Um novo dataset de benchmark contendo 40.249 alegações de treinamento, 3.544 de validação e 3.735 de teste. Ele apresenta estruturas temporais complexas, incluindo:
   • Alegações com 3 a 5 eventos.
   • Expressões temporais tanto explícitas quanto implícitas.
   • Cenários de eventos sobrepostos e recorrentes.
3. Raciocínio de Múltiplos Níveis: A integração de mecanismos de atenção nos níveis de token, evento e tempo para capturar simultaneamente a relevância semântica e temporal.

Resultados Experimentais

O framework foi avaliado no ChronoClaims, T-FEVER, T-FEVEROUS e T-QuanTemp.

• Desempenho no ChronoClaims: O ChronoFact alcançou um F1 macro de 85,49%, superando significativamente os baselines de estado da arte (ex: TACV com 63,42%, GPT-4o com 61,93%).
  • Demonstrou robustez superior conforme o número de eventos aumentava (3, 4 e 5 eventos), apresentando um declínio de desempenho menor em comparação com outros modelos.
  • Destacou-se no tratamento de tipos de eventos sobrepostos (84,86% F1) e recorrentes (80,89% F1), onde outros modelos enfrentaram dificuldades.
• Generalização: No T-FEVER e T-FEVEROUS, o ChronoFact alcançou o melhor desempenho (56,29% e 47,78% de F1 macro, respectivamente), apesar de esses datasets possuírem características diferentes (ex: foco em evento único).
• Estudos de Ablação: Remover o Classificador de Ordem Cronológica resultou na queda de desempenho mais significativa (ex: de 85,49% para 76,88% no ChronoClaims), confirmando que verificar a sequência de eventos é crítico para a precisão.

Significância e Alegações

Os autores afirmam que o ChronoFact aborda uma lacuna crítica na detecção de desinformação: a incapacidade dos sistemas atuais de raciocinar sobre a sequência de eventos. Ao tratar a verificação de fatos como um problema de alinhamento de linha do tempo em vez de uma coleção de verificações de fatos independentes, o framework evita falsos positivos onde fatos individuais são verdadeiros, mas a narrativa é cronologicamente impossível.

O artigo enfatiza que, embora trabalhos existentes (como o TACV) utilizem informações temporais para recuperação ou raciocínio de eventos individuais, eles frequentemente falham em verificar a consistência cronológica entre a alegação e a evidência. A capacidade do ChronoFact de detectar discrepâncias na ordenação de eventos (como mostrado em estudos de caso envolvendo Yossi Yona e Davie Dodds) e lidar com dinâmicas temporais complexas (sobreposições e recorrências) representa um avanço substancial no campo da verificação automática de fatos.