FactAppeal: Identifying Epistemic Factual Appeals in News Media

1. Problema e Motivação

O artigo aborda uma lacuna crítica na detecção e verificação de fatos: a maioria dos métodos existentes foca apenas no conteúdo da afirmação (se é verdadeiro ou falso), ignorando a estrutura epistêmica que confere credibilidade a essas afirmações. Em meios jornalísticos, a credibilidade de um fato não depende apenas do seu conteúdo, mas de como ele é ancorado em fontes externas (testemunhos, relatórios oficiais, evidências diretas).

O problema central é a falta de recursos e tarefas que identifiquem não apenas o que é afirmado, mas como e por quem essa afirmação é sustentada. O artigo propõe a tarefa de Identificação de Apelo Epistêmico, que visa detectar se uma declaração factual é apoiada por uma fonte de autoridade e classificar a natureza desse suporte.

2. Metodologia

O Dataset FACTAPPEAL

Os autores criaram o FACTAPPEAL, um novo conjunto de dados anotado manualmente contendo 3.226 sentenças em inglês, extraídas de artigos de notícias publicados entre 2020 e 2022.

Esquema de Anotação (Nível de Span):
Diferente de abordagens anteriores que tratam a sentença como um todo, FACTAPPEAL utiliza anotações de nível de span (trechos de texto) com tags XML. As principais categorias incluem:

• Fatos sem Apelo: Afirmações factuais sem referência a uma fonte externa.
• Fatos com Apelo: Afirmações factuais ancoradas em uma fonte.
  • Modo de citação: Citação direta (verbatim) ou indireta (paráfrase).
• Fonte (Source): A entidade ou objeto que fornece a autoridade epistêmica.
  • Tipos de Fonte: Participante Ativo, Testemunha, Evidência Direta, Oficial, Especialista, Documento de Especialista, Relatório de Notícias.
  • Atributos: Se a fonte é nomeada ou não, e suas credenciais (título, cargo).
• Outras Entidades: Destinatário da informação, tempo e local do apelo.

Tipologia das Fontes:
O esquema classifica as fontes em duas dimensões principais:

1. Proximidade ao evento: Interna (contato direto/sensorial) vs. Externa (expertise geral).
2. Natureza: Humana vs. Não-humana (ex: documentos).

Modelagem e Experimentos

Os autores testaram duas estratégias de modelagem para a tarefa de identificação:

1. Classificação Multi-rótulo em Nível de Token (Codificadores): Uso de modelos encoders pré-treinados (RoBERTa, DeBERTa v3, ModernBERT) ajustados para prever 18 rótulos binários por token.
2. Modelos Gerativos (Decodificadores): Uso de LLMs (Large Language Models) menores (Gemma 2, Llama 3.1, Mistral) treinados para gerar a sentença anotada com tags XML a partir da sentença bruta.

Os modelos foram avaliados usando métricas de precisão, recall e F1 macro no nível de palavras.

3. Principais Contribuições

1. Novo Dataset e Tarefa: Introdução do FACTAPPEAL, o primeiro recurso focado especificamente na estrutura epistêmica e nas fontes de apoio a afirmações factuais em notícias, com anotações granulares.
2. Esquema de Anotação Rico: Definição de uma tipologia detalhada para fontes epistêmicas (ex: distinção entre testemunha e especialista, ou entre citação direta e indireta), permitindo uma análise mais profunda da retórica jornalística.
3. Análise Comparativa de Modelos: Avaliação sistemática de modelos codificadores versus modelos gerativos para tarefas de estruturação epistêmica, demonstrando a viabilidade de representações sequence-to-sequence para este domínio.
4. Insights sobre Credibilidade: O dataset permite investigar como diferentes tipos de autoridade (oficiais vs. especialistas vs. testemunhas) são utilizados para validar fatos na mídia.

4. Resultados

• Desempenho Geral: O modelo de melhor desempenho foi o Gemma 2 9B (um modelo gerativo), alcançando um F1 macro de 0,73.
• Codificadores vs. Decodificadores: Embora as diferenças entre os melhores modelos codificadores e decodificadores sejam pequenas, os modelos gerativos (especialmente os maiores) mostraram-se mais robustos. Os modelos codificadores apresentaram maior variação de desempenho entre as categorias e uma correlação mais forte entre a frequência do tag e o desempenho (F1), sugerindo que eles sofrem mais com dados desbalanceados.
• Desafios Específicos: A identificação de tipos de fontes específicos (como "Participante Ativo" ou "Evidência Direta") permanece desafiadora, com F1 variando significativamente dependendo da raridade e complexidade do contexto.
• Concordância Interanotador: A análise de concordância (Cohen's Kappa = 0,82 e IoU = 0,74) indica um alto nível de acordo entre os anotadores humanos, validando a qualidade e a clareza do esquema de anotação.

5. Significado e Impacto

• Para Verificação de Fatos (Fact-Checking): O trabalho avança o estado da arte ao permitir que sistemas de verificação não apenas chequem a verdade de um fato, mas também avaliem a qualidade da evidência apresentada (ex: distinguir entre um rumor de "relato de notícias" e uma "afirmação de especialista").
• Análise de Discurso e Ciências Sociais: Oferece uma ferramenta computacional para estudar como a mídia constrói a realidade, como as fontes de autoridade são mobilizadas e como isso influencia a polarização e a confiança pública.
• Futuro da Pesquisa: O dataset abre caminho para a análise de unidades textuais maiores (parágrafos, artigos completos) e para a expansão para outros idiomas e domínios (como redes sociais), permitindo mapear fluxos de conhecimento e disputas epistêmicas em escala.

Em resumo, o FACTAPPEAL representa um avanço fundamental ao tratar a epistemologia (a teoria do conhecimento e suas fontes) como uma estrutura explícita e modelável dentro do processamento de linguagem natural aplicado ao jornalismo.