Misinformation Span Detection in Videos via Audio Transcripts

1. Problema Investigado

O artigo aborda o desafio da detecção de desinformação em vídeos, especificamente focando na detecção de intervalos (spans) de desinformação.

• Contexto: A desinformação em vídeo é um problema complexo devido ao volume massivo de conteúdo (ex.: YouTube, TikTok) e à dificuldade de verificação manual.
• Limitação das abordagens anteriores: Trabalhos anteriores focavam na classificação binária no nível do vídeo inteiro (o vídeo é falso ou verdadeiro?). Essa abordagem é limitada porque não indica quando ou onde dentro do vídeo a desinformação ocorre, nem quais afirmações específicas são responsáveis pelo caráter enganoso do conteúdo.
• Objetivo: Identificar os segmentos temporais específicos dentro de um vídeo onde afirmações falsas são feitas, permitindo que verificadores de fatos e moderadores de plataformas apliquem contextos ou alertas precisos no momento exato da ocorrência.

2. Metodologia

A pesquisa propõe uma metodologia baseada em três etapas principais, utilizando transcrições de áudio como proxy para o conteúdo do vídeo:

1. Coleta e Construção de Dados:

   • Foram criados dois novos conjuntos de dados (datasets) baseados em verificações de fatos realizadas pela agência brasileira Aos Fatos:
     • BOL4Y: 538 vídeos contendo afirmações falsas feitas pelo ex-presidente Jair Bolsonaro durante seu mandato (4 anos).
     • EI22: 77 vídeos contendo alegações de fraude eleitoral feitas por eleitores durante a eleição presidencial de 2022.
   • Total: Mais de 500 vídeos e mais de 2.400 segmentos com afirmações verificadas como falsas.

2. Processamento e Alinhamento (Pipeline):

   • Transcrição: O áudio dos vídeos foi convertido em texto usando o modelo Whisper (OpenAI).
   • Segmentação: As transcrições foram divididas em segmentos (janelas de até 30 segundos).
   • Embeddings: Os segmentos de texto foram convertidos em vetores densos usando o modelo BERTimbau (BERT pré-treinado em português do Brasil).
   • Correspondência (Matching): Os segmentos transcritos foram comparados semanticamente com as afirmações falsas anotadas (usando similaridade de cosseno).
   • Anotação Manual: Um processo de validação humana foi realizado para confirmar quais segmentos correspondiam às afirmações falsas, gerando exemplos positivos (com desinformação) e negativos (sem desinformação).

3. Classificação:

   • O problema foi modelado como uma tarefa de classificação de segmentos.
   • Foram utilizados dois modelos de linguagem pré-treinados em português: BERTimbau (arquitetura Encoder-only) e PTT5 (arquitetura Encoder-Decoder).
   • Foram testadas diversas configurações de undersampling (balanceamento de classes) devido à grande desproporção entre segmentos falsos e reais (ex.: 1 positivo para 75 negativos).

3. Principais Contribuições

• Novo Problema e Baseline: É o primeiro trabalho a abordar formalmente a detecção de intervalos de desinformação em vídeos. Estabelece uma baseline para a tarefa com um escore F1 de 0,68.
• Datasets Públicos: Liberação de dois datasets inéditos (BOL4Y e EI22) contendo vídeos, transcrições, áudio e os timestamps exatos das afirmações falsas. Isso preenche uma lacuna crítica na disponibilidade de dados anotados para esta tarefa específica.
• Método de Construção: Propõe um pipeline robusto para alinhar transcrições automáticas com verificações de fatos manuais, lidando com ruídos de transcrição e variações linguísticas.
• Avaliação Temporal e Cruzada: Realizou experimentos para testar a robustez dos modelos ao longo do tempo (previsão de futuros dados) e a generalização entre diferentes conjuntos de dados (treinar em BOL4Y, testar em EI22).

4. Resultados

• Desempenho de Classificação:
  • O melhor desempenho foi alcançado pelo modelo BERTimbau com uma taxa de undersampling de 1:75, atingindo um Macro F1 de 0,68.
  • O uso do conjunto de dados completo (sem undersampling) resultou em desempenho inferior e tempo de treinamento maior, indicando que o desbalanceamento de classes deve ser tratado com cuidado.
  • A versão "Editada" dos dados (onde as afirmações foram polidas pelos jornalistas antes da transcrição) apresentou desempenho superior, evidenciando o desafio do ruído nas transcrições automáticas.
• Análise Temporal:
  • Modelos treinados em dados passados conseguiram prever desinformação em meses futuros, embora o desempenho tenha oscilado (F1 entre 0,5 e 0,8).
  • Houve uma queda no desempenho no segundo semestre de 2022, possivelmente devido à mudança no contexto político (eleições).
• Desempenho Cruzado (Cross-Dataset):
  • Ao treinar no dataset BOL4Y e testar no EI22, o modelo alcançou um Macro F1 de 0,72 (com ratio 1:10), demonstrando que a abordagem é generalizável para falantes e contextos diferentes.

5. Significado e Impacto

• Ferramentas para Fact-Checkers: A detecção de intervalos permite automatizar a localização de trechos falsos, reduzindo drasticamente o tempo gasto por jornalistas na revisão de vídeos longos.
• Moderação de Plataformas: Oferece um caminho para que plataformas (como YouTube e TikTok) apliquem rótulos de advertência ou contextos específicos exatamente no momento em que uma afirmação falsa é feita, em vez de remover o vídeo inteiro ou não agir.
• Conformidade Regulatória: Apoia a implementação de regulamentos como o Digital Services Act (DSA) da UE, que exige transparência e moderação eficaz de conteúdo.
• Futuro da Pesquisa: Abre novas linhas de investigação para o uso de LLMs (Large Language Models) e modelos visão-linguagem nesta tarefa, além de incentivar a criação de mais datasets anotados.

Em resumo, o trabalho demonstra que a detecção automática de spans de desinformação em vídeos é viável e essencial para mitigar os efeitos da desinformação em escala, fornecendo dados e métodos fundamentais para a comunidade de pesquisa.