HyperClaim: Fine-Grained Cross-Modal Hypergraph Reasoning for Video Misinformation Detection

Resumo Técnico: HyperClaim

Definição do Problema
A detecção de desinformação em vídeos é frequentemente abordada através de fusão multimodal global ou raciocínio multimodal de forma livre. Os autores argumentam que ambos os paradigmas frequentemente falham em capturar pistas de autenticidade localizadas que surgem de interações acopladas entre frases de consulta (títulos), texto contextual e intervalos temporais curtos de quadros. Embora as formulações de grafos de pares sejam insuficientes para capturar essas dependências multimodais de ordem superior e múltiplas vias, os métodos existentes que agregam evidências em representações de nível de modalidade ou de amostra tendem a diluir inconsistências confinadas a tokens, quadros ou transições temporais breves. O desafio central é representar e agregar essa estrutura de evidência localizada sem achatá-la através de fusão global, particularmente em um cenário de entrada fechada onde o sinal relevante está distribuído entre o título, o contexto e quadros ordenados temporalmente.

Metodologia: HyperClaim
O HyperClaim é um framework de hipergrafo temporal discriminativo projetado para classificação de autenticidade ao nível da amostra. Ele trata o título do vídeo ou o texto pareado fornecido pelo benchmark como uma "consulta do tipo afirmação" ($q$) e organiza o restante do contexto textual ($E$) e os quadros do vídeo ($v$) como evidência. A arquitetura consiste em quatro estágios primários:

1. Codificação de Afirmação e Evidência:

   • O modelo utiliza o Qwen3-VL-Embedding-2B como um codificador multimodal unificado.
   • Texto: Estados ocultos ao nível de token são retidos tanto para a consulta quanto para os tokens de evidência para preservar entidades, ações e relações de granularidade fina.
   • Vídeo: Os quadros são amostrados a uma taxa de um a cada 30 quadros originais (até 16 quadros) para manter a ordem cronológica enquanto limita os nós visuais.

2. H-Forge: Formação de Hipergrafo Esparso Orientado à Afirmação:

   • Constrói um hipergrafo heterogêneo $G = (V, H)$ onde os nós incluem tokens de afirmação ($V_c$), tokens de evidência ($V_e$) e quadros amostrados ($V_v$).
   • Famílias de Hiperarestas:
     • $H_c$: Hiperarestas intra-afirmação conectando todos os tokens da consulta.
     • $H_e$: Hiperarestas específicas da fonte para cada item de evidência (ex: comentários, ASR, OCR).
     • $H_v$: Hiperarestas temporais locais usando janelas sobrepostas de três quadros consecutivos.
     • $H_{tv}$: Unidades de verificação cross-modais esparsas conectando âncoras textuais aos seus correspondentes de quadros mais fortes.
   • Filtragem e Orçamento: Um processo de filtragem consciente da confiança seleciona âncoras textuais baseadas na força de correspondência cross-modal e margem (para reduzir a ambiguidade). Um mecanismo de "orçamento de fonte consciente da afirmação" reserva ~35% das slots de âncoras para tokens de afirmação, priorizando a consulta sem duplicá-la em cada hiperaresta.

3. Aether: Raciocínio de Hipergrafo Temporal Adaptativo:

   • Calibração Bidirecional Texto-Vídeo: Um bloco de atenção cruzada leve recalibra os estados textuais e visuais em cada camada de raciocínio, misturando distribuições de atenção com um resíduo uniforme para garantir a passagem de mensagens robusta.
   • Incidência Suave e Propagação: Em vez de atribuições rígidas, o modelo aprende membros de nó-hiperaresta suaves. Ele computa estados semente para hiperarestas e usa mecanismos de atenção para propagar mensagens entre nós e hiperarestas, permitindo pesos dependentes do contexto.
   • Refinamento de Inter-hiperaresta: Uma camada de grafo de linha ponderada é aplicada para refinar as interações entre unidades de evidência sobrepostas sem colapsar seus estados individuais.

4. Cred: Leitura de Discrepância Condicionada à Afirmação:

   • Agrega estados textuais, visuais e de hiperaresta usando atenção linear aprendida.
   • Modelagem de Discrepância: A leitura modela explicitamente o acordo e a discrepância entre afirmação e vídeo. Ela computa a diferença ($d_{cv}$) e o produto elemento a elemento ($p_{cv}$) entre as representações normalizadas da afirmação e do vídeo.
   • A predição final é gerada por um MLP que recebe os resumos concatenados e as características de discrepância como entrada.

Estratégia de Treinamento
O modelo emprega uma estratégia de otimização de dois estágios:

• Estágio 1: O codificador multimodal é congelado. O raciocínio de hipergrafo, o pooling e os módulos de predição são otimizados em características pré-computadas para estabelecer uma função de roteamento de evidência estável.
• Estágio 2: Os módulos downstream são congelados. Apenas adaptadores LoRA dentro das projeções de atenção/feed-forward visual e textual do codificador são otimizados para adaptar as representações à estrutura fixa downstream.

Principais Contribuições

1. Representação de Hipergrafo Temporal Esparso: Introduz uma representação orientada à afirmação que preserva relações de ordem superior entre consulta–texto–quadro e relações temporais de curto alcance, evitando o colapso de evidências heterogêneas em resumos globais.
2. Framework Integrado (HyperClaim): Desenvolve um sistema que combina formação de hipergrafo consciente da confiança, raciocínio de incidência suave adaptativa, calibração residual de texto-vídeo e leitura consciente da discrepância.
3. Rastreamento Estrutural de Evidência: Diferente de métodos que geram racionales de forma livre, o HyperClaim suporta o rastreamento de evidência estrutural de nível de token e de quadro via incidência aprendida e pesos de atenção, revelando caminhos de informação de alto peso.

Resultados Experimentais
Avaliado sob o protocolo temporal FactGuard em três benchmarks: FakeSV, FakeTT e FakeVV.

• Desempenho: O HyperClaim alcançou resultados de estado da arte, superando bases discriminativas fortes e sistemas centrados em raciocínio (Fact-R1, FactGuard).
  • FakeSV: 83.7% de Acurácia, 84.2% de F1.
  • FakeTT: 82.0% de Acurácia, 79.5% de F1.
  • FakeVV: 87.3% de Acurácia, 86.1% de F1.
• Estudos de Ablação:
  • Remover a evidência de vídeo derrubou o F1 significativamente (de 80.5% para 70.1% no FakeSV), confirmando a necessidade de modelagem multimodal conjunta.
  • Substituir a agregação aprendida por pooling médio global reduziu o desempenho, destacando a importância da relevância dependente da fonte e da afirmação.
  • Tanto a incidência suave (roteamento adaptativo) quanto a calibração texto-vídeo mostraram-se complementares; remover qualquer uma delas degradou o desempenho.

Significância
O artigo postula que a detecção eficaz de desinformação em vídeos requer a preservação de evidências cross-modais localizadas, em vez de assumir que cada amostra enganosa se reduz a uma única contradição explícita. Ao utilizar hipergrafos para representar dependências de ordem superior e empregar uma abordagem de raciocínio de entrada fechada e discriminativa, o HyperClaim captura com sucesso evidências estruturais de granularidade fina. O modelo demonstra que estruturas de evidência local explícitas podem fornecer caminhos de decisão fortes sem depender de racionales gerados ou chamadas de ferramentas externas, oferecendo uma alternativa robusta tanto para o paradigma de fusão global quanto para o de raciocínio aberto.