HyperClaim: Fine-Grained Cross-Modal Hypergraph Reasoning for Video Misinformation Detection

Resumen Técnico: HyperClaim

Planteamiento del Problema
La detección de desinformación en videos se aborda frecuentemente mediante la fusión multimodal global o el razonamiento multimodal de forma libre. Los autores argumentan que ambos paradigmas suelen fallar al capturar claves de autenticidad localizadas que surgen de las interacciones acopladas entre las frases de consulta (títulos), el contexto textual y los intervalos temporales cortos de los fotogramas. Dado que las formulaciones de grafos de pares son insuficientes para capturar estas dependencias multimodales de orden superior y múltiples vías, los métodos existentes que agregan evidencia en representaciones a nivel de modalidad o de muestra tienden a diluir las inconsistencias confinadas a tokens, fotogramas o transiciones temporales breves. El desafío central es representar y agregar esta estructura de evidencia localizada sin aplanarla mediante una fusión global, particularmente en un entorno de entrada cerrada donde la señal relevante está distribuida a través del título, el contexto y los fotogramas ordenados temporalmente.

Metodología: HyperClaim
HyperClaim es un marco de hipergrafo temporal discriminativo diseñado para la clasificación de autenticidad a nivel de muestra. Trata el título del video o el texto emparejado proporcionado por el benchmark como una "consulta tipo reclamo" ($q$) y organiza el resto del contexto textual ($E$) y los fotogramas del video ($v$) como evidencia. La arquitectura consta de cuatro etapas primarias:

1. Codificación de Reclamo y Evidencia:

   • El modelo utiliza Qwen3-VL-Embedding-2B como un codificador multimodal unificado.
   • Texto: Se conservan los estados ocultos a nivel de token tanto para la consulta como para los tokens de evidencia para preservar entidades, acciones y relaciones de grano fino.
   • Video: Los fotogramas se muestrean a una tasa de uno cada 30 fotogramas originales (hasta 16 fotogramas) para mantener el orden cronológico mientras se limita el número de nodos visuales.

2. H-Forge: Formación de Hipergrafo Disperso Orientado al Reclamo:

   • Construye un hipergrafo heterogéneo $G = (V, H)$ donde los nodos incluyen tokens del reclamo ($V_c$), tokens de evidencia ($V_e$) y fotogramas muestreados ($V_v$).
   • Familias de Hiperaristas:
     • $H_c$: Hiperaristas intra-reclamo que conectan todos los tokens de la consulta.
     • $H_e$: Hiperaristas específicas de la fuente para cada elemento de evidencia (por ejemplo, comentarios, ASR, OCR).
     • $H_v$: Hiperaristas temporales locales utilizando ventanas superpuestas de tres fotogramas consecutivos.
     • $H_{tv}$: Unidades de verificación transmodales dispersas que conectan anclas textuales con sus coincidencias de fotogramas más fuertes.
   • Filtrado y Presupuesto: Un proceso de filtrado consciente de la confianza selecciona anclas textuales basadas en la fuerza de coincidencia transmodal y el margen (para reducir la ambigüedad). Un mecanismo de "presupuesto de fuente consciente del reclamo" reserva aproximadamente el 35% de los espacios de anclaje para los tokens del reclamo, priorizando la consulta sin duplicarla en cada hiperarista.

3. Aether: Razonamiento de Hipergrafo Temporal Adaptativo:

   • Calibración Bidireccional Texto-Video: Un bloque de atención cruzada ligero recalibra los estados textuales y visuales en cada capa de razonamiento, mezclando las distribuciones de atención con un residuo uniforme para asegurar un paso de mensajes robusto.
   • Incidencia Suave y Propagación: En lugar de asignaciones rígidas, el modelo aprende membresías suaves de nodo-hiperarista. Calcula estados semilla para las hiperaristas y utiliza mecanismos de atención para propagar mensajes entre nodos e hiperaristas, permitiendo un pesaje dependiente del contexto.
   • Refinamiento de Inter-hiperaristas: Se aplica una capa de grafo de línea ponderado para refinar las interacciones entre unidades de evidencia superpuestas sin colapsar sus estados individuales.

4. Cred: Lectura de Discrepancia Condicionada al Reclamo:

   • Agrega estados textuales, visuales y de hiperaristas utilizando atención lineal aprendida.
   • Modelado de Discrepancia: La lectura modela explícitamente el acuerdo y la discrepancia reclamo-video. Calcula la diferencia ($d_{cv}$) y el producto elemento a elemento ($p_{cv}$) entre las representaciones normalizadas del reclamo y del video.
   • La predicción final se genera mediante un MLP que toma los resúmenes concatenados y las características de discrepancia como entrada.

Estrategia de Entrenamiento
El modelo emplea una estrategia de optimización de dos etapas:

• Etapa 1: El codificador multimodal permanece congelado. El razonamiento del hipergrafo, el agrupamiento (pooling) y los módulos de predicción se optimizan sobre características precomputadas para establecer una función de enrutamiento de evidencia estable.
• Etapa 2: Los módulos de procesamiento posterior permanecen congelados. Solo se optimizan los adaptadores LoRA dentro de las proyecciones de atención y de alimentación hacia adelante (feed-forward) visuales y textuales del codificador para adaptar las representaciones a la estructura fija de procesamiento posterior.

Contribuciones Clave

1. Representación de Hipergrafo Temporal Disperso: Introduce una representación orientada al reclamo que preserva las relaciones localizadas de consulta–texto–fotograma y de corto alcance temporal, evitando el colapso de la evidencia heterogénea en resúmenes globales.
2. Marco Integrado (HyperClaim): Desarrolla un sistema que combina la formación de hipergrafos consciente de la confianza, el razonamiento de incidencia suave adaptativa, la calibración residual texto-video y la lectura consciente de la discrepancia.
3. Rastreo de Evidencia Estructural: A diferencia de los métodos que generan justificaciones de forma libre, HyperClaim permite el rastreo de evidencia estructural a nivel de token y de fotograma mediante pesos de incidencia y atención aprendidos, revelando rutas de información de alto peso.

Resultados Experimentales
Evaluado bajo el protocolo temporal FactGuard en tres benchmarks: FakeSV, FakeTT y FakeVV.

• Desempeño: HyperClaim logró resultados de estado del arte, superando a bases discriminativas fuertes y sistemas de razonamiento (Fact-R1, FactGuard).
  • FakeSV: 83.7% de Precisión, 84.2% F1.
  • FakeTT: 82.0% de Precisión, 79.5% F1.
  • FakeVV: 87.3% de Precisión, 86.1% F1.
• Estudios de Ablación:
  • Eliminar la evidencia de video redujo significativamente el F1 (de 80.5% a 70.1% en FakeSV), confirmando la necesidad del modelado multimodal conjunto.
  • Reemplazar la agregación aprendida con un agrupamiento promedio global redujo el desempeño, resaltando la importancia de la relevancia dependiente de la fuente y del reclamo.
  • Tanto la incidencia suave (enrutamiento adaptativo) como la calibración texto-video demostraron ser complementarias; eliminar cualquiera de las dos degradó el desempeño.

Significancia
El artículo postula que la detección efectiva de desinformación en videos requiere preservar la evidencia multimodal localizada en lugar de asumir que cada muestra engañosa se reduce a una única contradicción explícita. Al utilizar hipergrafos para representar dependencias de orden superior y emplear un enfoque de razonamiento discriminativo de entrada cerrada, HyperClaim captura con éxito la evidencia estructural de grano fino. El modelo demuestra que las estructuras de evidencia local explícitas pueden proporcionar rutas de decisión sólidas sin depender de justificaciones generadas o llamadas a herramientas externas, ofreciendo una alternativa robusta tanto al paradigma de fusión global como al de razonamiento abierto.