Resumen Técnico: Un Nuevo Enfoque Híbrido Inteligente para la Detección Multimodal de Sospechas de Desinformación en TikTok

Planteamiento del Problema

La rápida difusión de contenido multimedia en las plataformas de redes sociales, particularmente en TikTok, ha creado un desafío significativo en la identificación de la desinformación. A diferencia de la desinformación basada únicamente en texto, la desinformación basada en video aprovecha pistas de texto, audio y visuales para crear narrativas convincentes que manipulan la opinión pública y perturban los procesos democráticos. Los enfoques actuales de aprendizaje automático (ML) a menudo luchan contra el sesgo en los conjuntos de datos de entrenamiento, la falta de interpretabilidad y la dificultad de fusionar eficazmente diversas modalidades (texto, audio, video) en tiempo real. Además, los métodos actuales suelen fallar al no proporcionar explicaciones transparentes para sus decisiones de detección, lo cual es crucial para la confianza del usuario y el cumplimiento regulatorio. Este estudio aborda la necesidad de un sistema que no solo detecte la sospecha de desinformación con alta precisión, sino que también ofrezca conocimientos explicables y legibles por humanos sobre las pistas conductuales que impulsan dichas detecciones.

Metodología

Los autores proponen un Marco de Inteligencia Híbrida que unifica la potencia computacional del Aprendizaje Profundo (DL) con la interpretabilidad de la Lógica Difusa. La metodología se estructura en torno a un Modelo Lingüístico Granular de Fenómenos (GLMP) y consta de cuatro componentes principales:

1. Marco de Conceptualización

El sistema se fundamenta en rasgos psicosociológicos, específicamente en el marco de personalidad Big-5 (Apertura, Responsabilidad, Extroversión, Amabilidad y Neuroticismo). Un panel de expertos definió dimensiones y atributos asociados con estos rasgos para identificar patrones de comportamiento comunes entre los propagadores de desinformación (por ejemplo, alto neuroticismo en contextos políticos).

2. Analizador de Características Multimodales (Componente de Aprendizaje Profundo)

Este componente extrae y evalúa datos de tres modalidades:

• Audio: Utiliza Whisper para la transcripción del habla y MyProsody para el análisis acústico. Mide el tiempo de reacción, el estado de ánimo, la fluidez (pausas/interrupciones) y la frecuencia fundamental (uniformidad de la voz).
• Texto: Procesa el audio transcrito utilizando Spacy para el procesamiento de lenguaje natural (NLP). Analiza la concreción, la organización, la vaguedad, la redundancia y la polaridad del sentimiento. La clasificación de temas se realiza mediante las taxonomías EuroVoc o IPTC.
• Video: Emplea OpenCV y DeepFace para detectar puntos de referencia faciales (detector de 68 puntos) y gestos. Rastrea la actividad ocular (mirada, parpadeo), movimientos de la boca, movimiento de la cabeza y clasifica las expresiones faciales (ira, miedo, felicidad, etc.) para identificar marcadores de estrés o ansiedad.

3. Detector de Desinformación Multimodal (Componente de Lógica Difusa)

Las métricas extraídas se procesan a través de una estructura jerárquica de Mapeos de Percepción (PM) y Percepciones Computacionales (CP):

• Mapeo de Percepción Jerárquico (HPM): Esta estructura recursiva agrega medidas de bajo nivel (PM de primer orden) en atributos (segundo orden), dimensiones (tercer orden) y comportamientos (cuarto orden).
• Agregación: Las entradas de nivel inferior se agregan utilizando reglas difusas o operadores de promedio ponderado para generar etiquetas lingüísticas (por ejemplo, "Bajo", "Medio", "Alto").
• Agregación Final: Las cinco dimensiones conductuales se combinan utilizando la Integral de Choquet. Esta función tiene en cuenta las interdependencias entre comportamientos (por ejemplo, cómo interactúan el neuroticismo y la baja amabilidad) en lugar de tratarlos como variables independientes. El resultado es un valor único que representa la "sospecha de desinformación".

4. Generación de Prompts y Reportes

Para garantizar la explicabilidad, el sistema emplea un Generador de Prompts (PG) que traduce las salidas difusas jerárquicas en lenguaje natural estructurado. Estos prompts se introducen en un Modelo de Lenguaje Grande (LLM), específicamente GPT-4, para generar reportes exhaustivos y coherentes que detallan las pistas conductuales específicas (por ejemplo, "La persona no es muy extrovertida ya que tiene baja energía y expresividad") que llevaron a la puntuación de sospecha final.

Principales Contribuciones

El artículo describe tres contribuciones principales:

1. Un Nuevo Marco Híbrido: La propuesta de un sistema de detección multimodal para TikTok que integra el Aprendizaje Profundo para la extracción de características con la Lógica Difusa (específicamente GLMP e Integral de Choquet) para una toma de decisiones interpretable.
2. Mapeo de Percepción Jerárquico (HPM): La definición de una estructura recursiva para modelar fenómenos complejos, permitiendo la flexibilidad para capturar comportamientos en distintos niveles de granularidad (desde medidas puras hasta comportamientos de alto nivel).
3. Reportes Explicables: El diseño de un Generador de Prompts que aprovecha las salidas del HPM para crear reportes detallados y legibles por humanos, abordando la naturaleza de "caja negra" de los modelos tradicionales de aprendizaje profundo.

Resultados Experimentales

El marco fue evaluado a través de dos experimentos distintos:

Experimento 1: Validación de Contexto Específico (RQ1)

• Conjunto de Datos: 24 videos de estilo TikTok que cubren seis temas (por ejemplo, COVID-19, eventos políticos) de un estudio de encuesta pre-registrado.
• Resultado: Se evaluaron 19 videos tras filtrar las entradas no válidas (por ejemplo, videos sin rostro o sin audio). El sistema identificó correctamente el nivel de sospecha de 18 de los 19 videos, alineándose con las etiquetas esperadas de "Desinformación" (Alto/Medio) o "Corrección/Desmentido" (Bajo). Esto confirmó la capacidad del modelo para identificar usuarios de desinformación en contextos específicos y controlados.

Experimento 2: Escalabilidad y Contexto Amplio (RQ2)

• Conjunto de Datos: 5,172 videos relacionados con la Invasión de Ucrania (2022), obtenidos de un conjunto de datos de 15,835 videos.
• Resultado: El sistema categorizó los videos en cinco niveles lingüísticos de sospecha:
  • Bajo: 16.1% (831 videos)
  • Bajo/Medio: 21.8% (1,127 videos)
  • Medio: 25.5% (1,318 videos)
  • Medio/Alto: 22.0% (1,135 videos)
  • Alto: 14.7% (761 videos)
• Análisis: La distribución demostró la capacidad del modelo para diferenciar diversos grados de riesgo. Los reportes generados proporcionaron información granular sobre los rasgos conductuales (por ejemplo, alto neuroticismo, baja amabilidad) asociados con los videos de alta sospecha.

Significado y Reivindicaciones

Los autores afirman que este trabajo representa un esfuerzo inaugural para emplear una metodología multimodal para identificar sospechas de desinformación en videos de TikTok con un énfasis específico en la explicabilidad.

• Interpretabilidad: A diferencia de los clasificadores estándar de aprendizaje profundo, este sistema proporciona un razonamiento transparente y trazable para sus decisiones, permitiendo a los usuarios entender por qué un video fue marcado basándose en pistas conductuales específicas (lenguaje corporal, patrones de habla, coherencia del texto).
• Inteligencia Híbrida: Al combinar el reconocimiento de patrones del DL con el razonamiento lógico de la Lógica Difusa, el sistema ofrece un enfoque robusto que maneja la complejidad del comportamiento humano sin sacrificar la capacidad de explicar el resultado.
• Información Accionable: La generación de reportes estructurados de alta calidad transforma los datos brutos en inteligencia accionable, ayudando en la detección de campañas de desinformación sin infringir los derechos de privacidad o de libertad de expresión.

El artículo concluye que, si bien el enfoque es prometedor, el trabajo futuro debe abordar limitaciones como la dependencia de las métricas, los desafíos de traducción para contenidos que no estén en inglés y la integración de técnicas de detección de deepfakes.