Resumen Técnico: CLARA – Alineación Multimodal a Nivel de Clip con Racionales Derivados de VLM para la Detección de Videos de Odio

Planteamiento del Problema

La detección de videos de odio es un desafío crítico pero poco explorado en la moderación de contenidos, particularmente a medida que crecen las plataformas de redes sociales centradas en el video. A diferencia del texto o el contenido multimodal estático (por ejemplo, memes), el significado de odio en los videos suele surgir de interacciones complejas y temporalmente dependientes entre señales visuales, auditivas y de habla. Estas señales son frecuentemente breves, implícitas y sensibles al contexto, emergiendo progresivamente a través de múltiples clips en lugar de estar contenidas dentro de un solo fotograma o enunciado.

Los enfoques existentes dependen predominantemente del modelado grueso a nivel de video, donde videos enteros se codifican en representaciones globales antes de la fusión y clasificación. Este paradigma sufre de tres limitaciones clave:

1. Pérdida de Granularidad Temporal: Comprimir un video en una única representación conlleva el riesgo de diluir momentos de odio decisivos y cortos con segmentos neutros largos.
2. Estrategias de Fusión Rígidas: Las reglas de fusión fijas no logran adaptarse a los cambios dinámicos en las contribuciones de las modalidades (por ejemplo, cuando el odio se desplaza de las palabras habladas al contexto visual) a lo largo del tiempo.
3. Modelado Local-Global Desconectado: El trabajo previo rara vez modela explícitamente la relación entre las pistas locales y el contexto del discurso más amplio, lo cual es esencial para interpretar el odio implícito.

Metodología: El Marco de Trabajo CLARA

Los autores proponen CLARA (Alineación Multimodal a Nivel de Clip con Racionales Derivados de VLM), un marco que cambia la unidad básica de modelado del video completo a clips alineados con enunciados. La arquitectura consta de seis componentes principales:

1. Segmentación de Clips Alineados con Enunciados

En lugar de una segmentación de longitud fija, los videos se segmentan basándose en límites de enunciados utilizando transcripciones y marcas de tiempo de Whisper-large-v3. Esto asegura que cada clip corresponda a una unidad semánticamente coherente. Los intervalos de silencio se gestionan fusionando las pausas menores a 1 segundo con los clips adyacentes, mientras que las pausas más largas se mantienen como segmentos independientes para preservar la estructura del discurso.

2. Codificador de Clips Basado en MoE

Para cada clip, se extraen características multimodales:

• Audio: Embeddings crudos de Whisper-large-v3.
• Visual: Embeddings a nivel de fotograma de un ViT preentrenado, con presupuestos de fotogramas asignados proporcionalmente a la duración del clip.
• Texto: Embeddings concatenados de las transcripciones y el texto OCR (extraído mediante PaddleOCR) codificados por BERT.

Estas características se proyectan en un espacio latente compartido y se fusionan utilizando un codificador de Mezcla de Expertos (MoE). Una red de compuerta (gating network) enruta dinámicamente las entradas a un subconjunto de expertos (Top-K), permitiendo una alineación multimodal adaptativa y dependiente de la entrada en lugar de una fusión estática. Una pérdida de equilibrio de carga (load-balancing loss) asegura una utilización eficiente de los expertos.

3. Aprendizaje Contrastivo de Segmentos Local-Global

Para vincular las pistas locales con el contexto global, se introduce un objetivo contrastivo. El modelo construye:

• Segmentos Locales: Secuencias cortas de clips consecutivos.
• Segmentos Globales: Extensiones temporales más largas que cubren el video.
  El objetivo impone consistencia entre los segmentos locales y globales del mismo video (pares positivos) mientras separa los segmentos de diferentes videos (pares negativos). Esto fomenta que el modelo capture tanto las señales de corto plazo como las dependencias temporales de largo alcance.

4. Generación de Racionales Impulsada por VLM

Un Modelo de Lenguaje y Visión (Qwen3VL-8B-Instruct) genera racionales a nivel de video a través de un proceso de prompting de dos pasos:

1. Análisis Objetivo: Describir lo visual, resumir el texto y explicar su relación.
2. Verificación de Odio: Determinar la naturaleza de odio (explícito/implícito) y proporcionar razones basadas en evidencia.
   Estos racionales sirven como guía semántica de alto nivel.

5. Transformer con Compuerta de Racionales

La embedding del racional generado y la secuencia de embeddings de los clips se integran mediante un Transformer con compuerta (gated Transformer). Un mecanismo de compuerta ligero modula las contribuciones de las ramas del racional y de los clips antes de la codificación temporal. Esto permite al modelo ponderar dinámicamente el razonamiento semántico de alto nivel frente a la evidencia detallada del clip antes de agregarlos en una representación final del video.

6. Objetivo de Entrenamiento

El modelo se optimiza utilizando una combinación de:

• Pérdida de Entropía Cruzada Supervisada: Para la clasificación final de odio.
• Pérdida Contrastiva ($L_{CL}$): Para la alineación local-global.
• Pérdida de Equilibrio de Carga ($L_{LB}$): Para la estabilidad de la MoE.

Principales Contribuciones

1. Paradigma a Nivel de Clip: CLARA va más allá del modelado grueso a nivel de video al representar explícitamente los videos como secuencias de clips alineados con enunciados, preservando unidades temporales finas donde emergen las señales de odio.
2. Arquitectura Adaptativa: El marco combina un codificador de clips MoE para una fusión dinámica, un objetivo de contraste local-global para la consistencia temporal de escala cruzada, y un Transformer con compuerta que integra los racionales derivados de VLM para la guía semántica.
3. Rendimiento de Vanguardia (SOTA): Experimentos extensos demuestran que CLARA supera consistentemente a las líneas base existentes en múltiples conjuntos de datos.

Resultados Experimentales

Los autores evaluaron CLARA en tres conjuntos de datos: HateMM, MultiHateClip (subconjuntos chino e inglés) y DeHate.

• Rendimiento: CLARA alcanzó resultados de vanguardia en todos los conjuntos de datos y métricas (Exactitud, Macro-F1, Macro-Precisión, Macro-Recall).
  • En HateMM, CLARA logró un 87.9% de Exactitud y un 87.2% de Macro-F1, superando al segundo mejor método (MM-HSD) por un 4.0% en Exactitud (0.879 vs 0.839) y un 3.9% en Macro-F1 (0.872 vs 0.833).
  • Se observaron mejoras significativas similares en MHC_CN, MHC_EN y DeHate, con mejoras absolutas en todos los conjuntos de datos que oscilaron entre un 2.4% y un 5.3% en Exactitud y un 2.7% y un 7.4% en Macro-F1.
• Estudios de Ablación: Eliminar cualquier componente (modalidades, MoE, aprendizaje contrastivo, racionales o el Transformer con compuerta) resultó en una degradación del rendimiento. Notablemente, eliminar el Transformer con compuerta causó una caída significativa, resaltando la importancia del modelado temporal explícito.
• Análisis de Parámetros:
  • MoE: Se encontró un rendimiento óptimo con 10 expertos y enrutamiento Top-2, aunque las configuraciones con 8–10 expertos generalmente produjeron resultados sólidos.
  • Peso Contrastivo: Un peso moderado ($\lambda_{CL} \approx 0.4$) proporcionó el mejor equilibrio entre alineación y clasificación.
  • Presupuesto de Fotogramas: Un presupuesto relativamente pequeño (40 fotogramas) fue suficiente, ya que presupuestos mayores no ofrecieron beneficios adicionales.

Significado y Afirmaciones

El artículo sostiene que la detección efectiva de videos de odio requiere no solo la integración de múltiples modalidades, sino también cuándo y con qué granularidad temporal se alinean. Al desplazar la interacción multimodal al nivel de clip alineado con enunciados, CLARA mitiga la dilución de las señales de odio decisivas que se encuentran en el modelado global de video.

Los autores afirman que su enfoque aborda eficazmente el desafío del odio implícito y dependiente del contexto mediante:

1. La preservación de la estructura temporal fina.
2. El vínculo explícito entre la evidencia local y el discurso más amplio mediante el aprendizaje contrastivo.
3. El aprovechamiento de los racionales derivados de VLM para guiar la interpretación a nivel de secuencia en lugar de hacerlo tras la compresión.

Este trabajo posiciona a CLARA como una solución robusta y de vanguardia que avanza el campo más allá de las estrategias de fusión fijas y las representaciones de grano grueso, ofreciendo una comprensión más matizada de cómo el significado de odio se desarrolla a lo largo del tiempo.