Resumen Técnico: CoCoVideo y CoCoDetect

1. Declaración del Problema

El rápido avance del Contenido Generado por Inteligencia Artificial (AIGC) ha dado lugar a falsificaciones de video cada vez más sofisticadas, lo que plantea desafíos significativos para el discurso público y la seguridad social. Si bien la detección de deepfakes ha progresado, los métodos actuales enfrentan dos limitaciones críticas:

1. Brecha de Calidad de los Conjuntos de Datos: Los benchmarks existentes (por ejemplo, GenBuster, GenVidBench) dependen en gran medida de modelos de generación de video de código abierto. Estos modelos producen resultados con una fidelidad visual inferior y una consistencia de movimiento/escena más débil en comparación con los sistemas comerciales de vanguardia. En consecuencia, los modelos entrenados con tales datos tienden a sobreajustarse a patrones generativos de baja calidad y no logran generalizar a videos AIGC comerciales de alta fidelidad.
2. Limitaciones Metodológicas: Los métodos de detección tradicionales suelen centrarse en arquitecturas generativas específicas o en pistas de manipulación de bajo nivel (por ejemplo, artefactos visuales, anomalías de frecuencia). Tienen dificultades para aprovechar las pistas semánticas de alto nivel, como la lógica física y la coherencia de la escena, que son cruciales para distinguir falsificaciones de alta calidad que carecen de artefactos obvios de bajo nivel.

2. Metodología

El artículo introduce una solución de dos vertientes: un nuevo conjunto de datos de alta calidad (CoCoVideo-26K) y un novedoso marco de detección (CoCoDetect).

2.1. Conjunto de Datos CoCoVideo-26K

CoCoVideo-26K es un benchmark contrastivo basado en modelos comerciales diseñado para cerrar la brecha de calidad entre los datos de investigación y las amenazas del mundo real.

• Composición de los Datos: El conjunto de datos comprende 26,000 clips de video organizados en pares "real–fake" semánticamente alineados.
  • Videos Reales: Obtenidos de OpenVid-1M, filtrados para escenas de alta fidelidad del mundo real (~13,000 clips).
  • Videos Falsos: Generados utilizando 13 modelos distintos de generación de video comercial de vanguardia (por ejemplo, Sora, Kling, Runway Gen4, Jimeng 3.0, Midjourney v7). Cada modelo contribuye con 1,000 videos.
• Estructura Contrastiva: Cada video real está emparejado con una contraparte sintética generada a partir del mismo primer fotograma e identico prompt de texto. Esto asegura una estricta alineación semántica, permitiendo un análisis detallado de las diferencias en textura, movimiento y consistencia de la escena bajo condiciones de contenido coincidente.
• Escala y Diversidad: El conjunto de datos cubre diversas categorías que incluyen interacciones humanas, preparación de alimentos, crecimiento de plantas y paisajes naturales, con una duración constante de ~5 segundos y tasas de fotogramas de 24–30 FPS.

2.2. Marco de Trabajo CoCoDetect

CoCoDetect es un marco de detección que integra el aprendizaje contrastivo con un mecanismo de razonamiento de Modelo de Lenguaje Grande Multimodal (MLLM) con compuerta de confianza.

• Backbone: El sistema utiliza una red R3D-18 para extraer representaciones espacio-temporales de lotes de video de entrada.
• Arquitectura de Doble Cabezal:
  1. Cabezal de Confianza: Un MLP de tres capas seguido de una activación Sigmoid emite una puntuación de confianza ($p \in [0, 1]$) que indica la probabilidad de que un video sea real.
  2. Cabezal de Proyección: Un MLP de dos capas mapea las características en un espacio de incrustación (embedding) de 128 dimensiones para el aprendizaje contrastivo.
• Función de Pérdida:
  • Pérdida de Confianza: Entropía Cruzada Binaria (BCE) para la clasificación de autenticidad.
  • Pérdida Contrastiva Emparejada: A diferencia del aprendizaje contrastivo supervisado tradicional que agrupa todas las muestras de la misma clase, esta pérdida impone específicamente la separación entre pares real–fake semánticamente alineados (que comparten el mismo primer fotograma y prompt). Utiliza una penalización de bisagra (hinge penalty) para asegurar que la similitud de coseno entre un par real–fake se mantenga por debajo de un umbral específico, sin restringir las muestras no emparejadas.
• Inferencia de MLLM con Compuerta de Confianza:
  • Mecanismo de Enrutamiento: Durante la inferencia, si la puntuación de confianza $p$ cae dentro de un rango de incertidumbre (definido por el umbral $\tau$), la muestra es dirigida a un MLLM (LLaVA-NeXT-Video-7B). Las muestras de alta confianza son clasificadas directamente por el backbone.
  • Razonamiento de MLLM: Para casos inciertos, el MLLM analiza fotogramas clave y la puntuación de confianza para razonar sobre la plausibilidad física y la coherencia de la escena. Emite un JSON estructurado que contiene un juicio binario, una puntuación de confianza semántica y una explicación en lenguaje natural.
  • Fusión de Decisión: La salida del MLLM se mapea al mismo espacio semántico que la confianza del backbone y se fusiona mediante una estrategia de ponderación adaptativa para producir la clasificación final.

3. Contribuciones Clave

1. Benchmark CoCoVideo-26K: El establecimiento de un conjunto de datos de alta calidad que presenta pares contrastivos real–fake de 13 modelos comerciales, proporcionando un nuevo estándar para evaluar la detección de AIGC bajo condiciones de alta fidelidad y realistas.
2. Marco CoCoDetect: Una arquitectura novedosa que combina el aprendizaje contrastivo de doble cabezal (para la discriminación a nivel de textura) con un mecanismo de MLLM con compuerta de confianza (para el razonamiento a nivel semántico), permitiendo un juicio sistemático a través de ambos niveles de características.
3. Validación Empírica: Experimentos exhaustivos que demuestran un rendimiento de vanguardia en el conjunto de prueba CoCoVideo y una fuerte capacidad de generalización en múltiples benchmarks públicos de código abierto.

4. Resultados Experimentales

4.1. Rendimiento en CoCoVideo-26K

En el conjunto de prueba propuesto, CoCoDetect logró el mejor rendimiento promedio en Precisión (90.69%), F1-score (90.62%), Recall (89.95%) y AUC (95.93%), superando a bases sólidas como DeMamba, VideoMAE y 3D ResNeXt.

• Observación: El método mostró una estrategia de decisión conservadora, priorizando la precisión sobre el recall en algunos modelos, reduciendo eficazmente las falsas alarmas al activar selectivamente el MLLM para casos inciertos.
• Limitación: El rendimiento disminuyó ligeramente en modelos como Jimeng y Veo3 donde las inconsistencias de resolución entre los pares reales y falsos interrumpieron la alineación semántica.

4.2. Generalización entre Conjuntos de Datos

Evaluado en cinco benchmarks públicos (GVD, GVF, GenVideo, GenVidBench, GenBuster), CoCoDetect demostró una generalización robusta:

• Logró la mayor precisión en cuatro de los cinco benchmarks.
• En GenBuster, que utiliza versiones más antiguas de los mismos modelos comerciales, CoCoDetect mantuvo un fuerte rendimiento, lo que sugiere que depende menos de artefactos de generación específicos y más de pistas semánticas y de textura generalizables.
• En GenVideo, el rendimiento cayó en el F1-score debido a la prevalencia de clips cortos y casi estáticos en ese conjunto de datos, lo que interrumpió la coherencia temporal requerida para el análisis de movimiento del MLLM.

4.3. Estudios de Ablación

Los experimentos de ablación confirmaron la necesidad de ambos componentes:

• Eliminar el Cabezal de Proyección (aprendizaje contrastivo) redujo el AUC de 95.93% a 91.39%.
• Eliminar el MLLM (depender solo de las puntuaciones de confianza) redujo el AUC a 95.46%.
• El modelo completo alcanzó las puntuaciones más altas, validando que las características contrastivas de bajo nivel y el razonamiento semántico de alto nivel trabajan de forma sinérgica.

4.4. Casos de Estudio

• Alta Confianza: La red contrastiva identificó correctamente artefactos de textura obvios sin la intervención del MLLM.
• Baja Confianza (Rescatado): En casos ambiguos, el MLLM identificó con éxito errores semánticos (por ejemplo, un puente colgante mal interpretado como una chimenea) que el backbone pasó por alto, corrigiendo la predicción.
• Caso de Fallo: En escenas naturales simples con artefactos sutiles y sin inconsistencias semánticas obvias, ambos módulos fallaron, resaltando la dificultad actual de detectar falsificaciones en entornos de baja complejidad.

5. Significado y Reivindicaciones

El artículo afirma que CoCoVideo-26K aborda la brecha crítica entre los conjuntos de datos de investigación y las amenazas de AIGC comerciales del mundo real, proporcionando un benchmark más confiable para el entrenamiento y la evaluación. CoCoDetect se presenta como un marco robusto que supera las limitaciones de la detección puramente basada en texturas al integrar el razonamiento semántico para casos inciertos.

Los autores enfatizan que su enfoque valida la efectividad de combinar el aprendizaje contrastivo de grano fino con la verificación semántica de alto nivel. Concluyen que, si bien el método demuestra un rendimiento de vanguardia y una fuerte generalización, el trabajo futuro se centrará en expandir el conjunto de datos con modalidades de audio y anotaciones semánticas más ricas para mejorar aún más la detección de contenido AIGC confiable.