GenVideoLens: Where LVLMs Fall Short in AI-Generated Video Detection?

1. Planteamiento del Problema

Con el avance de los modelos generativos, los videos creados por IA (AIGV) se han vuelto cada vez más realistas, planteando riesgos significativos de desinformación y erosión de la confianza pública. Aunque los Modelos de Lenguaje y Visión Grandes (LVLMs) han mostrado potencial para detectar estos contenidos, las evaluaciones existentes presentan limitaciones críticas:

• Enfoque binario: La mayoría de los benchmarks actuales tratan la detección como un problema de clasificación binaria (Real vs. Falso).
• Métricas gruesas: Se basan en métricas agregadas como la precisión global (Accuracy) o F1-score, lo que oculta dónde y por qué fallan los modelos.
• Falta de diagnóstico: No existe una comprensión detallada de qué aspectos de la autenticidad (textura, física, lógica temporal) los LVLMs pueden detectar y cuáles ignoran.

2. Metodología: GenVideoLens

Para abordar estas limitaciones, los autores introducen GenVideoLens, un benchmark de evaluación fina (fine-grained) diseñado para diagnosticar las capacidades de los LVLMs.

A. Estructura del Benchmark

El benchmark se organiza en 15 dimensiones de autenticidad, divididas en dos niveles de análisis:

1. Nivel de Fotograma (Frame-level): Cues perceptuales estáticos observables en una sola imagen.
   • Autenticidad de textura, claridad de bordes, consistencia de materiales, artefactos de falsificación local, profundidad de campo, legibilidad de texto, naturalidad de la composición, consistencia cromática y consistencia de iluminación/sombras.
2. Nivel de Video (Video-level): Requiere razonamiento temporal y causal entre fotogramas.
   • Consistencia inter-fotograma, continuidad facial y de movimiento, plausibilidad física de las interacciones, corrección de reflexiones/refracciones/paralaje, lógica temporal y consistencia con la lógica del mundo real.

B. Construcción del Dataset

• Volumen: 500 videos en total (400 videos generados por IA altamente engañosos y 100 videos reales).
• Fuentes: Los videos sintéticos provienen de modelos de última generación (Sora, Open-Sora, GenVideo, etc.) y los reales de corpus como LOKI y OpenVid-1M.
• Filtrado: Se aplicó un riguroso proceso de filtrado para eliminar videos de baja calidad o fácilmente detectables, asegurando un conjunto de datos desafiante y realista.
• Anotación: Más de 6,000 etiquetas generadas por expertos (7 anotadores graduados en IA) mediante un protocolo de dos rondas con validación de consenso y gestión de casos inciertos.

C. Evaluación Experimental

Se evaluaron 11 LVLMs representativos (incluyendo modelos de código abierto como Qwen, InternVL, LLaVA y modelos propietarios como GPT-5 y Gemini-2.5-pro) bajo varios protocolos:

• Evaluación dimensión por dimensión.
• Análisis de sensibilidad temporal (perturbación del orden de los fotogramas).
• Evaluación de razonamiento físico y causal (usando mapas de diferencia de fotogramas y flujo óptico).
• Pruebas de prompts multidimensionales (evaluación simultánea de varias dimensiones).

3. Resultados Clave

El análisis revela un desequilibrio dimensional pronunciado en las capacidades de los LVLMs:

• Fortalezas Relativas: Los modelos se desempeñan mejor en cues perceptuales básicos como textura, bordes y composición.
• Debilidades Críticas:
  • Consistencia Óptica y Física: Los modelos fallan estrepitosamente en detectar inconsistencias en la iluminación, sombras, reflexiones y refracciones.
  • Razonamiento Temporal-Causal: Hay una incapacidad significativa para entender la continuidad del movimiento, la lógica de las escenas y las interacciones físicas (ej. objetos que atraviesan superficies).
  • Invarianza Temporal: Experimentos de perturbación mostraron que los LVLMs actuales apenas utilizan la información temporal; sus predicciones son casi idénticas independientemente del orden de los fotogramas, actuando más como analizadores de imágenes estáticas que como modelos de video.
• Paradoja de los Modelos: En dimensiones ópticas y de lógica del mundo real, modelos de código abierto más pequeños a veces superan a los modelos propietarios más grandes. Los autores sugieren que los modelos pequeños se basan más en cues visuales salientes (que coinciden con las anotaciones humanas), mientras que los grandes pueden priorizar interpretaciones semánticas de alto nivel, ignorando inconsistencias físicas sutiles.
• Colapso en Prompts Múltiples: Cuando se solicitan múltiples dimensiones en un solo prompt, los modelos tienden a "colapsar" (producir respuestas idénticas para todas las dimensiones), indicando una falta de razonamiento cruzado real y una interferencia significativa entre las tareas.

4. Contribuciones Principales

1. GenVideoLens: Un benchmark pionero que descompone la detección de videos generados por IA en 15 dimensiones diagnósticas, permitiendo una evaluación granular más allá de la precisión binaria.
2. Marco de Evaluación Dimensional: Un nuevo protocolo que revela las brechas específicas de capacidad en los LVLMs, guiando el desarrollo futuro.
3. Descubrimientos Diagnósticos: Identificación de que los LVLMs actuales carecen de razonamiento físico y causal robusto, y que su uso de la información temporal es limitado, a pesar de procesar entradas de video.

5. Significado e Impacto

El trabajo de GenVideoLens es fundamental porque cambia el paradigma de la evaluación de la detección de AIGV:

• Diagnóstico vs. Puntuación: Pasa de simplemente decir "qué tan bien funciona un modelo" a explicar "en qué falla exactamente".
• Guía para la Investigación: Señala que las futuras mejoras en la detección de videos generados por IA no deben centrarse solo en la precisión general, sino en fortalecer el razonamiento temporal, la comprensión de la física y la consistencia óptica en los modelos.
• Transparencia: Proporciona una herramienta esencial para entender las limitaciones de los sistemas de IA actuales frente a la creciente sofisticación de la generación de contenido sintético, ayudando a mitigar riesgos de desinformación.

En resumen, GenVideoLens demuestra que, aunque los LVLMs son potentes, aún carecen de la comprensión profunda de la física y la causalidad temporal necesaria para ser detectores de videos generados por IA totalmente fiables.