Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning

Resumen Técnico: Skyra – Detección de Videos Generados por IA mediante Razonamiento de Artefactos Fundamentados

Enunciado del Problema
El rápido avance de los modelos generativos basados en difusión y multimodales ha permitido la creación de videos sintéticos fotorrealistas, lo que plantea riesgos significativos para la seguridad social a través de la desinformación y los deepfakes. Si bien los métodos de detección existentes se han centrado en gran medida en la clasificación binaria utilizando características espacio-temporales, adolecen de dos limitaciones críticas: una falta de interpretabilidad (procesos de decisión opacos) y una incapacidad para capturar artefactos perceptibles por el ser humano. El análisis empírico en el artículo revela que incluso los Modelos de Lenguaje Multimodal (MLLM) generales más avanzados (state-of-the-art) desempeñan un rendimiento cercano al azar en esta tarea, a menudo fallando en identificar artefactos generativos sutiles o malinterpretando degradaciones naturales del video (por ejemplo, desenfoque de movimiento, compresión) como falsificaciones. Además, los detectores existentes basados en MLLM tienden a depender de pistas superficiales como la calidad visual o la iluminación, en lugar de inconsistencias intrínsecas que violan las leyes físicas y que los humanos utilizan para identificar contenido sintético.

Metodología
Los autores proponen Skyra, un MLLM especializado diseñado para detectar videos generados por IA mediante la identificación y el razonamiento sobre artefactos visuales fundamentados. La metodología se basa en tres componentes principales:

1. Dataset ViF-CoT-4K: Para abordar la falta de anotaciones humanas detalladas, los autores construyeron el primer dataset a gran escala de artefactos de videos generados por IA. Este dataset incluye:

   • Recopilación de Datos: Videos reales de fuentes como Panda-70M y Kinetics-400, y videos sintéticos generados por más de diez modelos de última generación (por ejemplo, Sora-2, Wan2.2, Kling, HunyuanVideo).
   • Taxonomía Jerárquica: Una taxonomía de artefactos de tres capas que distingue entre Falsificación de Bajo Nivel (por ejemplo, anomalías de textura, problemas de color/iluminación) y Violación de Leyes (por ejemplo, inconsistencia de objetos, movimiento antinatural, violaciones de causalidad).
   • Proceso de Anotación: Anotadores profesionales realizaron comparaciones lado a lado de videos reales y falsos para identificar artefactos, proporcionando localización espacio-temporal (marcas de tiempo y cuadros delimitadores) y explicaciones textuales. Estos se convirtieron en datos de Cadena de Pensamiento (CoT) utilizando una estrategia de ingeniería de prompts que involucra auto-curación y aprendizaje en contexto.

2. Estrategia de Entrenamiento en Dos Etapas:

   • Etapa 1: Ajuste Fino Supervisado (SFT) / Inicialización de Arranque en Frío: El modelo base (Qwen2.5-VL-7B) se ajusta finamente en ViF-CoT-4K utilizando un formato de salida estructurado que requiere que el modelo genere un bloque <thinking> (proceso de razonamiento) y un bloque <answer> (veredicto). Para videos falsos, el modelo debe etiquetar explícitamente los artefactos con tipo, tiempo y ubicación; para videos reales, debe inspeccionar sistemáticamente y descartar regiones sospechosas. Esta etapa dota al modelo de capacidades básicas de detección y explicación.
   • Etapa 2: Aprendizaje por Refuerzo (RL): Para mejorar la capacidad del modelo para descubrir artefactos discriminativos y mejorar la generalización, los autores emplean la Optimización de Política Relativa de Grupo (GRPO). Se diseña una función de recompensa personalizada con dos componentes:
     • Recompensa de Precisión Asimétrica: Penaliza los falsos positivos (predecir "Falso" para videos reales) más severamente que los falsos negativos para evitar el sesgo hacia la clase "Falso".
     • Recompensa de Inspección: Fomenta que el modelo se adhiera al formato requerido y explore activamente pistas visuales, en lugar de depender de patrones superficiales.

3. Benchmark ViF-Bench: Un benchmark de evaluación integral que comprende 3.000 muestras de alta calidad generadas por más de diez generadores de video recientes, alineados semánticamente y en formato con sus contrapartes reales para mitigar el aprendizaje de atajos.

Contribuciones Clave

• Modelo Skyra: Un MLLM especializado que logra un rendimiento de última generación tanto en precisión de detección como en explicabilidad, aprovechando el razonamiento de artefactos fundamentados.
• Dataset ViF-CoT-4K: El primer dataset a gran escala que presenta artefactos espacio-temporales detallados y anotados por humanos con una taxonomía jerárquica, habilitando el entrenamiento supervisado para una detección explicable.
• ViF-Bench: Un benchmark riguroso diseñado para evaluar la robustez de la detección a través de diversos generadores de última generación, presentando pares real-falso con semántica alineada.
• Marco de Entrenamiento: Una nueva tubería de dos etapas que combina SFT con una estrategia de RL cuidadosamente diseñada (incluyendo recompensas asimétricas) para mejorar las capacidades de percepción y razonamiento de artefactos.

Resultados Experimentales
Extensos experimentos en ViF-Bench y el benchmark externo GenVideo demuestran la superioridad de Skyra:

• Rendimiento de Detección: Skyra-RL logra una precisión del 91.02% y una puntuación F1 de 90.27% en ViF-Bench, superando al segundo mejor método (DeMamba) en +17.27% en puntuación F1 y aventajando a los detectores existentes basados en MLLM por un margen significativo (por ejemplo, +32% en F1 sobre BusterX++).
• Generalización: Skyra muestra una fuerte generalización entre dominios. Cuando se adapta al benchmark GenVideo (fuera de dominio), logra una ganancia de precisión del +19.22% sobre su versión solo SFT, lo que indica que el RL ayuda al modelo a aprender pistas intrínsecas de artefactos en lugar de patrones específicos del generador.
• Robustez: El modelo mantiene un alto rendimiento bajo diversas degradaciones de video, incluida la compresión, el ruido gaussiano y las transformaciones de color, donde los clasificadores binarios y otros MLLMs a menudo fallan.
• Calidad de la Explicación: Los estudios de caso muestran que Skyra puede identificar artefactos sutiles perceptibles por el ser humano (por ejemplo, distorsión de forma, apariencia anormal de objetos) y proporcionar explicaciones coherentes y fundamentadas con una localización espacio-temporal precisa, mientras que los MLLM de línea base a menudo proporcionan descripciones genéricas o pasan por alto los artefactos por completo.

Significado y Afirmaciones
El artículo afirma que Skyra representa un cambio desde la clasificación binaria opaca hacia una detección interpretable centrada en artefactos. Al imitar el razonamiento humano —buscando activamente inconsistencias físicas y lógicas—, el modelo proporciona no solo un veredicto, sino una explicación "fundamentada" que puede ayudar en la verificación humana. Los autores postulan que su dataset y benchmark ofrecen un campo de pruebas estandarizado para avanzar en el campo de la detección explicable de AIGC. Reconocen limitaciones, señalando que el rendimiento del modelo está limitado por los generadores cubiertos en su dataset y que no evalúa la intención o el daño social de un video. Enfatizan que Skyra está diseñado para apoyar la verificación con intervención humana en lugar de reemplazarla, destacando la necesidad de una estimación de incertidumbre calibrada en aplicaciones críticas para la seguridad.