SAGA: Source Attribution of Generative AI Videos

Resumen Técnico: SAGA (Source Attribution of Generative AI Videos)

1. El Problema

La proliferación de la Inteligencia Artificial generativa ha dado lugar a videos sintéticos hiperrealistas, lo que ha aumentado los riesgos de mal uso y desinformación.

• Limitación de los enfoques actuales: Las defensas existentes se centran principalmente en la detección binaria (real vs. falso). Sin embargo, a medida que los modelos generativos evolucionan rápidamente, saber simplemente que un video es "falso" es insuficiente.
• La necesidad crítica: Existe una necesidad urgente de atribución de origen (identificar el modelo generativo específico, la versión, el equipo de desarrollo o la tarea de generación).
• Desafíos específicos del video: A diferencia de las imágenes, los videos presentan complejidades únicas que los métodos existentes no abordan:
  1. Dinámicas temporales: Los videos tienen huellas dactilares temporales e inconsistencias que el análisis de imágenes estáticas ignora.
  2. Diversidad de modelos: Los pipelines de generación de video son más complejos (síntesis de cuadros, modelos de movimiento), creando un espacio de atribución vasto.
  3. Compresión de video: Los códecs de video introducen artefactos espaciotemporales complejos que pueden ocultar o destruir las trazas sutiles del generador.

2. Metodología: El Marco SAGA

SAGA es el primer marco integral diseñado para la atribución de origen de videos generados por IA a gran escala. Su arquitectura se basa en tres pilares principales:

A. Arquitectura de Transformador de Video

• Codificador Visual Base: Utiliza un codificador de visión fundacional preentrenado (robusto y agnóstico al dominio) para extraer características de cada cuadro del video, mitigando problemas de brecha de dominio.
• Transformador de Video Personalizado: Emplea una arquitectura de transformador con atención multi-cabeza (MHSA) diseñada específicamente para video.
  • Codificador Espacial: Procesa las relaciones entre parches dentro de cada cuadro individual.
  • Codificador Temporal: Aplica atención temporal a través de la secuencia de cuadros, capturando dependencias e inconsistencias temporales críticas para la atribución.

B. Estrategia de Entrenamiento en Dos Etapas (Data-Efficient)
Para abordar la escasez de datos etiquetados por fuente, SAGA propone una estrategia de "pre-entrenar y adaptar":

1. Etapa 1 (Pre-entrenamiento Binario): Se entrena un transformador de video para la clasificación binaria (Real vs. Falso) utilizando grandes cantidades de datos disponibles. Esto establece una representación visual robusta.
2. Etapa 2 (Adaptación de Atribución): El modelo preentrenado se adapta a la tarea de atribución multi-clase (identificar el generador específico) utilizando solo el 0.5% de los datos etiquetados por clase.
   • Función de Pérdida: Se utiliza una función de pérdida contrastiva con Minería de Negativos Duros (Hard Negative Mining - HNM). A diferencia de la pérdida de entropía cruzada (CE) estándar, la HNM fuerza una separación geométrica en el espacio de incrustaciones (embeddings) entre clases que se superponen, seleccionando los negativos más difíciles dentro del lote para maximizar el margen entre clases.

C. Atribución Multi-Granular
SAGA no se limita a un solo nivel de detalle, sino que opera en cinco niveles jerárquicos:

1. BIN-L: Autenticidad (Real vs. Sintético).
2. TASK-L: Tarea de generación (Real vs. Texto-a-Video vs. Imagen-a-Video).
3. SD-L: Versión del modelo base (ej. Stable Diffusion 1.4, 1.5, 2.1, XL).
4. TEAM-L: Equipo de desarrollo (ej. OpenAI, Stability AI, Alibaba).
5. GEN-L: Identificador preciso del modelo (ej. Sora, Latte, HotShot).

D. Interpretabilidad: Firmas de Atención Temporal (T-Sigs)
SAGA introduce un método novedoso de interpretabilidad llamado Temporal Attention Signatures (T-Sigs).

• Funcionamiento: Se promedian las puntuaciones de atención cuadro a cuadro a través de múltiples videos de una misma fuente.
• Resultado: Genera "huellas dactilares" visuales únicas para cada generador que revelan artefactos temporales estables (como dinámicas de movimiento características o inconsistencias cuadro a cuadro). Esto explica visualmente por qué un generador es distinguible de otro.

3. Resultados Clave

Los experimentos se realizaron en conjuntos de datos públicos como DeMamba (19 generadores, 1M videos reales) y DVF (8 generadores), evaluando escenarios intra-dominio y cruzados.

• Eficiencia de Datos: SAGA logra un rendimiento de atribución de vanguardia utilizando solo el 0.5% de los datos etiquetados por clase, igualando e incluso superando en algunos casos a modelos entrenados con el 100% de los datos.
• Rendimiento General:
  • BIN-L: Alcanza una precisión del 99.94% en DeMamba y 95.39% en DVF (cross-domain), superando a los métodos SOTA existentes.
  • GEN-L (Atribución de Generador): Con entrenamiento de dos etapas y HNM, logra un 94.99% de precisión, comparado con un 24.55% usando solo pérdida CE con pocos datos.
  • TASK-L y TEAM-L: Muestra una capacidad robusta para distinguir entre tareas de generación y equipos de desarrollo, incluso con datos limitados.
• Generalización: El modelo demuestra una fuerte capacidad de generalización en escenarios de "caja negra" y con generadores no vistos durante el entrenamiento.
• Análisis t-SNE: Las visualizaciones confirman que SAGA logra separar claramente los clusters de diferentes generadores, incluso cuando se entrena con etiquetas de niveles más gruesos (como equipo o versión), demostrando una capacidad de discriminación fina inherente.

4. Contribuciones Principales

1. Primer Marco Integral: SAGA es el primer sistema diseñado específicamente para la atribución de origen de videos generados por IA a gran escala, superando la detección binaria tradicional.
2. Eficiencia de Datos Sin Precedentes: Demuestra que es posible lograr un rendimiento de atribución robusto con solo el 0.5% de datos etiquetados mediante una estrategia de pre-entrenamiento binario y adaptación contrastiva con HNM.
3. Atribución Multi-Granular: Establece un nuevo estándar al operar simultáneamente en cinco niveles de granularidad (desde autenticidad hasta ID de modelo), proporcionando insights forenses más ricos.
4. Interpretabilidad (T-Sigs): Introduce las Firmas de Atención Temporal, la primera metodología visual para explicar las diferencias entre generadores de video, revelando artefactos temporales específicos que el modelo aprende a detectar.

5. Significado e Impacto

SAGA representa un avance crucial para la forense digital y la gobernanza responsable de la IA.

• Aplicaciones Prácticas: Permite a los investigadores y reguladores no solo detectar contenido falso, sino rastrear su origen hasta el equipo o modelo específico, facilitando la aplicación de la propiedad intelectual y la identificación de actores maliciosos.
• Escalabilidad: Su capacidad para funcionar con datos limitados y generalizar a generadores no vistos lo hace viable para el despliegue en el mundo real, donde los nuevos modelos aparecen constantemente.
• Transparencia: Las T-Sigs ofrecen una ventana a la "caja negra" de los modelos generativos, ayudando a la comunidad a entender las firmas temporales inherentes a la síntesis de video.

En conclusión, SAGA establece un nuevo punto de referencia (benchmark) para la atribución de videos sintéticos, combinando eficiencia de datos, robustez en entornos cruzados y una interpretabilidad sin precedentes.