Resumen Técnico: Cuando los Ojos Traicionan a la IA

Enunciado del Problema

Los avances recientes en modelos generativos (por ejemplo, Stable Diffusion 3, FLUX.1, DALL·E 3, Midjourney v6) han eliminado efectivamente los artefactos de bajo nivel que anteriormente servían como base principal para la detección de contenido generado por IA (AIGC). Señales como anomalías de frecuencia, rastros de remuestreo y huellas dactilares a nivel de píxel están ahora en gran medida mitigadas, provocando que los detectores establecidos (NPR, UnivFD, AIDE) colapsen a un rendimiento cercano al azar en conjuntos de datos contemporáneos centrados en personas. Además, el panorama de amenazas se ha desplazado hacia falsificaciones de "edición parcial", donde los modelos de inpainting regeneran regiones localizadas de fotografías auténticas. Estas falsificaciones conservan las estadísticas fotométricas globales de la imagen original, eludiendo a los detectores que dependen de pistas distribuidas globalmente.

El artículo argumenta que la detección requiere un cambio desde el análisis estadístico de bajo nivel hacia un eje de coherencia semántica de alto nivel. Específicamente, postula que, aunque los generadores pueden producir rostros localmente fotorrealistas, luchan por mantener la coherencia geométrica del foco social en interacciones entre múltiples personas.

Metodología

1. Coherencia del Foco Social como Pista Semántica

Los autores definen la Coherencia del Foco Social como la coherencia mutua de la dirección de la mirada, la alineación cabeza-ojo y la colocación de la pupila entre individuos que interactúan. A diferencia de trabajos anteriores que tratan la mirada como un objetivo de reconocimiento de acciones o se centran en priores anatómicos intra-faciales (por ejemplo, irregularidades en la forma de la pupila), este trabajo trata la mirada como una predicción forense falsificable. Las fotografías auténticas satisfacen estas relaciones geométricas por construcción, whereas los modelos de inpainting contemporáneos las violan sistemáticamente en la región ocular.

2. Construcción del Conjunto de Datos Personalizado de Mirada

Para aislar la pista de la mirada de las huellas dactilares confusas del generador, los autores construyeron el conjunto de datos Custom Gaze (46.830 imágenes emparejadas).

• Preservación de Identidad a Nivel de Par: Cada imagen falsa se genera a partir de una imagen fuente real (derivada del conjunto de datos OI Mutual Gaze) regenerando solo la región ocular utilizando FLUX.1-Fill. La identidad base, la escena, la iluminación y la composición global permanecen invariantes.
• Bloqueo de Atajos: Esta estructura emparejada evita que los modelos aprendan huellas dactilares globales específicas del generador (por ejemplo, residuos espectrales específicos de FLUX) como atajo, forzando al modelo a depender de las diferencias anatómicamente fundamentadas en la región ocular.
• Enmascaramiento: Se utiliza una máscara específica ($M_{eye}$) que cubre la banda vertical $[0.25h, 0.55h]$ del cuadro delimitador de la cara para el inpainting.

3. Supervisión de Captiones Composicionales por Bloques

El artículo introduce un esquema de supervisión novedoso para inyectar un esqueleto de razonamiento en el entrenamiento de Modelos de Lenguaje-Visión (VLM), específicamente FakeVLM (LLaVA-v1.5 + Vicuna-7B).

• Estructura: En lugar de generación libre o clasificación binaria, el modelo se entrena para emitir una descripción de 5 bloques: Decisión $\to$ Escena $\to$ Método (razonamiento basado en la mirada) $\to$ Evidencia $\to$ Conclusión.
• Diversidad Composicional: El esqueleto de razonamiento (el flujo lógico) es invariante, pero la lexicalización superficial varía. Mediante el muestreo de grupos macro de 5 variantes para 4 posiciones, el sistema genera 1.250 descripciones únicas a partir de solo 20 entradas de grupos macro.
• Fundamento: Este diseño desacopla la consistencia del razonamiento de la diversidad de salida, previniendo el colapso de modos mientras asegura que el modelo internalice la ruta de razonamiento específica "centrada en la mirada" en lugar de recurrir por defecto a explicaciones basadas en texturas.

4. Protocolo de Entrenamiento

• Ajuste Fino Mixto: El modelo se ajusta finamente sobre una mezcla del conjunto de datos Custom Gaze y el conjunto de datos FakeClue existente (supervisión centrada en texturas) para prevenir el colapso distribucional en categorías no personales.
• Selección de Punto de Control: Los autores seleccionan el punto de control basándose en la Precisión Equilibrada (BA) en lugar de la pérdida de validación, notando un desacoplamiento significativo donde la minimización de la pérdida no se correlaciona con el rendimiento equilibrado por clase.
• Arquitectura: Se aplica ajuste fino eficiente en parámetros (LoRA) al codificador de visión y al LLM, con ajuste fino completo en el proyector de lenguaje-visión.

Contribuciones Clave

1. Un Nuevo Eje de Detección (C1): La introducción de la Coherencia del Foco Social como un eje de detección semántico ortogonal a los paradigmas de bajo nivel. Los autores proporcionan una explicación mecánica de cuatro pasos que explica su transferibilidad entre generadores:

   • Bloqueo de atajos de edición emparejada: Previene la memorización de huellas dactilares del generador.
   • Transferencia de dificultad de difícil a fácil: El entrenamiento en ediciones parciales (difícil) mejora el rendimiento en síntesis completa (fácil).
   • Preservación de priores CLIP: Aprovecha las representaciones preentrenadas de CLIP compartidas entre generadores.
   • Debilidad espectral compartida de la familia de difusión: Explota debilidades espectrales consistentes en estructuras perioculares a través de generadores basados en difusión.

2. Diseño de Supervisión (C2): La propuesta de Supervisión de Captiones Composicionales por Bloques, que utiliza un esqueleto de razonamiento fijo con variación superficial para obligar al modelo a articular por qué una imagen es falsa basándose en la geometría de la mirada, en lugar de simplemente predecir una etiqueta.

3. Validación Cross-Arquitectura (C3): Demostración de que la pista de la mirada es agnóstica a la arquitectura. El diseño de supervisión mejora un VLM de 7 mil millones de parámetros (FakeVLM) y una columna vertebral solo de visión (Effort) en múltiples puntos de referencia, demostrando que la señal no es específica de una sola arquitectura de modelo.

Resultados Experimentales

El método se evaluó en tres puntos de referencia: Custom Gaze (falsificaciones difíciles de edición parcial), COCOAI Person (AIGC de una sola persona) y COCOAI Interaction (interacción entre múltiples personas).

• Mejoras de Rendimiento:
  • En el subconjunto COCOAI Interaction (el punto de referencia diagnóstico central), el método propuesto mejoró la Precisión Equilibrada (BA) de 67,8% a 71,5% (+3,7 pp) sobre el origen FakeVLM, con una ganancia masiva en Macro-F1 (+7,5 pp) y MCC (+13,3 pp).
  • En COCOAI Person, la BA mejoró de 83,0% a 84,3% (+1,3 pp).
  • En Custom Gaze, el método alcanzó un rendimiento casi perfecto (99,9% BA), saturando el techo de la distribución interna.
• Comparación con Líneas Base:
  • Los detectores de bajo nivel (AIDE, NPR, UnivFD) colapsaron a un rendimiento cercano al aleatorio (BA $\le$ 51,5%) en el subconjunto de interacción.
  • El modelo propuesto de 7 mil millones de parámetros superó al competidor de 13 mil millones de parámetros SIDA-13B en +14,4 pp en BA media y +30,5 pp en MCC, demostrando que el diseño de supervisión supera a la cantidad de parámetros.
• Análisis de la Matriz de Confusión: Las ganancias fueron impulsadas por una recuperación sustancial de clasificaciones "falsas" (+17 en el subconjunto de interacción) con una degradación casi nula en la clasificación "real", descartando un artefacto de "predecir todo como falso".
• Transferencia Cross-Arquitectura: El ajuste fino de la columna vertebral solo de visión Effort en el conjunto de datos Custom Gaze produjo patrones similares de saturación de distribución interna y transferencia de distribución cruzada, confirmando la independencia de la pista de la arquitectura VLM.

Significado y Afirmaciones

El artículo afirma que, a medida que los artefactos de bajo nivel retroceden, la coherencia semántico-social se convierte en la frontera crítica para la detección de AIGC. El significado de este trabajo radica en:

1. Cambio de Paradigma: Mover la detección de estadísticas de píxeles a relaciones geométricas de alto nivel (coherencia de la mirada) que los modelos de difusión actuales no logran imponer explícitamente.
2. Supervisión Efectiva: Demostrar que cómo se le pide a un modelo que explique su predicción (razonamiento estructurado frente a libre o binario) es tan consequential como la propia arquitectura del modelo.
3. Robustez: Proporcionar evidencia de que una pista derivada de un solo generador (FLUX.1-Fill) y una tarea específica (edición parcial de ojos) puede generalizarse a escenarios de síntesis de imagen completa con múltiples generadores y en diferentes familias de modelos.

Los autores reconocen limitaciones, incluida la especialización de dominio (solo centrado en personas), la dependencia de un único inpainter para la construcción del conjunto de datos y una tendencia hacia la "sobreconfianza en tarjetas" (sobre-reliance en pistas de mirada) en escenarios de una sola persona, lo cual sugieren que podría mitigarse mediante mecanismos de puerta principistas en trabajos futuros.