🤖 AI

Defake-o3: From Speculative Rationales to Verifiable Evidence for Explainable AIGI Detection

El artículo presenta Defake-o3, un detector de imágenes generadas por IA explicable que reemplaza las justificaciones especulativas por evidencia visual verificable mediante la combinación de búsqueda visual iterativa con un Verificador de Evidencia entrenado por humanos, respaldado por el nuevo conjunto de datos GroundFake y el benchmark FakeFrontier.

Autores originales: Bowen Deng, Jiahui Zhan, Yikun Ji, Haozhen Yan, Jianfu Zhang

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bowen Deng, Jiahui Zhan, Yikun Ji, Haozhen Yan, Jianfu Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En los últimos años, las computadoras han aprendido a crear imágenes que parecen indistinguibles de las fotografías tomadas con una cámara. Estas imágenes sintéticas, a menudo llamadas imágenes generadas por IA, pueden mostrar personas, paisajes y objetos con un realismo tal que al ojo humano le cuesta distinguirlas de la realidad. Si bien esta tecnología ofrece nuevas herramientas para artistas y diseñadores, también crea un problema significativo: si no podemos detectar fácilmente un falso, no podemos confiar en lo que vemos. Esto ha llevado a investigadores a construir detectores, o sistemas automatizados, diseñados para detectar las pistas sutiles que revelan que una imagen fue hecha por una máquina. Durante mucho tiempo, estos detectores funcionaron como una caja negra: observaban una imagen y simplemente decían "real" o "falsa", sin ofrecer ninguna explicación de por qué. Esta falta de transparencia dificultaba que la gente confiara en los resultados, especialmente cuando había mucho en juego. Más recientemente, los científicos han intentado darles voz a estos sistemas, pidiéndoles que expliquen su razonamiento en lenguaje sencillo. Sin embargo, estas explicaciones suelen resultar ser conjeturas u observaciones vagas que no se pueden comprobar, dejando al usuario con un veredicto pero sin pruebas.

Un equipo de investigadores de la Universidad de Jiao Tong de Shanghái ha desarrollado un nuevo sistema llamado Defake-o3 que cambia la forma en que funcionan estos detectores. En lugar de conjeturar u ofrecer descripciones vagas, este sistema está diseñado para encontrar pruebas visuales concretas que puedan ser vistas y verificadas por un humano. La idea central es pasar del razonamiento especulativo a la evidencia verificable. Imagine a una persona tratando de encontrar un fallo en una pintura; puede que primero observe la imagen completa, pero si quiere estar segura, necesita acercarse al lienzo para inspeccionar las pinceladas. Defake-o3 hace exactamente esto. Utiliza un proceso interactivo en el que primero observa la imagen completa, luego decide hacer zoom en áreas específicas que parecen sospechosas. Repite este proceso, acercándose cada vez más a los detalles finos, hasta que encuentra algo que claramente no pertenece allí.

El sistema se basa en dos partes principales. La primera es la capacidad de buscar visualmente. Cuando el sistema ve una imagen, no solo la escanea de principio a fin. En su lugar, actúa como un investigador meticuloso, eligiendo hacer zoom en puntos específicos, como el texto de un letrero, la textura de una mano o las ruedas de un coche. Al ampliar estas áreas, puede detectar errores diminutos que son invisibles en la imagen completa, como letras que están amontonadas o objetos que se funden con el fondo. La segunda parte es un control integrado que asegura que el sistema no esté inventando cosas. Los investigadores entrenaron a un "verificador" separado utilizando miles de ejemplos donde humanos ya habían confirmado si un detalle específico era un fallo real o un error. Este verificador actúa como un juez, recompensando al sistema cuando encuentra evidencia que está fundamentada en la imagen real y penalizándolo cuando inventa fallos que no existen. Este entrenamiento asegura que el sistema solo reporte lo que realmente puede ver.

Para enseñar a este sistema cómo trabajar, los investigadores crearon un nuevo conjunto de datos llamado GroundFake. Esta colección contiene 16,000 imágenes, divididas equitativamente entre fotos reales e imágenes generadas por IA. Lo que hace especial a este conjunto de datos es que incluye notas detalladas sobre exactamente dónde están los fallos y cómo son, verificadas por expertos humanos. Los investigadores también construyeron un nuevo campo de pruebas llamado FakeFrontier, que incluye imágenes de diez generadores de IA muy recientes que el sistema no había visto antes. Esto les permitió probar si el sistema podía manejar la tecnología más reciente, no solo los ejemplos antiguos con los que fue entrenado.

Los resultados muestran que Defake-o3 es significativamente mejor tanto en la detección de falsificaciones como en la explicación de por qué. En el conjunto de datos de entrenamiento, identificó correctamente las imágenes falsas con una alta precisión, pero lo más importante es que la evidencia que proporcionó fue mucho más precisa. Cuando el sistema decía que una imagen era falsa, podía señalar una ubicación específica, como un logotipo distorsionado en un sombrero o un texto sin sentido en un letrero, y describir exactamente qué estaba mal. En las pruebas con los nuevos generadores no vistos, el sistema continuó funcionando bien, identificando correctamente falsificaciones que otros métodos pasaron por alto. Cuando los investigadores pidieron a otros modelos de IA avanzados que juzgaran la calidad de la evidencia proporcionada por Defake-o3, encontraron que era mucho más convincente y fundamentada que las explicaciones ofrecidas por sistemas anteriores. Esos sistemas antiguos a menudo daban respuestas vagas, como decir que una imagen se veía "demasiado suave" sin señalar dónde, o alucinaban fallos que no estaban allí. Defake-o3, por el contrario, proporcionó un pequeño número de piezas de evidencia fuertes y específicas que un humano podía verificar fácilmente mirando la imagen por sí mismo.

El estudio también exploró qué sucede cuando el sistema no es guiado por el verificador o cuando no se le permite hacer zoom. Sin la capacidad de hacer zoom, el sistema tenía dificultades para encontrar los fallos sutiles ocultos en los detalles. Sin el verificador, tendía a inventar razones para sus decisiones, incluso cuando estaba equivocado. Esto confirmó que tanto la búsqueda interactiva como la estricta comprobación de la evidencia son necesarias para que el sistema funcione. Los investigadores descubrieron que el mejor rendimiento se obtenía equilibrando las propias observaciones del sistema con la guía del verificador, asegurando que no dependiera demasiado de la simple coincidencia de palabras o patrones, sino que se centrara en la verdad visual real.

Este trabajo representa un cambio en la forma en que abordamos el problema de las imágenes generadas por IA. Se aleja de la idea de que una computadora debe simplemente dar una puntuación o una conjetura, y se dirige hacia un modelo donde la computadora actúa como un socio transparente, mostrando su trabajo paso a paso. Al combinar la capacidad de mirar más de cerca con un requisito estricto de prueba, el sistema ofrece un nivel de fiabilidad que antes faltaba. Los investigadores concluyen que, para que la detección de imágenes generadas por IA sea verdaderamente útil y digna de confianza, debe ser capaz de proporcionar evidencia que pueda ser vista y comprendida, no solo un veredicto que no se puede comprobar. Defake-o3 demuestra que esto es posible, ofreciendo un camino a seguir donde la tecnología nos ayuda a ver la verdad con mayor claridad, un detalle ampliado a la vez.

Resumen Técnico: Defake-o3

1. Planteamiento del Problema

El rápido avance de los modelos de generación de imágenes mediante IA (AIGI) ha producido imágenes sintéticas que son cada vez más fotorrealistas, lo que plantea riesgos significativos para la confianza pública debido a la propagación de desinformación. Aunque los métodos de detección tradicionales basados en Redes Neuronales Convolucionales (CNN) y Vision Transformers logran una alta precisión, funcionan como "cajas negras", proporcionando únicamente puntuaciones de autenticidad sin revelar la evidencia visual detrás de sus decisiones.

Esfuerzos recientes para utilizar Modelos de Lenguaje de Gran Escala Multimodales (MLLM) para la detección explicable han introducido racionalizaciones en lenguaje natural. Sin embargo, el artículo identifica limitaciones críticas en estos enfoques existentes:

Racionalizaciones Especulativas: Los detectores MLLM actuales suelen generar explicaciones vagas, genéricas o alucinadas en lugar de evidencia fundamentada en artefactos visuales específicos.
Falta de Verificabilidad: Las explicaciones frecuentemente no proporcionan evidencia que pueda ser verificada visualmente por humanos.
Insuficiente Granularidad: Los MLLM estándar típicamente realizan inspecciones de un solo paso y de grano grueso. Tienen dificultades para detectar fallos sutiles y localizados dejados por generadores modernos debido a las restricciones de resolución de entrada y la falta de exploración iterativa.

Consecuentemente, las explicaciones existentes suelen carecer de fundamento, estar mal localizadas y ser difíciles de verificar, lo que limita su confiabilidad en entornos de alto riesgo.

2. Metodología: Defake-o3

Defake-o3 es un detector de AIGI explicable diseñado para transicionar de las racionalizaciones especulativas hacia la evidencia verificable. Integra dos componentes principales: búsqueda visual interactiva y alineación de evidencia guiada por un verificador.

2.1 Búsqueda Visual Interactiva

Defake-o3 adopta un mecanismo iterativo de "pensar con imágenes". En lugar de una inspección de un solo paso, el modelo utiliza una herramienta de zoom para recortar y magnificar dinámicamente regiones sospechosas. Esto permite al modelo inspeccionar detalles de grano fino y descubrir artefactos sutiles que se pierden en la codificación de la imagen completa. El proceso involucra interacciones de múltiples turnos donde el modelo decide si hacer zoom en una región específica (prediciendo un cuadro delimitador 2D) o finalizar su veredicto.

2.2 Alineación de Evidencia Guiada por un Verificador

Para asegurar que la evidencia generada sea válida y no una alucinación, el sistema emplea un Verificador de Evidencia entrenado con anotaciones de verificación humana. Este verificador actúa como un modelo de recompensa durante el Aprendizaje por Refuerzo (RL). Evalúa si una pieza de evidencia reclamada es:

Visualmente Fundamentada: La descripción textual coincide con precisión con el contenido dentro del cuadro delimitador.
Específica de un Artefacto: El fallo descrito es específico de la generación por IA en lugar de un atributo genérico de fotografías reales.

2.3 Pipeline de Entrenamiento

El proceso de entrenamiento consta de dos etapas:

Ajuste Fino Supervisado (SFT): El MLLM base se ajusta finamente en el conjunto de datos GroundFake (descrito más adelante) utilizando trazas filtradas por humanos y corregidas de trayectoria. Esta etapa enseña al modelo a usar la herramienta de zoom y a generar salidas estructuradas (veredicto, evidencia global y evidencia clave localizada).
Aprendizaje por Refuerzo (GRPO): El modelo se optimiza mediante la Optimización de Política Relativa de Grupo (GRPO). La función de recompensa ( $R_{total}$ $R_{t o t a l}$ ) combina:
- Recompensa de Clasificación ( $R_{cls}$ ): Precisión del veredicto final.
- Recompensa de Evidencia ( $R_{evi}$ ): Una métrica híbrida que combina el emparejamiento basado en reglas (IoU y BLEU contra anotaciones de referencia) y una puntuación basada en modelo de la Evidencia del Verificador. El verificador asigna puntuaciones de validez a los elementos de evidencia, penalizando afirmaciones sin fundamento y recompensando artefactos específicos y fundamentados.

3. Contribuciones Clave

3.1 El Marco de Trabajo Defake-o3

Los autores proponen una arquitectura novedosa que combina la exploración visual iterativa con un mecanismo de recompensa guiado por un verificador. Este enfoque permite al modelo producir veredictos estructurados respaldados por el contexto global y evidencia clave localizada y verificable, moviéndose efectivamente más allá de las racionalizaciones vagas.

3.2 Conjunto de Datos GroundFake

Para apoyar la detección explicable fundamentada, los autores construyeron GroundFake, un conjunto de datos de entrenamiento desesgado que contiene 16,000 imágenes (8k reales, 8k falsas). Sus características clave incluyen:

Control de Sesgo: Formatos de archivo, relaciones de aspecto, categorías semánticas y cualidades estéticas estandarizadas para evitar que el modelo aprenda atajos específicos de la fuente.
Anotaciones Verificadas por Humanos: La evidencia de cuadros delimitadores localizados es verificada manualmente por anotadores humanos bajo criterios estrictos de fundamentación visual y especificidad de artefactos.
Trayectorias Corregidas: Las transcripciones de razonamiento son reescritas para asegurar la consistencia con la evidencia verificada, eliminando afirmaciones alucinadas.
Supervisión Dual: El conjunto de datos proporciona trayectorias para SFT y etiquetas de evidencia válidas/inválidas para el entrenamiento del Verificador de Evidencia.

3.3 Benchmark FakeFrontier

Los autores introducen FakeFrontier, un benchmark de distribución fuera de la muestra (OoD) que contiene 4,000 imágenes (2k reales, 2k falsas) generadas por 10 modelos recientes (incluyendo Nano Banana y Seedream 4.5). A diferencia de GroundFake, carece de anotaciones de evidencia humana, sirviendo como banco de pruebas para la generalización. Los autores también proponen un protocolo basado en MLLM para evaluar la calidad y persuasión de la evidencia sin cuadros de referencia, utilizando múltiples modelos jueces para evaluar la fundamentación visual y la capacidad de convencer a un juez de un veredicto de "falso".

4. Resultados Experimentales

4.1 Rendimiento en GroundFake

En el conjunto de prueba de GroundFake, Defake-o3 alcanza un rendimiento de vanguardia:

Precisión/F1: Iguala los mejores resultados (0.992) entre todos los métodos comparados.
Calidad de la Evidencia: Alcanza las puntuaciones más altas en solapamiento léxico (BLEU-1/2, ROUGE-L) y solapamiento espacial (IoU) con las anotaciones de referencia, lo que indica una generación de evidencia más precisa y fundamentada en comparación con baselines como FakeVLM, LEGION y FakeShield.
Ablación: La inclusión del Verificador de Evidencia y la búsqueda interactiva mejora significamente el IoU y la precisión de clasificación en comparación con variantes sin RL o sin el mecanismo de zoom.

4.2 Generalización en FakeFrontier y Benchmarks OoD

FakeFrontier: Defake-o3 logra la mayor precisión de clasificación (0.9232) y puntuación F1 (0.9246). En la evaluación basada en MLLM, ocupa el primer lugar en Puntuación de Calidad (QS), Hit@Img (proporción de imágenes donde al menos un elemento de evidencia convence al juez) y Hit@Evi (proporción de elementos de evidencia que son convincentes). Esto demuestra que su evidencia no solo es precisa, sino también persuasiva y específica de los artefactos de IA.
Benchmarks OoD Externos: Defake-o3 supera a todos los baselines (incluyendo detectores de caja negra como CNNSpot y NPR) en AIGI-Now, EvalGEN y MNW, logrando precisiones de 0.9180, 0.9872 y 0.8871 respectivamente.

4.3 Análisis Cualitativo

Los ejemplos cualitativos muestran que Defake-o3 identifica con éxito artefactos específicos (por ejemplo, texto sin sentido, objetos distorsionados, marcas de tiempo inválidas) mediante el zoom iterativo, mientras que los métodos de referencia a menudo proporcionan explicaciones vagas, globales o alucinadas.

5. Significado y Reivindicaciones

El artículo afirma que Defake-o3 representa un paso significativo hacia la detección de AIGI explicable al abordar la brecha entre la alta precisión de detección y la fiabilidad de las explicaciones. Su principal importancia radica en:

Transicionar de la Especulación a la Verificación: Mueve el campo lejos de la generación de racionalizaciones que suenan plausibles pero no verificadas, hacia la producción de evidencia que está visualmente fundamentada y es específica de los artefactos.
Mejorar la Confiabilidad: Al proporcionar evidencia localizada y verificable, el sistema hace que sus decisiones sean interpretables y auditables por humanos, lo cual es crucial para su despliegue en escenarios de alto riesgo.
Robustez ante Cambios de Distribución: La combinación de búsqueda interactiva y alineación guiada por verificador mejora la robustez frente a nuevos generadores no vistos sin sacrificar la fuerza de clasificación.

Los autores concluyen que su trabajo establece un nuevo estándar para el entrenamiento y la evaluación de detectores explicables, enfatizando que la evidencia verificable es un componente necesario para la detección confiable de imágenes generadas por IA.