💻 computer science

Scalable Black-Box Model Attribution for Images

Este artículo presenta RPA (Atribución de Parche Crudo), un método de caja negra ligero y robusto que supera a los enfoques complejos existentes en la identificación de modelos de imágenes generativas, ofreciendo al mismo tiempo capacidades versátiles para la agrupación no supervisada y la adaptación de pocos disparos sin necesidad de reentrenamiento.

Autores originales: Asaf Livne, Amir Jevnisek, Shai Avidan

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Asaf Livne, Amir Jevnisek, Shai Avidan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En los últimos años, un nuevo tipo de inteligencia artificial ha transformado la forma en que creamos imágenes. Estos sistemas, conocidos como modelos generativos, pueden convertir simples descripciones de texto en imágenes deslumbrantes y fotorrealistas. Se han vuelto tan comunes que ahora sustentan gran parte de la producción de medios modernos y el trabajo creativo. Sin embargo, esta rápida propagación ha creado un problema significativo: cuando se ve una imagen, a menudo es imposible distinguir qué máquina específica la creó. Esta incertidumbre es importante por razones que van desde la protección de la propiedad intelectual de un artista hasta el rastreo del origen de contenido engañoso. El desafío no es solo detectar que una imagen es falsa, sino identificar exactamente qué motor de IA de entre cientos de diferentes produjo la imagen. Esta tarea, llamada atribución de modelos, es difícil porque estas máquinas evolucionan constantemente y sus resultados suelen parecer casi idénticos al ojo humano. Además, la enorme cantidad de modelos disponibles, incluyendo miles de versiones personalizadas, hace que la tarea de rastrearlos parezca abrumadora.

Investigadores de la Universidad de Tel Aviv han encontrado una solución sorprendentemente simple para este complejo problema. En lugar de construir un sistema masivo e intrincado para igualar la complejidad de los generadores, desarrollaron una herramienta ligera que funciona como un clasificador básico. Su enfoque, llamado RPA, opera en el entorno más estricto de "caja negra", lo que significa que solo observa la imagen final sin necesidad de acceder al código interno, los pesos o la configuración secreta de la IA que la creó. El método divide una imagen en pequeños cuadrados y analiza los patrones de color brutos en cada uno. A pesar de la similitud visual entre imágenes de diferentes modelos, los investigadores descubrieron que cada generador deja tras de sí una huella digital única y de bajo nivel en la textura de los píxeles. Al entrenar una pequeña red neuronal para reconocer estos patrones sutiles, el sistema puede identificar la fuente de una imagen con una precisión notable. En un conjunto de prueba de veinticinco modelos diferentes, la herramienta alcanzó una precisión del 98,0 por ciento, y en un conjunto más caótico del mundo real de veintisiete modelos, aun así alcanzó el 92,9 por ciento.

Lo que hace que este hallazgo sea particularmente sorprendente es cómo la herramienta maneja la realidad desordenada de internet. Las imágenes en el mundo real rara vez son prístinas; a menudo son comprimidas, desenfocadas o redimensionadas a medida que viajan a través de redes sociales y sitios de noticias. Muchos métodos anteriores fallaron al enfrentarse a estos cambios comunes. El nuevo sistema, sin embargo, sigue siendo robusto. Cuando los investigadores lo probaron contra imágenes que habían sido fuertemente comprimidas o redimensionadas, la precisión disminuyó solo ligeramente, demostrando que la huella que detecta es un rasgo estructural fundamental en lugar de un artefacto pasajero. El sistema es también increíblemente eficiente. A diferencia de otros enfoques que requieren comparar una imagen contra cada modelo candidato uno por uno —un proceso que se ralentiza a medida que aumenta el número de modelos—, esta herramienta evalúa una imagen en una sola pasada. El tiempo que toma identificar una fuente no aumenta incluso si la base de datos de modelos conocidos se expande de unas pocas docenas a unos pocos miles.

Más allá de simplemente identificar modelos conocidos, los investigadores descubrieron que la herramienta posee una inteligencia más profunda y versátil. Cuando encuentra una imagen de un generador que no ha visto antes, puede marcarla de forma fiable como desconocida, en lugar de forzar una suposición errónea. Esta capacidad de reconocer lo desconocido es crucial en un campo donde aparecen nuevos modelos diariamente. Además, el sistema puede adaptarse a estos nuevos modelos casi instantáneamente. En lugar de requerir un proceso de reentrenamiento prolongado, los investigadores pueden simplemente añadir un nuevo modelo ajustando una capa pequeña y simple a la red existente, una tarea que toma solo unos pocos minutos. Esta flexibilidad sugiere que la herramienta ha aprendido un mapa general de cómo funcionan estas máquinas, en lugar de solo memorizar una lista de ejemplos específicos.

Los investigadores también utilizaron este entendimiento aprendido para explorar las relaciones entre los modelos mismos. Al analizar las características internas que la herramienta utiliza para tomar sus decisiones, pudieron agrupar diferentes generadores en familias basadas en sus similitudes arquitectónicas, incluso sin que se les indicara qué modelos estaban relacionados. El sistema identificó correctamente que ciertos modelos compartían un linaje común o una tecnología base, agrupándolos de una manera que coincidía con los hechos conocidos sobre su desarrollo. Esta capacidad se extiende también a imágenes de generadores no vistos, permitiendo a la herramienta agruparlas por su verdadera fuente sin ningún entrenamiento previo. El estudio demuestra que un enfoque simple y directo puede superar a la maquinaria elaborada y pesada en la tarea de rastrear orígenes digitales. Sugiere que la clave para comprender estos sistemas complejos no reside en construir detectores más complicados, sino en reconocer las firmas sutiles y persistentes que cada máquina deja en las imágenes que crea.

Resumen Técnico: Atribución de Modelos de Caja Negra Escalable para Imágenes

Planteamiento del Problema
La rápida proliferación de modelos generativos ha creado una necesidad crítica de atribución de modelos: la capacidad de determinar qué modelo específico produjo una imagen determinada utilizando únicamente la propia imagen. Los métodos de atribución actuales enfrentan importantes limitaciones prácticas. Muchos dependen del acceso de caja blanca a los componentes internos del modelo (pesos, autoencoders, prompts), los cuales rara vez están disponibles en escenarios del mundo real. Otros sufren de una discriminación de grano grueso, al no poder distinguir entre modelos que comparten familias arquitectónicas o autoencoders. Además, los enfoques existentes suelen ser frágiles ante degradaciones comunes de imagen (compresión JPEG, desenfoque, redimensionamiento) e imponen altos costos computacionales que no escalan bien a medida que aumenta el número de modelos candidatos (por ejemplo, los métodos basados en reconstrucción escalan linealmente con el número de candidatos).

Metodología: Atribución de Parches Crudos (RPA)
Los autores proponen RPA (Raw-Patch Attribution), un enfoque ligero y estrictamente de caja negra que atribuye imágenes sin acceso a los pesos, prompts o semillas del modelo. El método se fundamenta en la observación de que las canalizaciones generativas embeben firmas espectrales persistentes y altamente separables (artefactos de bajo nivel) en el dominio de la frecuencia, las cuales son distintas para cada generador.

La canalización de RPA consta de tres pasos:

División de Parches: La imagen de entrada se divide en parches superpuestos de $256 \times 256$ . Esto garantiza la invarianza de resolución, permitiendo que el modelo procese imágenes desde $256^2$ hasta $4096^2$ píxeles sin necesidad de reentrenamiento.
Clasificación por Parche: Una red neuronal convolucional (CNN) compacta con aproximadamente 6 millones de parámetros clasifica cada parche directamente desde sus píxeles RGB crudos. La red genera logits de clase para todos los generadores candidatos en una sola pasada hacia adelante (forward pass).
Agregación de Múltiples Parches: La predicción final a nivel de imagen es un promedio ponderado de las probabilidades de clase por parche, donde los pesos consideran los solapamientos de los bordes para asegurar que cada píxel contribuya equitativamente.

Contribuciones Clave

Atribución de Caja Negra Precisa: RPA logra una precisión de vanguardia en el entorno de caja negra más estricto, alcanzando un 98.0% en el benchmark DRAGON de 25 clases y un 92.9% en el benchmark OpenFake de 27 clases. Supera a los métodos previos que a menudo requieren prompts de texto o acceso de caja blanca.
Escalabilidad y Eficiencia: El costo de inferencia es independiente del número de modelos candidatos ( $O(1)$ ). A diferencia de los métodos basados en reconstrucción que deben calificar una imagen contra cada candidato secuencialmente ( $O(C)$ ), RPA procesa todos los candidatos simultáneamente. El modelo es compacto, se entrena rápidamente y realiza inferencias en milisegundos.
Robustez: Una variante de RPA aumentada por corrupción mantiene una alta precisión bajo compresión JPEG, desenfoque gaussiano, redimensionamiento y recorte, condiciones que típicamente derrotan a los métodos anteriores.
Atribución de Conjunto Abierto (Open-Set): La red puede identificar de manera confiable imágenes de generadores no vistos como "desconocidos" utilizando únicamente las puntuaciones de confianza del clasificador, sin requerir conjuntos de calibración o datos auxiliares de valores atípicos.
Adaptación de Pocos Ejemplos (Few-Shot): Se pueden incorporar nuevos generadores fijando el backbone aprendido y ajustando únicamente una capa lineal (linear head). Esta adaptación toma de segundos a minutos y requiere un mínimo de datos, evitando el reentrenamiento completo.
Descubrimiento de Modelos: Las características de la penúltima capa codifican naturalmente las relaciones entre generadores. El agrupamiento jerárquico no supervisado de estas características recupera con éxito el linaje de los modelos (agrupando por autoencoders o pesos base compartidos) y agrupa imágenes de generadores no vistos según su fuente real.

Resultados Experimentales

Rendimiento de Conjunto Cerrado: En el conjunto de datos DRAGON (25 modelos), RPA alcanza un 98.0% de precisión, superando significativamente a DE-FAKE (62.0%) y OCC-CLIP (8.6%). En OpenFake (27 modelos), alcanza un 92.9%.
Comparación de Caja Blanca: Incluso comparado contra baselines de caja blanca en el benchmark AEDR, RPA (operando estrictamente de caja negra) logra un 97.7% de precisión media de par, superando a métodos que utilizan pesos de modelos (como LatentTracer con 70.3% y AEDR con 95.1%).
Velocidad de Inferencia: RPA realiza la inferencia en 8.5 ms por imagen, mientras que los baselines de caja blanca como AEDR escalan de 0.53s a 3.71s a medida que el conjunto de candidatos crece.
Robustez: Bajo una compresión JPEG agresiva (Q=60) y redimensionamiento, el modelo retiene una alta precisión (por ejemplo, 89.3% en Q60), demostrando resiliencia ante la degradación de imágenes del mundo real.
Adaptación: En escenarios de pocos ejemplos (1-shot y 10-shot) en el benchmark GenImage, RPA supera a baselines como LIDA, ResNet y DIRE, logrando aproximadamente un 60% de precisión con 10 shots.

Significancia y Reivindicaciones
El artículo argumenta que la simplicidad es suficiente para una atribución de alto rendimiento. Contrario a la suposición de que los generadores sofisticados requieren atributos sofisticados, una CNN ligera que opera sobre parches crudos es capaz de capturar las "huellas dactilares" necesarias.

Los autores afirman que RPA establece un nuevo estándar para la atribución estricta de caja negra, demostrando que:

Es posible lograr una alta precisión sin acceso a los componentes internos del modelo.
El espacio de características aprendido es versátil, soportando no solo clasificación, sino también detección de conjunto abierto, adaptación de pocos ejemplos y descubrimiento de linaje no supervisado.
El campo debe alejarse de la maquinaria pesada basada en reconstrucción hacia baselines discriminativos más eficientes.
La atribución de modelos debe verse como un problema fundamental en sí mismo, que potencialmente subsume la detección de deepfakes binaria como un caso especial.

El documento señala explícitamente sus limitaciones: no pretende resolver la detección de real-vs-falso (ya que el modelo no está entrenado con imágenes reales) y no evalúa la robustez adversarial contra ataques optimizados, tratando estos temas como trabajos futuros separados.

Resumen Técnico: Atribución de Modelos de Caja Negra Escalable para Imágenes

Más como este