💻 computer science

ARMOR++: Agentic Orchestration of a Multi-Domain Primitive Set for Transferable Attacks on Deepfake Detectors

Este artículo presenta ARMOR++, un marco multiagente robusto que aprovecha Qwen2.5-VL y Qwen3 para orquestar un conjunto diverso de primitivas adversarias, logrando tasas de éxito de ataque y de transferibilidad significativamente más altas contra detectores de deepfakes en comparación con los métodos actuales del estado del arte bajo estrictas restricciones de caja negra.

Autores originales: Christos Korgialas, Gabriel Lee Jun Rong, Dion Jia Xu Ho, Pai Chet Ng, Xiaoxiao Miao, Konstantinos N. Plataniotis

Publicado 2026-07-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Christos Korgialas, Gabriel Lee Jun Rong, Dion Jia Xu Ho, Pai Chet Ng, Xiaoxiao Miao, Konstantinos N. Plataniotis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una galería de arte gigante y bulliciosa donde cualquiera puede pintar un cuadro. Durante mucho tiempo, si querías saber si una pintura era real o una falsificación, solo la mirabas con tus ojos. Pero recientemente, apareció un nuevo tipo de pincel mágico —la inteligencia artificial— que puede pintar rostros de forma tan perfecta que incluso los expertos tienen dificultades para notar la diferencia. Esto ha creado un juego de gato y ratón de alto riesgo. Por un lado, tenemos a los "detectives" (modelos de IA) entrenados para detectar los defectos diminutos e invisibles dejados por estos pinceles mágicos. Por el otro, tenemos a los "hackers" tratando de engañar a los detectives añadiendo el ruido justo a un rostro falso para que parezca real ante el detective, sin cambiar realmente cómo se ve el rostro para un humano. Esto no es solo sobre arte; es sobre la confianza. Si no podemos distinguir qué es real, no podemos confiar en nuestras noticias, nuestras cámaras de seguridad o incluso en nuestros propios ojos. La gran pregunta es: ¿cómo sabemos si nuestros detectives digitales son realmente fiables, o si simplemente son fácilmente engañados por un truco ingenioso?

Entra ARMOR++, un nuevo equipo de "hackers" súper inteligente diseñado para probar a estos detectives. Piensa en los detectores de deepfakes como guardias de seguridad en un club. Algunos guardias solo miran la forma del rostro de una persona (como una Red Neuronal Convolucional), mientras que otros miran la imagen completa y cómo encajan las piezas (como un Transformador de Visión). El problema es que un truco que funciona en un tipo de guardia a menudo falla en el otro. Los intentos previos de engañar a estos guardias fueron como lanzar un solo tipo de piedra contra una pared; a veces funcionaba, pero a menudo la pared era demasiado fuerte o estaba hecha de un material diferente.

ARMOR++ es diferente porque no solo lanza una piedra; envía a todo un equipo de especialistas que hablan entre sí. El equipo es liderado por dos "agentes" muy inteligentes (programas informáticos basados en grandes modelos de lenguaje). El primer agente, el Analista, observa el rostro falso y usa sus "ojos" para encontrar los puntos extraños —como un borde borroso o una textura extraña— y dice: "¡Hey, ataca aquí!". El segundo agente, el Director, actúa como un entrenador. No solo elige un ataque; gestiona un escuadrón de cinco diferentes "atacantes", cada uno con un superpoder único:

El Mezclador: Añade una capa de ruido suave y densa en todas partes.
El Pinzador: Retoca solo unos pocos píxeles específicos para confundir al guardia.
El Deformador: Retuerce suavemente el rostro, como estirar una hoja de goma.
El Mago de la Frecuencia: Cambia los "colores" de la imagen de una manera que los humanos no pueden ver pero las computadoras sí (como girar el dial de una radio).
El Mezclador de Bloques: Corta la imagen en piezas de rompecabezas y las intercambia.

Lo que hace especial a ARMOR++ es que juega un juego de "adivinar y comprobar" sin pedir nunca ayuda al guardia objetivo. Practica con un conjunto de guardias de práctica (modelos sustitutos o surrogates) que conoce a la perfección. Prueba diferentes combinaciones de sus cinco atacantes, escucha a sus agentes inteligentes y ajusta su estrategia en tiempo real. Si un ataque no está funcionando, el equipo no se rinde; cambian las reglas, prueban una mezcla diferente de ataques y siguen adelante hasta encontrar la combinación perfecta que engañe al guardia objetivo.

El artículo encuentra que este enfoque basado en equipos es increíblemente efectivo. Al ser probado en una colección masiva de rostros falsos (el benchmark AADD-2025), ARMOR++ logró engañar a los guardias "ciegos" más avanzados (aquellos que nunca había visto antes) aproximadamente el 44.3% de las veces en imágenes de baja calidad y el 32.1% de las veces en imágenes de alta calidad. Para ponerlo en perspectiva, el mejor equipo anterior (llamado ARMOR) solo engañó a ellos aproximadamente el 39.6% y 28.3% de las veces, y los métodos estándar de "ataque único" apenas superaron el 20%.

Los investigadores también comprobaron si estos trucos seguían funcionando si los guardias tenían un entrenamiento básico para resistir ataques (como el "entrenamiento adversarial"). Incluso entonces, ARMOR++ fue el más exitoso, engañando a los guardias aproximadamente el 19.8% de las veces, mientras que otros métodos cayeron casi a cero. Esto sugiere que incluso nuestros mejores sistemas de seguridad actuales tienen un "punto ciego" significativo cuando se enfrentan a estos trucos inteligentes y polifacéticos. Los autores concluyen que, aunque nuestros detectores están mejorando para detectar falsificaciones, todavía no son lo suficientemente fiables para ser confiados completamente, especialmente cuando enfrentan a un atacante que puede pensar, adaptarse y usar muchos tipos diferentes de trucos a la vez. Es una llamada de atención: en la carrera entre los creadores de falsificaciones y los detectores reales, los detectores aún tienen mucho trabajo por hacer.

Resumen Técnico: ARMOR++

Planteamiento del Problema
La fiabilidad de los detectores de deepfakes se ve frecuentemente comprometida bajo transferencia adversaria de caja negra, particularmente cuando las perturbaciones optimizadas en sustitutos de redes neuronales convolucionales (CNN) se aplican a objetivos basados en transformadores (p. ej., ViT, Swin). Los ataques de transferencia existentes suelen carecer de conciencia semántica y luchan por mantener su eficacia bajo restricciones estrictas de no consulta (no-query). Además, los métodos actuales dependen con frecuencia de pistas forenses frágiles y dependientes de la arquitectura (como los límites de mezcla o las inconsistencias de textura de alta frecuencia) y no logran abordar la dificultad única de la detección de deepfakes, donde los clasificadores explotan rastros débidos y localizados en lugar de categorías estables de nivel de objeto. Los enfoques agénticos previos, como ARMOR, están limitados por un espacio de perturbación puramente espacial, una diversidad de sustitutos insuficiente y la dependencia de términos de probabilidad de caja negra que debilitan el protocolo de no consulta.

Metodología: ARMOR++
El artículo propone ARMOR++, un robusto marco multi-agente diseñado para la evasión de deepfakes de alta transferibilidad bajo un estricto protocolo de no consulta. El marco integra un Modelo de Visión y Lenguaje (VLM) y un Modelo de Lenguaje Grande (LLM) para orquestar la selección de métodos y la reparametrización sin consultar al objetivo ciego.

Arquitectura y Agentes: El sistema emplea una arquitectura multi-agente de bucle cerrado:
- Agente de Análisis (Qwen2.5-VL): Genera un informe semántico que identifica topologías faciales, irregularidades de textura y artefactos de compresión para crear una prioridad espacial suave ( $M_R$ ).
- Agente Director (Qwen3): Inicializa las restricciones globales (presupuesto de perturbación $\epsilon$ , umbral de calidad $\tau$ ) e hiperparámetros basados en el informe semántico.
- Agentes de Método: Ejecutan cinco primitivas complementarias en paralelo:
  1. Estilo CW: Optimización densa penalizada con $\ell_2$ .
  2. JSMA: Manipulación de saliencia dispersa.
  3. STA: Deformación geométrica mediante deformación espacial suave.
  4. SSA (Ataque de Simulación de Espectro): Perturbaciones en el dominio de la frecuencia mediante aumentación DCT.
  5. BSR (Aumentación Estructurada por Bloques): Mezcla y rotación por bloques para interrumpir la coherencia global.
- Agente Asesor: Adapta los límites de los hiperparámetros para cada primitiva basándose en el rendimiento histórico.
- Agente Estratega: Detecta el estancamiento de la optimización y activa la relajación adaptativa de las restricciones (aumentando $\epsilon$ , disminuyendo $\tau$ ).
- Agente Mezclador (Mixer): Sintetiza un candidato maestro optimizando los pesos de mezcla convexa ( $w$ ) utilizando una puntuación regularizada por entropía que equilibra la confianza del sustituto, la violación de SSIM, la energía de la perturbación y la diversidad de las primitivas.
Protocolo Estricto de No Consulta: Toda la optimización, reparametrización y mezcla dependen exclusivamente de la retroalimentación de un conjunto de sustitutos ( $F_{surr}$ ). El objetivo ciego es consultado exactamente una vez, solo después de que se selecciona el ejemplo adversarial final, únicamente para fines de reporte. Esto elimina el uso de términos de probabilidad de caja negra ( $p_{bb}$ ) en la puntuación de mezcla, una limitación del trabajo anterior.

Contribuciones Clave

Marco Agéntico Transferible: Una arquitectura multimodal y multi-agente para la evasión de no consulta que depende únicamente de la retroalimentación de los sustitutos y el razonamiento guiado por LLM.
1. Orquestación de Bucle Cerrado Guiada Semánticamente: Integración de prioridades espaciales derivadas de VLM con detección de estancamiento, escalada de restricciones acotadas y reparametrización adaptativa guiada por LLM.
Espacio de Perturbación Multidominio: La inclusión de primitivas de dominio de frecuencia (SSA) y estructuradas por bloques (BSR) junto con ataques de optimización, saliencia y transformación espacial para atacar los sesgos inductivos espectrales y basados en parches de los detectores de deepfakes de alta calidad (HQ) y transformadores.
Evaluación Orientada a la Fiabilidad: Benchmarking exhaustivo en el conjunto de datos AADD-2025 (regímenes de Baja Calidad y Alta Calidad) con análisis estadístico riguroso (intervalos de confianza de Wilson del 95%, pruebas de McNemar) y análisis de modos de fallo.

Resultados Experimentales
El marco fue evaluado en el benchmark AADD-2025 utilizando tres sustitutos CNN (ResNet-50, DenseNet-121, EfficientNet-B4) y dos objetivos ciegos de transformadores (ViT-B/16, Swin-B).

Tasa de Éxito del Ataque (ASR): En el régimen de Baja Calidad (LQ) con ViT-B/16, ARMOR++ logró un ASR del 44.3%, superando significativamente la línea base agéntica previa ARMOR (39.6%) y la línea base no agéntica más fuerte AutoAttack-PGD (19.6%).
Regimen de Alta Calidad (HQ): ARMOR++ mantuvo un rendimiento superior en el régimen HQ, que es más difícil (ASR 32.1% en ViT-B/16), preservando su posición sobre las líneas base a pesar de la reducción en las tasas de éxito absolutas.
Calidad Perceptual: ARMOR++ alcanzó el mayor ASR ponderado (wASR), lo que indica un equilibrio superior entre el éxito del ataque y la fidelidad perceptual (SSIM $\approx$ 0.69 en LQ, 0.73 en HQ) en comparación con métodos de ensamble como AutoAttack-PGD, que sufrieron una degradación significativa de la calidad.
Robustez de la Defensa: Bajo defensas no adaptativas (entrenamiento adversarial PGD y redimensionamiento de entrada aleatorio), ARMOR++ retuvo el ASR residual más alto (p. ej., 19.8% bajo entrenamiento adversarial en LQ), demostrando que las defensas estándar no mitigan completamente la amenaza.
Estudios de Ablación: Eliminar el agente de análisis semántico redujo el ASR al 21.8%, mientras que eliminar las primitivas de multidominio (SSA/BSR) o el regularizador de entropía resultó en caídas significativas de rendimiento, confirmando la necesidad de los componentes propuestos.

Significancia y Reivindicaciones
El artículo afirma que ARMOR++ demuestra una brecha de fiabilidad residual significativa en los despliegues actuales de detectores de deepfakes. Los resultados indican que la alta precisión de los datos limpios y las defensas estándar no adaptativas son insuficientes para certificar la dependibilidad de los detectores bajo transferencia adversaria de arquitectura cruzada. Al explotar eficazmente las vulnerabilidades latentes mediante la orquestación agéntica y las perturbaciones de múltiples dominios, el estudio destaca que los clasificadores forenses siguen siendo vulnerables a ataques sistemáticos e informados semánticamente. Los autores concluyen que el marco propuesto sirve como una prueba de estrés rigurosa, revelando que los sistemas actuales de detección de deepfakes aún no son lo suficientemente robustos para un despliegue en el mundo real con implicaciones de seguridad frente a amenazas sofisticadas de caja negra.

Más como este