Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

Resumen Técnico: Echoes of Ownership (AGDI)

1. El Problema

Con la rápida adopción de Modelos de Lenguaje Grandes Multimodales (MLLMs) de código abierto, ha surgido una crisis de propiedad intelectual. Los usuarios maliciosos pueden tomar un modelo base, realizar fine-tuning (ajuste fino) con datos privados y comercializarlo como propio, negando la autoría original.

• Desafío actual: Los métodos existentes de protección de derechos de autor para MLLMs suelen requerir acceso de "caja blanca" (parámetros internos), lo cual es inviable en escenarios reales donde los modelos se distribuyen como servicios de "caja negra".
• Limitación de métodos anteriores: Las técnicas de inyección de marcas de agua basadas únicamente en la alineación de respuestas (nivel de respuesta) tienden a sobreajustarse al modelo base específico. Cuando el modelo se ajusta finamente para dominios específicos, estos disparadores (triggers) pierden su efectividad. Además, los modelos no derivados (ajenos) a veces activan falsamente estos disparadores.

2. Metodología Propuesta: AGDI

Los autores proponen un marco llamado AGDI (Adversarial-Guided Dual Injection), diseñado para generar imágenes de disparo (trigger images) que permitan a los editores verificar la propiedad de un modelo derivado mediante consultas de caja negra.

El núcleo de AGDI es una optimización min-max que inyecta información de propiedad en la imagen a través de dos niveles complementarios y un entrenamiento adversario:

• A. Doble Inyección (Dual Injection):

  1. Inyección a Nivel de Respuesta (Response-Level): Se fuerza la consistencia textual entre la salida del modelo (o un modelo auxiliar) y un texto objetivo predefinido (ej. "ICLR Conference"). Se utiliza una pérdida de entropía cruzada para asegurar que, al presentar la imagen de disparo con una pregunta específica, el modelo derivado genere la respuesta de propiedad exacta.
  2. Inyección a Nivel Semántico (Semantic-Level): Se aprovecha la observación de que la mayoría de los MLLMs incorporan un módulo de alineación cruzada similar a CLIP. Este módulo tiende a permanecer estable incluso después del fine-tuning. La segunda inyección minimiza la distancia de incrustación (embedding) entre las características visuales de la imagen de disparo y las características textuales del objetivo. Esto asegura que la semántica de la imagen y el texto estén alineados en un espacio compartido, generalizando mejor a través de diferentes variantes del modelo.

• B. Entrenamiento Adversario Guiado:
  Para mejorar la robustez, el marco incluye un modelo auxiliar que se entrena para resistir la generación de la respuesta objetivo cuando se le presenta la imagen de disparo. Esto simula el comportamiento de modelos derivados que han sido fuertemente ajustados y podrían haber "olvidado" o modificado el disparo original. El proceso de optimización busca una imagen que funcione en el modelo base pero que sea robusta frente a las variaciones de parámetros inducidas por el fine-tuning.

• C. Generación de la Imagen:
  La imagen de disparo se genera mediante un ataque adversario sobre una imagen limpia, optimizando una función de pérdida combinada ($L_{trig} = L_{res} + \lambda L_{sem}$) mientras se actualizan los parámetros del modelo auxiliar para maximizar la dificultad de la tarea.

3. Contribuciones Clave

1. Marco de Rastreo en Caja Negra: Introducen el primer marco post-despliegue que utiliza la manipulación de imágenes de disparo para rastrear modelos MLLMs sin necesidad de acceso a sus parámetros internos.
2. Observación del Módulo CLIP: Identifican y explotan la estabilidad del módulo de alineación cruzada (tipo CLIP) dentro de los MLLMs como un "submodelo implícito" compartido entre variantes, lo que permite una inyección semántica transferible.
3. Estrategia de Doble Inyección: Demuestran que combinar la alineación de respuestas (precisión) con la alineación semántica (generalización) supera significativamente a los métodos que solo utilizan uno de estos enfoques.
4. Robustez Adversaria: La inclusión de un entrenamiento adversario contra un modelo auxiliar mejora la capacidad de rastreo en modelos derivados que han sufrido ajustes intensivos.

4. Resultados Experimentales

Los autores evaluaron AGDI en múltiples escenarios utilizando modelos base como LLaVA-1.5 y Qwen2-VL, ajustados con técnicas como LoRA y fine-tuning completo en diversos dominios (VQA, matemáticas, arte, texto en escena).

• Rendimiento en Modelos Derivados: AGDI superó consistentemente a las líneas base (incluyendo Ordinary, RNA y PLA).
  • En modelos Qwen2-VL ajustados, AGDI alcanzó tasas de éxito de ataque (ASR) de hasta 81% (PaintingF) y 77% (ST-VQA), superando a PLA (76% y 68% respectivamente).
  • En modelos LLaVA-1.5, AGDI logró un 79% en PaintingF y 64% en V7W, frente a un 55% y 51% de PLA.
• Especificidad (Falsos Positivos): En modelos no derivados (como MiniGPT-4, LLaVA-1.6, Llama3-V), AGDI mostró una tasa de activación de 0%, demostrando que no genera falsos positivos y distingue claramente entre el modelo original y otros modelos ajenos.
• Robustez:
  • Poda (Pruning): Mantuvo un alto rendimiento incluso después de podar el 30% de los pesos del modelo.
  • Fusión de Modelos: Funcionó eficazmente en modelos fusionados mediante estrategias lineales y TIES.
  • Cuantización: Mantiene su efectividad bajo cuantización de 8 bits.
  • Transformaciones de Entrada: Es robusto ante ruido gaussiano, compresión JPEG y redimensionamiento.

5. Significado e Impacto

Este trabajo representa un avance significativo en la protección de la propiedad intelectual para la IA generativa multimodal:

• Viabilidad Práctica: Ofrece una solución realista para editores de modelos de código abierto que no tienen control sobre cómo se utilizan sus modelos en la industria.
• Generalización: Al basarse en la estabilidad semántica intrínseca de los MLLMs (módulos tipo CLIP) en lugar de memorizar patrones específicos de un solo modelo, el método es mucho más resistente a la evolución y ajuste de los modelos.
• Seguridad: Proporciona una herramienta forense confiable para determinar la línea de descendencia (lineage) de un modelo, disuadiendo el robo de propiedad intelectual y facilitando la protección legal de los creadores de modelos.

En conclusión, AGDI establece un nuevo estándar para la trazabilidad de modelos MLLMs, demostrando que es posible inyectar marcas de agua robustas y verificables en el dominio visual que sobreviven a la transformación de los modelos en el mundo real.