SIF: Semantically In-Distribution Fingerprints for Large Vision-Language Models

Resumen Técnico: SIF para la Protección de Propiedad Intelectual en LVLMs

1. Planteamiento del Problema

La creciente accesibilidad pública de los Modelos Grandes de Visión y Lenguaje (LVLMs) ha generado preocupaciones críticas sobre el reutilización no autorizada y la infracción de propiedad intelectual. Los desarrolladores liberan modelos preentrenados con licencias restrictivas, pero los "ladrones" de modelos a menudo los despliegan en servicios comerciales o APIs propietarias sin autorización.

El desafío principal radica en la verificación de propiedad: determinar si una API sospechosa deriva de un modelo original. Los métodos de huellas dactilares (fingerprinting) existentes sufren de vulnerabilidades graves:

• Dependencia de anomalías semánticas: Métodos actuales (como Instruction Fingerprint, Proflingo o PLA) utilizan consultas con desencadenantes (triggers) artificiales o generan respuestas que no tienen relación semántica con la entrada visual.
• Falta de robustez y sigilo: Estas respuestas "fuera de distribución" (out-of-distribution) son fácilmente detectables por adversarios. Un atacante puede identificar y filtrar estas consultas inusuales o modificar el modelo (mediante fine-tuning o cuantización) para eliminar las huellas, ya que estas no preservan la coherencia semántica natural.

2. Metodología Propuesta: SIF

Los autores proponen SIF (Semantically In-Distribution Fingerprints), un marco de verificación de propiedad no intrusivo (no requiere modificación de parámetros del modelo) que opera dentro del espacio semántico natural del modelo. SIF se basa en dos componentes principales:

A. Ataque de Divergencia Semántica (SDA)
Antes de presentar la solución, los autores formalizan una vulnerabilidad crítica mediante el SDA. Este ataque utiliza un modelo de referencia benigno para medir la inconsistencia semántica entre la consulta y la respuesta.

• Mecanismo: Si la consulta tiene una alta perplejidad (es rara) o la respuesta del modelo robado diverge semánticamente de la del modelo de referencia, el sistema la identifica como una verificación de huella y la reemplaza por una respuesta normal.
• Resultado: El SDA demuestra que las huellas existentes son fáciles de detectar y eliminar, mientras que las huellas de SIF, al ser semánticamente coherentes, pasan desapercibidas.

B. Destilación de Huellas Dactilares Alineadas Semánticamente (SAFD)
Este es el núcleo de la generación de la huella. En lugar de entrenar el modelo con backdoors, SIF "destila" señales de marca de agua de texto (diseñadas originalmente para proteger el contenido generado) hacia la modalidad visual.

• Proceso: Se toma una imagen original $x$ y se añade una perturbación imperceptible $\delta$ para crear una imagen desencadenante $x'$.
• Objetivo: Al alimentar $(x', \text{prompt})$ al modelo congelado, la distribución de probabilidad de los tokens generados debe:
  1. Mantenerse alineada semánticamente con la respuesta natural (evitar alucinaciones o respuestas sin sentido).
  2. Asignar alta probabilidad a una lista de tokens "marcados" (green list) definida por una clave secreta, similar a las marcas de agua de texto.
• Pérdida de optimización: Se optimiza la imagen $x'$ minimizando una función de pérdida que combina la alineación de la marca de agua ($L_{wm}$) y la fidelidad semántica ($L_{ce}$).

C. Optimización de Huellas Robustas (RFO)
Para garantizar que la huella sobreviva a modificaciones posteriores del modelo (como cuantización o fine-tuning), SIF simula perturbaciones de representación en el peor de los casos durante el proceso de optimización.

• Mecanismo: Calcula los gradientes de la pérdida de destilación respecto a las activaciones intermedias del modelo. Luego, inyecta una perturbación alineada con estos gradientes (simulando un cambio de representación adverso) antes de actualizar la imagen desencadenante.
• Efecto: Esto entrena la huella para ser resistente a la deriva de representaciones que ocurre cuando el modelo es modificado por terceros.

3. Contribuciones Clave

1. Identificación de Vulnerabilidades: Formalización del ataque SDA, demostrando que las huellas semánticamente anómalas son ineficaces en entornos reales donde los adversarios tienen control sobre el pipeline de inferencia.
2. Marco SIF: Introducción de un método no intrusivo que integra SAFD y RFO, logrando huellas que son indistinguibles de las interacciones usuario-modelo normales.
3. Rendimiento Superior: Validación experimental en modelos populares (LLaVA-1.5 y Qwen2.5-VL) que demuestra una superioridad significativa en sigilo y robustez frente a métodos anteriores.

4. Resultados Experimentales

Los experimentos se realizaron sobre LLaVA-1.5-7B y Qwen2.5-VL-7B bajo diversas condiciones de ataque y modificación:

• Robustez ante Modificaciones del Modelo:
  • Cuantización: SIF mantiene una Tasa de Coincidencia de Huella (FMR) muy alta (ej. 0.89 en LLaVA-1.5 con cuantización de 8 bits), superando a todos los baselines.
  • Fine-tuning: Incluso tras un ajuste fino completo en tareas específicas (como razonamiento matemático o GUI), SIF conserva su capacidad de detección, mientras que métodos como PLA o IF colapsan (FMR cercana a 0).
• Sigilo (Stealthiness):
  • Bajo el ataque SDA, las consultas de SIF tienen una perplejidad similar a las entradas de usuarios normales.
  • Cuando se evalúa con un juez semántico avanzado (GPT-4.1), solo el 4% de las interacciones de SIF se marcan como sospechosas, en comparación con el 86% de los métodos existentes (PLA).
• Fiabilidad: SIF no genera falsos positivos en modelos no relacionados (FMR = 0 en modelos de otras familias), asegurando una verificación de propiedad precisa.

5. Significado e Impacto

El trabajo de SIF representa un avance fundamental en la protección de la propiedad intelectual de los LVLMs:

• Cambio de Paradigma: Pasa de un enfoque basado en "comportamientos anómalos" (fáciles de detectar) a uno basado en "coherencia semántica", haciendo que la huella sea inherente al comportamiento natural del modelo.
• Viabilidad Práctica: Al no requerir reentrenamiento del modelo ni acceso a los pesos internos (funciona en caja negra), SIF es aplicable a modelos ya desplegados y comercializados.
• Defensa contra Adversarios: La combinación de SAFD y RFO crea una barrera robusta contra los intentos de evasión más comunes, como la cuantización para ahorrar costes o el ajuste fino para adaptar tareas, manteniendo la trazabilidad de la autoría.

En conclusión, SIF ofrece una solución práctica y robusta para la verificación de derechos de autor en la era de los modelos multimodales abiertos, equilibrando la necesidad de protección legal con la utilidad y la experiencia de usuario natural.