CLIP-Inspector: Model-Level Backdoor Detection for Prompt-Tuned CLIP via OOD Trigger Inversion

1. El Problema: Seguridad en el Aprendizaje de Prompt-Tuning para CLIP

El artículo aborda una vulnerabilidad de seguridad crítica en el ecosistema de Modelos de Lenguaje y Visión (VLMs), específicamente en CLIP (Contrastive Language-Image Pre-training).

• Contexto: Las organizaciones con recursos limitados a menudo externalizan el entrenamiento de modelos a proveedores de servicios de aprendizaje automático (MLaaS). En lugar de entrenar desde cero, estos proveedores adaptan CLIP a tareas específicas mediante ajuste de prompts (prompt-tuning), utilizando técnicas como CoCoOp (Conditional Context Optimization). En este esquema, los codificadores (encoders) de imagen y texto permanecen congelados, y solo se entrena una pequeña red meta (meta-net) que genera tokens de contexto específicos para la imagen.
• La Amenaza: Un proveedor malicioso puede seguir el protocolo de ajuste de prompts legítimo e implantar una puerta trasera (backdoor). A diferencia de los ataques tradicionales que corrompen los codificadores, aquí el backdoor se inyecta en la red meta.
  • Mecanismo: El atacante entrena la red meta para que, al detectar un disparador (trigger) imperceptible en la imagen, genere tokens sesgados que reorienten las representaciones de texto hacia una clase objetivo elegida por el atacante.
  • Características del ataque: Funciona incluso en datos fuera de distribución (OOD) y deja los codificadores intactos, lo que hace que los métodos de detección existentes (basados en análisis de codificadores o suposiciones de disparadores dispersos) sean ineficaces.
• El Desafío: No existe un método eficaz para auditar el modelo entregado (en configuración de caja blanca) para determinar si está comprometido sin acceso a los datos de entrenamiento originales o al disparador.

2. Metodología: CLIP-Inspector (CI)

Los autores proponen CLIP-Inspector, un detector de puertas traseras a nivel de modelo diseñado específicamente para CLIP ajustado por prompts.

• Suposiciones:

  • Acceso de caja blanca al modelo entregado (arquitectura y pesos).
  • Un conjunto pequeño de imágenes no etiquetadas fuera de distribución (OOD) (aprox. 1,000 imágenes).
  • Una lista de clases candidatas potenciales (incluyendo la posible clase objetivo del ataque).
  • Sin acceso a muestras envenenadas ni al disparador real.

• Proceso de Detección (Inversión de Disparador OOD):

  1. Optimización de Disparador: Para cada clase candidata $c$, el método busca reconstruir un disparador imperceptible $\delta_c$ que fuerce a las imágenes OOD a ser clasificadas como $c$.
  2. Función de Pérdida (Margin-based Objective): En lugar de maximizar simplemente la probabilidad de la clase objetivo, CI minimiza un margen entre el logit de la clase objetivo y el logit más alto de las clases no objetivo. Esto acelera la convergencia y evita ruido.
     $$\min_{\delta} L_{margin}(\delta) = - \frac{1}{|D|} \sum_{x \in D} [l_c(x+\delta) - \max_{c' \neq c} l_{c'}(x+\delta)]$$
     Sujeto a $\|\delta\|_\infty \leq \epsilon$ (para garantizar imperceptibilidad).
  3. Evaluación de Comportamiento: Tras optimizar $\delta_c$ durante una sola época, se evalúan dos métricas en un conjunto de prueba OOD:
     • Tasa de Éxito del Ataque (ASR): ¿Qué tan a menudo el disparador reconstruido clasifica correctamente la imagen como la clase objetivo?
     • Pérdida de Optimización Promedio: ¿Qué tan fácil fue converger a un disparador efectivo?
  4. Puntuación de Anomalía: Se calcula una puntuación combinada ($S(c)$) utilizando los valores estandarizados (z-scores) del ASR y la pérdida.
     • Una clase envenenada mostrará un ASR alto y una pérdida baja.
     • Se normalizan las puntuaciones de todas las clases. Si la puntuación máxima supera un umbral predefinido ($k=2$), el modelo se marca como comprometido.

• Mecanismo de Limpieza (Post-hoc Repair):

  • Si se detecta un backdoor, el disparador reconstruido ($\hat{\delta}$) se utiliza como un sustituto del disparador real.
  • El modelo se ajusta finamente (fine-tuning) en imágenes limpias perturbadas con $\hat{\delta}$ pero con sus etiquetas reales (ground-truth).
  • Esto "re-alinea" la red meta, reduciendo drásticamente la efectividad del backdoor sin sacrificar la precisión en datos limpios.

3. Contribuciones Clave

1. Formulación del Problema: Definen y estudian la detección de puertas traseras a nivel de modelo en el escenario de ajuste de prompts (prompt-tuning) en un entorno semi-honesto, donde el atacante manipula el comportamiento sin tocar los codificadores.
2. CLIP-Inspector: Introducen un detector basado en la inversión de disparadores OOD que reconstruye perturbaciones específicas por clase para determinar si un modelo está envenenado y cuál es la clase objetivo, sin necesidad de datos de distribución interna (in-distribution).
3. Evaluación Exhaustiva: Realizan pruebas en 10 conjuntos de datos y contra 4 tipos de ataques (BadCLIP, Blended, SIBA, WaNet), demostrando una superioridad significativa sobre las líneas base adaptadas (Neural Cleanse y Pixel Backdoor).
4. Capacidad de Reparación: Demuestran que los disparadores reconstruidos no son solo artefactos diagnósticos, sino que son funcionalmente similares a los originales, permitiendo reducir la tasa de éxito del ataque (ASR) a menos del 10% en pocos pasos de ajuste fino.

4. Resultados Experimentales

• Precisión de Detección:
  • CLIP-Inspector logra una precisión de detección del 94% (47 de 50 modelos) en un solo epoch de optimización.
  • Obtiene un AUROC de 0.973, superando drásticamente a las líneas base: Neural Cleanse (0.495) y Pixel Backdoor (0.687).
  • A nivel de clase, alcanza un F1-score promedio de 0.92, con casi cero falsos positivos, mientras que las líneas base fallan en identificar consistentemente la clase objetivo.
• Eficiencia:
  • Requiere solo 1,000 imágenes OOD y 1 época de optimización por clase.
  • Completa un escaneo de 50 clases en menos de 1 hora en una GPU A100, frente a las 6-8 horas que requieren los métodos baselines.
• Robustez:
  • Mantiene su eficacia incluso contra ataques adaptativos (BadCLIP Adaptive) diseñados para hacer el disparador altamente específico y resistente a aproximaciones.
  • Funciona también en backdoors a nivel de codificador (sin meta-red), demostrando generalidad.
• Calidad del Disparador Reconstruido:
  • Los disparadores reconstruidos tienen una alta similitud estructural (SSIM $\approx$ 0.93) con los originales, manteniéndose imperceptibles.
  • El proceso de reparación reduce el ASR de ~84% a ~6% manteniendo la precisión limpia (ACC) casi intacta.

5. Significado e Impacto

El trabajo es fundamental para la seguridad de la IA en entornos de producción modernos:

• Validación de Modelos Externalizados: Proporciona la primera herramienta práctica para que las organizaciones auditen modelos entregados por proveedores de MLaaS, respondiendo a la pregunta crítica: "¿Está este modelo comprometido?".
• Superación de Limitaciones Existentes: Resuelve la brecha de seguridad creada por el ajuste de prompts, donde los métodos tradicionales de detección fallan al asumir que los disparadores son dispersos o que los codificadores están envenenados.
• Defensa Proactiva y Reactiva: No solo detecta la amenaza, sino que ofrece un mecanismo de reparación post-hoc, permitiendo la recuperación de modelos sin necesidad de reentrenar desde cero o acceder a los datos originales del proveedor.
• Viabilidad Práctica: Su bajo costo computacional y su capacidad para funcionar con datos no etiquetados lo hacen ideal para integrarse en flujos de trabajo de auditoría de seguridad antes del despliegue.

En resumen, CLIP-Inspector establece un nuevo estándar para la seguridad en modelos de visión-lenguaje ajustados, transformando la detección de puertas traseras de un problema teórico a una solución práctica y escalable.