🤖 machine learning

Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

Este artículo presenta PAR (Perturb and Recover), un método simple y eficaz que elimina puertas traseras de modelos CLIP mediante microajuste, incluso sin acceso a datos reales, superando las limitaciones de las técnicas de limpieza existentes.

Autores originales: Naman Deep Singh, Francesco Croce, Matthias Hein

Publicado 2026-04-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Naman Deep Singh, Francesco Croce, Matthias Hein

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que CLIP es como un traductor universal muy inteligente que ha aprendido a entender el mundo viendo millones de fotos y leyendo sus descripciones en internet. Puede decirte qué hay en una imagen o buscar una foto usando solo palabras. Es increíblemente útil.

Pero, aquí viene el problema: como se entrenó con datos de internet (que es un lugar salvaje y sin control), alguien malintencionado podría haberle "infectado" con un virus digital llamado puerta trasera (backdoor).

¿Qué es esta "puerta trasera"?

Imagina que un hacker le dice al modelo: "Oye, cada vez que veas una foto con una raya roja en la esquina, olvida lo que es y di que es un plátano".

Si la foto es de un perro normal, el modelo sigue funcionando bien.
Pero si le pones esa "raya roja" (el gatillo o trigger), el modelo se vuelve loco y obedece al hacker.

El problema es que limpiar este virus es difícil. Reentrenar al modelo desde cero es como intentar reconstruir una biblioteca entera solo porque alguien escribió una mentira en un libro: cuesta una fortuna y lleva años.

El intento fallido de los "limpiadores" anteriores

Antes de este trabajo, existían métodos para limpiar estos modelos (como CleanCLIP). Imagina que estos métodos eran como un taller de lavado de coches que usaba un cepillo muy fuerte y agua a presión (llamado "aumento de datos") para intentar arrancar la suciedad.

Funcionaba bien si el virus era como un poco de polvo aleatorio (ruido). El cepillo fuerte lo quitaba.
Pero fallaba estrepitosamente si el virus era algo estructurado, como una raya geométrica, un triángulo o un texto escrito en la foto.
- La analogía: Imagina que intentas quitar una pegatina de un coche frotando con un cepillo. Si la pegatina es polvo, se va. Pero si la pegatina es un dibujo hecho con pintura indeleble que coincide exactamente con los movimientos del cepillo, ¡el cepillo ni siquiera la toca! Los métodos antiguos no podían detectar estos "dibujos" porque no sabían qué buscar.

La solución: PAR (Perturbar y Recuperar)

Los autores de este paper proponen una nueva técnica llamada PAR. En lugar de usar un cepillo fuerte, usan una estrategia más inteligente: "Perturbar y Recuperar".

Imagina que el modelo infectado es un alumno que ha memorizado una respuesta trampa para un examen.

Perturbar (Sacudir): En lugar de intentar borrar la respuesta trampa directamente, PAR le da al modelo un pequeño "empujón" o "sacudida". Le obliga a olvidar sus asociaciones extrañas (la raya roja = plátano) moviendo su cerebro un poco hacia otro lado. Es como decirle al alumno: "¡Oye, olvida esa regla extraña y vuelve a pensar por ti mismo!".
Recuperar (Aprender de nuevo): Mientras le da ese empujón, le muestra fotos limpias y correctas para que vuelva a aprender la verdad (perros = perros) sin perder su inteligencia general.

La magia de PAR:

No necesita saber qué "virus" tiene el modelo. Funciona sin importar si el gatillo es una raya, un triángulo o texto.
Es como si le dieras al modelo un "baño de memoria" que borra las malas asociaciones pero deja intacta su buena memoria.

El toque final: ¿Y si no tenemos fotos limpias?

Lo más sorprendente es que PAR funciona incluso si no tienes fotos reales para limpiar el modelo.

Imagina que necesitas limpiar tu biblioteca, pero no tienes libros de referencia.
PAR puede usar libros generados por Inteligencia Artificial (fotos y textos hechos por robots) para enseñarle al modelo la verdad.
El paper demuestra que estas "fotos de fantasía" son suficientes para curar al modelo. ¡Es como curar una enfermedad con un suero hecho en laboratorio cuando no tienes acceso a sangre real!

En resumen

Este paper nos dice:

Los modelos actuales son vulnerables a trucos visuales simples (rayas, textos) que los limpiadores antiguos no ven.
La nueva técnica PAR es como un "reinicio suave": sacude al modelo para que olvide el truco y luego le enseña la realidad de nuevo.
Funciona tan bien que incluso puede usar datos inventados por IA para hacer la limpieza, ahorrando mucho dinero y tiempo.

Es una solución elegante, barata y muy efectiva para mantener seguros a los "cerebros" de la inteligencia artificial que usamos cada día.

Resumen Técnico: Perturb and Recover (PAR) para la Eliminación de Puertas Traseras en CLIP

1. Planteamiento del Problema

Los modelos de visión-idioma (VLM) como CLIP son fundamentales para tareas modernas de recuperación de imágenes, clasificación zero-shot y como componentes de modelos de lenguaje grandes (LLMs) multimodales. Sin embargo, su entrenamiento masivo en datos extraídos de la web los hace vulnerables a ataques de puerta trasera (backdoors).

La Amenaza: Un atacante puede envenenar una pequeña fracción del conjunto de datos de entrenamiento (incluso <0.01%) insertando "disparadores" (triggers) ocultos. Cuando el modelo ve una imagen con este disparador, cambia su comportamiento para predecir una clase objetivo maliciosa, manteniendo un rendimiento normal en datos limpios.
El Desafío de la Limpieza: Entrenar modelos fundacionales como CLIP desde cero es prohibitivamente costoso. Por lo tanto, la limpieza debe realizarse mediante fine-tuning (ajuste fino) utilizando un pequeño conjunto de datos limpios.
Fallo de las Soluciones Existentes: Métodos anteriores como CleanCLIP y RoCLIP intentan eliminar puertas traseras aplicando aumentos de datos fuertes (como AutoAugment, rotaciones, cambios de color) durante el fine-tuning. La premisa es que estos aumentos romperían las correlaciones espurias aprendidas por el disparador.
- Hallazgo Crítico: Los autores demuestran que estos métodos son ineficaces contra disparadores estructurados (como rayas, triángulos o texto superpuesto). Dado que los aumentos fuertes a menudo no alteran la estructura geométrica o semántica de estos patrones específicos, el modelo mantiene la puerta trasera activa.

2. Metodología: Perturb and Recover (PAR)

Los autores proponen PAR, un método de ajuste fino simple pero efectivo que no depende de la suposición de que los aumentos de datos romperán el disparador. En su lugar, PAR se basa en forzar al modelo a "olvidar" la correlación espuria mediante una perturbación controlada.

Mecanismo de Funcionamiento:
El objetivo de PAR combina dos componentes en la función de pérdida durante el fine-tuning:

Perturbación (Perturb):
- El objetivo es empujar las representaciones (embeddings) del modelo actual (limpio) lejos de las del modelo envenenado original.
- Se calcula la distancia $L_2$ entre las características de los codificadores de visión y texto del modelo envenenado ( $\phi_P, \psi_P$ ) y las del modelo que se está limpiando ( $\phi, \psi$ ).
- Se introduce un término de pérdida ( $\mathcal{L}_{PERT}$ ) que penaliza si el modelo se acerca demasiado al estado envenenado, obligándolo a salir de la región de "memoria" del disparador.
- Se utiliza un umbral ( $\tau$ ): una vez que la distancia supera $\tau$ , el término de perturbación se desactiva, asumiendo que la correlación espuria ha sido destruida.
Recuperación (Recover):
- Simultáneamente, se minimiza la pérdida estándar de CLIP ( $\mathcal{L}_{CLIP}$ ) sobre los datos limpios.
- Esto asegura que, una vez que el modelo ha sido "perturbado" fuera del estado envenenado, recupera su capacidad de alinear correctamente imágenes y textos, manteniendo el rendimiento estándar (clean accuracy).

Datos Sintéticos:
Un aspecto innovador es que PAR demuestra ser efectivo incluso utilizando solo datos sintéticos (generados por modelos de difusión texto-a-imagen) para el fine-tuning, eliminando la necesidad de costosos conjuntos de datos reales limpios.

3. Contribuciones Clave

Vulnerabilidad de los Aumentos Fuertes: Se demuestra que las defensas basadas en aumentos de datos (CleanCLIP, RoCLIP) son fácilmente eludidas mediante disparadores estructurados simples (rayas, texto, triángulos), exponiendo una brecha de seguridad crítica para el despliegue real.
Propuesta de PAR: Un esquema de ajuste fino que no asume conocimiento del disparador ni depende de aumentos específicos. Funciona perturbando activamente el modelo para romper la correlación disparador-objetivo y luego recuperando el rendimiento.
Eficacia con Datos Sintéticos: Se valida que es posible limpiar modelos CLIP envenenados utilizando exclusivamente pares imagen-texto sintéticos, reduciendo drásticamente los costos de defensa.
Validación Exhaustiva: Los resultados se prueban en múltiples arquitecturas (ResNet50, ViT-B/32, ViT-L/14), modelos (CLIP, SigLIP) y tipos de ataques (BadNet, Blended, BadCLIP), mostrando superioridad consistente.

4. Resultados Experimentales

Los experimentos comparan PAR contra CleanCLIP y RoCLIP en tareas de clasificación zero-shot (ImageNet) y recuperación de texto (COCO).

Rendimiento contra Disparadores Estructurados:
- Mientras que CleanCLIP y RoCLIP fallan en reducir la Tasa de Éxito del Ataque (ASR) para disparadores como "Stripes" (rayas) o "Text" (texto), PAR logra reducir la ASR a niveles cercanos a 0% (ej. de 99% a <1% en varios casos).
- En el ataque Blended-Stripes, CleanCLIP deja una ASR del 62.3%, mientras que PAR la reduce al 0.1%.
Preservación del Rendimiento Estándar:
- A diferencia de RoCLIP, que a menudo degrada severamente la precisión limpia (Clean Accuracy), PAR mantiene un rendimiento estándar alto (ej. ~53-54% en ImageNet, comparable al modelo original envenenado antes de la limpieza).
Robustez:
- PAR funciona bien incluso con tasas de envenenamiento muy bajas (0.05%) y en arquitecturas más grandes (ViT-L/14).
- Resiste ataques adaptativos donde el atacante intenta re-envenenar el modelo ya limpiado.

5. Significado e Impacto

Este trabajo es fundamental para la seguridad de los modelos fundacionales multimodales por varias razones:

Cambio de Paradigma: Cuestiona la suposición de que los aumentos de datos fuertes son una solución universal para puertas traseras, especialmente en modelos que entienden el contexto semántico (texto-imagen).
Defensa Práctica: Ofrece un método de limpieza viable y de bajo costo computacional (fine-tuning) que no requiere acceso a los datos de entrenamiento originales masivos ni al conocimiento del disparador.
Viabilidad de Datos Sintéticos: Abre la puerta a estrategias de defensa donde la comunidad puede generar sus propios conjuntos de datos de limpieza sintéticos, democratizando la seguridad en modelos grandes.

En conclusión, PAR establece un nuevo estado del arte en la defensa contra puertas traseras en CLIP, demostrando que una perturbación controlada del espacio de características es más efectiva y robusta que los métodos basados puramente en aumentos de datos.