Attack by Unlearning: Unlearning-Induced Adversarial Attacks on Graph Neural Networks

1. Problema y Motivación

Las Redes Neuronales de Grafos (GNN) son fundamentales en dominios como redes sociales y sistemas de recomendación. Para cumplir con regulaciones de privacidad como el GDPR, CCPA y PIPEDA, se ha desarrollado el aprendizaje de olvido (unlearning) en grafos, que busca eliminar la influencia de datos específicos (nodos o aristas) de un modelo entrenado sin necesidad de reentrenarlo desde cero.

Sin embargo, el olvido aproximado suele introducir una degradación sutil pero inevitable en el rendimiento del modelo. Los autores plantean una pregunta de investigación crítica: ¿Puede esta degradación inherente ser amplificada y convertida en un ataque adversarial?

El problema central es la vulnerabilidad de los mecanismos de olvido ante un nuevo tipo de ataque: el ataque de corrupción por olvido (unlearning corruption attack). En este escenario, un adversario no busca romper el modelo durante el entrenamiento, sino manipularlo de tal manera que su rendimiento colapse únicamente cuando se ejecute una solicitud de olvido legítima y obligatoria por ley.

2. Modelo de Amenaza y Definición del Ataque

El ataque se basa en un escenario de "caja negra" donde el atacante no tiene acceso a los parámetros internos del modelo objetivo, pero sí al grafo de entrenamiento.

• Fase 1: Inyección de Nodos. El atacante inyecta un conjunto pequeño de nodos maliciosos ($\Delta V$) en el grafo de entrenamiento original. Estos nodos tienen características y etiquetas controladas por el atacante, pero se diseñan para que el modelo entrenado ($f_{inj}$) mantenga un rendimiento normal (siguiendo el objetivo de utilidad pre-olvido).
• Fase 2: Solicitud de Olvido. El atacante solicita legalmente la eliminación de estos nodos inyectados. Dado que las leyes de privacidad obligan a cumplir estas solicitudes, el propietario del modelo debe ejecutar el algoritmo de olvido.
• Fase 3: Colapso del Rendimiento. El proceso de olvido, al intentar "borrar" la influencia de los nodos inyectados, altera los parámetros del modelo de manera que la precisión en los nodos no etiquetados (víctimas) cae drásticamente.

Objetivos del Atacante (G1-G3):

1. Daño post-olvido (G1): Maximizar la caída de precisión en los nodos objetivo tras el olvido.
2. Utilidad pre-olvido (G2): Mantener el rendimiento del modelo alto antes de la eliminación para que el ataque pase desapercibido.
3. Sigilo bajo olvido benigno (G3): Asegurar que si se eliminan nodos no maliciosos, el modelo no sufra una degradación significativa (evitar falsos positivos).

3. Metodología Propuesta

El problema se formula como un problema de optimización de dos niveles (bi-level optimization), donde el atacante busca optimizar las características y conexiones de los nodos inyectados para maximizar el daño tras el olvido.

Desafíos Técnicos:

• Caja Negra: El operador de olvido es complejo y a menudo no diferenciable directamente.
• Escasez de Etiquetas: El atacante no conoce las etiquetas reales de los nodos de prueba (no etiquetados).

Solución Propuesta (Marco de Ataque):

1. Aproximación del Olvido (Gradiente): Para superar la caja negra, el método aproxima el proceso de olvido mediante una actualización de gradiente ascendente (gradient ascent) en una sola etapa. Esto permite calcular gradientes a través del proceso de olvido utilizando diferenciación automática (gradiente de gradiente).
2. Modelo Sustituto y Pseudo-etiquetas: Para abordar la falta de etiquetas reales, el atacante entrena un modelo sustituto (surrogate model) sobre el grafo inyectado. Las predicciones de este modelo se utilizan como "pseudo-etiquetas" para optimizar la función de pérdida.
3. Función de Objetivo: Se define una función de pérdida que combina:
   • Maximizar la pérdida en los nodos objetivo tras el olvido de los nodos inyectados.
   • Minimizar la pérdida en los nodos objetivo tras el olvido de nodos benignos (término de regularización para el objetivo G3).
4. Optimización de Estructura Discreta: Dado que las aristas son discretas (0 o 1), el método reparametriza las matrices de adyacencia en variables continuas (usando la función sigmoid) durante la optimización y proyecta el resultado final al conjunto discreto factible respetando el presupuesto de aristas.

4. Resultados Experimentales

Los autores evaluaron su ataque (OptimAttack) en cuatro conjuntos de datos estándar (Cora, Citeseer, Pubmed, Flickr) y contra tres algoritmos de olvido diferentes (GIF, CEU, Gradient Ascent).

• Efectividad (G1): El ataque logró caídas de precisión masivas. Por ejemplo, en el conjunto de datos Pubmed, se observaron caídas de precisión de hasta ~59% bajo el algoritmo GIF y ~59.5% bajo CEU, mientras que los métodos de base (como inyección aleatoria o copias simples) mostraron caídas insignificantes o nulas.
• Sigilo (G2): La precisión del modelo antes del olvido se mantuvo comparable a la de un modelo limpio, demostrando que los nodos inyectados no degradan el rendimiento inicial.
• Sigilo bajo Olvido Benigno (G3): La ablación mostró que sin el término de regularización, el ataque degradaba el modelo incluso al borrar nodos benignos. Con la regularización, el modelo se recuperaba casi completamente tras el olvido de nodos benignos, cumpliendo el objetivo G3.
• Transferibilidad: El ataque, optimizado con un modelo sustituto GCN, fue efectivo contra otras arquitecturas como SGC y GAT, indicando que explota vulnerabilidades fundamentales en los mecanismos de paso de mensajes de las GNN.
• Escalabilidad: Se propuso una estrategia de restricción de vecindad (optimizar solo conexiones a vecinos de 1-hop de las víctimas) que permitió escalar el ataque a grafos grandes como Flickr sin perder efectividad significativa.

5. Contribuciones Clave

1. Nueva Superficie de Ataque: Introduce el concepto de "corrupción por olvido", demostrando que las solicitudes de eliminación de datos obligatorias por ley pueden ser weaponizadas para destruir modelos de IA.
2. Marco de Optimización Bi-nivel: Propone un método novedoso que combina aproximaciones de gradiente y modelado sustituto para atacar procesos de olvido en caja negra con escasez de etiquetas.
3. Evidencia Empírica: Demuestra que pequeñas solicitudes de olvido bien diseñadas pueden causar colapsos catastróficos en el rendimiento, desafiando la robustez de los sistemas de aprendizaje de grafos bajo demandas regulatorias reales.

6. Significado e Implicaciones

Este trabajo revela una tensión crítica entre cumplimiento normativo (derecho al olvido) y robustez de seguridad.

• Riesgo de Seguridad: Los defensores no pueden simplemente rechazar las solicitudes de olvido por razones legales, lo que deja una puerta abierta a ataques que son "indetectables" hasta que se ejecuta la eliminación.
• Necesidad de Nuevas Defensas: Los métodos actuales de olvido aproximado no están diseñados para resistir este tipo de ataques adversarios. Se requiere investigación urgente para desarrollar algoritmos de olvido que sean a la vez eficientes, privados y robustos frente a la manipulación de la solicitud de eliminación.
• Cambio de Paradigma: A diferencia de los ataques de envenenamiento (poisoning) tradicionales que degradan el modelo inmediatamente, este ataque es "silencioso" hasta que se activa el mecanismo de olvido, lo que lo hace particularmente peligroso en entornos de producción regulados.