ProtoGuard-SL: Prototype Consistency Based Backdoor Defense for Vertical Split Learning

Resumen Técnico: ProtoGuard-SL

1. Planteamiento del Problema

El Aprendizaje Dividido Vertical (Vertical Split Learning - SL) es un paradigma colaborativo que permite entrenar modelos entre múltiples partes que poseen características complementarias de las mismas muestras, sin compartir los datos crudos. Sin embargo, este enfoque presenta una nueva superficie de ataque en la interfaz de los embeddings intermedios (representaciones latentes) que se envían del cliente al servidor.

• Vulnerabilidad: Los atacantes pueden comprometer clientes maliciosos para inyectar "disparadores" (triggers) ocultos en los embeddings. Esto permite manipular el modelo del servidor para que clasifique incorrectamente muestras específicas bajo ciertas condiciones, manteniendo un comportamiento normal en el resto de los datos.
• Desafío de Detección: Los ataques de puerta trasera (backdoor) en SL, como VILLAIN o SplitNN, son altamente sigilosos. Las muestras envenenadas tienen distribuciones que se superponen significativamente con las muestras benignas en el espacio de embeddings original, lo que hace que las defensas convencionales basadas en anomalías geométricas o en el nivel de datos sean ineficaces.
• Limitación de Defensas Existentes: Métodos actuales como la privacidad diferencial (DP), la poda de modelos (MP) o mecanismos específicos como VFLIP ofrecen una robustez limitada frente a ataques adaptativos, a menudo sacrificando la utilidad del modelo (precisión) o fallando en eliminar completamente el ataque.

2. Metodología: ProtoGuard-SL

El authors proponen ProtoGuard-SL, un mecanismo de defensa del lado del servidor que explota la consistencia de la representación condicional a la clase en el espacio de embeddings. La premisa central es que, aunque los ataques pueden evadir la detección geométrica directa, inevitablemente rompen la consistencia semántica que comparten las muestras benignas de una misma clase.

El enfoque se basa en un marco de dos etapas:

A. Representación de Consistencia Basada en Prototipos
En lugar de analizar los embeddings en su espacio original, el servidor transforma cada embedding en una representación relacional basada en prototipos de clase:

1. Construcción de Prototipos Robustos: Dado que el servidor tiene acceso a las etiquetas reales (ground-truth) en SL, calcula un prototipo para cada clase $c$ utilizando la mediana de los embeddings de esa clase. El uso de la mediana (en lugar de la media) garantiza robustez contra una pequeña fracción de embeddings envenenados dentro de la clase.
   $$p_c = \text{Median}(\{E_k \mid y_k = c\})$$
2. Transformación de Consistencia: Cada embedding $E_k$ se transforma en un vector de consistencia $v_k$ que captura su similitud coseno con todos los prototipos de clase:
   $$v_k = [\cos(E_k, p_1), \cos(E_k, p_2), \dots, \cos(E_k, p_{|C|})]$$
   Esta transformación mapea los datos a un espacio relacional donde las muestras benignas muestran patrones estables, mientras que las envenenadas generan perfiles de similitud anómalos.

B. Filtrado Conformal Condicional a la Clase
Para identificar y eliminar los embeddings maliciosos, se utiliza una estrategia de filtrado que no asume ninguna distribución paramétrica:

1. Puntuación de Desviación: Se calcula la desviación de cada embedding respecto al patrón de referencia de su clase (también basado en la mediana de los vectores de consistencia).
   $$s_k = \|v_k - \mu_{y_k}\|_2$$
2. Filtrado Conformal: Se calcula un valor $p$ conformal basado en el rango de la puntuación de desviación dentro de su clase. Si el valor $p$ supera un umbral de significancia $\alpha$, el embedding se considera benigno; de lo contrario, se filtra.
   $$p_k = \frac{|\{s \in S_c : s \ge s_k\}| + 1}{|S_c| + 1}$$
   Este método es robusto ante desequilibrios de clases y variaciones de escala.

3. Contribuciones Clave

1. Identificación de una Propiedad Fundamental: Se demuestra que la consistencia de representación condicional a la clase es una propiedad intrínseca de los embeddings benignos en SL y que los ataques de puerta trasera rompen esta estructura.
2. Nueva Representación Relacional: Se propone una transformación basada en prototipos que mapea los embeddings a un espacio de relaciones, mejorando drásticamente la separabilidad entre muestras benignas y envenenadas.
3. Mecanismo de Filtrado Robusto: Diseño de un filtro libre de distribuciones y condicional a la clase que mitiga eficazmente los ataques sin degradar el rendimiento del modelo en datos limpios.
4. Validación Exhaustiva: Demostración de rendimiento de vanguardia (State-of-the-Art) en múltiples escenarios de ataque y conjuntos de datos.

4. Resultados Experimentales

Los autores evaluaron ProtoGuard-SL en tres conjuntos de datos (CIFAR-10, SVHN y Bank Marketing) bajo tres tipos de ataques (VILLAIN, SplitNN, BadVFL).

• Rendimiento General:
  • Sin defensa: La Tasa de Éxito del Ataque (ASR) es extremadamente alta (>0.90), indicando vulnerabilidad total.
  • Defensas existentes (DP, MP, ANP, VFLIP): Logran reducir la ASR parcialmente, pero a menudo con una caída significativa en la Precisión Principal (MA), o no logran reducir la ASR lo suficiente.
  • ProtoGuard-SL: Logra reducir la ASR a niveles muy bajos (0.03 - 0.08) mientras mantiene o incluso mejora la MA en comparación con la línea base sin defensa.
• Análisis de Ablación: La eliminación de la "representación de consistencia" causa el mayor aumento en la ASR, confirmando que este componente es crítico. La eliminación de la relación con todas las clases o del modelado condicional también degrada el rendimiento, demostrando la complementariedad de los módulos.
• Escalabilidad: El método mantiene su eficacia y baja ASR incluso cuando aumenta el número total de clientes (de 2 a 8), superando a las defensas baselines que se degradan con más participantes heterogéneos.
• Robustez Arquitectónica: Funciona consistentemente bien con diferentes arquitecturas de modelos locales (ResNet-18, VGG-19, FCN).

5. Significado e Impacto

ProtoGuard-SL representa un avance significativo en la seguridad del Aprendizaje Dividido Vertical.

• Cambio de Paradigma: En lugar de buscar anomalías en el espacio de características original (donde los ataques son sigilosos), el método transforma el problema al espacio de consistencia semántica relativa, donde las anomalías son evidentes.
• Privacidad y Seguridad: Al operar únicamente en el lado del servidor utilizando embeddings y etiquetas (sin requerir datos crudos de los clientes), preserva la privacidad mientras asegura la integridad del modelo global.
• Aplicabilidad: Ofrece una solución práctica y robusta para entornos de aprendizaje federado vertical en sectores sensibles como la salud (hospitales compartiendo datos de pacientes) y las finanzas, donde la colaboración sin compartir datos es crucial pero el riesgo de ataques de puerta trasera es alto.

En conclusión, ProtoGuard-SL establece un nuevo estándar de defensa contra ataques de puerta trasera en SL, equilibrando eficazmente la seguridad (baja ASR) y la utilidad (alta MA) mediante el uso inteligente de la consistencia de prototipos de clase.