Model Multiplicity for Adversarial Detection in Small Language Model Training on Edge Devices

Resumen Técnico: Multiplicidad de Modelos para la Detección Adversaria en el Entrenamiento de Modelos de Lenguaje Pequeños en Dispositivos Periféricos (Edge)

1. Planteamiento del Problema

El artículo aborda las vulnerabilidades de seguridad inherentes al ajuste fino (fine-tuning) distribuido de Modelos de Lenguaje Pequeños (SLM) en dispositivos periféricos. Si bien el aprendizaje automático basado en el borde ofrece privacidad y capacidad de respuesta en tiempo real, la dependencia de nodos no confiables, heterogéneos e intermitentemente conectados introduce riesgos significativos. Específicamente, los dispositivos comprometidos pueden inyectar actualizaciones envenenadas (por ejemplo, disparadores de puerta trasera [backdoor triggers], ataques de deriva lenta o gradientes escalados) que manipulan de forma sigilosa el modelo global.

Los autores identifican una limitación crítica en las defensas existentes:

• Métodos de Agregación Robusta (por ejemplo, Krum, Media Recortada) filtran valores atípicos estadísticos, pero fallan contra sesgos coordinados o de baja magnitud que desplazan la media sin aumentar la varianza.
• Detectores de Anomalías Temporales (por ejemplo, Flanders) analizan secuencias de actualizaciones para detectar desviaciones. Sin embargo, estos dependen de observaciones repetidas de clientes específicos. En entornos periféricos realistas caracterizados por una participación intermitente (disponibilidad de clientes dispersa y no estacionaria), los historiales temporales se vuelven demasiado dispersos para tener un poder estadístico fiable, lo que provoca que estos detectores fallen.

2. Metodología: Rotación de Múltiples Modelos (MMR)

La solución propuesta, Rotación de Múltiples Modelos (MMR), cambia el paradigma de defensa de un único modelo global a un sistema de conjunto (ensemble) de múltiples modelos independientes.

• Mecanismo Central: En lugar de mantener un único modelo global $\theta_t$, el sistema mantiene un grupo de $N_m$ instancias de modelos ligeros (por ejemplo, DistilGPT-2). En cada ronda, el servidor muestrea subconjuntos disjuntos o parcialmente superpuestos de clientes periféricos y los asigna para entrenar réplicas de modelos específicas de forma independiente.
• La Divergencia como Señal: Debido a que cada modelo es entrenado en un subconjunto de clientes diferente y muestreado aleatoriamente, estos evolucionan a lo largo de trayectorias distintas. El sistema monitorea la divergencia entre estos modelos utilizando dos métricas primarias:
  1. Divergencia de Parámetros: La distancia euclidiana normalizada entre los parámetros de los modelos ($\theta_i$ y $\theta_j$).
  2. Divergencia de Pérdida: La diferencia en los valores de pérdida computados en un conjunto de validación (sonda) compartido en el servidor.
• Lógica de Detección: Si un subconjunto de clientes es malicioso, el modelo (o los modelos) entrenado con ese subconjunto divergirá significativamente de la media del conjunto. Esta divergencia actúa como una señal intrínseca de envenenamiento.
• Atribución y Respuesta: Cuando un modelo es marcado como anómalo, el sistema rastrea a los clientes responsables basándose en el historial de asignación cliente-modelo. Las acciones correctivas incluyen el aislamiento de los clientes marcados, el reponderado de sus actualizaciones o la reversión del estado del modelo.
• Umbralización Adaptativa: El sistema utiliza umbrales basados en datos (media + múltiples de la desviación estándar) para la divergencia y los picos de pérdida, evitando hiperparámetros fijos para adaptarse a la variabilidad natural del entrenamiento.

3. Fundamentos Teóricos

El artículo proporciona dos resultados teóricos para justificar el enfoque:

• Teorema 1 (Divergencia entre modelos bajo envenenamiento): Demuestra que, en presencia de clientes maliciosos que inyectan un sesgo aditivo, la divergencia cuadrática esperada entre dos modelos entrenados independientemente aumenta. Esto establece que el envenenamiento crea una inconsistencia detectable a través de las trayectorias de los modelos, incluso si los modelos individuales parecen estadísticamente normales.
• Teorema 2 (Fallo de la detección temporal bajo participación intermitente): Demuestra que los detectores temporales por cliente fallan con alta probabilidad cuando la probabilidad de participación del cliente ($q$) es baja. La probabilidad de contar con observaciones insuficientes para lograr poder estadístico aumenta a medida que $q$ disminuye, lo que hace que la detección basada en el historial sea poco fiable en entornos periféricos dispersos.

4. Evaluación Experimental

Los autores evaluaron MMR frente a líneas base (Flanders, agregación robusta y sin defensa) utilizando simulaciones de entrenamiento de SLM (DistilGPT-2) en 100 clientes periféricos con diversas disponibilidades ($q \in \{0.2, 0.5, 1.0\}$).

• Escenarios de Ataque: La evaluación cubrió ataques de puerta trasera (backdoor), ataques de deriva lenta (slow-drift) y ataques de gradiente escalado.
• Resultados Clave:
  • Rendimiento de Detección (AUC): MMR alcanzó consistentemente el Área Bajo la Curva (AUC) más alto, oscilando entre 0.75 y 0.9 a lo largo de las rondas. En contraste, Flanders se degradó con el tiempo (estabilizándose cerca de 0.55) y Robust se mantuvo más bajo (0.65–0.7).
  • Oportunidad (TTD): MMR demostró una detección casi inmediata (Tiempo de Detección cercano a cero) incluso con una disponibilidad baja ($q=0.2$). Las líneas base exhibieron retrasos y variabilidad significativos.
  • Robustez ante la Intermitencia: MMR mantuvo un rendimiento estable a medida que la disponibilidad de los clientes disminuía, mientras que los detectores temporales (Flanders) sufrieron una reducción en su poder estadístico.
  • Sobrecarga (Overhead): MMR incurrió en una sobrecarga de sistema moderada. Aunque requiere mantener múltiples modelos, los costos de tiempo de ejecución y memoria (RSS) fueron menores o comparables a los de Flanders, que sufrió una alta sobrecarga en la etapa de detección debido a la gestión compleja del historial temporal.

5. Significación y Reivindicaciones

El artículo afirma que la multiplicidad de modelos sirve como un mecanismo de defensa práctico y efectivo para el aprendizaje distribuido seguro en dispositivos periféricos con recursos limitados.

• Cambio de Paradigma: El trabajo traslada la detección del "nivel de actualización del cliente" (filtrado de gradientes individuales) al "nivel de conjunto de modelos" (monitoreo de la consistencia de la trayectoria). Esto permite al sistema detectar el envenenamiento mediante la divergencia entre modelos en lugar de depender de estadísticas por cliente.
• Escalabilidad: El enfoque tiene una complejidad computacional independiente del número de clientes, ya que evita los cálculos por pares de cada cliente, lo que lo hace escalable a grandes poblaciones periféricas.
• Practicidad: Al aprovechar la redundancia existente (múltiples modelos) para la seguridad en lugar de solo para la tolerancia a fallos, MMR proporciona una solución de baja sobrecarga que es particularmente efectiva en los regímenes de participación dispersos y dinámicos típicos de la computación periférica.

Los autores concluyen que, si bien MMR ofrece una fiabilidad y velocidad de detección superiores en comparación con los métodos actuales de vanguardia, no analiza exhaustivamente la robustez frente a adversarios totalmente adaptativos y conscientes del ataque, y la escalabilidad de conjuntos muy grandes requiere estudios adicionales.