PrivTune: Efficient and Privacy-Preserving Fine-Tuning of Large Language Models via Device-Cloud Collaboration

Resumen Técnico: PrivTune

Planteamiento del Problema

La proliferación de los Modelos de Lenguaje de Gran Escala (LLMs) ha dado lugar al paradigma de "Modelo de Lenguaje como Servicio" (LMaaS), donde los usuarios ajustan modelos alojados en la nube utilizando conjuntos de datos privados. Esto crea una tensión fundamental entre el rendimiento y la privacidad: subir datos sensibles a la nube conlleva riesgos de filtración, mientras que mantener los datos en el dispositivo requiere descargar los pesos completos del modelo, lo que viola las restricciones de propiedad del modelo.

Los marcos de colaboración existentes entre dispositivo y nube intentan mitigar esto descargando solo una parte del modelo (Aprendizaje Dividido o Split Learning) e inyectando ruido de Privacidad Diferencial (DP) en las representaciones intermedias. Sin embargo, estos enfoques sufren un compromiso entre privacidad y utilidad crítico: el ruido DP estándar suele ser demasiado grueso, degradando significativamente el rendimiento del ajuste fino, o demasiado débil, fallando en prevenir ataques de inferencia como los Ataques de Inversión de Embeddings (EIA) y los Ataques de Inferencia de Atributos (AIA).

Metodología: Marco de Trabajo PrivTune

Los autores proponen PrivTune, un marco de colaboración dispositivo-nube que aprovecha el Aprendizaje Dividido (SL) y el Ajuste Fino de Parámetros Eficientes (PEFT) para lograr un ajuste fino eficiente y preservador de la privacidad. El marco opera en tres etapas:

1. Partición del Modelo

El LLM en la nube se divide en un modelo inferior (capas de embedding y bloques iniciales de Transformer) desplegado en el dispositivo de borde del usuario, y un modelo superior (capas restantes) retenido en la nube. El modelo inferior permanece congelado durante el ajuste fino para reducir la sobrecarga computacional.

2. Perturbación en el Dispositivo (Innovación Central)

En lugar de aplicar el ruido isotrópico estándar de DP, PrivTune inyecta ruido diseñado en las representaciones de tokens generadas por el modelo inferior. Este proceso involucra tres componentes clave:

• Optimización de Defensa-Utilidad (OPT-3): El diseño del ruido se formula como un problema de optimización. El objetivo es minimizar la similitud entre tokens vecinos indirectos de $n$-saltos semánticamente relacionados (para interrumpir distribuciones estructuradas para la defensa de EIA) y maximizar las distancias de clúster intra-clase (para prevenir AIA). Simultáneamente, se imponen restricciones para preservar la utilidad:

  • Consistencia de Predicción: Asegurar que la clase predicha o el texto generado sigan siendo similares al original.
  • Preservación Semántica: Restringir la desviación angular entre los embeddings originales y los perturbados.
  • Validez Distribucional: Evitar que los embeddings se desvíen fuera de la distribución de los datos de entrenamiento.
    Para que esto sea escalable, los autores reformulan la complejidad cuadrática de las comparaciones por pares en un problema de disfraz de vecino más cercano resoluble mediante el Descenso de Gradiente Proyectado (PGD).

• $d_\chi$-Privacidad Consciente de la Importancia del Token: Para proporcionar garantías formales de privacidad, PrivTune utiliza el mecanismo de $d_\chi$-Privacidad en lugar de la DP estándar. Crucialmente, introduce una puntuación de importancia de token (IS) para modular el ruido:

  • Para clasificación, la IS se deriva de métricas tipo TF-IDF (la relación logarítmica de la frecuencia de tokens entre clases).
  • Para generación, la IS se calcula mediante la agregación de atención ponderada por entropía (los tokens con mayor certeza de atención se consideran más importantes).
  • Inyección de Ruido: El vector de ruido óptimo del paso de optimización establece la media de la distribución de ruido, mientras que la puntuación de importancia del token escala la magnitud. Los tokens menos importantes reciben perturbaciones más fuertes, mientras que los tokens semánticos críticos se preservan para mantener la utilidad.

3. Entrenamiento Colaborativo

Las representaciones intermedias perturbadas se transmiten a la nube. La nube completa el pase hacia adelante (forward pass), y los gradientes se computan colaborativamente (usando LoRA para las actualizaciones de parámetros) sin que la nube vea nunca los datos brutos o los embeddings no perturbados.

Principales Contribuciones

1. Marco PrivTune: Un marco de colaboración dispositivo-nube eficiente que integra el Aprendizaje Dividido con una novedosa estrategia de inyección de ruido para mitigar ataques de inferencia en LLMs.
2. Diseño de Ruido Basado en Optimización: Una formulación de la generación de ruido como un problema de optimización de defensa-utilidad, junto con un mecanismo de $d_\chi$-Privacidad consciente de la importancia del token que equilibra la protección de la privacidad con la preservación semántica.
3. Evaluación Exhaustiva: Experimentos extensos que demuestran que PrivTune supera a los estados del arte de referencia (DP-Forward, SLFT-DP, SAP, ScaleOT, FedBiOT) a través de cinco conjuntos de datos y tres LLMs (RoBERTa, Mistral-7B, Llama-3).

Resultados Experimentales

Los autores evaluaron PrivTune contra tres ataques de inversión de embeddings y tres ataques de inferencia de atributos. Los hallazgos clave incluyen:

• Compromiso Privacidad-Utilidad: En el conjunto de datos Stanford Sentiment Treebank (SST) usando RoBERTa, PrivTune redujo la Tasa de Éxito del Ataque (ASR) al 10% con solo una caída del 3.33% en la utilidad del rendimiento. Esto supera significativamente a los modelos de referencia, que sufren de un alto ASR o una severa degradación de la utilidad.
• Tareas de Generación: Para tareas generativas (usando Mistral-7B y Llama-3), los modelos de referencia basados en DP causaron que las puntuaciones ROUGE-L cayeran cerca de cero debido a la interrupción a nivel de secuencia. PrivTune mantuvo una generación de texto efectiva mientras lograba un bajo ASR (por ejemplo, UP de 60 en TruthfulQA con un 10% de ASR).
• Eficiencia: PrivTune demostró menores costos computacionales y de comunicación en comparación con los modelos de referencia de Ajuste Externo (Offsite-Tuning) (ScaleOT, FedBiOT). Por ejemplo, en el conjunto de datos SST con Llama-3, el costo de comunicación de PrivTune fue aproximadamente la mitad que el de ScaleOT, y su huella de memoria fue significativamente menor (6.8 GB frente a 31.5 GB).
• Estudios de Ablación: Los resultados confirmaron que la combinación de la estrategia de optimización (OPT-3), el mecanismo de $d_\chi$-Privacidad y el módulo de Importancia de Token (IS) produce el mejor equilibrio. El uso de IS por sí solo mejoró la utilidad sin comprometer la privacidad.

Significado y Reivindicaciones

El artículo afirma que PrivTune aborda el cuello de botella crítico en la colaboración actual entre dispositivo y nube: la incapacidad de equilibrar la privacidad y la utilidad. Al ir más allá de la inyección de ruido ingenua hacia una estrategia de perturbación guiada por la optimización y consciente del token, PrivTune permite a los usuarios ajustar modelos sobre datos sensibles sin exponer las entradas brutas ni sufrir una pérdida significativa de rendimiento.

Los autores posicionan a PrivTune como una solución práctica para escenarios del mundo real, particularmente en dominios regulados como la salud y las finanzas, donde la privacidad de los datos es primordial pero la personalización del modelo es necesaria. El marco está diseñado para ser escalable y eficiente, lo que lo hace adecuado para su despliegue en dispositivos de borde con recursos limitados, manteniendo al mismo tiempo la alta utilidad requerida para las aplicaciones modernas de LLM.