The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

Resumen Técnico: MIXGUARD – Ofuscación basada en Mixup para el Aprendizaje Dividido Preservador de la Privacidad en LLMs

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) requieren recursos computacionales significativos, que a menudo exceden la capacidad de los clientes en el borde (edge). El Aprendizaje Dividido (Split Learning - SL) ofrece una solución al particionar los modelos entre un cliente (que posee los datos privados) y un servidor (que proporciona la computación). Sin embargo, los métodos existentes de SL preservadores de la privacidad enfrentan un compromiso crítico entre utilidad, privacidad, eficiencia y estabilidad.

• Degradación de la Utilidad: Métodos como la Privacidad Diferencial (DP) suelen introducir ruido que distorsiona severamente las señales de entrenamiento, lo que conduce a un rendimiento deficiente en tareas posteriores.
• Privacidad Incompleta: Muchas defensas protegen solo las entradas o las etiquetas, o fases específicas (entrenamiento frente a inferencia), dejándolas vulnerables a ataques avanzados de Reconstrucción de Datos (DRAs) como SIP (inversión hacia adelante), TAG/LAMP (coincidencia de gradientes hacia atrás) y BiSR (bidireccional).
• Eficiencia y Estabilidad: Los enfoques criptográficos (por ejemplo, Cifrado Homomórfico) incurren en una sobrecarga prohibitiva, mientras que otras defensas ligeras a menudo no logran mantener un rendimiento estable en diversas tareas, particularmente en la compleja generación de texto.

Metodología: MIXGUARD
El artículo propone MIXGUARD, un nuevo marco que adapta la técnica de aumento de datos mixup para la preservación de la privacidad en el Aprendizaje Dividido en forma de U (U-shaped Split Learning). En lugar de añadir ruido (lo que causa cambios en la distribución), MIXGUARD ofusca los datos combinando linealmente múltiples representaciones, preservando la estructura semántica subyacente mientras se oculta la muestra objetivo. El marco opera en dos etapas:

1. Ofuscación a Nivel de Token:
   El cliente inserta tokens secretos, muestreados aleatoriamente, en la secuencia de entrada antes del procesamiento. Esto interrumpe el mapeo directo entre la entrada original y las representaciones intermedias sin alterar significativamente el vocabulario de tokens.

2. Ofuscación a Nivel de Representación (Mixup):
   El cliente codifica la muestra objetivo ($x^*$) junto con $k-1$ muestras de soporte de un conjunto de soporte secreto. Estas representaciones ocultas se combinan linealmente utilizando vectores y matrices secretas:

   • Vector de Signo ($v$): Un vector secreto de valores $\{-1, +1\}$.
   • Matriz de Mezcla ($A$): Una matriz de valores positivos que asegura que la representación objetivo se preserve con un peso unitario mientras cancela las representaciones no objetivo al agregarse.
   • Matriz de Cegamiento ($B$): Una matriz invertible aplicada para ofuscar aún más los mensajes mezclados antes de la transmisión.
     Los "datos triturados" (smashed data) resultantes se envían al servidor. El servidor procesa estas activaciones mezcladas a través del modelo de tronco (trunk model) y las devuelve. El cliente luego decodifica la respuesta utilizando la inversa de la matriz de cegamiento y el vector de signo para recuperar una representación aproximada de la muestra objetivo.

3. Modelo de Calibración:
   Debido a las transformaciones no lineales en los LLMs, la representación aproximada se desvía de la verdad de campo (ground truth) real. MIXGUARD emplea un Modelo de Calibración ligero (una red residual) entrenado con datos públicos para refinar esta aproximación. Este modelo aprende a minimizar el Error Cuadrático Medio (MSE) entre la representación aproximada y la verdadera, asegurando una alta utilidad para el cálculo de la pérdida del modelo de cola (tail model).

4. Perturbación de Gradiente Adaptativa:
   Durante la retropropagación, el cliente aplica ruido adaptativo a los gradientes antes de enviarlos al servidor. La escala de la perturbación está determinada por el residuo de calibración (el error entre la representación calibrada y la verdadera). Las muestras con mayores residuos (que indican una mayor retención de información privada) reciben una perturbación más fuerte, mitigando la filtración hacia atrás.

Contribuciones Clave

• Primer SL basado en Mixup para LLMs: El artículo introduce el primer marco de aprendizaje dividido preservador de la privacidad basado en mixup diseñado específicamente para LLMs, extendiendo el concepto desde el aumento de datos hacia la ofuscación de la privacidad.
• Mecanismos de Ofuscación Conjunta: Integra la ofuscación a nivel de token, el mixup a nivel de representación y la perturbación de gradiente adaptativa para proteger tanto las entradas como las etiquetas simultáneamente en un entorno de SL en forma de U.
• Estrategia de Calibración: Propone un modelo de calibración ligero para corregir los errores de aproximación introducidos por el proceso de mixup, cerrando la brecha entre las señales ofuscadas y los gradientes utilizables.
• Evaluación Exhaustiva: El marco es evaluado a través de cuatro tareas de clasificación y cuatro de generación de texto, abarcando múltiples familias de LLM (Qwen, Llama), tamaños de modelo (de 1B a 30B) y arquitecturas (Dense, MoE), así como el ajuste fino eficiente de parámetros (LoRA).

Resultados Experimentales

• Preservación de la Utilidad: MIXGUARD logra una utilidad de ajuste fino (fine-tuning) comparable a las líneas base de entrenamiento no dividido. Por ejemplo, en la tarea CoLA con Llama 3.2-1B, alcanzó una precisión de 0.839 en comparación con 0.845 para el entrenamiento no dividido (una brecha de <1%). En contraste, las líneas base como SnD y Naive Mix sufrieron caídas significativas de utilidad (por ejemplo, 0.309 y 0.498 respectivamente).
• Protección de la Privacidad: El método supera consistentemente a las defensas existentes (DP-Forward, DP-SGD, SnD) contra los ataques de reconstrucción de datos (DRA) de última generación. En el conjunto de datos CoLA, MIXGUARD redujo las puntuaciones de reconstrucción de SIP de ~0.54 (no dividido) a ~0.02, y las puntuaciones de BiSR a ~0.08, mientras que otros métodos a menudo no lograron reducir significativamente las puntuaciones de reconstrucción o colapsaron el rendimiento del modelo.
• Robustez: El marco sigue siendo efectivo a través de diferentes escalas de modelos, arquitecturas (incluyendo MoE) y estrategias de ajuste fino (Full vs. LoRA). También demuestra resiliencia contra ataques adaptativos donde el atacante conoce el mecanismo de defensa.

Significancia y Reivindicaciones
El artículo afirma que MIXGUARD aborda con éxito el trilema de "utilidad-privacidad-eficiencia" en el Aprendizaje Dividido para LLMs. Al aprovechar la ofuscación basada en mixup en lugar de la inyección de ruido o la criptografía pesada, mantiene la estabilidad de las señales de entrenamiento mientras evita eficazmente la reconstrucción de datos. Los autores posicionan a MIXGUARD como una solución práctica para usuarios con recursos limitados para entrenar LLMs con datos privados sin exponer entradas o etiquetas sensibles al servidor, logizando fuertes garantías de privacidad sin la severa degradación de utilidad vista en trabajos previos. El trabajo destaca que preservar la integridad estructural de las representaciones mediante la mezcla controlada es un camino viable para el aprendizaje colaborativo seguro y a gran escala.