Resumen Técnico: LightSplit

Enunciado del Problema

El Aprendizaje Dividido (Split Learning, SL) permite el entrenamiento colaborativo de Redes Neuronales Profundas (DNN) mediante la partición de un modelo entre clientes con recursos limitados y un servidor potente. Aunque esto preserva la localización de los datos crudos, introduce dos desafíos críticos en la "capa de corte" donde se transmiten las activaciones intermedias (datos aplastados):

1. Sobrecarga de Comunicación: La transmisión de tensores de activación de alta dimensión (por ejemplo, 4.096 dimensiones para ResNet-18 en CIFAR-10) crea un cuello de botella significativo en el ancho de banda, que escala linealmente con la dimensionalidad de la activación y el número de clientes.
2. Vulnerabilidad de Privacidad: Los datos aplastados contienen información rica y específica de la instancia. Bajo un modelo de amenaza semi-honesta (honesta pero curiosa), un servidor puede explotar estas representaciones para realizar ataques de reconstrucción (por ejemplo, SDAR, UnSplit, FORA), recuperando las entradas del cliente con alta fidelidad.

Las defensas existentes suelen abordar estos problemas de forma aislada. Los métodos centrados en la privacidad (por ejemplo, inyección de ruido, perturbación) a menudo no logran reducir las cargas de comunicación, mientras que las técnicas de compresión (por ejemplo, esparsificación top-k, códecs aprendidos) a menudo preservan las señales específicas de la instancia que explotan los ataques de reconstrucción o introducen una sobrecarga computacional prohibitiva en el lado del cliente.

Metodología: LightSplit

Los autores proponen LightSplit, un marco que reduce simultáneamente la sobrecarga de comunicación y limita la exposición de información mediante una proyección aleatoria ortogonal fija y ligera aplicada en la capa de corte.

Mecanismo Central

1. Proyección Ortogonal Fija:

   • Cada cliente proyecta su activación aplastada $z$ de $d$ dimensiones en un subespacio de menor dimensión $k$ ($k \ll d$) utilizando una matriz ortonormal aleatoria fija $R \in \mathbb{R}^{d \times k}$.
   • La proyección se deriva mediante la descomposición QR de una matriz aleatoria gaussiana, asegurando que $R^\top R = I_k$.
   • Esta proyección es no entrenable y fija durante todo el entrenamiento, sin requerir parámetros adicionales aprendibles en el lado del cliente.
   • Base Teórica: El método aprovecha el lema de Johnson-Lindenstrauss (JL), que garantiza que las distancias euclidianas entre pares (y, por tanto, la separabilidad de clases) se preservan aproximadamente en el espacio de menor dimensión.

2. Recuperación en el Servidor (Lift-Back):
   Para mantener la compatibilidad con las arquitecturas de SL existentes, el servidor debe reconstruir una entrada de $d$ dimensiones para su red troncal. LightSplit ofrece dos modos:

   • LIGHTSPLIT-F (Fijo): Utiliza una recuperación lineal sin parámetros ($\hat{z} = R\tilde{z}$), proyectando efectivamente el vector recibido de nuevo sobre el subespacio de $k$ dimensiones. Esto es computacionalmente mínimo.
   • LIGHTSPLIT-L (Aprendido): Emplea una pequeña Red Neuronal Perceptrón Multicapa (MLP) entrenable para mapear la proyección de $k$ dimensiones de vuelta a $d$ dimensiones. Esto permite que el servidor se adapte a la distribución proyectada, compensando la pérdida de información, a costa de parámetros adicionales en el servidor.

3. Regularizador de Compactación Intracategoría (WCC):
   Para abordar la limitación de que la proyección aleatoria por sí sola puede retener señales residuales específicas de la instancia, LightSplit introduce un término de regularización en el lado del cliente.

   • Objetivo: Minimizar la varianza intracategoría de las representaciones proyectadas $\tilde{z}$.
   • Mecanismo: El cliente calcula la media $\mu_c$ de las muestras proyectadas para cada clase $c$ y minimiza la distancia euclídea al cuadrado entre las muestras y su centroide de clase: $L_{WCC} = \sum_c \frac{1}{|S_c|} \sum_{i \in S_c} \|\tilde{z}_i - \mu_c\|_2^2$.
   • Efecto: Esto fomenta que las muestras de la misma clase formen clústeres compactos, descartando efectivamente las variaciones específicas de la instancia en las que se basan los ataques de reconstrucción, mientras se preserva la estructura discriminativa de la clase.

Contribuciones Clave

1. Privacidad y Eficiencia Conjuntas: LightSplit es el primer método que reduce simultáneamente la carga por muestra (comunicación) y limita la exposición de información (privacidad) sin requerir componentes entrenables adicionales en el lado del cliente.
2. Cuello de Botella de Información Irreversible: Al descartar el complemento ortogonal de la proyección, el método crea un mapeo inverso subdeterminado para el servidor, haciendo matemáticamente imposible la reconstrucción exacta de la entrada original.
3. Diseño Ligero en el Cliente: El cliente realiza únicamente una multiplicación de matrices con una matriz fija, preservando la premisa de bajo cómputo del Aprendizaje Dividido para dispositivos de borde.
4. Preservación de la Estructura a Nivel de Clase: La combinación de la proyección JL y la regularización WCC desplaza la representación de un descriptor de instancia a un prototipo de clase, mejorando la robustez frente a ataques de reconstrucción.

Resultados Experimentales

Los autores evaluaron LightSplit en CIFAR-10, CIFAR-100, Fashion-MNIST y GTSRB bajo configuraciones tanto IID como Non-IID, comparándolo con la transmisión cruda y líneas base de compresión aprendida (Learned 1x1).

• Rendimiento de Privacidad:

  • LightSplit degrada significativamente el rendimiento de los ataques de reconstrucción más avanzados (SDAR, FORA, UnSplit).
  • Frente a SDAR, las puntuaciones SSIM disminuyeron hasta un 58,3% (con compresión 32×) en comparación con la transmisión cruda.
  • Frente a FORA, las puntuaciones LPIPS aumentaron un ~36%, indicando una menor similitud perceptual con la imagen original.
  • Frente a UnSplit, LightSplit aumentó el Error Cuadrático Medio (MSE) de las reconstrucciones hasta 1,27× en MNIST, evitando efectivamente la recuperación píxel a píxel.
  • El método reduce la capacidad de reconstrucción de los ataques hasta 7× en comparación con las líneas base.

• Utilidad y Eficiencia:

  • Retención de Precisión: LightSplit retiene >95% de la precisión de la línea base en la mayoría de los escenarios. Por ejemplo, en CIFAR-10 con compresión 32×, la precisión disminuye solo un ~6% (frente a ~13% en algunas líneas base).
  • Reducción de Comunicación: El método logra una reducción de hasta 32× en la dimensionalidad transmitida.
  • Estabilidad: La dinámica de entrenamiento se mantiene estable a través de ratios de compresión variables y escalas de clientes (hasta 100 clientes).
  • Detección de Puertas Traseras: El método no interfiere con los mecanismos de detección de puertas traseras en el servidor; los clientes maliciosos siguen siendo identificables mediante firmas de similitud coseno.

Significado y Afirmaciones

El artículo afirma que LightSplit aborda una brecha crítica en el Aprendizaje Dividido donde las soluciones existentes fuerzan un compromiso entre privacidad y eficiencia. Al utilizar una proyección ortogonal fija y un regularizador reductor de varianza, LightSplit:

• Mitiga la Fuga de Privacidad: Limita la información disponible para un servidor curioso a prototipos a nivel de clase en lugar de instancias de entrada específicas, elevando efectivamente la dificultad de los ataques de reconstrucción.
• Reduce la Sobrecarga: Disminuye drásticamente los costos de comunicación sin la sobrecarga de entrenamiento en el cliente asociada a los códecs aprendidos.
• Mantiene la Compatibilidad: Se integra sin problemas en las arquitecturas de Aprendizaje Dividido en forma de U existentes sin modificar la estructura de red subyacente ni requerir cambios en la red troncal del servidor (en el modo fijo).

Los autores declaran explícitamente que LightSplit no proporciona garantías formales de privacidad (por ejemplo, Privacidad Diferencial), pero demuestra una resistencia empírica robusta frente a ataques de reconstrucción adaptativos y de última generación bajo un modelo de amenaza semi-honesta. Posicionan el método como una solución práctica y ligera para desplegar Aprendizaje Dividido en entornos de borde sensibles a la privacidad y con restricciones de ancho de banda.