Resumen Técnico: ¿Qué Ve el Servidor? Comprensión de la Fuga de Privacidad en Modelos de Lenguaje Grande mediante Inferencia Dividida

1. Declaración del Problema

El despliegue de Modelos de Lenguaje Grande (LLM) en dispositivos con recursos limitados se ve obstaculizado por las demandas computacionales y de memoria. La inferencia dividida ha surgido como una solución, partiendo el modelo entre un cliente (que posee las capas iniciales) y un servidor (que posee el resto). El cliente transmite únicamente activaciones intermedias en lugar de entradas crudas, preservando teóricamente la privacidad. Sin embargo, los autores argumentan que la suposición de que las activaciones intermedias preservan inherentemente la privacidad no está probada. Este artículo investiga si un servidor "honesto pero curioso", que posee acceso completo de caja blanca a la arquitectura del modelo, puede reconstruir las indicaciones de entrada sensibles del cliente a partir de estas activaciones intermedias.

2. Metodología

2.1 Diseño del Ataque: ActInv

Para cuantificar la fuga de privacidad, los autores proponen ActInv, un ataque de inversión que reconstruye la secuencia de entrada cruda del cliente a partir de las activaciones intermedias interceptadas ($h_{Q1}$).

• Mecanismo: A diferencia de los métodos de recuperación secuencial de tokens, ActInv formula la reconstrucción como un problema de optimización continua sobre el espacio de incrustación de entrada. Inicializa un vector de incrustación continua aleatorio $\hat{h}_0$ y utiliza optimización basada en gradientes (por ejemplo, Adam) para minimizar la distancia entre el paso hacia adelante del submodelo del lado del cliente ($F_C(\hat{h}_0)$) y las activaciones observadas ($h_{Q1}$).
• Discretización: Una vez optimizadas las incrustaciones continuas, se proyectan de nuevo a tokens discretos mediante una búsqueda de vecino más cercano dentro de la matriz de incrustación del vocabulario del modelo.
• Eficiencia: Al optimizar la secuencia completa simultáneamente en lugar de token por token, ActInv logra una complejidad temporal de $O(Tn^2)$, ofreciendo una ventaja computacional significativa sobre los métodos autoregresivos como SipIt ($O(Tn^3)$).

2.2 Análisis de Vulnerabilidad: Factor de Amplificación de Perturbación (PAF)

Para comprender por qué ciertas capas son vulnerables, los autores introducen PAF, una métrica que cuantifica la resistencia inherente de una capa a la reconstrucción.

• Definición: PAF mide cuánto se traduce una pequeña perturbación en la salida de una capa ($\delta$) en incertidumbre en la entrada inferida ($\Delta$). Se deriva de la matriz Jacobiana de la capa.
• Perspectiva: Un PAF alto indica que pequeñas perturbaciones en la salida causan grandes desviaciones en la entrada (haciendo difícil la reconstrucción), mientras que un PAF bajo indica que la capa es "estable" y fácilmente invertible.
• Hallazgos: El análisis revela una vulnerabilidad no uniforme a través de las capas. Específicamente, las capas de activación no lineales (por ejemplo, Sigmoid/SwiGLU) y ciertas capas de proyección a menudo exhiben un PAF bajo, convirtiéndolas en "eslabones débiles" donde las defensas de ruido ingenuas no logran inducir errores de reconstrucción significativos.

2.3 Diseño de Defensa: PriPert

Basándose en el análisis de PAF, los autores proponen PriPert, un mecanismo de defensa que inyecta perturbaciones calibradas adversarialmente en las activaciones intermedias.

• Estrategia: En lugar de añadir ruido isotrópico (aleatorio), PriPert resuelve un problema de optimización restringida para inyectar perturbaciones a lo largo de las direcciones que maximizan el error de reconstrucción (alineadas con las direcciones más sensibles de la capa) mientras minimizan la degradación de la salida del lado del servidor (utilidad).
• Implementación: La defensa utiliza una aproximación de integral de camino para estimar la desviación de entrada causada por la perturbación. Los autores encuentran que una solución restringida por $L_0$ (perturbaciones dispersas) a menudo supera a las soluciones restringidas por $L_2$, ya que evita preservar la información de signo que los adversarios podrían explotar.

3. Resultados Clave

3.1 Efectividad del Ataque (ActInv)

• Reconstrucción de Alta Fidelidad: ActInv logra una Precisión y Recall superiores al 98% en diversos modelos (Qwen3, Falcon3) y conjuntos de datos (AlpacaEval, iCliniq) sin ninguna defensa.
• Resiliencia ante Defensas Ingenuas: Defensas comunes como la inyección de ruido gaussiano y la dispersión de activaciones son en gran medida ineficaces. Incluso con altas ratios de dispersión (por ejemplo, 0.7) o ruido moderado, ActInv mantiene una alta precisión de reconstrucción. Solo niveles extremos de ruido (que destruyen la utilidad del modelo) obstaculizan significativamente el ataque.
• Eficiencia: ActInv es computacionalmente eficiente, reconstruyendo una consulta de 100 tokens en aproximadamente 20 segundos en una sola GPU, significativamente más rápido que los ataques secuenciales más avanzados.

3.2 Perspectivas de Vulnerabilidad (PAF)

• Variación de Capas: Los valores de PAF varían significativamente entre capas y modelos. Por ejemplo, las capas de activación muestran consistentemente un PAF bajo, confirmando que son fuentes primarias de fuga.
• Sensibilidad Direccional: El "PAF Máximo" (sensibilidad a perturbaciones alineadas) es a menudo significativamente mayor que el "PAF Esperado" (sensibilidad al ruido aleatorio), validando que el ruido aleatorio es una estrategia de defensa subóptima.

3.3 Rendimiento de la Defensa (PriPert)

• Mejora de la Privacidad: PriPert reduce significativamente la calidad de la reconstrucción. Con una ratio de dispersión de 0.7, la Precisión de ActInv cae por debajo del 30% (en comparación con >60% para la dispersión estándar), y las puntuaciones ROUGE-L se desploman, indicando que el contenido semántico está efectivamente oscurecido.
• Preservación de la Utilidad: A diferencia de las defensas ingenuas que colapsan la utilidad del modelo en niveles altos de perturbación, PriPert mantiene una utilidad aceptable en niveles moderados de dispersión (por ejemplo, 0.5). Los autores notan que la "Precisión y Corrección" son más sensibles a las perturbaciones que la "Claridad y Estilo", pero las puntuaciones generales siguen siendo utilizables.
• Robustez: PriPert sigue siendo efectiva contra otros ataques de inversión más avanzados (A1, TBS, PIA), reduciendo sus puntuaciones de reconstrucción en grandes márgenes.

4. Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

1. Exponer la Vulnerabilidad: Proporciona la primera investigación integral que demuestra que la inferencia dividida para LLM no garantiza inherentemente la privacidad. Los autores muestran que un servidor honesto pero curioso puede reconstruir las entradas del usuario con alta fidelidad utilizando un ataque basado en optimización relativamente simple y eficiente (ActInv).
2. Métrica Teórica (PAF): Introduce PAF para cuantificar y explicar sistemáticamente la variada susceptibilidad de diferentes capas del modelo a la inversión, revelando que las capas de activación no lineales son sorprendentemente vulnerables.
3. Defensa Efectiva (PriPert): Propone y valida PriPert, una defensa que aprovecha la sensibilidad direccional de las capas para maximizar la prevención de fugas de privacidad mientras minimiza la pérdida de utilidad. Los resultados sugieren que las perturbaciones calibradas adversarialmente son superiores al ruido aleatorio ingenuo o a la dispersión.
4. Implicaciones Prácticas: El trabajo destaca una tensión crítica en la inferencia dividida: las defensas estándar son insuficientes, y la protección efectiva de la privacidad requiere una calibración cuidadosa de las perturbaciones para evitar destruir la utilidad del LLM.

Los autores concluyen que, aunque la inferencia dividida ofrece beneficios computacionales, requiere mecanismos de privacidad robustos y no ingenuos para ser viable en dominios sensibles como la atención médica. Se sugiere trabajo futuro en el diseño de compresión consciente de la privacidad y funciones de activación sensibles a la privacidad.