Resumen Técnico: Privacidad por Simetría (CONJFORMER)

Planteamiento del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) como servicios basados en la nube requiere el envío de datos de usuario a proveedores terceros, lo que crea riesgos significativos de privacidad. Aunque la Inferencia Dividida (Split Inference - SI) mitiga esto manteniendo la capa de incrustación (embedding) de forma local y transmitiendo únicamente las representaciones ocultas intermedias, sigue siendo vulnerable a la inversión de incrustaciones por vecino más cercano (NN). En los entornos de SI estándar, la tabla de incrustaciones es pública, lo que permite a un adversario recuperar los tokens de entrada comparando los estados ocultos observados por el servidor contra la tabla pública mediante similitud de coseno. Este ataque sigue siendo altamente efectivo incluso después del ajuste fino (fine-tuning) del modelo. Los métodos existentes para preservar la privacidad, como la inyección de ruido por privacidad diferencial (DP) o las técnicas criptográficas (Cifrado Homomórfico, Computación Multipartita Segura), sufren ya sea una degradación significativa de la calidad del modelo o una sobrecarga computacional prohibitiva, lo que los hace poco prácticos para la inferencia autorregresiva de LLMs.

Metodología: CONJFORMER

El artículo propone CONJFORMER, un marco que impone $O(d)$-equivarianza (equivarianza al grupo ortogonal de dimensión $d$) a nivel arquitectónico. Esto permite al cliente ofuscar las incrustaciones utilizando una matriz ortogonal secreta, asegurando al mismo tiempo que el servidor pueda realizar la inferencia correcta sin observar nunca los estados ocultos no rotados.

Mecanismos Centrales

1. Ofuscación Ortogonal: El cliente multiplica las incrustaciones de entrada por una matriz ortogonal secreta $U \in O(d)$ antes de la transmisión.
2. Conjugación de Pesos: Para preservar la funcionalidad del modelo bajo esta rotación, el cliente aplica una conjugación lineal de dos lados a todos los pesos lineales del transformador. Si una capa lineal es $W$, el servidor recibe $\hat{W} = O W U^\top$, donde $O$ es una matriz ortogonal específica por bloque.
3. Modificaciones Arquitectónicas: Para lograr una $O(d)$-equivarianza exacta, los autores introducen cambios mínimos en la arquitectura del transformador:
   • RMSNorm Escalar: Las capas de normalización estándar (LayerNorm o RMSNorm con vectores aprendibles) dependen de las coordenadas y rompen la equivariancia. CONJFORMER reemplaza estas por una RMSNorm utilizando una ganancia escalar. Esto asegura que la operación de normalización conmute con las transformaciones ortogonales.
   • Conjugación por Bloques: Todas las proyecciones lineales (Query, Key, Value, Output y pesos de FFN) son conjugadas. El servidor realiza todo el paso hacia adelante (forward pass) en la base rotada.

Garantía Teórica

El marco asegura la equivalencia funcional por bloques:
$$\hat{F}_b(X U^\top) = F_b(X) U^\top$$
donde $F_b$ es el bloque del transformador original y $\hat{F}_b$ es el bloque conjugado. En consecuencia, el servidor computa exactamente la misma lógica que el modelo original, pero opera enteramente sobre representaciones rotadas. El servidor nunca observa los estados ocultos no rotados, lo que hace imposible la inversión directa de vecino más cercano contra la tabla de incrustaciones pública.

Contribuciones Clave

1. Arquitectura: Desarrollo de una variante de transformador que es exactamente $O(d)$-equivariante mediante modificaciones ligeras (RMSNorm escalar) y conjugación de pesos, compatible con transformaciones ortogonales arbitrarias del espacio de incrustación.
2. Marco de Trabajo (Framework): Propuesta del marco CONJFORMER, que aplica la conjugación ortogonal por bloques para preservar la funcionalidad bajo ofuscación secreta, eliminando efectivamente la inversión directa de incrustaciones por vecino más cercano.
3. Análisis de Ataque: Identificación y análisis de nuevos vectores de ataque necessitated por la ofuscación. Dado que la coincidencia directa se elimina, el adversario debe recurrir a ataques de alineación de pesos para recuperar las transformaciones ortogonales ocultas. El artículo introduce y evalúa:
   • Alineación ALS–Procrustes de dos lados: Un método iterativo para estimar $U$ y $O$ alineando los pesos ajustados conjugados con los pesos preentrenados públicos.
   • Alineación de Pesos basada en Gram: Un método que agrega información a través de los bloques explotando la invarianza de las matrices de Gram bajo rotaciones específicas por bloque, ofreciendo un ataque más fuerte que Procrustes.
4. Validación Empírica: Experimentos extensos en GPT-2 (Small, Medium, Large) y Llama 3.2 1B ajustados en PubMed.

Resultados Experimentales

Los autores evaluaron CONJFORMER en variantes de GPT-2 y Llama 3.2 1B, ajustados en resúmenes de PubMed.

• Eficacia de la Privacidad:
  • Modelos Originales: La inversión de incrustaciones por vecino más cercano logra una alta precisión (más del 35% de recuperación de top-10 tokens) incluso tras el ajuste fino.
  • CONJFORMER: La ofuscación ortogonal elimina la inversión directa por similitud de coseno NN. Los ataques más fuertes restantes (alineación de pesos basada en Gram) degradan a un rendimiento cercano al azar (máximo 1.3% de recuperación de top-10 tokens) tras el ajuste fino.
• Rendimiento del Modelo:
  • Perplejidad: El marco incurre en un costo de rendimiento mínimo. Los modelos CONJFORMER ajustados muestran incrementos de perplejidad de solo un 0.4% (Llama 3.2 1B) a aproximadamente un 2% (GPT-2 Small) en comparación con los modelos base.
  • Retroajuste (Retrofitting): Los modelos preentrenados pueden ser "retroajustados" a la arquitectura equivariante reemplazando las capas de normalización y realizando un breve ajuste fino, recuperando la perplejidad original en 2,000 iteraciones.

Significado y Reivindicaciones

El artículo afirma que CONJFORMER proporciona una defensa práctica para la inferencia de LLM preservando la privacidad sin depender de la inyección de ruido (que degrada la calidad) o de pesada maquinaria criptográfica (que es demasiado lenta).

• Cambio en el Probleo Adversario: La principal significación es que el método cambia fundamentalmente la naturaleza del ataque. Mueve al adversario de un simple problema de "búsqueda" (emparejar vectores con una tabla pública) a un complejo problema de "recuperación de base" (resolver para las transformaciones ortogonales ocultas mediante la alineación de pesos).
• Simetría Arquitectónica: El trabajo demuestra que forzar la simetría a nivel arquitectónico puede proporcionar garantías de privacidad robustas contra la inversión de incrustaciones.
• Limitaciones: Los autores declaran explícitamente que CONJFORMER no es un mecanismo criptográfico o de privacidad diferencial. Depende del secreto de la clave ortogonal del cliente y de la privacidad de la tabla de incrustaciones ajustada. No protege contra ataques que explotan invariantes ortogonales (ej. normas, distancias de pares) o escenarios de texto plano conocido donde el adversario puede observar las entradas no rotadas. La seguridad reside en la dificultad computacional del problema de alineación de pesos más que en el secreto de información teórica.