Resumen Técnico: Decodificación Consciente de la Privacidad (PAD)

Definición del Problema

La Generación Aumentada por Recuperación (RAG) mejora los Modelos de Lenguaje Extensos (LLM) condicionando sus salidas a fuentes de conocimiento externas. Sin embargo, cuando el corpus de recuperación contiene datos privados o sensibles, los sistemas RAG son vulnerables a ataques de extracción. Los adversarios pueden diseñar prompts para forzar al modelo a emitir texto literal o filtrar información de identificación personal (PII) directamente de los documentos recuperados.

Las estrategias de mitigación existentes enfrentan dos limitaciones primarias:

1. Vulnerabilidad de la Decodificación: Incluso con mecanismos de recuperación privados, la etapa de decodificación (generación) puede actuar como un canal de filtración. Las estrategias de decodificación de baja temperatura o codificación voraz (greedy decoding) a menudo causan que los LLM emitan contenido sensible de forma literal, eludiendo las protecciones de la etapa anterior.
2. Escalabilidad y Practicidad: Los métodos de privacidad diferencial (DP) fuertes, como el Gradiente Descendente Estocástico con Privacidad Diferencial (DP-SGD), requieren un reentrenamiento significativo, lo que los hace impracticables para los LLM preentrenados de gran escala. Otros enfoques suelen requerir modificaciones en la infraestructura de recuperación o en el filtrado del corpus.

Existe una necesidad de una defensa agnóstica al modelo, en el tiempo de inferencia, que mitigue la filtración de privacidad sin necesidad de reentrenamiento o de alterar el flujo de recuperación.

Metodología: Decodificación Consciente de la Privacidad (PAD)

Los autores proponen Decodificación Consciente de la Privacidad (PAD), un mecanismo ligero en el tiempo de inferencia que inyecta de forma adaptativa ruido gaussiano calibrado en los logits de los tokens durante la generación. PAD opera enteramente en la etapa de decodificación y es agnóstico al modelo.

El marco consta de cuatro componentes principales:

1. Recorte de Logits y Acotación de Sensibilidad

Para establecer un límite de sensibilidad determinista requerido para la privacidad diferencial, PAD primero aplica un recorte de logits $L_2$. Para un radio fijo $C$, los logits $\mathbf{s}_t$ se recortan a $\bar{\mathbf{s}}_t$:
$$\bar{\mathbf{s}}_t = \mathbf{s}_t \cdot \min\left(1, \frac{C}{\|\mathbf{s}_t\|_2}\right)$$
Esto asegura que, para cualquier par de contextos de recuperación vecinos, la diferencia en los logits recortados esté acotada por $\Delta = 2C$, proporcionando una sensibilidad fija para el mecanismo gaussiano.

2. Cribado Basado en la Confianza

PAD no aplica el ruido de manera uniforme. En su lugar, emplea un mecanismo de cribado para identificar tokens de alto riesgo. Un token se considera de alto riesgo si:

• La confianza del modelo (probabilidad máxima de softmax) es inferior a un umbral $\tau_{conf}$.
• El margen de logit (diferencia entre los dos logits superiores) es inferior a un umbral $\tau_{margin}$.

Los tokens que cumplen estos criterios son marcados para una protección mejorada; las predicciones confiables reciben un ruido mínimo para preservar la utilidad.

3. Calibración de Ruido Adaptativo

Para los tokens de alto riesgo, PAD inyecta ruido gaussiano $\mathcal{N}(0, \sigma_t^2 \mathbf{I})$ donde la escala $\sigma_t$ se calibra dinámicamente basada en tres factores:

• Escala Adaptativa al Riesgo ($r_t$): Modulada por el margen de logit. Los márgenes más pequeños (mayor incertidumbre) resultan en escalas de ruido mayores.
• Calibración Consciente del Contexto: La escala de ruido se ajusta adicionalmente por:
  • Entropía del Token: Una mayor entropía (incertidumbre) aumenta el ruido.
  • Factor de Posición: Los tokens tempranos en la secuencia reciben mayor ruido para prevenir la propagación de errores.
  • Factor de Confianza: Una menor confianza aumenta el ruido.
• Factor de Amplificación ($\lambda_{amp}$): Un parámetro global para ajustar el equilibrio entre privacidad y utilidad.

La escala de ruido final se calcula como:
$$\sigma_t = \sigma_{base} \cdot \text{calibrate}(\mathbf{p}_t, t) \cdot r_t \cdot \lambda_{amp}$$

4. Contabilidad de Privacidad Diferencial de Rényi (RDP)

PAD utiliza un contador de Privacidad Diferencial de Rényi para rastrear la pérdida acumulada de privacidad. Debido a que la escala de ruido $\sigma_t$ depende de los datos (es adaptativa), la garantía $(\varepsilon, \delta)$ reportada es específica para el cronograma de ruido realizado. El marco emplea una $\gamma$-relajación, proporcionando garantías formales de DP solo para la fracción $\gamma$ de los tokens identificados como de alto riesgo, dejando los tokens de bajo riesgo sin protección para mantener la calidad de la generación.

Contribuciones Clave

1. Marco PAD: El primer mecanismo de protección de privacidad en el tiempo de decodificación diseñado específicamente para RAG, que no requiere reentrenamiento ni cambios en la infraestructura de recuperación.
2. Mecanismo de Ruido Adaptativo: Un enfoque novedoso que apunta a tokens de alto riesgo utilizando cribado basado en la confianza y calibración consciente del contexto, equilibrando la protección de la privacidad con la utilidad de la generación.
3. Contabilidad de Privacidad Explícita: Un contador basado en RDP que reporta garantías de privacidad $(\varepsilon, \delta)$ a nivel de respuesta para los tokens protegidos bajo un cronograma de ruido dependiente de los datos.
4. Validación Empírica: Evaluación exhaustiva que demuestra que PAD reduce la filtración de privacidad mientras preserva la utilidad de la respuesta en diversos conjuntos de datos y modelos.

Resultados Experimentales

Los autores evaluaron PAD en tres conjuntos de datos del mundo real: HealthCareMagic, ChatDoctor-iCliniq (diálogos médicos) y Enron Mail. Los experimentos se realizaron utilizando los modelos Pythia-6.9B y Llama2-7B contra ataques de extracción de caja negra.

Hallazgos Clave:

• Mitigación de la Privacidad: PAD redujo sustancialmente la filtración de información privada. En el conjunto de datos HealthCareMagic con Pythia-6.9B, PAD redujo la filtración de "Repetición de Prompt" (reproducción literal de texto recuperado) de 264 a 127 (una reducción del 51.9%) y la filtración basada en ROUGE en un 49.6%.
• Preservación de la Utilidad: A diferencia de las líneas base que degradan la calidad de la generación, PAD mantuvo o mejoró la perplejidad (PPL). Por ejemplo, en HealthCareMagic, PAD logró una PPL de 9.88 en comparación con 10.94 de la línea base de filtración.
• Comparación con Líneas Base: PAD superó a las defensas basadas en recuperación existentes (Resumen, Umbral de Distancia de Conjunto) y a los métodos de post-procesamiento (Inyección de Ruido Estático) en el equilibrio entre privacidad y utilidad.
• Estudios de Ablación: Eliminar los componentes de calibración adaptativa al riesgo o consciente del contexto resultó en incrementos medibles en la filtración de privacidad, confirmando la necesidad de los componentes adaptativos.
• Sensibilidad de Parámetros: El estudio identificó un rango óptimo de factor de amplificación (3.0–5.0) para equilibrar la privacidad y la utilidad. Valores de $\varepsilon$ muy bajos (por ejemplo, 0.01) eliminaron la filtración pero volvieron las salidas inutilizables debido a la alta perplejidad.

Significado y Reivindicaciones

El artículo posiciona a PAD como un paso significativo hacia la mitigación de los riesgos de privacidad en RAG mediante estrategias de decodificación. Los autores afirman que PAD ofrece una solución universal y escalable para dominios sensibles (como la salud) porque:

• Opera enteramente en el tiempo de inferencia sin reentrenamiento.
• Es agnóstico al modelo y compatible con los flujos de recuperación existentes.
• Proporciona contabilidad de privacidad explícita por respuesta.

El trabajo reconoce limitaciones, señalando que la garantía de $\gamma$-relajación protege solo un subconjunto de tokens y que la contabilidad de privacidad reportada se basa en el cronograma de ruido realizado en lugar de un límite de peor caso independiente de la entrada. Los autores sugieren que el trabajo futuro debería explorar la optimización conjunta de las defensas de recuperación y entrenamiento, así como extender el marco a entornos RAG multimodales.