💻 computer science

Protecting User Prompts Via Character-Level Differential Privacy

Este trabajo propone un nuevo método de privacidad diferencial a nivel de caracteres que perturba aleatoriamente los caracteres de los prompts de usuarios para proteger información sensible, permitiendo que los modelos de lenguaje restauran automáticamente las palabras no sensibles basándose en el contexto mientras dificultan la reconstrucción de datos confidenciales, logrando así un equilibrio efectivo entre privacidad y utilidad sin necesidad de identificar explícitamente la información sensible.

Autores originales: Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

Publicado 2026-03-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un super-ordenador muy inteligente (un Modelo de Lenguaje Grande o LLM) que vive en la nube y puede ayudarte a escribir correos, resumir documentos o dar consejos médicos. Pero hay un problema: este ordenador es propiedad de una empresa extraña (un tercero) y, si le cuentas tus secretos (como tu nombre completo, tu dirección o tu número de seguro médico), podría guardárselos en su memoria y, por accidente, revelarlos a otros en el futuro.

Este artículo propone una solución ingeniosa y sencilla para proteger esos secretos sin dejar de usar el ordenador. Aquí te lo explico con analogías cotidianas:

1. El Problema: Enviar una carta abierta

Imagina que quieres enviar una carta a este ordenador para que te ayude. Si escribes: "Hola, soy Juan Pérez y vivo en Calle Falsa 123", el ordenador lee todo tal cual. Si alguien espía la carta o el ordenador la "aprende", tu privacidad está en peligro.

Las formas antiguas de proteger esto eran como intentar encontrar y tachar manualmente las palabras "Juan Pérez" y "Calle Falsa" antes de enviar la carta. Pero eso es difícil: a veces te equivocas, a veces olvidas tachar algo, y a veces tachas cosas que no debías (como tu nombre si es muy común).

2. La Solución: El "Ruido" de la Estática

Los autores proponen algo diferente. En lugar de intentar encontrar y borrar los secretos, ensucian toda la carta de forma inteligente.

Imagina que tienes un bolígrafo mágico que, antes de enviar la carta, tacha aleatoriamente algunas letras de cada palabra y las reemplaza por garabatos o letras al azar.

La palabra "Juan" podría convertirse en "Jua#".
La palabra "Pérez" podría convertirse en "P$rz".
Pero la palabra "Hola" podría convertirse en "H0la" o "Hala".

Esto se hace con una regla matemática llamada Privacidad Diferencial. Es como si lanzaras una moneda para decidir si cambias una letra o no. El resultado es un texto que parece tener muchos errores tipográficos.

3. El Truco: El Ordenador como un "Corrector de Ortografía"

Aquí viene la parte más interesante. Envías esta carta "ensuciada" al ordenador inteligente y le dices: "Por favor, arregla los errores y haz lo que te pedí".

El ordenador es tan inteligente que tiene un super-poder de contexto:

Las palabras comunes (no sensibles): Si ves la frase "El gato duerme en el sofá" y la ensucias un poco ("El g#to duerme en el s0fá"), el ordenador sabe por el contexto que "gato" y "sofá" son palabras muy comunes. ¡Las adivina y las corrige perfectamente! Tu carta sigue siendo útil.
Las palabras raras (sensibles): Si la palabra es un nombre raro como "Harlan" o un número de teléfono "555-0199", el ordenador no las conoce. Como son palabras que no ha visto millones de veces en sus libros de entrenamiento, cuando las ve ensuciadas ("H_rlan" o "555-019X"), no puede adivinar cuál era la original. Se queda con la versión ensuciada o inventa algo que no es el secreto real.

4. ¿Por qué funciona? (La Analogía del Rompecabezas)

Piensa en las palabras como piezas de un rompecabezas:

Palabras comunes: Son como piezas de un rompecabezas de un paisaje famoso. Si falta un trozo, sabes exactamente qué va ahí porque el resto de la imagen te lo dice. El ordenador las repara fácilmente.
Palabras sensibles: Son como piezas de un rompecabezas que nadie ha visto nunca. Si falta un trozo, no hay ninguna pista en la imagen que te diga qué va ahí. El ordenador no puede adivinarlo, así que tu secreto se mantiene oculto.

5. Los Resultados

Los autores probaron esto con miles de correos electrónicos y registros médicos reales:

Privacidad: Los nombres raros, direcciones y números de teléfono se "reconstruyeron" (se adivinaron) casi tan poco como si fueran palabras inventadas al azar. Es decir, el secreto estaba a salvo.
Utilidad: Las frases generales se entendieron perfectamente. El ordenador pudo hacer el trabajo (resumir, responder) casi tan bien como si no hubiera ensuciado nada.

En Resumen

Este método es como enviar un mensaje en un sobre con tinta invisible y borrosa.

No necesitas saber qué es secreto antes de enviarlo (no tienes que buscar manualmente los nombres).
El sistema ensucia todo por igual.
El ordenador inteligente limpia lo que es obvio (palabras comunes) pero se queda atascado con lo que es secreto (palabras raras), protegiéndolo sin que tú tengas que hacer nada extra.

Es una forma elegante de decirle a la IA: "Ayúdame, pero no te guardes mis secretos, porque si los intento recordar, solo veré basura".

1. El Problema

El auge de los Modelos de Lenguaje Grande (LLMs) ha llevado a su uso generalizado para tareas personales y profesionales. Sin embargo, estos modelos suelen ser alojados por terceros, lo que plantea un riesgo significativo de filtración de información confidencial contenida en los prompts (instrucciones) de los usuarios. Esta información puede incluir datos de identificación personal (PII) como nombres, direcciones, números de teléfono, registros médicos o datos corporativos propietarios.

Las soluciones existentes presentan limitaciones importantes:

Métodos basados en NER (Reconocimiento de Entidades Nombradas) y reglas: Sufren de falsos positivos y negativos, dependiendo de la capacidad del modelo para detectar entidades sensibles, lo que puede dejar fugas de información o alterar texto innecesario.
Criptografía (Homomórfica/SMC): Requieren cambios arquitectónicos en el LLM remoto y tienen una sobrecarga computacional prohibitiva.
Privacidad Diferencial (DP) a nivel de palabra: Perturba palabras enteras, lo que a menudo degrada la utilidad semántica del texto al cambiar palabras que no son sensibles.

El objetivo es desarrollar un mecanismo que proteja la privacidad de los prompts de manera automática, sin necesidad de identificar explícitamente qué partes son sensibles, manteniendo al mismo tiempo la utilidad del texto para la tarea downstream.

2. Metodología

Los autores proponen un enfoque de Privacidad Diferencial Local (LDP) a nivel de carácter que se ejecuta en el lado del cliente antes de enviar el prompt al LLM remoto. El proceso consta de dos etapas principales:

Inyección de Ruido (Perturbación):
- Se aplica el mecanismo de Respuesta Aleatorizada k-aria (k-RR) a cada carácter de cada palabra del prompt de forma independiente.
- Utilizando el parámetro de privacidad $\epsilon$ , cada carácter tiene una probabilidad de ser reemplazado por otro carácter imprimible ASCII aleatorio.
- Esto preserva la longitud de las palabras pero altera su contenido, creando un texto "ruidoso" ( $T^*$ ).
Restauración y Ejecución de la Tarea:
- El texto perturbado se envía al LLM remoto (el adversario).
- Se instruye al LLM para que primero restaure el texto (corrigiendo errores tipográficos y ruido) y luego realice la tarea original (ej. resumen).
- Intuición clave: Las palabras comunes (no sensibles) tienen alta frecuencia en los datos de entrenamiento y fuertes correlaciones contextuales; por lo tanto, el LLM puede reconstruirlas con alta precisión a pesar del ruido. En cambio, las palabras sensibles (PII) suelen ser raras, de alta entropía y carecen de contexto predictivo fuerte, haciendo que su reconstrucción sea difícil para el LLM, acercándose a una adivinanza aleatoria.

3. Contribuciones Clave

Método de Sanitización Automatizado: Un enfoque que aplica LDP a nivel de carácter sin necesidad de detectar entidades sensibles (como NER) ni modificar el LLM remoto.
Aprovechamiento de la Capacidad de los LLMs: Utiliza la capacidad de los LLMs para distinguir entre palabras comunes (fáciles de restaurar) y raras (difíciles de restaurar), logrando un equilibrio natural entre privacidad y utilidad.
Línea Base Teórica: Establecen una línea base teórica para la reconstrucción de palabras aleatorias perturbadas por k-RR. Demuestran que las PII sensibles se reconstruyen a tasas cercanas a esta línea base (es decir, no mejor que una adivinanza aleatoria), mientras que las palabras no sensibles se recuperan a tasas mucho más altas.
Evaluación Unificada: Comparan su método contra la DP a nivel de palabra y la ofuscación basada en reglas (Presidio) utilizando una métrica unificada de privacidad-utilidad.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos: i2b2/UTHealth (registros médicos) y Enron (correos electrónicos), utilizando dos LLMs: GPT-4o mini y Llama-3.1 8B Instruct.

Tasas de Reconstrucción:
- Las palabras sensibles (PII) se reconstruyeron a tasas muy bajas, cercanas a la probabilidad teórica de adivinar una palabra aleatoria (línea base $Pr[T_0]$ ).
- Las palabras no sensibles se reconstruyeron con una tasa significativamente mayor, preservando la coherencia del texto.
Similitud Semántica: A pesar de que muchas palabras sensibles no se restauraron, la similitud semántica (medida por coseno) entre el resumen original y el restaurado permaneció alta (ej. ~80% en el conjunto de datos de salud con $\epsilon \approx 5.5$ ).
Análisis de Entidades: Se observó que la reconstrucción de entidades completas (nombres completos, direcciones completas) es mucho más difícil que la de palabras individuales. Los detalles específicos (como nombres de calles) son más difíciles de recuperar que componentes más comunes (ciudad/estado).
Comparativa:
- El método de nivel de carácter superó a la DP a nivel de palabra en la relación privacidad-utilidad, ya que el ruido a nivel de carácter es más fácil de corregir semánticamente sin revelar la palabra original sensible.
- Presidio (basado en reglas) ofreció alta utilidad pero carecía de flexibilidad (un solo punto de operación) y podía fallar si no detectaba el formato de la PII. El método propuesto ofrece un espectro de opciones ajustables mediante $\epsilon$ .

5. Significado e Impacto

Este trabajo presenta un avance significativo en la privacidad de los LLMs al ofrecer un mecanismo agnóstico al dominio que no requiere entrenamiento previo ni identificación manual de datos sensibles.

Privacidad Robusta: Garantiza que la información sensible rara (PII) sea prácticamente irrecuperable para el proveedor del LLM, incluso si este utiliza modelos de restauración de última generación.
Utilidad Preservada: Permite que las tareas de procesamiento de lenguaje natural (como resúmenes o análisis) se realicen con alta precisión, ya que el contexto general y las palabras comunes se mantienen intactos.
Viabilidad Práctica: Al ser computacionalmente ligero y no requerir cambios en la infraestructura del LLM remoto, es una solución escalable para proteger la privacidad de los usuarios en aplicaciones reales de IA generativa.

En conclusión, el método demuestra que es posible lograr un equilibrio óptimo entre privacidad y utilidad en los prompts de LLMs mediante la perturbación inteligente a nivel de carácter, aprovechando las limitaciones inherentes de los modelos para reconstruir datos raros y de alta entropía.