CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

Resumen Técnico: CAMP para la Protección de PII en Conversaciones Multi-turno con LLM

1. El Problema: Exposición Acumulativa de PII (CPE)

El artículo identifica una vulnerabilidad crítica en los sistemas de Inteligencia Artificial Agéntica que operan en conversaciones de múltiples turnos (multi-turn).

• Limitación de los enfoques actuales: Las herramientas existentes de enmascaramiento de Información de Identificación Personal (PII), como Microsoft Presidio, operan de manera estatal (stateless) y por turno individual. Analizan cada mensaje de forma aislada antes de enviarlo al modelo.
• La brecha de seguridad: En una conversación larga, un usuario puede revelar fragmentos de PII (nombre, ubicación, empleador, salario, condición médica) en mensajes separados. Ningún mensaje individual contiene suficiente información para ser detectado como una violación de privacidad, pero la acumulación de estos fragmentos a lo largo de la sesión crea un perfil completamente reidentificable.
• Definición del problema: Los autores formalizan este fenómeno como Exposición Acumulativa de PII (Cumulative PII Exposure - CPE). El riesgo no proviene de una sola divulgación, sino de la intersección de múltiples "casi-identificadores" (quasi-identifiers) que, combinados, cruzan el umbral de reidentificación. Los sistemas actuales no pueden detectar esto porque no mantienen memoria del estado de la sesión.

2. Metodología: El Marco CAMP

Los autores proponen CAMP (Cumulative Agentic Masking and Pruning), un marco de protección de privacidad que actúa como una capa intermedia (middleware) entre el usuario y el LLM externo. CAMP introduce un enfoque con estado (stateful) que monitorea y gestiona el riesgo a nivel de sesión.

Componentes Clave del Sistema:

1. Extractor por Turno: Identifica entidades PII en cada mensaje entrante utilizando Reconocimiento de Entidades Nombradas (NER) y reglas basadas en patrones (ej. Presidio personalizado).
2. Registro de Sesión: Mantiene un registro persistente de todas las entidades detectadas a lo largo de la conversación, almacenando el tipo de entidad, el valor original y el turno de aparición.
3. Grafo de Co-ocurrencia: Modela el riesgo combinado.
   • Los nodos representan tipos de entidades (ej. Persona, Ubicación, Salario).
   • Las aristas se forman cuando dos tipos de entidades aparecen en la misma sesión.
   • Calcula un amplificador de combinación: Un nodo gana peso adicional si está conectado a otros tipos de entidades, reflejando que la combinación es más peligrosa que la suma de sus partes.
4. Puntuación CPE: Calcula un puntaje de riesgo en cada turno ($t$) sumando los pesos base de las entidades multiplicados por sus amplificadores de combinación.
   • Fórmula: $CPE(t) = \sum w(v) \cdot (1 + \alpha \cdot deg(v))$
   • Donde $deg(v)$ es el número de conexiones del nodo y $\alpha$ es la sensibilidad.
5. Pseudonimización Retroactiva: Cuando el puntaje CPE supera un umbral configurable ($\tau$):
   • El sistema reescribe todo el historial de la conversación (no solo el mensaje actual).
   • Reemplaza los valores PII reales con sustitutos sintéticos consistentes (generados localmente con la librería Faker).
   • Mantiene un mapa de pseudónimos local que nunca se envía al modelo externo.
6. Capa de Desenmascaramiento: Cuando el LLM devuelve una respuesta, esta capa reemplaza los sustitutos sintéticos con los valores originales antes de mostrar la respuesta al usuario, asegurando una experiencia coherente.
7. Reglas de Bloqueo Estricto: Ciertas entidades de alto riesgo (ej. SSN, tarjetas de crédito) se bloquean inmediatamente con marcadores como [BLOQUEADO], independientemente del puntaje CPE.

3. Contribuciones Principales

• Formalización del CPE: Definición formal de la Exposición Acumulativa de PII como una métrica de riesgo a nivel de sesión, reconociendo que el riesgo en conversaciones multi-turno es combinatorio y no aditivo.
• Modelo de Grafo de Co-ocurrencia: Introducción de un modelo gráfico para cuantificar el riesgo derivado de la co-presencia de entidades, permitiendo detectar amenazas que surgen de la combinación de datos.
• Marco de Pseudonimización Retroactiva: CAMP es el primer sistema capaz de intervenir retroactivamente en el historial de conversación cuando el riesgo acumulado cruza un umbral, una capacidad ausente en los sistemas de enmascaramiento por turno.
• Ciclo de Privacidad Completo: Implementación de una capa de desenmascaramiento local que restaura la identidad original en la respuesta final, garantizando que el modelo externo nunca procese PII real sin degradar la utilidad conversacional.

4. Resultados Experimentales

Los autores evaluaron CAMP en cuatro escenarios sintéticos (Salud, RRHH/Contratación, Finanzas y Conversación General) comparándolo con una línea base de enmascaramiento por turno (Presidio).

• Exposición de Entidades:
  • Presidio (Línea base): Expuso entre 3 y 6 tipos de entidades PII por sesión al modelo externo en todos los escenarios, ya que no detectó el riesgo acumulado.
  • CAMP: Redujo la exposición de entidades PII reales al modelo externo a cero en todos los escenarios.
• Puntos de Intervención: CAMP activó la pseudonimización retroactiva en diferentes momentos según el dominio (ej. Turno 2 en Finanzas, Turno 4 en Salud), demostrando su capacidad para detectar el "punto de quiebre" donde la combinación de datos se vuelve peligrosa.
• Utilidad Conversacional: El sistema mantuvo la coherencia y la calidad de las respuestas del LLM. La capa de desenmascaramiento restauró exitosamente las identidades originales, y el usuario final no percibió la sustitución de datos.
• Sensibilidad al Umbral ($\tau$): Se demostró que ajustar el umbral permite equilibrar la privacidad y la utilidad. Umbrales más bajos ($\tau=1.5$) provocan intervenciones más tempranas (mayor privacidad), mientras que umbrales más altos ($\tau=2.5$) permiten más contexto natural antes de la intervención.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo desafía la suposición dominante de que la privacidad en LLMs se puede gestionar mensaje a mensaje. Establece que en sistemas agénticos, la memoria de sesión es esencial para la protección de la privacidad.
• Seguridad Proactiva: CAMP aborda el "efecto mosaico" en el contexto de los LLMs, donde datos aparentemente inocuos se vuelven sensibles al agregarse.
• Viabilidad Práctica: Demuestra que es posible proteger la privacidad a nivel de sesión sin sacrificar la funcionalidad del asistente, resolviendo la clásica compensación entre privacidad y utilidad.
• Futuro de la Investigación: Abre nuevas direcciones para la detección de PII implícita (inferencia basada en contexto), el seguimiento de PII en arquitecturas multi-agente y la alineación con regulaciones como el GDPR (minimización de datos).

En conclusión, CAMP proporciona una solución técnica robusta para una clase de vulnerabilidades de privacidad que los sistemas actuales ignoran, asegurando que los asistentes de IA agénticos puedan manejar contextos complejos sin exponer perfiles reidentificables a modelos externos.