Resumen Técnico: DiSan (Desentrelazamiento de Sanitización)

1. Declaración del Problema

El artículo aborda el desafío crítico de privacidad en la colaboración de agentes distribuidos entre organizaciones, específicamente dentro de sistemas de Generación Aumentada por Recuperación (RAG) y de respuesta a preguntas multi-agente. Cuando los agentes intercambian evidencia textual a través de fronteras organizacionales, ocurre una filtración de privacidad en dos niveles distintos:

1. Identificadores Explícitos: Información de Identificación Personal (PII) tradicional, como nombres, números de cuenta y direcciones.
2. Firmas Distribucionales: Filtración implícita a través de convenciones de formato, elecciones de vocabulario y patrones sintácticos que codifican las prácticas internas de la parte de origen (huellas digitales organizacionales).

Los autores argumentan que las soluciones existentes son insuficientes porque tratan la privacidad como un problema de nivel de identificador en lugar de un problema de nivel de representación. El enmascaramiento basado en reglas elimina la PII explícita pero deja intactas las firmas distribucionales, mientras que la paráfrasis basada en LLM carece de mecanismos para asegurar que la distribución de salida sea estadísticamente invariante respecto a la fuente. Además, el Aprendizaje Federado (FL) estándar descentraliza el entrenamiento del modelo, pero no resuelve el problema de compartir los datos en sí mismos para tareas posteriores.

2. Metodología: DiSan

La solución propuesta, DiSan (Disentangled Sanitization - Sanitización Desentrelazada), es un marco de preservación de la privacidad integrado en el sistema operativo multi-agente Intern-Shannon. Opera mediante un enfoque de factorización de rol-estilo, separando la semántica relevante para la tarea de las variaciones vinculadas a la fuente.

Arquitectura Central

• Codificador de Dos Corrientes: DiSan utiliza un codificador pre-entrenado (LongT5-TGlobal-Base) que proyecta el texto de entrada en dos subespacios ortogonales:
  • Subespacio de Rol ($Z_r$): Codifica la semántica de la tarea invariante de la fuente (entidades, relaciones, eventos) destinada a ser compartida.
  • Subespacio de Estilo ($Z_s$): Codifica las variaciones específicas del agente (fraseo, formato, estilo organizacional). Esta corriente permanece estrictamente local y se descarta tras la decodificación.
• Fusión y Decodificación: Las dos corrientes se fusionan localmente para generar el texto sanitizado ($\tilde{d}$). El decodificador está entrenado para preservar los hechos del rol mientras suprime los identificadores y el lenguaje específico de la fuente. Solo el texto sanitizado $\tilde{d}$ cruza la frontera de privacidad.

Mecanismo de Entrenamiento Federado

Para entrenar el sanitizador sin centralizar el texto bruto, DiSan emplea una estrategia de optimización federada con tres componentes clave:

1. Alineación de Prototipos: Para evitar que los espacios de rol se desvíen entre agentes no-IID, los agentes intercambian prototipos de rol compactos (EMA de los centroides de lote del rol). Estos prototipos se alinean en una hiperesfera unitaria para asegurar la consistencia global sin compartir evidencia bruta.
2. Regularización Adversaria: Se aplica un discriminador con Capas de Reversión de Gradiente (GRL) a los prototipos cargados. Esto fuerza a las representaciones de rol a ser menos predictivas del agente de origen, suprimiendo firmas distribucionales persistentes más allá de las etiquetas de capacidad pública.
3. Restricción de Ortogonalidad: Un término de pérdida ($L_{orth}$) impone la ortogonalidad de coseno entre los vectores de rol y de estilo mediante el promedio de pooling, asegurando la separación de la semántica de la tarea de la identidad de la fuente.

Despliegue

En un pipeline de RAG multi-agente, un agente solicitante dirige las consultas a agentes auxiliares basándose en etiquetas de capacidad pública. Los auxiliares recuperan fragmentos locales, los sanitizan mediante DiSan y transmiten el texto sanitizado. El solicitante agrega esta evidencia sanitizada para generar las respuestas finales.

3. Contribuciones Clave

El artículo describe cuatro contribuciones primarias:

1. Formulación de la Sanitización Desentrelazada: Replantea la sanitización de texto entre agentes como un problema de factorización de rol-estilo, separando la semántica de la tarea de la variación vinculada a la fuente.
2. Alineación de Rol Federada: Introduce la alineación de prototipos ligera para estabilizar los espacios de rol entre agentes no-IID sin centralizar texto bruto, junto con el entrenamiento adversario para eliminar firmas de prototipos específicas de la fuente.
3. Diagnóstico de Privacidad: Evalúa la privacidad en tres superficies: texto de salida (estilometría), representaciones aprendidas (atribución de embeddings) y prototipos cargados, distinguiendo la filtración en la etapa de aplicación de los artefactos en la etapa de entrenamiento.
4. Validación Empírica: Demuestra que DiSan supera significativamente al enmascaramiento de nivel de identificador y a la paráfrasis de LLM en la reducción de la atribución de la fuente manteniendo una alta utilidad.

4. Resultados Experimentales

Los experimentos se realizaron en un corpus financiero multilingüe sintético (simulando 7 tipos de agentes distintos) y en el corpus de correos electrónicos de Enron para la validación estilométrica.

• Desempeño de Privacidad:

  • Exposición de PII: DiSan redujo la exposición de PII a nivel de respuesta en 20× en comparación con el intercambio sin protección (0.6% vs. 11.8%).
  • Atribución Estilométrica: En el conjunto de datos de Enron, DiSan redujo la atribución estilométrica de TF-IDF en un 73.2% y la atribución de sonda neuronal en un 70.6%. En contraste, el enmascaramiento del 19.2% de los tokens (usando detectores de PII fuertes) solo redujo la atribución de TF-IDF en un 18.6%.
  • Filtración de Prototipos: Los prototipos cargados lograron una precisión de atribución cercana al azar (F1 $\approx$ 0.09), lo que indica una supresión exitosa de las huellas digitales de la fuente.

• Desempeño de Utilidad:

  • Fidelidad (Faithfulness): DiSan mantuvo una fidelidad de respuesta del 83.17% en el benchmark de RAG distribuido, cerca del 86.10% de la línea base sin protección.
  • Comparación: DiSan logró el compromiso más favorable entre privacidad y utilidad entre todas las líneas base, incluyendo el enmascaramiento por marcadores de posición, la paráfrasis de LLM y el control por políticas.

• Estudios de Ablación:

  • Eliminar las restricciones de ortogonalidad ($L_{orth}$) aumentó la exposición de PII en 7.3×, confirmando que el aislamiento de estilo es crítico para la privacidad.
  • Eliminar la alineación de prototipos causó una deriva en el espacio de rol, degradando tanto la utilidad (ChunkHit@3 cayó 3.6pp) como la privacidad.

5. Significancia y Reivindicaciones

El artículo afirma que el anonimato a nivel de identificador es insuficiente para el intercambio de texto invariante de la fuente porque la información privada de la organización es a menudo una propiedad distribucional del texto y no un conjunto de identificadores localizados.

• Vía Práctica: DiSan proporciona un camino práctico hacia un intercambio de texto más seguro al imponer la ortogonalidad rol-estilo y la alineación de rol federada. Permite a los agentes compartir evidencia relevante para la tarea sin revelar las "huellas digitales organizacionales" que podrían filtrar prácticas internas o estructuras de documentos propietarios.
• Limitaciones y Alcance: Los autores declaran explícitamente que DiSan no proporciona garantías formales de privacidad diferencial (DP). Argumentan que aplicar DP a la generación secuencia-a-secuencia incurre en costos de utilidad prohibitivos (pérdida de coherencia del 30–50%) y que su enfoque se basa en la validación empírica contra adversarios honestos-pero-codiciosos. El modelo de amenazas excluye servidores maliciosos, envenenamiento y colusión.
• Trabajo Futuro: El artículo sugiere direcciones futuras que incluyen el estudio de adversarios adaptativos más fuertes, configuraciones de consultas repetidas y despliegues más amplios en múltiples dominios.

En resumen, DiSan representa un cambio de la máscara superficial al desentrelazamiento a nivel de representación, permitiendo la colaboración multi-agente donde se preserva la utilidad de los datos mientras se suprimen eficazmente las firmas distribucionales específicas de la fuente.