Resumen Técnico: MuPPET

Planteamiento del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) se están desplegando cada vez más en entornos de múltiples participantes, como chats grupales en herramientas de colaboración de equipos. En estos entornos, un agente que actúa en nombre de un usuario debe navegar por contextos sociales complejos donde una sola divulgación de información privada alcanza a todos los miembros del grupo simultáneamente.

Los benchmarks de privacidad contextual existentes, basados en la teoría de la Integridad Contextual (Nissenbaum, 2004), evalúan si los modelos respetan las normas sociales respecto al flujo de información. Sin embargo, estos benchmarks (por ejemplo, ConfAIDE, PrivacyLens, CI-Bench) se limitan a interacciones uno-a-uno (un único usuario consultando a un modelo o una única organización recibiendo la salida). No tienen en cuenta la complejidad estructural de los entornos de múltiples partes, donde la privacidad requiere que cada pieza de información sea apropiada para cada uno de los destinatarios en el grupo. En consecuencia, los riesgos de privacidad de los agentes de LLM en escenarios de múltiples partes permanecen sin medir, y las evaluaciones previas pueden subestimar sistemáticamente la filtración.

Metodología: Benchmark MuPPET

Los autores presentan MuPPET (Multi-Party Privacy Exposure Testing), un benchmark diseñado para evaluar la privacidad contextual en conversaciones de múltiples participantes.

Construcción del Dataset

• Escala: 562 conversaciones de múltiples participantes en inglés.
• Escenario: Entornos laborales que involucran 11 tipos de departamentos de trabajo (p. ej., Ingeniería, Atención Médica).
• Estructura:
  • Semillas (Seeds): Escenarios curados manualmente que contienen un tema laboral, un atributo sensible (p. ej., salud, estado familiar) y una pregunta gerencial legítima que podría provocar inadvertidamente información sensible.
  • Grupos de Usuarios: Trabajadores sintéticos generados a partir del dataset PANORAMA, organizados en equipos de 20. Un usuario es designado como el "objetivo" (target) en cuyo nombre actúa el LLM.
  • Memorias: Se le proporciona al LLM información de trasfondo (memorias) sobre el usuario objetivo, incluyendo detalles sensibles revelados en interacciones previas uno-a-uno con colegas.
  • Conversación: Chats grupales de múltiples turnos generados por Gemini 2.5 Flash, que finalizan con una pregunta dirigida al asistente.
• Lógica de Evaluación: El modelo debe responder a la pregunta grupal utilizando sus memorias. Una filtración de privacidad ocurre si la respuesta revela información privada a destinatarios para quienes la divulgación es inapropiada, incluso si no se dio una preferencia explícita de compartir.

Métricas

1. Filtración de Privacidad (Privacy Leakage): Medida mediante un LLM-como-juez (LLM-as-a-judge). El juez verifica si la respuesta del modelo revela detalles privados específicos de las memorias de origen, ya sea directamente o mediante una fuerte implicación semántica.
2. Utilidad (Utility): Medida por si el modelo extrae y aplica con éxito las preferencias y restricciones del usuario (p. ej., evitar una carga de trabajo pesada) de las memorias sin necesariamente divulgar la causa sensible subyacente.

Configuración Experimental

El benchmark evaluó:

• Modelos de pesos abiertos (Open-weight): Meta-Llama 3/3.1 (8B), Qwen 3 (4B, 8B, 14B).
• Modelos cerrados de frontera (Frontier): GPT-5.5, Gemini 2.5 Pro.
• Estrategias de Defensa:
  • CI-Mem: Aumentar los prompts de sistema con instrucciones de privacidad (aplicación Baja/Media/Alta).
  • PrivacyChecker: Descomponer el razonamiento de privacidad en pasos explícitos dentro del prompt.

Resultados Clave

1. Filtración Multi-Parte vs. Uno-a-Uno

MuPPET demuestra que los entornos de múltiples partes representan un riesgo significativamente mayor que las evaluaciones uno-a-uno.

• Incremento de la Filtración: Todos los modelos probados filtraron más en entornos de múltiples partes que en escenarios equivalentes uno-a-uno. Por ejemplo, Llama 3 8B Inst. filtró un 45.68% en 1-a-1 pero un 57.14% en multi-parte; Qwen3 14B saltó del 40.99% al 63.35%.
• Implicación: Los benchmarks actuales subestiman sistemáticamente los riesgos de privacidad porque no prueban la carga de "seguimiento de partes" (party-tracking) requerida en entornos grupales.

2. Rendimiento y Vulnerabilidad de los Modelos

• Modelos de Pesos Abiertos: Los modelos más pequeños son los más vulnerables. Qwen3 8B mostró la mayor filtración (70.37%), e incluso los mejores modelos de pesos abiertos (Qwen3 4B, Llama 3 8B) filtraron en más del 50% de los casos.
• Modelos de Frontera: Los modelos propietarios (Gemini 2.5 Pro, GPT-5.5) funcionaron sustancialmente mejor, pero aun así exhibieron una filtración no despreciable (p. ej., Gemini 2.5 Pro con un 23.46% en multi-parte frente a un 9.88% en 1-a-1).
• Compromiso Utilidad-Privacidad (Utility-Privacy Trade-off): Los modelos con puntuaciones de utilidad más altas (mejores al usar memorias para responder) tendieron a tener tasas de filtración más altas. Los modelos de frontera lograron el mejor equilibrio, manteniendo una alta utilidad con una menor filtración que sus contrapartes de pesos abiertos.

3. Efectividad de las Defensas

• Mitigación Parcial: Las defensas existentes (CI-Mem y PrivacyChecker) redujeron la filtración, pero con un costo.
• Degradación de la Utilidad: Las restricciones de privacidad más fuertes (p. ej., aplicación Alta) redujeron significativamente la utilidad del modelo.
• Problemas de Escalabilidad: Los modelos más pequeños tuvieron dificultades para seguir instrucciones de privacidad complejas (como PrivacyChecker), lo que resultó en una protección menos efectiva en comparación con los modelos de frontera.
• Conclusión: Las defensas no resuelven el problema subyacente del seguimiento de partes; simplemente intercambian utilidad por una protección parcial.

4. Análisis de Errores

Un análisis de las causas de filtración reveló distintos modos de fallo basados en la capacidad del modelo:

• Modelos más Pequeños: Las filtraciones se atribuyeron principalmente a fallos en el seguimiento de usuarios (incapacidad para identificar quién está en la conversación).
• Modelos de Razonamiento: Las filtraciones se desplazaron hacia fallos de privacidad contextual a nivel de usuario (saber quién está en el chat pero fallar al decidir si compartir con una persona específica es apropiado).
• Modelos de Frontera: Las filtraciones se atribuyeron cada vez más a restricciones de privacidad a nivel de grupo o fallos inexplicables de "Solo Benchmark". Esto sugiere una brecha entre el conocimiento y la acción: estos modelos entienden los roles y las normas, pero aún generan salidas que violan la privacidad en contextos complejos.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Introducción de MuPPET: Un nuevo benchmark específicamente para la privacidad contextual en conversaciones de múltiples participantes, abordando un vacío dejado por todos los benchmarks previos de uno-a-uno.
2. Identificación de un Modo de Fallo Distinto: Evidencia de que la filtración en múltiples partes es un riesgo sustancial y previamente no medido, donde los modelos fallan al rastrear múltiples destinatarios y sus respectivos límites de privacidad.
3. Vulnerabilidad de los Modelos Locales: Un hallazgo de que los modelos más pequeños de pesos abiertos, a menudo preferidos para el despliegue local con datos sensibles, son los más vulnerables a la filtración, desafiando la suposición de que el despliegue local garantiza inherentemente la privacidad.
4. Limitaciones de las Defensas Actuales: Demostración de que las defensas de privacidad actuales ofrecen solo una protección parcial, degradan la utilidad y no resuelven el desafío central del seguimiento de partes.

Los autores concluyen que abordar la filtración en múltiples partes probablemente requerirá nuevos paradigmas de modelado capaces de manejar flujos de información complejos dentro de contextos compartidos, en lugar de depender únicamente de la ingeniería de prompts o filtros de privacidad existentes.

Limitaciones

Los autores reconocen que MuPPET se centra en entornos profesionales de equipo, lo que puede no capturar las normas implícitas de redes familiares o de amigos. El dataset es generado sintéticamente, lo que puede carecer del ruido y la ambigüedad de los chats reales. Además, la evaluación está centrada en el inglés, y las normas de privacidad varían significativamente entre culturas e idiomas.