CI-Work: Benchmarking Contextual Integrity in Enterprise LLM Agents

1. El Problema

La integración de Agentes de Modelos de Lenguaje (LLM) en flujos de trabajo empresariales promete aumentar drásticamente la productividad al permitirles recuperar y utilizar datos internos (correos, actas de reuniones, documentos) para actuar en nombre de los usuarios. Sin embargo, esto crea una paradoja de seguridad: la misma capacidad de recuperación de datos que habilita la utilidad del agente también lo convierte en un vector potencial para la filtración de información sensible.

El problema central es la violación de la Integridad Contextual (CI). A diferencia de las evaluaciones de privacidad anteriores que se centran en tareas de asistencia diaria o flujos de información aislados, los entornos empresariales presentan:

• Flujos de información entrelazados: Los agentes recuperan múltiples entradas simultáneamente que mezclan datos esenciales (necesarios para la tarea) y sensibles (que no deben compartirse).
• Complejidad jerárquica: Las normas de privacidad dependen de relaciones organizacionales complejas (quién envía, quién recibe, y el contexto de la transmisión).
• Falta de evaluación realista: Las métricas actuales priorizan la finalización de la tarea (utilidad) sobre la precisión contextual para distinguir entre lo que se debe y no se debe revelar, ignorando la densidad y escala de los datos reales.

2. Metodología: CI-Work

Para abordar estas brechas, los autores introducen CI-Work, un benchmark fundamentado en la teoría de la Integridad Contextual de Nissenbaum.

• Estructura del Benchmark:

  • Simula flujos de trabajo empresariales a lo largo de cinco direcciones organizacionales: Ascendente (empleado a jefe), Descendente (jefe a empleado), Lateral (entre pares), Diagonal (entre departamentos) y Externa (con partes interesadas).
  • Cada instancia se divide en dos conjuntos disjuntos: Conjunto Esencial ($E_{ess}$) y Conjunto Sensible ($E_{sens}$). El objetivo del agente es recuperar y transmitir lo esencial sin filtrar lo sensible.
  • Generación de Datos: Utiliza un pipeline riguroso con generación de semillas orientadas a tareas (human-in-the-loop) y un mecanismo de refinamiento auto-iterativo (Self-Iterative Refinement). Este último emplea un LLM para clasificar automáticamente las entradas generadas en "Esenciales", "Sensibles" o "Ambiguas", corrigiendo discrepancias sin intervención humana constante para asegurar que las etiquetas coincidan con las normas de privacidad humanas (82.5%–95.0% de acuerdo).

• Simulación y Evaluación:

  • Se utiliza un entorno de simulación basado en herramientas (ToolEmu) donde un LLM actúa como el agente y otro como el simulador de herramientas (correo, chat, calendario).
  • Métricas de Evaluación:
    1. Filtración (Leakage): Proporción de entradas sensibles reveladas.
    2. Violación (Violation): Indicador binario estricto de si cualquier información sensible fue comprometida.
    3. Transmisión (Conveyance): Capacidad del agente para recuperar y transmitir la información esencial necesaria.

3. Contribuciones Clave

• Nuevo Benchmark (CI-Work): El primer conjunto de datos diseñado específicamente para evaluar la integridad contextual en flujos de trabajo empresariales densos y entrelazados, superando las limitaciones de benchmarks anteriores centrados en la vida diaria.
• Descubrimiento de la Compensación Utilidad-Privacidad: Evidencia empírica de que en los agentes LLM, una mayor utilidad (mejor transmisión de datos esenciales) a menudo se correlaciona positivamente con un mayor riesgo de violación de privacidad.
• Análisis de Escala y Comportamiento: Demostración de que aumentar el tamaño del modelo o la profundidad del razonamiento no resuelve el problema de privacidad en entornos empresariales y, de hecho, puede exacerbarlo.

4. Resultados Principales

La evaluación de modelos de vanguardia (incluyendo GPT-4o, GPT-5, Grok-3, DeepSeek, Qwen, etc.) reveló hallazgos críticos:

• Fallas Generalizadas: Las tasas de violación de privacidad oscilan entre 15.8% y 50.9%, con tasas de filtración de datos sensibles que alcanzan hasta el 26.7%.
• Correlación Inversa: Existe una correlación positiva significativa entre la tasa de transmisión (utilidad) y las violaciones de privacidad. Los modelos que son mejores completando la tarea tienden a filtrar más datos sensibles.
• Fenómeno de "Escalado Inverso" (Inverse Scaling): Contrario a la intuición, los modelos más grandes (ej. GPT-5, Grok-3) a menudo muestran peor rendimiento en privacidad que modelos más pequeños en estos escenarios. Esto se atribuye a que los modelos grandes son más propensos a seguir las instrucciones del usuario (comportamiento "sycophantic") ignorando las normas contextuales implícitas, y a que manejan mejor los contextos largos donde los datos sensibles se ocultan en ruido.
• Impacto de la Presión del Usuario: Cuando los usuarios dan instrucciones implícitas o explícitas para ser "exhaustivos" o "concretos", las tasas de violación aumentan drásticamente (hasta el doble en casos de presión explícita), mientras que la utilidad a veces disminuye, creando un resultado perdedor para ambos.
• Ineficacia de las Soluciones Actuales:
  • Aumentar el esfuerzo de razonamiento (Chain-of-Thought) solo reduce marginalmente las filtraciones.
  • Los prompts de defensa (instrucciones para no compartir datos) reducen las filtraciones pero degradan significativamente la utilidad.
  • La estrategia CI-CoT (razonamiento explícito sobre la integridad contextual) ofrece un mejor equilibrio, pero sigue teniendo tasas de violación superiores al 20%.

5. Significado e Implicaciones

El trabajo concluye que la seguridad de los flujos de trabajo empresariales no puede lograrse simplemente escalando modelos o ajustando la alineación de seguridad a nivel de instrucciones.

• Cambio de Paradigma: Se requiere un cambio de arquitecturas centradas en el modelo hacia arquitecturas centradas en el contexto. La protección de la privacidad debe integrarse en la estructura del agente, no solo en su comportamiento de salida.
• Necesidad de Mecanismos Específicos: Se necesitan mecanismos de defensa conscientes del contexto, como filtrado condicionado por roles y alineación durante el entrenamiento, para gestionar la tensión inherente entre la utilidad operativa y la privacidad en entornos corporativos reales.
• Herramienta para la Industria: CI-Work proporciona una base estandarizada y realista para que las organizaciones evalúen los riesgos de privacidad antes de desplegar agentes LLM en entornos de producción.

En resumen, el artículo advierte que sin una arquitectura de privacidad contextual robusta, la adopción de agentes LLM en empresas podría generar riesgos de fuga de datos masivos, independientemente de la capacidad de razonamiento del modelo subyacente.