Resumen Técnico: Capaces pero descuidados: ¿Siguen los agentes de uso de computadora la integridad contextual?

1. Planteamiento del problema

Los agentes de uso de computadora (CUA, por sus siglas en inglés) se están desplegando cada vez más para actuar en nombre de los usuarios en diversas aplicaciones personales (por ejemplo, correo electrónico, calendarios, listas de tareas). Si bien este acceso multiplataforma mejora la finalización de tareas, introduce un riesgo de privacidad crítico y poco explorado: la divulgación contextual. A diferencia de los benchmarks de seguridad tradicionales que se centran en ataques adversarios o filtraciones de texto en un solo turno, los CUA operan en trayectorias de múltiples turnos donde acumulan estados de múltiples aplicaciones. El problema central es que un agente puede completar una tarea con éxito mientras divulga inadvertidamente información que es apropiada en un contexto (por ejemplo, una nota personal) pero inapropiada en el contexto de destino (por ejemplo, un mensaje a un gerente).

Las evaluaciones existentes no logran medir este modo de falla específico. Los benchmarks de capacidad califican la finalización de tareas y los de seguridad evalúan la robustez adversaria, pero ninguno evalúa si un agente cooperativo filtra el estado personal bajo un uso normal. Además, las evaluaciones de privacidad estándar para modelos de lenguaje suelen depender de prompts de un solo turno y no tienen en cuenta la acumulación de estado a través de una interfaz de usuario (UI) renderizada.

Los autores argumentan que la Integridad Contextual (CI) es la lente de evaluación necesaria. La CI postula que la privacidad se preserva cuando los flujos de información respetan las normas del contexto específico (actor, destinatario, tipo de contenido, principio de transmisión). Una violación ocurre no simplemente cuando se transmite texto sensible, sino cuando el flujo de información se desvía de las normas específicas del contexto (por ejemplo, compartir una cita médica con un colega en lugar de con un médico).

2. Metodología: AGENTCIBENCH

Para abordar esta brecha, los autores introducen AGENTCIBENCH, un entorno de evaluación ejecutable que está diseñado para generar y calificar escenarios de divulgación contextual.

2.1 Generación de escenarios

El entorno emplea un motor de Búsqueda en Árbol de Monte Carlo (MCTS) para sacar a la luz escenarios de prueba de estrés realistas.

• Semillas: El proceso comienza con semillas de alto nivel que describen tareas ordinarias de asistencia personal (por ejemplo, actualizaciones laborales, compras).
• Expansión: El motor aplica mutaciones dirigidas a la CI para crear escenarios donde la información relevante para la tarea sigue estando disponible, pero la información inapropiada resulta "tentadora" de incluir.
• Evaluación por Proxy: Agentes proxy (modelos de pesos abiertos) ejecutan los candidatos a escenarios. Los escenarios son recompensados si el proxy completa la tarea y además divulga información que no debería (un resultado de "alta utilidad, alta filtración").
• Filtrado: El sistema retiene los escenarios de alta recompensa y no duplicados, los cuales son posteriormente curados manualmente para asegurar su coherencia.

2.2 El Entorno (OpenApps)

Los escenarios se instancian en OpenApps, un espacio de trabajo personal de seis aplicaciones (Messenger, Calendar, Maps, ToDo, Code Editor, Shop) construido sobre BrowserGym.

• Entorno basado en el estado: El agente recibe una representación textual estructurada del estado de la aplicación y emite una acción final en formato JSON. Esto aisla la decisión de divulgación de los problemas de navegación de la UI.
• Entorno de extremo a extremo (End-to-End): El agente interactúa con la UI renderizada mediante capturas de pantalla y árboles de accesibilidad, actuando a través de acciones de UI de alto nivel.

2.3 Modos de falla

El benchmark apunta a tres modos de falla específicos basados en la CI:

1. Co-localización Visual (VCL): El agente incluye elementos prohibidos que están espacialmente adyacentes al objetivo de la tarea en la UI (por ejemplo, copiar un evento de calendario privado junto a una reunión de trabajo).
2. Sobrecompartición por Ambigüedad de Tarea (TAO): El agente responde a un prompt subespecificado (por ejemplo, "resume mi lista") volcando todo el estado disponible en lugar de inferir límites contextualmente apropiados.
3. Desalineación del Destinatario (RMA): El agente envía contenido a un destinatario para quien es inapropiado, a pesar de que el contenido sea apropiado para un destinatario distinto (por ejemplo, compartir un borrador de una disputa con un arrendador con un desarrollador colega).

2.4 Métricas de calificación

La evaluación utiliza un calificador híbrido que combina un comparador determinista y un juez de LLM.

• Utilidad ($U$): Si la salida incluye los elementos que "deben compartirse".
• Filtración ($L$): Si la salida incluye elementos que "no deben compartirse".
• Tasa de Rechazo ($R$): La fracción de escenarios donde el agente se niega a actuar.
• Filtración condicionada al compromiso ($L_{eng}$): Definida como $L / (1 - R)$. Esta métrica es crucial ya que separa a los agentes que son seguros porque seleccionan el contenido apropiado de aquellos que son seguros simplemente porque se niegan a actuar.

3. Contribuciones clave

1. AGENTCIBENCH: Un entorno de evaluación generativo para fallas de CI en CUA, que cuenta con un motor de detección de escenarios y un conjunto curado de escenarios de prueba de estrés.
2. Estudio de divulgación de 15 agentes de frontera: Una evaluación exhaustiva de modelos propietarios y de pesos abiertos (incluyendo Claude, GPT, Gemini, Qwen, etc.) que revela que una alta finalización de tareas no implica baja filtración.
3. Estudio de despliegue de extremo a extremo: Un análisis que muestra que los patrones de filtración observados en entornos basados en el estado persisten y, en ocasiones, aumentan cuando los agentes navegan por UIs en vivo.
4. Mitigaciones de divulgación: Una evaluación de tres intervenciones ligeras a nivel de prompt que reducen significativamente la filtración sin necesidad de reentrenamiento.

4. Resultados clave

El estudio evaluó 15 agentes de frontera en 117 escenarios emparejados.

• Filtración generalizada: 12 de los 15 agentes filtraron en más del 50% de los escenarios, con una tasa de filtración promedio del 67.9%.
• Desajuste entre Utilidad y Seguridad: Una alta utilidad de finalización de tareas es un mal indicador de la seguridad de divulgación. Entre los agentes con utilidad >75%, la filtración condicionada al compromiso varió en 84 puntos porcentuales (oscilando entre 14.0% y 98.3%). Notablemente, los dos agentes de mayor utilidad (Gemini-3.1-Pro y Gemini-3-Flash) estuvieron entre los que más filtraron.
• El rechazo como máscara: Las tasas de filtración bruta pueden ser engañosas. Algunos agentes logran una baja filtración bruta al negarse a actuar en escenarios difíciles (alta tasa de rechazo) en lugar de filtrar el contenido con éxito.
• Patrones de modo de falla:
  • Los modelos ajustados para seguridad (por ejemplo, Claude-Opus-4.7) mantuvieron bajos los TAO y RMA, pero permanecieron elevados en VCL.
  • Los modelos de alta filtración (por ejemplo, Gemini-3.1-Pro, Qwen-3.6-Max) saturaron todos los modos de falla (>88% de filtración).
  • Los modelos de compromiso selectivo (por ejemplo, Kimi-K2.6) suprimieron VCL y RMA mediante el rechazo, pero mostraron alta filtración de TAO cuando se comprometieron.
• Persistencia de extremo a extremo: En los experimentos de UI en vivo, la filtración persistió. Para los dos mejores agentes basados en el estado, la filtración condicionada al compromiso aumentó a 42.9% (Opus) y 80.0% (Sonnet) en el entorno de extremo a extremo.
• Éxito de la mitigación: Tres defensas a nivel de prompt (Restrictiva, Informada por rúbrica y Tipificada por destinatario) redujeron la filtración condicionada al compromiso entre 33 y 36 puntos porcentuales en todos los modelos. Crucialmente, estas defensas también aumentaron la utilidad entre un 15.7 y 23.1 puntos porcentuales, demostrando que la seguridad y la capacidad pueden mejorarse conjuntamente mediante el prompting.

5. Significación y afirmaciones

El artículo posiciona la Integridad Contextual como un control de seguridad necesario previo al despliegue para los CUA, distinto de las pruebas tradicionales de evitación de daños o robustez adversaria.

• La capacidad no es seguridad: Los autores afirman que los rankings actuales de los benchmarks basados en la finalización de tareas son insuficientes para guiar el despliegue de agentes que manejan estados personales sensibles. El fenómeno de "capaces pero descuidados" es prevalente entre los modelos de primer nivel.
• Capacidad de dirección (Steerability): El estudio demuestra que las normas de divulgación pueden interiorizarse y la filtración reducirse significamente mediante intervenciones de prompt ligeras, lo que sugiere que los modelos no requieren reentrenamiento para mejorar su comportamiento de privacidad en estos contextos.
• Utilidad del benchmark: AGENTCIBENCH se publica como un entorno ejecutable, permitiendo generar nuevas pruebas de estrés a medida que las capacidades de los modelos evolucionan. Los autores enfatizan que el benchmark está destinado al análisis de comportamiento relativo y la identificación de modos de falla, más que para proporcionar estimaciones absolutas del daño al usuario en el mundo real, dado el carácter controlado del entorno OpenApps.

El trabajo concluye que, para que los CUA se desplieguen de forma segura en entornos de consumo y empresariales, los marcos de evaluación deben medir explícitamente si los flujos de información respetan las normas del contexto específico, en lugar de simplemente verificar si se completó una tarea.