OS-SPEAR: A Toolkit for the Safety, Performance,Efficiency, and Robustness Analysis of OS Agents

1. Planteamiento del Problema

El rápido avance de los Modelos de Lenguaje Grandes Multimodales (MLLM) ha permitido el desarrollo de Agentes de SO—sistemas autónomos capaces de navegar por Interfaces Gráficas de Usuario (GUI) en computadoras y dispositivos móviles para ejecutar tareas complejas. Si bien la investigación existente se centra intensamente en las tasas de finalización de tareas, existe una falta crítica de marcos de evaluación rigurosos que aborden otras cuatro dimensiones vitales requeridas para desplegar estos agentes como socios diarios confiables:

• Seguridad: Las evaluaciones actuales se centran en escenarios estrechos (por ejemplo, ventanas emergentes) y no logran cubrir diversos peligros ambientales y provocados por humanos.
• Rendimiento: Los conjuntos de datos existentes a menudo contienen trayectorias de bajo valor, errores de anotación o tareas que son demasiado simples o imposiblemente difíciles, lo que conduce a evaluaciones sesgadas.
• Eficiencia: La mayoría de las evaluaciones miden la eficiencia únicamente por el número de pasos, ignorando la latencia temporal y el consumo de tokens (lo cual se correlaciona directamente con los costos operativos).
• Robustez: Las evaluaciones actuales suelen probar la robustez en una sola modalidad (visual o textual), fallando al evaluar cómo los agentes manejan perturbaciones cruzadas entre modalidades.

2. Metodología: El Marco OS-SPEAR

Los autores proponen OS-SPEAR, un kit de herramientas integral diseñado para evaluar sistemáticamente a los agentes de SO en las cuatro dimensiones mencionadas anteriormente. El marco consta de cuatro subconjuntos especializados y una herramienta de análisis automatizada.

A. Los Cuatro Subconjuntos Especializados

1. Subconjunto S (Seguridad):
   • Objetivo: Evaluar la resiliencia del agente frente a factores inseguros.
   • Construcción: Agrega tres tipos de amenazas:
     • Distracciones Ambientales: Factores inyectados intencionalmente (por ejemplo, ventanas emergentes persuasivas) para engañar al agente.
     • Anomalías del Mundo Real: Problemas de ocurrencia natural (por ejemplo, caídas de red, diálogos del sistema inesperados).
     • Engaño Adversarial: Entradas creadas maliciosamente diseñadas para inducir acciones inseguras.
2. Subconjunto P (Rendimiento):
   • Objetivo: Curar trayectorias de evaluación de alta calidad y alto valor.
   • Construcción: Utiliza un proceso de filtrado en dos etapas:
     • Estimación del Valor de la Trayectoria: Agentes a pequeña escala filtran tareas triviales; agentes a gran escala votan sobre las tareas restantes para etiquetarlas como Fáciles, Medias o Difíciles. Las tareas demasiado difíciles incluso para modelos grandes (probablemente errores de anotación) se descartan.
     • Muestreo Estratificado: Garantiza una distribución equilibrada de niveles de dificultad (proporción aproximada de 4:3:3) para crear un conjunto de pruebas robusto.
3. Subconjunto E (Eficiencia):
   • Objetivo: Medir la eficiencia económica y temporal.
   • Métricas: Rastrea el tiempo de inferencia y el consumo de tokens.
   • Cálculo de Costos: Adopta un modelo de facturación centrado en el usuario donde el costo total se calcula como Tokens de Entrada + (3 × Tokens de Salida), reflejando la mayor intensidad de recursos de las tareas de generación.
4. Subconjunto R (Robustez):
   • Objetivo: Evaluar la estabilidad bajo perturbaciones en ambas modalidades visual y textual.
   • Perturbaciones Visuales: Incluye enmascaramiento, zoom (recorte) y ruido gaussiano a intensidades variables (30%, 50%, 70%).
   • Perturbaciones Textuales: Incluye conflictos de estado (estados contradictorios), mala memoria (historial desordenado), mal conocimiento (instrucciones desordenadas) y memoria/conocimiento irrelevante.

B. Herramienta de Análisis Automatizada

OS-SPEAR incluye un sistema de múltiples agentes (cuatro agentes expertos + un agente integrado) que procesa registros de evaluación para generar informes de diagnóstico legibles por humanos. Los expertos analizan dimensiones específicas (Seguridad, Rendimiento, Eficiencia, Robustez), mientras que el agente integrado sintetiza estos elementos en un informe holístico con clasificaciones y evaluaciones de riesgos.

3. Contribuciones Clave

1. Auditoría Sistemática: Identificó brechas críticas en las evaluaciones existentes, específicamente la falta de métricas estandarizadas para la eficiencia, la robustez cruzada entre modalidades y diversos escenarios de seguridad.
2. Kit de Herramientas OS-SPEAR: Introdujo un marco unificado con cuatro subconjuntos especializados (S, P, E, R) y una herramienta de análisis multiagente para generar informes de diagnóstico.
3. Evaluación a Gran Escala: Realizó un estudio exhaustivo de referencia en 22 agentes de SO populares, incluyendo tanto MLLM de propósito general (por ejemplo, Qwen, GLM) como agentes de SO especializados (por ejemplo, UI-TARS, GUI-Owl).
4. Insights Empíricos: Descubrió compensaciones y vulnerabilidades críticas en el estado actual de los agentes de SO, proporcionando una línea base cuantitativa para el desarrollo futuro.

4. Resultados Experimentales y Hallazgos Clave

La evaluación de 22 agentes arrojó varias ideas significativas:

• Compensación Eficiencia vs. Seguridad/Robustez: Los modelos optimizados para bajos costos de inferencia (por ejemplo, modelos con menos parámetros) a menudo exhiben puntuaciones significativamente más bajas en seguridad y robustez. Los diseños orientados a la eficiencia tienden a omitir el razonamiento contextual crítico, volviéndolos frágiles bajo condiciones adversas.
• Modelos Especializados vs. Generales: Los agentes de SO especializados (entrenados específicamente para tareas de GUI) superan consistentemente a los modelos de propósito general en las clasificaciones generales. La adaptación al dominio mejora la fundamentación, la comprensión de la lógica de operación y el conocimiento estático del SO.
• Límites de Escalado de Modelos:
  • Los modelos más grandes generalmente muestran un mejor rendimiento en seguridad.
  • Sin embargo, dentro de la misma familia de modelos, simplemente aumentar el tamaño de los parámetros no garantiza una clasificación general más alta. Las ganancias de rendimiento por escalado a menudo se ven compensadas por el aumento de los costos de inferencia y rendimientos decrecientes en las tasas de éxito de las tareas.
• Vulnerabilidades Específicas de Modalidad:
  • Visual: Los agentes son altamente sensibles a la completitud de las entradas visuales. El enmascaramiento o el zoom (interrumpiendo la disposición) causan caídas significativas en el rendimiento, mientras que el ruido gaussiano tiene un impacto menor.
  • Textual: Los agentes son sorprendentemente insensibles a la causalidad temporal en la memoria (historial desordenado), pero son altamente vulnerables a la información textual contradictoria o irrelevante, lo que puede engañar fácilmente la generación de acciones.
• Anomalías del Mundo Real: Los agentes luchan más con anomalías de ocurrencia natural (por ejemplo, ventanas emergentes inesperadas) que con ataques adversarios inyectados artificialmente, ya que las primeras son más difíciles de distinguir del ruido ambiental normal.

5. Significado

OS-SPEAR aborda una brecha crítica en la transición de los MLLM de generadores de texto pasivos a ejecutores de comportamiento activos y confiables. Al proporcionar un marco de evaluación estandarizado y multidimensional, logra lo siguiente:

• Mueve el campo más allá de las métricas simples de finalización de tareas para incluir seguridad, costos y confiabilidad.
• Ofrece una herramienta de diagnóstico para que los desarrolladores identifiquen debilidades específicas (por ejemplo, fragilidad visual frente a confusión textual).
• Establece una línea base cuantitativa que destaca las limitaciones actuales de los agentes de SO, guiando el desarrollo de la próxima generación de sistemas autónomos seguros, eficientes y robustos para su implementación en el mundo real.

El conjunto de datos y el código están disponibles públicamente para facilitar investigaciones adicionales en este dominio.