OS-SPEAR: A Toolkit for the Safety, Performance,Efficiency, and Robustness Analysis of OS Agents

1. Declaração do Problema

O avanço rápido dos Modelos de Linguagem Grandes Multimodais (MLLMs) permitiu o desenvolvimento de Agentes de SO — sistemas autônomos capazes de navegar em Interfaces Gráficas do Usuário (GUIs) em computadores e dispositivos móveis para executar tarefas complexas. Embora a pesquisa existente se concentre pesadamente nas taxas de conclusão de tarefas, há uma lacuna crítica na falta de frameworks de avaliação rigorosos que abordem outras quatro dimensões vitais necessárias para implantar esses agentes como parceiros diários confiáveis:

• Segurança: Os benchmarks atuais focam em cenários estreitos (por exemplo, pop-ups) e falham em cobrir perigos ambientais e humanos diversos.
• Desempenho: Conjuntos de dados existentes frequentemente contêm trajetórias de baixo valor, erros de anotação ou tarefas que são muito simples ou impossivelmente difíceis, levando a avaliações enviesadas.
• Eficiência: A maioria dos benchmarks mede a eficiência apenas pelo número de etapas, ignorando a latência temporal e o consumo de tokens (o que se correlaciona diretamente com os custos operacionais).
• Robustez: As avaliações atuais testam tipicamente a robustez em uma única modalidade (visual ou textual), falhando em avaliar como os agentes lidam com distúrbios cross-modais.

2. Metodologia: O Framework OS-SPEAR

Os autores propõem o OS-SPEAR, um kit de ferramentas abrangente projetado para avaliar sistematicamente os agentes de SO nas quatro dimensões mencionadas acima. O framework consiste em quatro subconjuntos especializados e uma ferramenta de análise automatizada.

A. Os Quatro Subconjuntos Especializados

1. Subconjunto S (Segurança):
   • Objetivo: Avaliar a resiliência do agente contra fatores inseguros.
   • Construção: Agrega três tipos de ameaças:
     • Distrações Ambientais: Fatores intencionalmente injetados (por exemplo, pop-ups persuasivos) para enganar o agente.
     • Anomalias do Mundo Real: Questões que ocorrem naturalmente (por exemplo, quedas de rede, diálogos de sistema inesperados).
     • Engano Adversarial: Entradas maliciosamente criadas para induzir ações inseguras.
2. Subconjunto P (Desempenho):
   • Objetivo: Curar trajetórias de avaliação de alta qualidade e alto valor.
   • Construção: Utiliza um processo de filtragem em duas etapas:
     • Estimativa de Valor da Trajetória: Agentes de pequena escala filtram tarefas triviais; agentes de grande escala votam nas tarefas restantes para classificá-las como Fáceis, Médias ou Difíceis. Tarefas difíceis demais até para grandes modelos (provavelmente erros de anotação) são descartadas.
     • Amostragem Estratificada: Garante uma distribuição equilibrada de níveis de dificuldade (proporção aproximada de 4:3:3) para criar um conjunto de testes robusto.
3. Subconjunto E (Eficiência):
   • Objetivo: Medir eficiência econômica e temporal.
   • Métricas: Rastreia o tempo de inferência e o consumo de tokens.
   • Cálculo de Custo: Adota um modelo de cobrança centrado no usuário onde o custo total é calculado como Tokens de Entrada + (3 × Tokens de Saída), refletindo a maior intensidade de recursos das tarefas de geração.
4. Subconjunto R (Robustez):
   • Objetivo: Avaliar a estabilidade sob perturbações em ambas as modalidades visual e textual.
   • Perturbações Visuais: Inclui mascaramento, zoom (recorte) e ruído gaussiano em várias intensidades (30%, 50%, 70%).
   • Perturbações Textuais: Inclui conflitos de estado (status contraditórios), memória ruim (histórico embaralhado), conhecimento ruim (instruções embaralhadas) e memória/conhecimento irrelevante.

B. Ferramenta de Análise Automatizada

O OS-SPEAR inclui um sistema multiagente (quatro agentes especialistas + um agente integrado) que processa logs de avaliação para gerar relatórios de diagnóstico legíveis por humanos. Os especialistas analisam dimensões específicas (Segurança, Desempenho, Eficiência, Robustez), enquanto o agente integrado sintetiza esses dados em um relatório holístico com classificações e avaliações de risco.

3. Principais Contribuições

1. Auditoria Sistemática: Identificou lacunas críticas nos benchmarks existentes, especificamente a falta de métricas padronizadas para eficiência, robustez cross-modal e cenários de segurança diversos.
2. Kit de Ferramentas OS-SPEAR: Introduziu um framework unificado com quatro subconjuntos especializados (S, P, E, R) e uma ferramenta de análise multiagente para gerar relatórios de diagnóstico.
3. Avaliação em Grande Escala: Conduziu um estudo extenso de benchmarking em 22 agentes de SO populares, incluindo tanto MLLMs de propósito geral (por exemplo, Qwen, GLM) quanto agentes de SO especializados (por exemplo, UI-TARS, GUI-Owl).
4. Insights Empíricos: Revelou trade-offs e vulnerabilidades críticas no estado atual dos agentes de SO, fornecendo uma base quantitativa para o desenvolvimento futuro.

4. Resultados Experimentais e Principais Descobertas

A avaliação de 22 agentes gerou vários insights significativos:

• Trade-off Eficiência vs. Segurança/Robustez: Modelos otimizados para baixos custos de inferência (por exemplo, modelos com menos parâmetros) frequentemente exibem pontuações significativamente menores em segurança e robustez. Designs orientados à eficiência tendem a omitir raciocínio contextual crítico, tornando-os frágeis sob condições adversárias.
• Modelos Especializados vs. Gerais: Agentes de SO especializados (treinados especificamente para tarefas de GUI) consistentemente superam modelos de propósito geral nas classificações gerais. A adaptação de domínio melhora a ancoragem, a compreensão da lógica de operação e o conhecimento estático do SO.
• Limites de Escala de Modelos:
  • Modelos maiores geralmente mostram melhor desempenho em segurança.
  • No entanto, dentro da mesma família de modelos, simplesmente aumentar o tamanho dos parâmetros não garante uma classificação geral mais alta. Os ganhos de desempenho da escala são frequentemente compensados por custos de inferência aumentados e retornos decrescentes nas taxas de sucesso das tarefas.
• Vulnerabilidades Específicas de Modalidade:
  • Visual: Os agentes são altamente sensíveis à completude das entradas visuais. Mascaramento ou zoom (perturbando o layout) causam quedas significativas de desempenho, enquanto o ruído gaussiano tem um impacto menor.
  • Textual: Os agentes são surpreendentemente insensíveis à causalidade temporal na memória (histórico embaralhado), mas são altamente vulneráveis a informações textuais conflitantes ou irrelevantes, que podem facilmente enganar a geração de ações.
• Anomalias do Mundo Real: Os agentes lutam mais com anomalias que ocorrem naturalmente (por exemplo, pop-ups inesperados) do que com ataques adversariais artificialmente injetados, pois as primeiras são mais difíceis de distinguir do ruído ambiental normal.

5. Significado

O OS-SPEAR aborda uma lacuna crítica na transição dos MLLMs de geradores de texto passivos para executores comportamentais ativos e confiáveis. Ao fornecer um framework de avaliação padronizado e multidimensional, ele:

• Move o campo além de métricas simples de conclusão de tarefas para incluir segurança, custo e confiabilidade.
• Oferece uma ferramenta de diagnóstico para desenvolvedores identificarem fraquezas específicas (por exemplo, fragilidade visual vs. confusão textual).
• Estabelece uma base quantitativa que destaca as limitações atuais dos agentes de SO, orientando o desenvolvimento da próxima geração de sistemas autônomos seguros, eficientes e robustos para implantação no mundo real.

O conjunto de dados e o código estão disponíveis publicamente para facilitar pesquisas adicionais neste domínio.