Sumário Técnico: Detecção e Correção de Ações Desalinhadas em Agentes de Uso de Computador

1. Definição do Problema

Agentes de uso de computador (CUAs) têm demonstrado progressos significativos na automação de tarefas digitais, mas frequentemente produzem ações desalinhadas — comportamentos que se desviam da intenção original do usuário. Esses desvios surgem de duas fontes primárias:

1. Ataques Externos: Instruções maliciosas incorporadas no ambiente (ex: injeções de prompt indiretas em conteúdo web) que redirecionam o agente.
2. Limitações Internas: Raciocínio errôneo, falhas de fundamentação (grounding) ou interpretação incorreta de limites de tarefas que levam a comportamentos indesejados ou prejudiciais sem a presença de um input adversário.

A pesquisa de segurança existente foca primordialmente em violações de política ou riscos de segurança (ex: vazamento de dados, acesso não autorizado) e baseia-se em políticas predefinidas ou padrões de ataque conhecidos. No entanto, esse paradigma centrado na segurança deixa uma lacuna crítica: os agentes podem realizar ações que são tecnicamente permissíveis e não maliciosas, mas que ainda assim se desviam injustificadamente da intenção do usuário (ex: deletar um arquivo de origem após exportar um PDF, ou abrir aplicativos não relacionados). Tais comportamentos corroem a confiança do usuário e degradam a eficiência da tarefa, mas não são capturados pelas salvaguardas de segurança tradicionais.

Este trabalho define alinhamento de ação como o critério de saber se uma ação proposta pode ser justificada como um avanço da intenção autêntica do usuário. Uma ação é considerada desalinhada se ela:

• Responde a diretrizes externas (ex: instruções injetadas) em vez da instrução do usuário.
• Resulta em consequências não autorizadas ou indesejadas.
• Não pode ser razoavelmente interpretada como uma contribuição para a tarefa pretendida.

O problema central abordado é a detecção de ação desalinhada: determinar se uma ação proposta está desalinhada antes da execução, sem acesso às consequências reais.

2. Metodologia

2.1 MISACTBENCH: Um Benchmark Abrangente

Para permitir uma avaliação sistemática, os autores construíram o MISACTBENCH, um benchmark contendo 2.264 rótulos de alinhamento ao nível de ação, anotados por humanos, através de 558 trajetórias realistas. O benchmark cobre três categorias de ações desalinhadas:

1. Seguimento de Instrução Maliciosa: Ações que cumprem diretrizes maliciosas externas (ex: injeções de prompt indiretas).
2. Comportamento Indesejado Prejudicial: Ações que causam danos devido a limitações internas (ex: erros de raciocínio) em vez de ataques.
3. Outro Comportamento Irrelevante à Tarefa: Ações irrelevantes para a tarefa que degradam a eficiência (ex: abrir aplicativos não relacionados).

Estratégia de Coleta de Dados:

• Ataques Externos: As trajetórias foram coletadas executando diversos CUAs (incluindo GPT-4o, Claude Sonnet 3.5/3.7 e modelos especializados de CUA) em benchmarks adversariais (OS-Harm, DoomArena, RedTeamCUA, RiOSWorld) onde os ataques tiveram sucesso.
• Limitações Internas: Como falhas internas são raras em execuções benignas, os autores empregaram um procedimento de síntese controlada. Eles pegaram trajetórias benignas do OSWorld, identificaram passos adequados para injetar subobjetivos indesejados (ex: deletar um arquivo após a extração), executaram esses subobjetivos como tarefas isoladas e mesclaram as ações resultantes de volta na trajetória benigna.
• Anotação: Foi utilizado um processo de anotação humana rigoroso em duas fases, alcançando um escore de Fleiss' Kappa de 0,84.

2.2 DEACTION: Salvaguarda de Tempo de Execução (Runtime Guardrail)

Os autores propõem o DEACTION, uma salvaguarda de tempo de execução prática e "plug-and-play" que detecta e corrige ações desalinhadas antes da execução. Ele opera independentemente dos parâmetros internos do agente.

Arquitetura:
O DEACTION utiliza um pipeline de detecção em dois estágios condicionado a um resumo narrativo do histórico de interação (para reduzir o consumo de tokens e a latência em comparação com screenshots brutas).

1. Estágio 1: Verificação Rápida (Fast Check): Uma avaliação de LLM leve determina se uma ação é "claramente alinhada" (ex: abrir configurações para ajustar configurações). Se sim, a ação ignora a análise adicional para minimizar a latência.
2. Estágio 2: Análise Sistemática: Para ações ambíguas, realiza-se uma análise mais profunda e estruturada através de quatro componentes:
   • Análise de Injeção: Inspeciona o screenshot em busca de instruções maliciosas ou deceptivas.
   • Compreensão da Ação: Interpreta a semântica da ação de baixo nível com base no estado atual.
   • Predição de Resultado: Antecipa mudanças de estado e efeitos de longo prazo.
   • Análise de Desalinhamento: Integra os sinais para determinar se a ação se alinha ao objetivo do usuário.

Correção Iterativa:
Em vez de apenas bloquear ações desalinhadas, o DEACTION fornece feedback estruturado ao agente, explicando os problemas identificados (ex: injeções detectadas, resultados negativos previstos). O agente é instruído a revisar sua ação, e o ciclo continua até que uma ação alinhada seja proposta ou um limite de tentativas seja atingido.

3. Resultados Principais

3.1 Avaliação Offline (MISACTBENCH)

• Performance: O DEACTION supera os baselines (Task Shield, InferAct) em mais de 15% de forma absoluta no F1 score através de vários modelos de backbone (Qwen3-VL, Claude Sonnet 4.5, GPT-5.1).
• Precisão vs. Recall: Enquanto os baselines frequentemente alcançam alto recall com baixa precisão (falsos positivos frequentes), o DEACTION mantém um recall forte enquanto melhora significativamente a precisão (até 89,9%), resultando em uma detecção mais confiável.
• Representação do Histórico: O uso de resumos narrativos para o contexto do histórico superou o uso de screenshots brutas ou apenas ações, alcançando melhor performance com menor latência (11s vs. 18s por passo) e menor consumo de tokens.
• Trade-off Latência-Performance: O design de dois estágios reduz a latência em comparação com a execução de análise sistemática em cada passo, mantendo uma performance comparável à análise sistemática total.

3.2 Avaliação Online

• Configurações Adversariais (RedTeamCUA): O DEACTION reduziu a Taxa de Sucesso de Ataque (ASR) em mais de 90% em diferentes CUAs, enquanto melhorou ou preservou a Utilidade sob Ataque (UA).
• Configurações Benignas (OSWorld): O DEACTION preservou ou melhorou as taxas de sucesso das tarefas, demonstrando que não sobrecarrega o comportamento normal.
• Eficiência: A salvaguarda adicionou um overhead gerenciável (aprox. 25% do tempo de execução por passo). O roteamento de dois estágios permitiu que 45% das ações ignorassem a análise profunda.
• Eficácia da Correção: Das ações desalinhadas sinalizadas, 78% foram corrigidas com sucesso para um comportamento alinhado através de feedback iterativo, com 62% sendo corrigidas em uma única revisão.

4. Contribuições

O artigo apresenta três contribuições principais:

1. Perspectiva Centrada no Intento: Enquadra os desvios de CUA como um problema de desalinhamento de ação em vez de apenas um problema de violação de segurança/política, identificando três categorias comuns de ações desalinhadas em implementações reais.
2. MISACTBENCH: A introdução de um benchmark abrangente com 2.264 rótulos de alinhamento ao nível de ação, anotados por humanos, cobrindo tanto ataques externos quanto limitações internas.
3. DEACTION: Uma salvaguarda prática e universal que detecta proativamente ações desalinhadas antes da execução e as corrige iterativamente via feedback estruturado, validada em ambientes adversariais e benignos.

5. Significância e Alegações

Os autores posicionam este trabalho como o primeiro estudo sistemático de detecção de desalinhamento de ação em CUAs. Eles afirmam que o DEACTION serve como um mecanismo de proteção plug-and-play que aumenta a confiabilidade e a robustez de agentes de uso de computador em ambientes de mundo aberto e reais.

A significância reside em abordar a lacuna entre "segurança" (evitar danos) e "alinhamento" (executar fielmente a intenção do usuário). Ao detectar e corrigir ações que são tecnicamente permissíveis, mas que desviam do intento, o trabalho visa reduzir riscos de segurança, efeitos colaterais desnecessários e falhas de execução. Os autores afirmam que sua abordagem suporta a implantação de sistemas de aprendizado de máquina mais confiáveis e controláveis sem exigir mudanças na arquitetura subjacente do agente.

Limitações Reconhecidas:
O artigo observa que instruções maliciosas bem disfarçadas ainda podem contornar a verificação rápida, e a predição de resultados continua sendo um desafio devido às atuais limitações de modelagem de mundo dos LLMs. Além disso, a síntese de falhas internas, embora controlada e validada, pode não abranger todas as possíveis modalidades de falha interna. Sugere-se que trabalhos futuros foquem em detecção de injeção mais robusta, compreensão de ação mais refinada e raciocínio de nível de intento mais preciso.