💬 NLP

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

O artigo apresenta o VeriOS, um agente de sistema operacional confiável que utiliza um framework de interação humano-agente-GUI orientado a consultas para identificar cenários não confiáveis e solicitar intervenção humana proativa, melhorando significativamente a taxa de sucesso em tarefas complexas sem comprometer o desempenho em condições normais.

Autores originais: Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

Publicado 2026-04-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente pessoal superinteligente, um robô capaz de olhar para a tela do seu celular ou computador e clicar em botões, digitar textos e abrir aplicativos para você. É como ter um "braço digital" que faz tudo o que você manda.

O problema é que, no mundo real, as coisas nem sempre saem como planejado. Às vezes o celular trava, aparece uma janela de aviso estranha, ou você dá uma instrução meio confusa. Se esse robô for muito "confiante" e insistir em fazer tudo sozinho nessas situações, ele pode clicar no botão errado, apagar seus dados ou liberar sua localização sem querer. É como tentar dirigir um carro em uma tempestade sem frear: perigoso!

Aqui entra o VeriOS, o protagonista deste artigo. Vamos explicar como ele funciona usando algumas analogias simples:

1. O Problema: O Robô "Teimoso"

A maioria dos assistentes de hoje é treinada para ambientes perfeitos, como um laboratório onde nada dá errado. Mas na vida real, o ambiente é "desconfiável".

Analogia: Imagine um cozinheiro que só aprendeu a cozinhar em uma cozinha perfeita, sem fogos, sem falta de ingredientes e sem clientes pedindo coisas estranhas. Se você pedir para ele cozinhar em um churrasco na rua, com vento e fogo instável, ele pode queimar a comida ou cortar o dedo porque não sabe quando pedir ajuda.

2. A Solução: O Assistente que Sabe Quando Perguntar

Os criadores do VeriOS pensaram: "E se o robô soubesse quando parar e perguntar ao humano: 'Ei, você tem certeza disso? Ou o que eu devo fazer agora?'"

A Metáfora do "Copiloto Consciente": O VeriOS age como um copiloto de avião. Em dias de sol (cenários normais), ele pilota o avião sozinho com perfeição. Mas, quando entra em uma tempestade (cenário desconfiável) ou o radar falha, ele não tenta adivinhar. Ele acende um alerta, olha para o piloto humano e pergunta: "Chefe, devemos desviar ou continuar?". Ele só age novamente depois de receber a resposta.

3. Como eles ensinaram isso? (O Treinamento de 3 Etapas)

Para criar esse "copiloto", eles não apenas jogaram dados aleatórios na máquina. Eles usaram um método inteligente de ensino, como se estivessem separando o aprendizado em duas habilidades distintas e depois misturando-as:

Etapa 1: Desmontar o Conhecimento (Decoupling): Eles pegaram exemplos de tarefas e separaram em duas partes:
1. O "Detetive": Ensinar o robô a identificar quando algo está estranho (ex: "Ops, essa janela de permissão de localização é suspeita").
2. O "Executor": Ensinar o robô a fazer a tarefa depois de receber a resposta do humano.
Etapa 2: Treinamento Intercalado (SFT): Em vez de ensinar só o "Detetive" por uma semana e só o "Executor" na outra, eles ensinaram os dois ao mesmo tempo, alternando os exercícios. É como um aluno que estuda matemática e português no mesmo dia, para entender como as duas matérias se conectam.
Etapa 3: Refinamento com Recompensas (GRPO): Eles criaram um sistema de "nota". Se o robô percebia o problema e perguntava a coisa certa, ganhava pontos. Se ele fazia a ação certa depois da resposta, ganhava mais pontos. Se ele ignorava o problema e tentava adivinhar, perdia pontos. Isso poliu o comportamento dele.

4. O Resultado: O "VeriOS-Agent"

O resultado final é um assistente que:

Na paz: Trabalha rápido e sozinho, sem te incomodar.
No caos: Para, analisa a situação, pergunta ao humano de forma clara e espera a resposta antes de prosseguir.

O que os testes mostraram?
Eles criaram um "campo de provas" chamado VeriOS-Bench, com situações reais e complicadas (telas travadas, instruções confusas, botões sensíveis).

Os assistentes antigos (os "teimosos") falhavam muito nessas situações, muitas vezes piorando o problema.
O VeriOS melhorou o sucesso das tarefas em situações difíceis em cerca de 20%, sem perder eficiência nas tarefas normais.

Resumo em uma frase

O VeriOS é como dar um "senso comum" digital a um robô: ele aprendeu que nem sempre é preciso ser rápido e autônomo; às vezes, a coisa mais inteligente a fazer é parar, olhar para o humano e perguntar: "O que você acha?". Isso torna a interação entre humanos e máquinas muito mais segura e confiável.

Título: VeriOS: Interação Proativa Humano-Agente-GUI Orientada por Consultas para Agentes de SO Confiáveis

1. Problema e Motivação

Com o avanço dos Modelos de Linguagem Multimodal (MLLMs), agentes de Sistema Operacional (OS) tornaram-se capazes de automatizar tarefas em interfaces gráficas (GUIs) de dispositivos inteligentes. No entanto, a maioria desses agentes é projetada para cenários ideais e confiáveis.

O artigo identifica que ambientes reais frequentemente apresentam condições não confiáveis que podem levar a riscos de sobre-execução (execução de ações erradas ou perigosas sem supervisão). Essas condições dividem-se em dois tipos:

Fatores do Lado do Ambiente: Anomalias (ex: pop-ups, desconexões, travamentos do SO) e ações inerentemente sensíveis (ex: liberar permissões de localização).
Fatores do Lado do Usuário: Instruções ambíguas ou situações com múltiplas escolhas plausíveis.

Estudos preliminares mostraram que agentes OS existentes falham em identificar corretamente esses cenários não confiáveis (precisão de 46,52% a 60,96%) e, quando inseridos com histórico de perguntas e respostas, tendem a ter seu desempenho em cenários normais degradado.

2. Metodologia

Os autores propõem o VeriOS, um agente OS confiável baseado em uma nova arquitetura de interação e um paradigma de aprendizado de três estágios.

2.1. Framework de Interação: Orientado por Consultas (Query-Driven)

Diferente de agentes baseados apenas em confiança (que interrompem a tarefa quando a pontuação de confiança é baixa) ou totalmente autônomos, o VeriOS adota uma abordagem proativa:

Cenários Normais: O agente executa tarefas autonomamente.
Cenários Não Confiáveis: O agente identifica o risco, formula uma consulta (query) clara para o usuário e aguarda a resposta antes de prosseguir.
Vantagem: Elimina a necessidade de o usuário operar a GUI diretamente, mantendo a interpretabilidade de toda a interação.

2.2. VeriOS-Bench (Benchmark)

Foi criado um benchmark cruzado (mobile, desktop, web, tablet) contendo:

Anotações de tipos de cenários não confiáveis.
Pares de pergunta-resposta (query-answer) entre o agente e o humano.
Dados decupados em dois tipos de conhecimento meta:
1. Conhecimento de Cenário: Para identificar o tipo de cenário e gerar a consulta correta.
2. Conhecimento de Ação: Para gerar ações executáveis na GUI usando o par pergunta-resposta.

2.3. Paradigma de Aprendizado de Três Estágios

Para treinar o agente a decuplar e utilizar esses conhecimentos sem interferência negativa, propõe-se:

Estágio de Decuplagem de Meta-Conhecimento:
- Cada instância de dados é dividida em duas sub-instâncias: uma focada em identificar o cenário e perguntar ( $d_1$ ), e outra focada em executar a ação baseada na resposta ( $d_2$ ).
- O conjunto de dados de treinamento é construído com treinamento intercalado (interleaved), alternando entre os dois tipos de conhecimento para preservar as conexões lógicas.
Estágio de Ajuste Fino Supervisionado (SFT):
- O modelo é treinado para aprender as conexões lógicas entre a formulação da pergunta e a geração da ação, resultando no VeriOS-Agent-SFT.
Estágio de Otimização de Política Relativa de Grupo (GRPO):
- Utiliza uma função de recompensa baseada em regras para refinar a política:
  - Recompensa de Cenário ( $r_{sce}$ ): Penaliza erros na identificação do cenário ou na geração da consulta.
  - Recompensa de Ação ( $r_{act}$ ): Avalia a precisão da ação executada e a aderência ao histórico de interação.
- O objetivo é maximizar a vantagem relativa das amostras dentro de um grupo, garantindo que o agente aprenda a agir corretamente tanto em cenários normais quanto nos que exigem consulta humana.

3. Contribuições Principais

Novo Paradigma de Interação: Propõe um método onde o agente OS consulta humanos proativamente em cenários não confiáveis, utilizando o histórico de respostas para completar tarefas, mantendo a autonomia em cenários normais.
Paradigma de Aprendizado de Três Estágios: Introduz uma abordagem que facilita a decuplagem e o uso de meta-conhecimento (cenário e ação) via SFT e GRPO, integrando-os em um único agente.
VeriOS-Bench: Lançamento de um benchmark cross-plataforma com anotações detalhadas de cenários não confiáveis e pares de consulta-resposta.
VeriOS-Agent: Desenvolvimento de um agente confiável que avalia cenários com precisão e executa tarefas através de consultas humanas.

4. Resultados Experimentais

Os experimentos foram realizados no VeriOS-Bench, comparando o VeriOS-Agent com 13 baselines (incluindo modelos proprietários como GPT-4o e modelos open-source especializados).

Desempenho em Cenários Não Confiáveis: O VeriOS-Agent melhorou a taxa de sucesso passo a passo em 20,64% (média) em comparação com a melhor linha de base em cenários não confiáveis.
Desempenho em Cenários Normais: O agente manteve um desempenho comparável aos baselines em cenários normais, sem degradação (ao contrário de tentativas anteriores de adicionar histórico de perguntas que prejudicavam o desempenho).
Precisão de Julgamento de Cenário (SJA): O VeriOS-Agent alcançou 80,21% de precisão na identificação de cenários não confiáveis, superando significativamente os agentes existentes (que variavam entre 46% e 61%).
Análise de Arquitetura:
- O treinamento intercalado mostrou-se superior a métodos como "shuffled", "rotating" ou "phased", pois preserva a relação lógica entre os tipos de conhecimento.
- O uso de um único agente (single-agent) foi mais eficiente e eficaz do que um sistema de dois agentes (dual-agent), evitando sobrecarga computacional e mantendo a capacidade de aprender conexões implícitas.
- O modelo demonstrou forte generalização (OOD) e escalabilidade, mantendo desempenho mesmo quando treinado com subconjuntos de dados de cenários não confiáveis e exposto a novos tipos.

5. Significado e Conclusão

O trabalho do VeriOS representa um avanço crucial para a segurança e confiabilidade de agentes de IA em sistemas operacionais. Ao reconhecer que a automação total em ambientes reais é arriscada, o VeriOS introduz um mecanismo de "frenagem inteligente" onde o agente sabe quando parar e perguntar.

A principal contribuição teórica é a demonstração de que é possível desacoplar meta-conhecimentos (percepção de risco vs. execução de ação) e treiná-los de forma integrada, permitindo que o agente seja tanto autônomo quanto colaborativo. Isso abre caminho para a implantação segura de agentes de IA em dispositivos do dia a dia, onde a interação humana é necessária apenas quando o risco de erro é alto, preservando a eficiência da automação na maioria das tarefas.