🤖 AI

Task-Adaptive Rubrics for GUI Reward Modeling

O artigo apresenta o AdaptRubric, um framework de grosso para fino que aprimora a modelagem de recompensa de GUI através da construção dinâmica de critérios de julgamento adaptáveis à tarefa por meio de recuperação em nível de categoria e refinamento em nível de instância, melhorando significativamente tanto a precisão da avaliação de recompensa quanto as taxas de sucesso das tarefas em comparação com os métodos existentes.

Autores originais: Tao Xiong, Xavier Hu, Wenkai Wang, Qinzhuo Wu, Changqiao Wu, Pengzhi Gao, Wei Liu, Jian Luan, Shengyu Zhang

Publicado 2026-08-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tao Xiong, Xavier Hu, Wenkai Wang, Qinzhuo Wu, Changqiao Wu, Pengzhi Gao, Wei Liu, Jian Luan, Shengyu Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um programa de computador que pode olhar para uma tela, entender o pedido de um humano e clicar nos botões certos para realizar o trabalho. Esta é a promessa do agente de GUI moderno, um trabalhador digital capaz de navegar pelas complexas interfaces de nossos telefones e computadores. Mas para que esses agentes aprendam e melhorem, eles precisam de um professor. No mundo da inteligência artificial, esse professor é um sistema de recompensa que observa as ações do agente e decide se ele teve sucesso ou falhou. Se o agente configurar com sucesso um temporizador ou enviar um e-mail, o professor dá um sinal de "bom trabalho". Se o agente clicar no botão errado ou deixar uma configuração inalterada, o professor deve dizer "tente novamente". A qualidade desse feedback é tudo; um professor que seja muito vago ou muito rigoroso confundirá o aluno, impedindo-o de aprender o modo correto de se comportar.

Por muito tempo, esses professores digitais lutaram contra um problema específico: eles frequentemente perdem os detalhes finos do que um humano realmente pediu. Eles podem ver que um número foi alterado em uma tela e assumir que a tarefa está concluída, mesmo que o número errado tenha sido alterado, ou podem ignorar uma instrução específica sobre onde colocar um trecho de texto. Os pesquisadores por trás de um novo estudo, liderados por Tao Xiong e Shengyu Zhang, perceberam que a maneira como esses professores julgavam o sucesso era muito rígida. Eles estavam ou usando uma lista de verificação genérica que se aplicava a todas as tarefas, ou dependiam do próprio palpite do computador sobre o que era importante. Ambas as abordagens levaram a erros onde o computador pensava que tinha tido sucesso quando, na verdade, havia falhado, ou vice-versa.

Para resolver isso, a equipe desenvolveu um novo método chamado ADAPTRUBRIC. Pense nisso como um processo de duas etapas para criar uma rubrica de avaliação personalizada para cada tarefa. Primeiro, o sistema observa o pedido do usuário e identifica a qual categoria ampla de trabalho ele pertence, como "enviar uma mensagem", "alterar uma configuração" ou "excluir um arquivo". Para cada uma dessas categorias, o sistema possui um conjunto pré-escrito de regras que cobre as armadilhas comuns e os requisitos padrão. Esta é a etapa "grossa" (coarse), que fornece uma base sólida e garante que o professor conheça os limites gerais da tarefa.

Mas o sistema não para por aí. Na segunda etapa, a etapa "fina" (fine), ele observa atentamente os detalhes específicos do pedido atual. Se um usuário pede para alterar uma configuração para exatamente cinquenta, o sistema adiciona uma regra específica para verificar esse número. Se um usuário pede para mover um arquivo para uma pasta específica, o sistema adiciona uma regra para verificar o destino. Isso permite que o professor se adapte instantamente às restrições únicas do momento. Os pesquisadores testaram essa nova abordagem em uma grande variedade de tarefas em diferentes sistemas operacionais, incluindo Windows, macOS, Android e a web. Eles descobriram que, ao combinar as regras de categorias amplas com os detalhes específicos e adaptáveis à tarefa, o sistema tornou-se significativamente melhor em julgar o sucesso.

Os resultados foram claros e mensuráveis. Quando testado em um benchmark de mais de 1.400 tentativas de tarefas diferentes, o novo método identificou corretamente se uma tarefa era um sucesso ou uma falha 86,7% das vezes. Este foi um avanço perceptível em relação aos métodos anteriores, que frequentemente erravam por uma margem maior. Mais importante ainda, os pesquisadores usaram este professor mais inteligente para treinar um agente de IA em um ambiente real. Quando o agente aprendeu com o feedback fornecido pelo ADAPTRUBRIC, ele tornou-se muito melhor em completar tarefas por conta própria, alcançando uma taxa de sucesso 4,23 pontos percentuais maior do que quando foi treinado com sistemas de recompensa mais antigos e menos precisos.

O estudo também destacou exatamente onde os métodos antigos falharam. Em um exemplo específico, um usuário pediu a um agente para adicionar uma saudação ao topo de uma nota digital. O agente adicionou a saudação, mas a colocou na parte inferior do texto, em vez de no topo. Os professores antigos, olhando apenas se o texto aparecia, marcaram isso como um sucesso. O novo sistema, no entanto, reconheceu que a instrução exigia especificamente que o texto estivesse no topo, e corretamente marcou a tentativa como uma falha. Essa capacidade de distinguir entre "algo aconteceu" e "a coisa certa aconteceu da maneira certa" é o que faz a diferença. Ao construir um sistema de julgamento que é amplo o suficiente para cobrir tarefas gerais e agudo o suficiente para capturar detalhes específicos, os pesquisadores forneceram uma maneira mais confiável para os agentes de IA aprenderem com seus erros e dominarem o mundo digital.

Resumo Técnico: Rubricas Adaptáveis à Tarefa para Modelagem de Recompensa de GUI

1. Declaração do Problema

Os avanços recentes em agentes de Interface Gráfica do Usuário (GUI) dependem fortemente de Modelos de Recompensa de Resultado (ORMs) para avaliar se uma trajetória executada satisfaz as instruções do usuário. No entanto, os verificadores de recompensa existentes sofrem de uma limitação crítica: critérios de julgamento subespecificados.

As abordagens atuais geralmente se dividem em duas categorias, ambas carecendo de adaptabilidade à tarefa:

Templates Estáticos: Utilizam estruturas de rubrica fixas. Embora estáveis, são muito genéricas. Podem verificar se uma tarefa foi "concluída", mas falham em adaptar as verificações para alvos, valores exigidos, escopos de operação ou formatos de saída específicos definidos na instrução atual.
Raciocínio Implícito: Dependem do raciocínio interno do modelo sem limites explícitos. Isso oferece flexibilidade, mas corre o risco de negligenciar detalhes específicos da instrução ou introduzir restrições (expansão de escopo) que não faziam parte da tarefa original.

O problema central é que um verificador deve derivar critérios de julgamento explícitos e adaptáveis à tarefa a partir da instrução do usuário antes de atribuir uma recompensa. Sem isso, os verificadores podem julgar incorretamente uma trajetória como bem-sucedida (ex: verificando a presença de conteúdo, mas ignorando uma restrição de posicionamento específica) ou serem excessivamente rigorosos ao impor requisitos não declarados.

2. Metodologia: ADAPTRUBRIC

Os autores propõem o ADAPTRUBRIC, um Framework de Rubricas de Coarse-to-Fine (do macro ao micro) projetado para construir critérios de julgamento adaptáveis à tarefa através de um processo de dois estágios. O framework funde uma rubrica macro de nível de categoria com uma rubrica micro de nível de instância para guiar um verificador de Modelo de Linguagem Visual (VLM).

2.1 Estágio 1: Recuperação de Rubrica Macro de Nível de Categoria

Este estágio estabelece o limite de verificação baseado na família da tarefa.

Construção de Taxonomia: Os autores definem uma taxonomia de 8 categorias de tarefas de GUI (ex: info_query, create_modify, delete_cleanup, communication, transfer, state_navigation, composite_workflow, general).
Banco de Rubricas: Um banco fixo de rubricas é construído offline usando um procedimento de indução assistido por LLM em um pool de trajetórias de desenvolvimento. Cada entrada de categoria ( $E_c$ $E_{c}$ ) contém:
- Etapas de Verificação: Procedimentos padrão para aquela categoria.
- Armadilhas Comuns: Modos típicos de falha.
- Regras Especiais: Restrições específicas do domínio.
- Formato de Saída: Requisitos de resposta estruturada.
Roteamento: Na inferência, um roteador de tarefas ( $g_\phi$ ) prevê a categoria $c$ a partir da instrução $I$ . O sistema recupera a rubrica macro correspondente ( $R_c$ ) do banco. Se nenhuma categoria específica for identificada, ele recorre a uma rubrica geral.

2.2 Estágio 2: Geração de Rubrica Micro de Nível de Instância

Este estágio adapta a rubrica macro às restrições específicas da instrução atual.

Gerador: Um gerador de rubrica micro ( $h_\psi$ ) recebe a instrução $I$ , a categoria prevista $c$ e a rubrica macro $R_c$ como entrada.
Restrições: O gerador é limitado a produzir uma lista compacta de no máximo dois itens ( $|R_f| \le 2$ $∣ R_{f} ∣ \leq 2$ ).
- Fundamentação na Instrução: Cada item micro deve ser suportado por uma frase ou valor explícito na instrução do usuário.
- Abstenção: O gerificador pode retornar um conjunto vazio ( $R_f = \emptyset$ ) se não forem necessários sinais adicionais específicos, evitando a introdução de restrições alucinadas.
Saída: O resultado é um conjunto de pistas compactas de nível de instância ( $R_f$ ) destacando valores, escopos ou restrições concretas (ex: "adicionar ao topo da nota" em vez de apenas "adicionar texto").

2.3 Fusão de Critérios e Verificação de Recompensa

Fusão: O critério de julgamento final $R$ é formado anexando a rubrica micro à rubrica macro: $R = R_c \oplus R_f$ . Isso preserva o limite de nível de categoria enquanto adiciona detalhes específicos da instância.
Seleção de Contexto: Um seletor de contexto ( $\sigma$ ) extrai um contexto de trajetória compacto $\tau'$ (ex: estado inicial, estado final e frames de ação de alto sinal) da trajetória completa.
Verificação: O critério fundido $R$ , a instrução $I$ e o contexto $\tau'$ são passados para um verificador VLM ( $f_\theta$ ) para prever um resultado de recompensa binária ( $\hat{r} \in \{0, 1\}$ ).

3. Principais Contribuições

Formulação: O artigo formula o problema da construção de critérios adaptáveis à tarefa para modelagem de recompensa de resultado de GUI, enfatizando a necessidade de derivar critérios explícitos das instruções antes da atribuição de recompensa.
Framework (ADAPTRUBRIC): Introdução de um framework de coarse-to-fine que combina rubricas reutilizáveis de nível de categoria com rubricas de nível de instância compactas e fundamentadas na instrução.
Validação Empírica: Avaliação abrangente demonstrando que a construção explícita de critérios adaptáveis à tarefa melhora tanto a discriminação de recompensa offline quanto o desempenho de aprendizado por reforço (RL) online subsequente.

4. Resultados Experimentais

4.1 Discriminação de Recompensa Offline (OGRBench)

Avaliado no OmniGUIRewardBench (OGRBench) em cinco plataformas (Ubuntu, Mobile, Windows, macOS, Web) usando vários backbones Qwen e Gemini.

Desempenho: O ADAPTRUBRIC alcançou 86,7% de Acurácia e 86,6 F1.
Melhoria: Melhorou o F1 em 3,6 pontos em relação à média das linhas de base (ZeroGUI e OS-Themis) sob um orçamento de 10 imagens de screenshots compatível.
Ganho de Recall: A principal melhoria veio do Recall (aumentando de 80,2% para 86,5%), indicando que o método recupera com sucesso mais trajetórias verdadeiramente positivas sem sacrificar a precisão.
Consistência: O método superou as linhas de base em todas as plataformas e backbones de juiz.

4.2 Aprendizado por Reforço Online

Avaliado no ambiente MobileWorld usando o framework ClawGUI com otimização GRPO.

Configuração: Substituiu o agente de recompensa no loop de treinamento pelo ADAPTRUBRIC, mantendo o backbone da política (MAI-UI-8B) e o protocolo de treinamento fixos.
Resultado: O uso do ADAPTRUBRIC como verificador de recompensa rendeu um ganho absoluto de 4,23 pontos na taxa de sucesso da tarefa (subindo de 19,70% para 23,93%), superando todos os outros agentes de recompensa comparados (DigiRL, ZeroGUI, OS-Themis).

4.3 Escalonamento de Tempo de Teste Guiado por Recompensa

Avaliado em um pool heterogêneo de 113 tarefas AndroidWorld com 10 trajetórias candidatas por tarefa.

Protocolos de Seleção: Testados EarlyStop (baixa latência) e BestOfN (lote) de seleção.
Resultados: O ADAPTRUBRIC alcançou os maiores ganhos sobre a seleção Aleatória (Random): +11,88 pontos para EarlyStop@7 e +13,28 pontos para BestOfN@8.
Eficiência: Manteve uma baixa Taxa de Falsos Positivos (11,17%), comparável à linha de base conservadora OS-Themis, enquanto superou significativamente os outros em acurácia e F1.

4.4 Ablação e Eficiência

Ablação: Remover o componente Coarse ou o componente Fine reduziu o F1 em 2,0 pontos. Remover ambos (dependendo apenas de imagens e instruções) reduziu o F1 em 5,9 pontos, confirmando a natureza complementar dos dois estágios.
Eficiência: O ADAPTRUBRIC forneceu o melhor equilíbrio qualidade-custo, usando significativamente menos tokens e tempo de execução do que o OS-Themis e ZeroGUI, enquanto alcançava maior acurácia.

5. Significância e Alegações

O artigo afirma que a construção explícita de critérios adaptáveis à tarefa é essencial para uma modelagem de recompensa de GUI confiável.

Motivação: Os autores argumentam que templates genéricos ou raciocínio implícito são insuficientes porque não conseguem simultaneamente preservar os limites de verificação das categorias de tarefas e adaptar-se às restrições concretas de instruções específicas.
Impacto: Ao combinar limites de nível de categoria (via Rubricas Macro) com pistas de nível de instância (via Rubricas Micro), o ADAPTRUBRIC permite que os verificadores identifiquem corretamente falhas que as linhas de base perdem (ex: verificar o conteúdo, mas perder restrições de posicionamento, como mostrado no estudo de caso "Hello, World!").
Valor Subsequente: O sinal de recompensa aprimorado traduz-se diretamente em uma melhor otimização de política em RL online, sugerindo que a qualidade do critério de recompensa é um gargalo no treinamento atual de agentes de GUI.

Os autores permanecem modestos quanto às limitações, observando que a taxonomia é fixa offline e pode não capturar cada aplicação emergente ou fluxo de trabalho específico de domínio, e que a avaliação, embora multiplataforma, não esgota todos os possíveis designs de interface.