CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks

O artigo apresenta o CRAFT-GUI, um framework de aprendizado baseado em currículo e otimização de política (GRPO) que supera limitações de métodos anteriores ao considerar a variação de dificuldade das tarefas e oferecer recompensas mais refinadas, resultando em ganhos significativos de desempenho em benchmarks de interação com interfaces gráficas.

O essencial

Imagine que você está tentando ensinar um robô a usar o celular, como se ele fosse uma criança aprendendo a andar de bicicleta. O objetivo é que esse robô consiga fazer tarefas sozinho: pedir comida, agendar uma consulta médica ou comprar um ingresso, apenas olhando para a tela e clicando nos lugares certos.

O artigo que você enviou apresenta um novo método chamado CRAFT-GUI. Vamos descomplicar como ele funciona usando algumas analogias do dia a dia.

1. O Problema: "Ensinar tudo de uma vez"

Antes, os pesquisadores tentavam ensinar esses robôs mostrando milhares de tarefas ao mesmo tempo, do mais fácil ao mais difícil, sem nenhuma ordem.

• A Analogia: Imagine tentar ensinar uma criança de 5 anos a ler. Você pega um livro de alfabeto, um livro de contos de fadas e um livro de física quântica, mistura tudo numa pilha e diz: "Aprenda isso tudo agora".
• O Resultado: A criança (ou o robô) fica confusa, frustrada e não aprende nada direito. O robô falhava porque não sabia por onde começar.

2. A Solução: O "Currículo" (CRAFT-GUI)

A grande ideia do CRAFT-GUI é usar um Currículo de Aprendizado. É como um professor de escola que sabe exatamente em que nível o aluno está.

• Como funciona: O robô começa apenas com tarefas muito simples (ex: "Clique no botão 'Voltar'"). Só depois que ele acerta isso consistentemente, o professor (o sistema) apresenta tarefas um pouco mais difíceis (ex: "Vá até o aplicativo de comida e peça um lanche"). E só no final, ele enfrenta os desafios complexos (ex: "Compare preços em três apps diferentes e escolha o melhor").
• A Metáfora: É como subir uma escada. Você não pula do chão direto para o telhado. Você sobe degrau por degrau. O robô ganha confiança nas tarefas fáceis antes de tentar as difíceis.

3. O Sistema de Recompensas: O "Apontador de Dedos"

Para o robô aprender, ele precisa saber o que fez de certo e o que fez de errado. Os métodos antigos eram muito brutos: "Você acertou a tarefa inteira? Parabéns! (+1 ponto)". Se ele errasse no meio do caminho, recebia zero, sem saber onde errou.

O CRAFT-GUI criou um sistema de recompensas mais inteligente e detalhado:

• Regras Simples: Se o robô clicou no botão certo, ganha um ponto. Se digitou o texto correto, ganha outro ponto.
• O "Juiz" Inteligente: Para tarefas mais complexas (como entender se uma imagem está certa), o sistema usa outro modelo de IA muito esperto para atuar como um "juiz". Ele olha o que o robô fez e diz: "Ei, você clicou no lugar certo, mas o texto que você digitou estava um pouco fora do contexto".
• A Analogia: É como um treinador de futebol. Em vez de apenas gritar "GOL!" ou "FOU!", o treinador aponta e diz: "Ótima passada, mas você chutou muito forte" ou "Bom posicionamento, mas você não viu o companheiro aberto". Esse feedback detalhado ajuda o robô a corrigir erros específicos, não apenas a tarefa inteira.

4. O Resultado: Um Robô Mais Esperto

Com esse método, os pesquisadores testaram o robô em dois lugares:

1. Benchmarks Públicos: Testes padrão da indústria (como o "AndroidWorld").
2. Dados Reais da Empresa: Um conjunto de dados interno com 80.000 tarefas reais de apps de comida, bancos, jogos, etc.

O Veredito:
O robô treinado com o CRAFT-GUI foi muito melhor do que os anteriores.

• Ele melhorou em 7,1% nos testes públicos.
• Ele melhorou em 10,3% nos testes com dados reais da empresa.

Resumo em uma frase

O CRAFT-GUI é como transformar um professor que joga tudo na mesa de uma vez em um tutor paciente, que ensina passo a passo, do básico ao avançado, e dá dicas precisas sobre onde melhorar, criando um assistente de celular que realmente sabe o que está fazendo.

Isso significa que, no futuro, poderemos confiar mais nesses assistentes para fazer tarefas complexas no nosso celular sem que eles se percam ou cliquem no lugar errado.

Resumo técnico

, , `).
* Penalidade de Comprimento ($P_{length}$): Um mecanismo adaptativo que penaliza respostas excessivamente longas para evitar o "colapso" do modelo devido ao crescimento explosivo de tokens de pensamento.

• Recompensas para Compreensão Visual:
  • Utiliza uma abordagem de "LLM como Juiz" ($R_{sem}$) para avaliar a semântica e a alinhamento com a verdade fundamental em tarefas complexas de raciocínio visual, combinada com as recompensas de formato e penalidade de comprimento.

3. Principais Contribuições

1. Estratégia de RL com Currículo: Um método sistemático que progride de tarefas simples para complexas baseado nas características da trajetória, simulando a aquisição de habilidades humanas.
2. Mecanismos de Recompensa Híbrida de Alta Granularidade: Integração de regras verificáveis (para estabilidade) e avaliação por modelo (para nuances semânticas), garantindo convergência estável.
3. Treinamento Conjunto de Operação e Compreensão: O modelo é treinado simultaneamente em tarefas de execução (clicar/digitar) e compreensão (raciocínio visual), desenvolvendo tanto competência de ação de baixo nível quanto compreensão de tarefa de alto nível.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando modelos base Qwen2.5-VL (7B e 32B parâmetros) em benchmarks públicos e conjuntos de dados proprietários.

• Benchmarks Públicos (AndroidWorld): O CRAFT-GUI superou as abordagens anteriores (SOTA) em 7,1% na taxa de sucesso de tarefas.
• Conjunto de Dados Proprietário (Ant Group): Em um conjunto de dados interno com 80k amostras cobrindo 6 categorias (entrega de comida, serviços médicos, finanças, etc.), o método superou os baselines de ponta (incluindo Claude-3.7-Sonnet e GPT-4.1) em 10,3% na taxa de sucesso média.
• Estudo de Ablação:
  • O uso de Currículo RL aumentou a taxa de sucesso em 14,9% comparado ao Fine-Tuning Supervisionado (SFT) e em 3,8% comparado ao RL padrão sem currículo.
  • A mistura de dados de Operação + Compreensão resultou em uma melhoria de 2,5% na taxa de sucesso em comparação ao uso de apenas dados de operação, demonstrando que a compreensão visual melhora a execução de tarefas.

5. Significado e Impacto

O trabalho CRAFT-GUI valida empiricamente que a integração de Aprendizado por Reforço com Aprendizado de Currículo é fundamental para o avanço de agentes de GUI. Ao abordar a heterogeneidade da dificuldade das tarefas e fornecer feedback de recompensa mais fino, o método permite que os agentes aprendam de forma mais eficiente e estável.

Isso representa um passo significativo rumo a agentes de GUI verdadeiramente autônomos e versáteis, capazes de raciocinar e interagir com dispositivos móveis em cenários do mundo real sem depender de APIs estruturadas ou prompts manuais complexos. O framework proposto oferece uma base sólida para futuras extensões, incluindo tarefas em computadores e mecanismos de "tentativa e erro" com reversão (rollback).