Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation

Este artigo propõe o framework CES, que utiliza aprendizado por reforço com feedback de execução para treinar modelos de alto nível (Coordenador e Rastreador de Estado) que, integrados a qualquer executor de baixo nível, superam os desafios de planejamento e gerenciamento de estado em tarefas de automação de GUI de longo prazo.

O essencial

Imagine que você está tentando ensinar um robô a realizar uma tarefa complexa no seu celular, como: "Encontre um artigo sobre a Terra, baixe uma foto, e compartilhe o link no Tumblr com um amigo chamado Katsunaksu".

Para tarefas simples (como "abra o navegador"), o robô funciona bem. Mas para tarefas longas e cheias de passos, os robôs atuais costumam falhar. Por quê?

O artigo que você enviou explica que o problema é como esses robôs são "pensados". Vamos usar uma analogia simples para entender a solução proposta pelos autores.

O Problema: O "Funcionário Sobrecarregado"

Imagine que você contrata um único funcionário para fazer todo o trabalho de uma empresa. Ele precisa:

1. Planejar a estratégia (o que fazer primeiro, depois, etc.).
2. Lembrar de tudo o que já foi feito (memória de longo prazo).
3. Executar as ações físicas (clicar no botão certo, digitar o texto).

O problema é que esse funcionário único fica confuso. Ele tenta fazer tudo ao mesmo tempo e acaba esquecendo onde estava (perde o "estado da tarefa") ou confunde o que precisa fazer. É como tentar dirigir um carro, ler um mapa complexo e cozinhar um jantar ao mesmo tempo: o resultado é um desastre.

A Solução: A "Equipe CES"

Os autores criaram um novo sistema chamado CES (Coordenador, Executor, Rastreador de Estado). Em vez de um funcionário sobrecarregado, eles montaram uma equipe especializada, como se fosse um sistema operacional de computador humano:

1. O Coordenador (O "Gerente" ou "Cérebro"):

   • Ele não toca no celular. Ele só olha para a tarefa grande e a divide em passos pequenos e claros.
   • Analogia: É como o chefe que diz: "Primeiro, abra o navegador. Depois, digite 'Terra'". Ele não se preocupa com como clicar, apenas com o que fazer.

2. O Executor (O "Operário" ou "Mãos"):

   • Ele é o robô que realmente clica nos botões e digita. Ele é muito bom em ver a tela e clicar no lugar certo, mas não precisa entender o plano geral.
   • Analogia: É o funcionário que apenas obedece às ordens do gerente. Ele não precisa saber por que está fazendo, apenas fazer.

3. O Rastreador de Estado (O "Diário de Bordo" ou "Memória Viva"):

   • Este é o grande diferencial. Ele fica observando o que o Executor fez e resume tudo em uma frase simples e atualizada.
   • Analogia: Imagine que o Executor está em uma sala cheia de espelhos (telas). O Rastreador é alguém que anota em um caderno: "Ok, o robô baixou a foto da Terra. Agora estamos prontos para ir ao Tumblr". Se o robô voltar para a tela inicial e esquecer tudo, o Rastreador olha no caderno e diz: "Ei, você já baixou a foto! Continue de onde parou".

Como eles ensinaram essa equipe? (A "Aprendizagem por Feedback")

O jeito tradicional de treinar robôs é mostrar milhares de vídeos de pessoas fazendo a tarefa e pedir para o robô imitar. Isso é caro e difícil.

Os autores usaram uma técnica inteligente chamada Reinforcement Learning (Aprendizado por Reforço) com Feedback de Execução:

• Eles congelaram o "Executor" (o operário) e não o treinaram.
• Eles treinaram apenas o "Gerente" e o "Diário de Bordo".
• O Truque: O robô tenta fazer a tarefa. Se o "Operário" conseguir clicar no botão certo e a tarefa avançar, o "Gerente" e o "Diário" ganham um ponto (recompensa). Se falharem, perdem pontos.
• Com o tempo, o "Gerente" aprende a dar ordens melhores e o "Diário" aprende a resumir as informações de forma que o "Gerente" nunca se perca.

O Resultado

Ao separar as funções (Planejar, Lembrar e Agir), o sistema CES consegue resolver tarefas longas e complexas muito melhor do que os robôs antigos.

• Sem o Rastreador: O robô esquece que já baixou a foto e fica repetindo o mesmo passo ou se perde na tela inicial.
• Com o Rastreador: O robô sabe exatamente em que ponto está, mesmo que a tarefa tenha 20 passos e envolva mudar de aplicativo várias vezes.

Em resumo: Em vez de tentar criar um "super-robô" que sabe tudo, os autores criaram uma "equipe de especialistas" onde cada um faz o que sabe de melhor, e eles se comunicam perfeitamente para não perderem o rumo. Isso torna a automação de tarefas no celular muito mais confiável e inteligente.

Resumo técnico

Título: Treinamento de Agendadores de Alto Nível com Aprendizado por Reforço de Feedback de Execução para Automação de GUI de Longo Alcance

1. O Problema

Os agentes de Interface Gráfica do Usuário (GUI) baseados em Grandes Modelos de Visão e Linguagem (VLMs) enfrentam desafios significativos ao lidar com tarefas de longo alcance (long-horizon tasks), que envolvem sequências complexas de ações através de múltiplas telas e aplicativos. O artigo identifica duas falhas fundamentais nas abordagens atuais (baseadas em Supervised Fine-Tuning - SFT ou Reinforcement Learning - RL em modelos únicos):

1. Acoplamento de Responsabilidade e Conflito de Capacidades: Modelos end-to-end tentam realizar simultaneamente o planejamento de alto nível (raciocínio estratégico, decomposição de tarefas) e a execução de baixo nível (localização de elementos, ação precisa). Isso sobrecarrega o modelo, levando a conflitos de otimização e colapso de capacidades à medida que a complexidade da tarefa aumenta.
2. Falta de Consciência do Estado da Tarefa: Em tarefas longas, o agente frequentemente perde o contexto. A maioria dos métodos depende apenas de sequências históricas de ações ou de capturas de tela (screenshots) para inferir o progresso. No entanto, screenshots são representações insuficientes e ruidosas do estado semântico da tarefa, especialmente em telas genéricas (como a tela inicial) ou interfaces fora da distribuição de treinamento (OOD), levando a erros de planejamento e perda de progresso.

2. Metodologia

Os autores propõem uma nova arquitetura e um algoritmo de treinamento para resolver esses problemas, focando na desacoplação estrutural das capacidades.

A. Framework CES (Coordinator-Executor-State Tracker)

O sistema é dividido em três agentes especializados, inspirados na arquitetura de um sistema operacional moderno:

• Coordinator (Coordenador): Atua como a "CPU". É responsável pelo planejamento estratégico, compreensão da intenção do usuário e decomposição de instruções de alto nível em instruções atômicas claras. Ele recebe a instrução do usuário, o estado atual do sistema e o resumo de estado do State Tracker.
• Executor (Executor): Atua como o "Dispositivo de E/S". É um modelo pré-treinado e congelado (frozen) que executa apenas a ação física na interface com base na instrução atômica do Coordenador. Ele não precisa entender o contexto global da tarefa.
• State Tracker (Rastreador de Estado): Atua como a "Memória Dinâmica". Sua função principal é a compressão de contexto dinâmica. Ele observa a saída do Executor e atualiza um resumo de estado de alta semântica em linguagem natural. Isso substitui a necessidade de processar longas sequências de screenshots, mantendo a coerência lógica da tarefa.

B. Algoritmo de Aprendizado por Reforço com Feedback de Execução (Staged Execution-Feedback RL)

Em vez de treinar um modelo único, o método foca no treinamento dos componentes de alto nível (Coordenador e State Tracker) usando um Executor fixo como fonte de feedback. O processo ocorre em duas etapas (Stages):

1. Aquecimento (Warm-up SFT): Treinamento supervisionado inicial para que os agentes aprendam seus papéis e formatos de saída.
2. Otimização por RL (GRPO): Utiliza o algoritmo Group Relative Policy Optimization (GRPO).
   • Feedback de Execução: O reward (recompensa) não é atribuído diretamente à qualidade do texto gerado pelo Coordenador ou State Tracker. Em vez disso, a saída deles é passada para o Executor. Se o Executor conseguir realizar a ação correta (verificável por regras), o reward é propagado de volta.
   • Stage 1 (Otimizar o Coordenador): O State Tracker usa estados "ground-truth" (perfeitos) para treinar o Coordenador a gerar instruções atômicas ótimas.
   • Stage 2 (Otimizar o State Tracker): O Coordenador é congelado. O State Tracker é treinado para gerar resumos de estado que maximizam a capacidade do Coordenador (já treinado) de tomar decisões corretas, aprendendo a comprimir informações de forma mais útil.

3. Contribuições Principais

• Framework CES: Uma arquitetura multi-agente plug-and-play que desacopla planejamento de alto nível da execução de baixo nível, permitindo integrar qualquer modelo Executor potente.
• State Tracker Especializado: Introdução de um módulo dedicado para compressão de contexto e gerenciamento de estado, resolvendo o problema de "perda de estado" em tarefas longas.
• Estratégia de RL em Estágios: Um método de treinamento que utiliza feedback de execução verificável para otimizar especificamente os componentes de planejamento e memória, evitando conflitos de otimização entre planejamento e execução.
• Generalização: Demonstra que módulos de alto nível treinados podem melhorar significativamente a performance de diversos modelos Executor, independentemente do tamanho do modelo base.

4. Resultados Experimentais

Os experimentos foram realizados em três benchmarks de tarefas complexas e de longo alcance: AITZ, AMEX e GUI-Odyssey.

• Desempenho Superior: O framework CES superou consistentemente os baselines (incluindo modelos SFT e RL de agente único como GUI-R1 e UI-R1).
  • No benchmark GUI-Odyssey, o CES com o Executor GUI-R1-7B aumentou a Taxa de Sucesso (SR) de 38,79% para 53,69%.
  • Houve ganhos significativos na precisão de tipos de ação (Type) e na taxa de sucesso (SR) em todos os benchmarks.
• Análise de Generalização:
  • O uso de prompts simples com um único modelo grande (CES-P) mostrou melhorias instáveis e, em modelos menores (3B), até degradação de performance, confirmando a hipótese de conflito de capacidades.
  • O framework completo (CES) com componentes treinados especificamente superou o uso de prompts, demonstrando que o treinamento especializado é crucial.
• Análise de Falhas: A análise de casos de erro mostrou que o CES quase eliminou erros de "Perda de Estado" (State Loss) e reduziu drasticamente erros de "Planejamento" (Planning Error), transferindo o gargalo de performance para as limitações de percepção do próprio Executor (o que é esperado, já que o Executor é congelado).

5. Significância e Conclusão

Este trabalho representa um avanço significativo na automação de GUIs ao mudar o paradigma de "um modelo para tudo" para uma arquitetura multi-agente especializada.

• Solução para Tarefas Longas: Ao introduzir um gerenciador de estado explícito e desacoplar o planejamento da execução, o método resolve o problema fundamental de como manter o contexto em tarefas que atravessam múltiplos aplicativos.
• Eficiência de Treinamento: A estratégia de RL baseada em feedback de execução permite treinar agentes de alto nível sem a necessidade de dados de trajetória massivos e anotados manualmente para cada passo, utilizando recompensas verificáveis geradas pela execução real.
• Modularidade: O framework é "plug-and-play", podendo ser combinado com qualquer modelo Executor forte, tornando-o uma solução escalável e generalizável para a próxima geração de agentes de automação.

Em resumo, os autores demonstram que a especialização de funções e o treinamento focado em feedback de execução são a chave para superar as limitações atuais dos agentes de GUI em cenários complexos e de longo prazo.