UI-Venus-1.5 Technical Report

O relatório técnico apresenta o UI-Venus-1.5, uma nova família de agentes de interface gráfica unificados e de ponta que, através de avanços como um estágio de treinamento intermediário abrangente, aprendizado por reforço online e fusão de modelos, alcança desempenho superior em benchmarks globais e demonstra robustez na execução de tarefas em aplicativos móveis reais, incluindo em português e chinês.

O essencial

Imagine que você tem um assistente pessoal superinteligente, mas em vez de apenas responder perguntas, ele é capaz de pegar o controle remoto do seu celular ou computador e fazer as coisas por você. É como se ele tivesse olhos para ver a tela e dedos virtuais para clicar, digitar e rolar, exatamente como um humano faria.

Este relatório apresenta o UI-Venus-1.5, a nova versão desse assistente, criada pela equipe da Ant Group. Vamos explicar como ele funciona usando algumas analogias do dia a dia:

1. O Problema: O "Estagiário" vs. O "Especialista"

Antes, os assistentes de interface (GUI Agents) eram como estagiários muito inteligentes, mas que às vezes se perdiam. Eles conseguiam fazer tarefas simples, mas quando o caminho era longo ou o aplicativo era complexo, eles cometiam erros ou esqueciam o objetivo final.

O UI-Venus-1.5 é como transformar esse estagiário em um gerente de operações experiente. Ele não só sabe clicar nos botões, mas entende o contexto, planeja o caminho e se adapta se algo der errado.

2. A Receita do Sucesso: Os 3 Segredos da Cozinha

Para criar esse "super-gerente", a equipe usou três técnicas principais, que podemos comparar a um processo de treinamento esportivo:

• A "Escola de Base" (Mid-Training):
  Antes de começar a treinar para a competição final, o modelo foi submetido a um curso intensivo. Eles alimentaram o cérebro do robô com 10 bilhões de "pedaços" de texto e imagens de 30 bancos de dados diferentes.

  • Analogia: É como dar a um aluno milhares de livros sobre como funcionam lojas, bancos e sites antes de mandá-lo trabalhar. Agora, ele já sabe o que é um botão de "comprar", um campo de "senha" ou um ícone de "menu", sem precisar ser ensinado do zero a cada tarefa.

• O "Treino em Campo Real" (Aprendizado por Reforço Online):
  Antigamente, os robôs aprendiam apenas olhando para fotos de tarefas já feitas (como assistir a um vídeo de alguém dirigindo). O UI-Venus-1.5, no entanto, foi colocado para dirigir de verdade.

  • Analogia: Imagine aprender a andar de bicicleta. Você pode ler um manual (treino offline), mas só aprende de verdade quando sobe na bike, cai, se levanta e ajusta o equilíbrio (treino online). O modelo interagiu com milhares de celulares e computadores reais, tentando completar tarefas. Se ele errava, recebia uma "punição"; se acertava, recebia um "prêmio". Isso o tornou muito mais esperto em lidar com imprevistos.

• A "Fusão de Superpoderes" (Model Merging):
  O segredo final é a unificação. Normalmente, você teria um robô especialista em sites, outro em celulares e outro em encontrar botões na tela. O UI-Venus-1.5 pegou esses três "especialistas" e os fundiu em um único cérebro.

  • Analogia: É como ter um time de futebol onde cada jogador é um craque em uma posição. Em vez de ter três times separados, você funde todos eles em um único time de elite que joga bem em qualquer posição, sem precisar trocar de jogador no meio do jogo. Isso torna o sistema mais rápido e fácil de usar.

3. O Resultado: Um Campeão Mundial

Os testes mostraram que esse novo assistente é um campeão:

• Precisão: Ele acertou tarefas complexas em benchmarks (campeonatos de teste) com taxas de sucesso muito altas (chegando a quase 80% em alguns testes de navegação em Android).
• Versatilidade: Ele funciona tanto em sites quanto em aplicativos de celular, e até em softwares de computador complexos.
• Realidade: O time otimizou o modelo especificamente para o ecossistema de aplicativos chineses (como comprar ingressos, reservar voos ou gerenciar conversas), provando que ele não é apenas um experimento de laboratório, mas uma ferramenta útil para o dia a dia.

Resumo em uma frase

O UI-Venus-1.5 é o primeiro assistente de IA que foi "educado" em uma escola de massa, "treinado" dirigindo em estradas reais e "fundido" em um único especialista, pronto para fazer suas tarefas digitais com a mesma naturalidade e eficiência de um humano.

É um grande passo em direção a um futuro onde seus dispositivos não apenas obedecem a comandos, mas realmente entendem o que você quer fazer e executam a tarefa por você.

Resumo técnico

Resumo Técnico: UI-Venus-1.5

1. O Problema

Os agentes de Interface Gráfica (GUI) emergiram como uma solução promissora para automatizar interações em ambientes digitais, substituindo ferramentas tradicionais baseadas em APIs rígidas. No entanto, o campo enfrenta desafios significativos:

• Generalidade vs. Desempenho: É difícil criar um agente que seja ao mesmo tempo universalmente capaz e que mantenha um desempenho consistente em tarefas complexas do mundo real.
• Discrepância de Precisão: Existe uma lacuna entre a precisão em nível de etapa (step-level) e a precisão em nível de trajetória (trace-level). Modelos treinados apenas com Fine-Tuning Supervisionado (SFT) ou Reinforcement Learning (RL) offline frequentemente falham em compor sequências completas de ações bem-sucedidas devido à esparsidade de recompensas e à mudança de domínio entre dados de treinamento e benchmarks reais.
• Fragmentação de Modelos: Soluções anteriores frequentemente exigiam modelos separados para diferentes domínios (ex: um para grounding, outro para web, outro para mobile), complicando a implantação e o uso.

2. Metodologia

O UI-Venus-1.5 é um agente de GUI unificado e end-to-end, projetado para operar em plataformas móveis e web. A arquitetura baseia-se no modelo Qwen3-VL e segue um pipeline de treinamento de quatro estágios distintos:

1. Fase de Mid-Training (Pré-treinamento Intermediário):

   • Objetivo: Preencher a lacuna semântica entre a percepção visual geral e a compreensão estrutural fina de interfaces.
   • Dados: Utiliza um corpus unificado de 10 bilhões de tokens extraídos de mais de 30 conjuntos de dados (incluindo Mind2Web, ShowUI, AITW).
   • Refinamento Iterativo: Emprega um pipeline de "ensino" onde um modelo maior (Qwen3-VL-235B) avalia, pontua e reescreve trajetórias de navegação, aumentando a proporção de amostras de alta fidelidade de 69,7% para 89,7%.
   • Geração de Dados: Um ciclo de geração baseado em dispositivos reais (DaaS) coleta trajetórias de execução real, melhorando a taxa de sucesso da geração de tarefas de 17,9% para mais de 70%.

2. Reinforcement Learning Offline (RL Offline):

   • Realizado separadamente para três objetivos: Grounding (localização), Navegação Mobile e Navegação Web.
   • Recompensas: Utiliza um sistema de recompensa desacoplado que inclui recompensas de formato (estrutura XML) e recompensas de ação (precisão de coordenadas, correspondência de texto, tipos de ação).
   • Capacidade de Recusa: Introduz a capacidade de recusar instruções inválidas (retornando [-1, -1]) quando um elemento não existe na imagem, reduzindo alucinações.

3. Reinforcement Learning Online (RL Online):

   • Motivação: Resolver o problema da discrepância entre precisão de etapa e de trajetória, permitindo que o agente aprenda com feedback em tempo real em ambientes dinâmicos.
   • Infraestrutura DaaS (Device-as-a-Service): Uma camada unificada que orquestra milhares de dispositivos heterogêneos (Android, Chrome, Linux) para execução paralela massiva, garantindo baixa latência e alta concorrência.
   • Algoritmo: Utiliza GRPO (Group Relative Policy Optimization), que estima vantagens relativas a partir de grupos de trajetórias, eliminando a necessidade de uma rede de valor separada e lidando melhor com recompensas esparsas.
   • Regularização: Inclui restrições adaptativas de KL e regularização de entropia para equilibrar exploração e estabilidade.

4. Fusão de Modelos (Model Merging):

   • Em vez de treinar um único modelo do zero para todas as tarefas, os modelos especializados (Grounding, Web, Mobile) são fundidos em um único checkpoint.
   • Técnica: Utiliza TIES-Merge (em vez de simples fusão linear), que poda atualizações de baixo magnitude e resolve conflitos de sinais, preservando o desempenho em todos os domínios com perda mínima.

3. Principais Contribuições

• Arquitetura Unificada End-to-End: O primeiro modelo a consolidar capacidades de grounding, navegação web e mobile em um único checkpoint, simplificando drasticamente a implantação.
• Pipeline de Treinamento Híbrido: A combinação estratégica de Mid-Training massivo, RL Offline para otimização de tarefas específicas e RL Online para robustez em cenários dinâmicos.
• Infraestrutura DaaS Escalável: Uma arquitetura de serviço de dispositivos capaz de suportar milhares de dispositivos concorrentes para treinamento e avaliação de RL online.
• Otimização para Ecossistema Chinês: O modelo foi especificamente otimizado para mais de 40 aplicativos móveis chineses, demonstrando utilidade prática em cenários reais como compra de ingressos e gestão de conversas.

4. Resultados (Benchmarks)

O UI-Venus-1.5 estabeleceu novos estados da arte (SOTA) em diversas métricas, superando modelos anteriores e concorrentes fortes (como MAI-UI, Holo2, Step-GUI):

• Grounding (Localização):
  • ScreenSpot-Pro: 69,6% (30B-A3B), superando o MAI-UI-32B (67,9%).
  • VenusBench-GD: 75,0% (30B-A3B).
  • OSWorld-G-R: 76,4% (30B-A3B).
• Navegação (Mobile):
  • AndroidWorld: 77,6% (30B-A3B), superando o Mobile-Agent-v3 e MAI-UI.
  • AndroidLab: 68,1% (versão corrigida manualmente para o modelo 30B), superando modelos de 72B da geração anterior.
  • VenusBench-Mobile: 21,5% (30B-A3B), um aumento significativo sobre o anterior melhor modelo.
• Navegação (Web):
  • WebVoyager: 76,0% (30B-A3B), competindo com os melhores agentes web existentes.
• Eficiência: O modelo de 8B do UI-Venus-1.5 supera o modelo de 72B da versão anterior (UI-Venus-1.0) em várias tarefas, demonstrando a eficácia da metodologia de treinamento.

5. Significância

O UI-Venus-1.5 representa um avanço crucial na direção de assistentes digitais verdadeiramente autônomos e úteis. Ao resolver o problema da generalização através de um treinamento híbrido robusto e de uma arquitetura unificada, ele demonstra que é possível criar agentes que não apenas atingem métricas acadêmicas, mas também executam tarefas complexas e dinâmicas em aplicativos do mundo real com alta confiabilidade. A capacidade de operar em um único modelo, cobrindo desde a localização precisa de ícones até a navegação de longo prazo em múltiplos sistemas operacionais, marca um passo importante para a adoção prática de agentes de GUI em escala industrial.