Qwen-CUA: Native Computer Use for (almost) Everything
O artigo apresenta o Qwen-CUA, um agente nativo de uso de computador construído sobre uma espinha dorsal de mistura de especialistas (mixture-of-experts) de 397B que opera exclusivamente por meio de capturas de tela e eventos de entrada sem depender de árvores DOM, alcançando desempenho de estado da arte em benchmarks de uso de computador através de treinamento de implantação em nuvem em larga escala, otimização de recompensa verificável e arquitetura escalável.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde o seu computador não apenas espera que você clique em botões, mas realmente observa o que você faz e aprende a fazer por você. Esta é a fronteira emocionante dos "agentes de IA", um ramo da ciência onde computadores são ensinados a agir como humanos no mundo digital. Por muito tempo, esses agentes eram como alunos brilhantes que só conseguiam ler livros didáticos (código) ou seguir manuais de instruções rigorosos (APIs). Eles eram ótimos em matemática e lógica, mas se você pedisse para eles usarem um programa antigo e bagunçado ou um site que muda toda vez que você atualiza a página, eles se perdiam. Eles não consegravam "ver" a tela da mesma forma que um humano vê; precisavam de plantas especiais da estrutura do site para saber onde estavam os botões. Mas a maior parte de nossas vidas digitais acontece em telas que não possuem essas plantas. Este artigo aborda o desafio de ensinar uma IA a ser um verdadeiro aprendiz digital: um que olha para uma tela, entende o que deve fazer e clica ou digita exatamente como uma pessoa faria, sem precisar de nenhum atalho especial ou mapas ocultos.
A equipe por trás desta pesquisa apresenta o Qwen-CUA, um novo tipo de agente de IA projetado para ser um usuário de computador "nativo". Pense nisso como ensinar um robô a dirigir um carro. Em vez de dar ao robô um mapa digital perfeito de todas as estradas e semáforos (o que não existe para muitos programas de software antigos ou complexos), eles ensinaram o robô a olhar pela janela, ver a estrada e girar o volante com base no que ele vê. O Qwen-CUA apenas "vê" capturas de tela da tela do computador e apenas "age" enviando comandos de teclado e mouse. Ele não espreita sob o capô do código ou pede ajuda ao software; ele apenas observa e aprende.
Para tornar este robô inteligente o suficiente para lidar com tarefas da vida real, os pesquisadores tiveram que construir uma academia de treinamento massiva. Eles criaram uma frota na nuvem com quase 100.000 CPUs virtuais (imagine uma cidade de milhares de computadores trabalhando ao mesmo tempo) e configuraram cerca de 40.000 tarefas diferentes para a IA praticar. Essas tarefas variavam desde coisas simples, como organizar arquivos, até fluxos de trabalho complexos de várias etapas em softwares profissionais. A IA não recebia apenas um "bom trabalho" ou "tente novamente" ao final; o sistema foi projetado para verificar se a tarefa foi realmente concluída corretamente, permitindo que a IA aprendesse com seus erros repetidamente.
Os resultados são impressionantes. Em testes em oito benchmarks diferentes, o Qwen-CUA superou consistentemente sua versão anterior, o Qwen3.7, e até se manteve à altura de alguns dos sistemas de IA mais poderosos e caros disponíveis hoje. Por exemplo, em um teste chamado OSWorld-Verified, que mede o quão bem uma IA pode lidar com tarefas cotidianas de desktop, o Qwen-CUA obteve uma pontuação de 86,2, enquanto o modelo anterior marcou 73,3. Quando escalaram isso para um modelo ainda maior chamado Qwen-CUA-Max (com mais de um trilhão de parâmetros), a pontuação subiu para 87,6.
Uma das coisas mais legais deste artigo é como ele lida com tarefas longas e complicadas. Imagine tentar se lembrar de uma história que você leu há uma semana enquanto escreve um novo capítulo. A IA teve que se lembrar de como a tela estava muitos passos atrás para saber em que ponto estava sua tarefa. Os pesquisadores resolveram isso dando à IA uma "memória visual" que retém as últimas 20 capturas de tela e "dobra" inteligentemente as mais antigas em um resumo, para que ela não fique sobrecarregada. Isso permitiu que a IA mantivesse a calma durante fluxos de trabalho longos sem esquecer o início da história.
O artigo também analisou a segurança. Eles testaram a IA contra o "RedTeamCUA", um desafio onde a IA é enganada por instruções falsas escondidas na tela. O novo modelo foi muito melhor em ignorar esses truques, reduzindo a taxa de sucesso dos ataques de 36,6% para 16,4%, enquanto ainda realizava suas próprias tarefas.
Finalmente, os pesquisadores exploraram uma abordagem "híbrida". Eles descobriram que, se permitissem que a IA usasse uma ferramenta de linha de comando (como uma varinha mágica baseada em texto para operações de arquivos) junto com suas habilidades de mouse e teclado, ela poderia concluir as tarefas mais rápido. No entanto, a IA às vezes trocava de ferramentas no momento errado, então, embora fosse mais rápida, nem sempre era perfeita ainda. Os autores sugerem que, com mais treinamento, essa mistura de observação visual e comandos baseados em texto pode ser a chave para tornar os agentes de IA verdadeiramente eficientes.
Em resumo, este artigo mostra que não precisamos de pontes especiais para conectar a IA aos nossos computadores. Ao ensinar a IA a simplesmente olhar para a tela e agir como um humano, podemos construir agentes que estão prontos para enfrentar quase qualquer software, desde os aplicativos mais recentes até os programas mais antigos, tudo isso enquanto aprendem com uma enorme quantidade de prática do mundo real.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.