StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design
O StepX-Edge é um modelo de visão-linguagem on-device de 0,9B de parâmetros que alcança o estado da arte em compreensão de UI e implantação em tempo real eficiente em chips móveis por meio de um novo co-design de arquitetura consciente de UI, um currículo de treinamento sinérgico de cinco estágios e uma estratégia de quantização de alta precisão.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você tenha um cérebro de robô superinteligente que consegue ler livros, olhar para imagens e responder perguntas sobre elas. Este é o mundo dos Modelos de Visão-Linguagem (VLMs). Por muito tempo, esses cérebros viveram em gigantescos centros de dados na nuvem, com servidores massivos, porque precisavam de uma quantidade enorme de energia e memória para pensar. Mas e se você pudesse encolher esse cérebro para caber dentro do seu smartphone? Esse é o sonho: ter uma IA que possa olhar para a tela do seu telefone, entender o que você está fazendo e ajudar você a tocar no botão certo, tudo isso sem precisar de uma conexão com a internet.
O problema é um clássico compromisso (trade-off). Para tornar um cérebro inteligente o suficiente para ler textos minúsculos em uma tela ou encontrar um ícone específico, você geralmente precisa de muitos "neurônios" (parâmetros), o que o torna pesado e lento. Mas o seu telefone tem limites rigorosos de bateria, memória e poder de processamento. Se você encolher demais o cérebro, ele fica burro e começa a cometer erros, como confundir um botão de "fechar" com um botão de "salvar". Se mantê-lo grande, ele esgota sua bateria em minutos. Cientistas têm tentado resolver este quebra-cabeça de "precisão vs. eficiência", muitas vezes tendo que escolher entre um modelo inteligente, mas lento, ou um rápido, mas burro.
Apresentamos o StepX-Edge, um novo projeto que afirma ter decifrado esse código. Os pesquisadores construíram um modelo de IA minúsculo com apenas 0,9 bilhão de parâmetros (um tamanho muito pequeno para este tipo de tarefa) que roda diretamente em um telefone móvel. Eles não apenas encolheram um modelo gigante já existente; eles redesenharam tudo do zero. Pense nisso como construir um carro de corrida personalizado em vez de apenas colocar um motor menor em uma caminhonete.
Primeiro, eles redesenharam a arquitetura (o chassi do carro). Eles criaram um "olho" especial para o modelo que é obcecado pelas formas estranhas das telas de celular (que são frequentemente altas e estreitas, ao contrário de fotos quadradas) e uma "ponte" que conecta o que o olho vê às habilidades de linguagem do cérebro sem perder nenhum detalhe. Eles evitaram partes complexas e sofisticadas que os telefones não conseguem lidar bem, mantendo-se fiel a partes padrão e confiáveis que funcionam suavemente em chips móveis.
Segundo, eles mudaram o treinamento (a escola de condução). Em vez de jogar o modelo em uma mistura caótica de todos os tipos de dados, eles usaram uma abordagem de "currículo". Eles descobriram que ensinar o modelo quatro habilidades ao mesmo tempo — ler texto (OCR), entender o layout da tela, responder perguntas e apontar para botões específicos — na verdade ajuda todas elas a melhorarem juntas. É como um aluno aprendendo a tocar piano e xadrez; o foco exigido por um ajuda o outro. Eles treinaram o modelo em cinco estágios, começando com um alinhamento simples e avançando gradualmente para interações de tela complexas do mundo real, garantindo que as quatro habilidades se reforçassem mutuamente em vez de lutarem pela atenção.
Finalmente, eles dominaram a implementação (o ajuste do motor). Para fazer o modelo caber em um telefone, eles tiveram que comprimi-lo pesadamente, o que geralmente arruína sua inteligência. A equipe usou uma técnica de compressão inteligente de duas etapas. Eles trataram o "olho" (parte de visão) e o "cérebro" (parte de linguagem) de forma diferente, comprimindo o cérebro para um tamanho minúsculo de 4 bits, enquanto mantinham a precisão do olho mais alta. Eles então usaram um método de treinamento especial para "ensinar" o cérebro comprimido a compensar a perda de detalhes, mantendo a perda de precisão abaixo de 1%.
O resultado? Em um chip de telefone de alto desempenho (Snapdragon 8 Gen5), este modelo minúsculo roda de forma estável. Ele pode olhar para uma captura de tela, entendê-la e começar a responder perguntas em cerca de 0,84 segundos, gerando texto a uma velocidade de 98 tokens por segundo, enquanto utiliza apenas 1,4 GB de memória. Em testes, este modelo de 0,9B superou ou igualou modelos muito maiores (alguns com 2 a 2,3 bilhões de parâmetros) em tarefas como leitura de texto chinês em telas e resposta de perguntas sobre o que está sendo exibido. Os autores sugerem que, ao projetar cuidadosamente a arquitetura, o treinamento e a implementação em conjunto, é possível ter uma IA de dispositivo altamente capaz que não sacrifica a precisão pela velocidade, abrindo as portas para assistentes inteligentes que vivem inteiramente no seu telefone.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.