Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference
Deltoris é um framework de co-design algoritmo-hardware que possibilita a inferência em tempo real e com eficiência energética para modelos de Visão-Linguagem-Ação baseados em difusão em dispositivos de borda, ao alavancar esparsidade de bits temporalmente consciente, inferência especulativa e um acelerador sistólico bit-serial customizado para alcançar acelerações significativas em relação às soluções existentes.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um robô tentando aprender a jogar um jogo de pegar uma bola. Para fazer isso, ele precisa de um cérebro que consiga ver a bola, entender as regras e decidir exatamente como mover seu braço. No mundo da robótica, esse "cérebro" é frequentemente um tipo especial de programa de computador chamado modelo de Visão-Linguagem-Ação (VLA). Pense nele como um tradutor superinteligente que transforma o que o robô vê e ouve em movimentos físicos. Por muito tempo, esses robôs foram um pouco lentos e desajeitados porque a matemática necessária para fazê-los se mover era incrivelmente pesada, como tentar correr uma maratona carregando uma mochila cheia de tijolos.
Recentemente, cientistas descobriram uma nova maneira de ensinar robôs a se moverem chamada "difusão". Imagine um robô aprendendo a andar primeiro tropeçando em uma sala com neblina e depois limpando a neblina lentamente, passo a passo, até encontrar o caminho perfeito. Esse método faz com que os robôs se movam de forma muito mais suave e lidem melhor com novas situações do que antes. No entanto, há um problema: esse processo de "limpar a neblina" é tão computacionalmente pesado que é lento demais para uso em tempo real. Um robô precisa tomar decisões de 50 a 200 vezes por segundo para manter o equilíbrio e a segurança, mas esses novos modelos estavam demorando demais, como um caracol tentando vencer uma corrida contra um guepardo. Este é o problema que uma equipe de pesquisadores se propôs a resolver: como tornar esses robôs superinteligentes e de movimento suave rápidos o suficiente para acompanhar o mundo real?
Apresentamos o Deltoris, um novo sistema inteligente projetado para acelerar esses cérebros robóticos sem torná-los menos inteligentes. Os pesquisadores perceberam que os robôs não vivem em um mundo onde tudo muda instantaneamente. Se um robô está alcançando uma xícara, a visão da xícara de um milissegundo para o próximo é quase exatamente a mesma. É como assistir a um filme onde 98% dos quadros são idênticos; você não precisa redesenhar a imagem inteira a cada vez, você só precisa desenhar a pequena parte que mudou.
O Deltoris usa essa observação a seu favor através de uma técnica chamada esparsidade em nível de bit temporalmente consciente. Em vez de recalcular todo o problema matemático para cada movimento, o sistema calcula apenas a diferença entre o momento atual e o anterior. É como enviar uma mensagem de texto que diz apenas "movi minha mão 5 centímetros para cima" em vez de reescrever toda a sua biografia a cada movimento. Isso pula uma enorme quantidade de trabalho desnecessário, reduzindo os cálculos em mais de 90%.
No entanto, houve um obstáculo. Ao enviar apenas a "diferença", o sistema tinha que buscar constantemente as informações "antigas" da memória para compará-las com as informações "novas", o que criava um congestionamento no fluxo de dados. Para corrigir isso, a equipe adicionou um segundo truque chamado inferência especulativa. Imagine um treinador que tem um assistente pequeno e rápido para prever os próximos movimentos do jogo, e então um treinador grande, lento e superinteligente que verifica essas previsões todas de uma vez em um grupo. Isso permite que o sistema carregue os dados pesados apenas uma vez e os use para verificar múltiplas etapas, suavizando o congestionamento de tráfego.
Para fazer toda essa mágica acontecer, os pesquisadores não apenas escreveram software; eles construíram um chip de hardware personalizado (um acelerador) especificamente projetado para lidar com esses cálculos de "diferença". Eles criaram uma linha de montagem especial de pequenos processadores que trabalham juntos perfeitamente, garantindo que ninguém fique parado esperando pelos dados.
Os resultados de seus experimentos são impressionantes. Quando testaram o Deltoris contra chips de computação móvel padrão (como os de celulares de alto desempenho) e outros chips especializados para robótica, foi uma vitória esmagadora. O Deltoris foi até 34,2 vezes mais rápido que GPUs móveis e 6,1 vezes mais rápido que aceleradores especializados anteriores. Talvez ainda mais importante, ele utilizou até 822 vezes menos energia, o que é um grande diferencial para robôs movidos a bateria. A equipe também verificou se o robô não ficaria confuso com esses atalhos; a precisão permaneceu quase exatamente a mesma, com uma queda de desempenho minúscula e insignificante.
Em resumo, o Deltoris mostra que, ao sermos inteligentes sobre o que calculamos (apenas as mudanças) e como calculamos (agrupando previsões), podemos finalmente dar à IA incorporada a velocidade e a eficiência necessárias para se mover pelo nosso mundo em tempo real. É um passo significativo em direção a robôs que podem não apenas pensar, mas também agir tão rápido quanto nós.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.