Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

Imagine um mundo onde seus personagens de videogame, guias turísticos virtuais ou amigos do Metaverso não estão apenas seguindo um roteiro como um robô lendo de um teleprompter. Em vez disso, eles são verdadeiramente "vivos" no sentido digital: eles lembram do que você disse ontem, entendem suas piadas e podem tomar decisões sobre a hora. Este é o sonho dos "Agentes Virtuais Incorporados". Mas há um porém. Para tornar esses personagens inteligentes, eles geralmente precisam enviar seus pensamentos para computadores massivos e superpoderosos na nuvem. Isso leva tempo, cria atraso (lag) e pode parecer desconectado.

Conheça dois novos heróis: os Modelos de Linguagem Pequenos (SLMs - Small Language Models) e a Computação de Borda (Edge Computing). Pense nos SLMs como um cérebro brilhante, porém compacto, que cabe no seu bolso, capaz de entender a linguagem sem precisar de um supercomputador. A Computação de Borda é como mover esse cérebro de um centro de dados distante para bem ao lado da ação — talvez até para o próprio dispositivo que você está usando. A grande questão que os cientistas estão fazendo é: podemos colocar este "cérebro de bolso" diretamente ao lado de nossos amigos virtuais para que eles possam pensar, lembrar e agir instantaneamente, sem esperar que um sinal viaje por todo o caminho até a nuvem e volte? Este artigo mergulha exatamente nisso, testando se esses cérebros menores e locais são inteligentes o suficiente para lidar com o trabalho pesado de memória e tomada de decisão para agentes virtuais.

O Cérebro e o Bibliotecário: O Dilema de um Agente Virtual

No mundo da realidade virtual, um agente precisa de duas coisas principais para parecer real: um processo de "Pensar" (para decidir o que fazer) e um processo de "Memória" (para lembrar quem você é e sobre o que vocês conversaram). Os pesquisadores por trás deste estudo queriam ver se poderiam construir um "motor cognitivo" para esses agentes usando Modelos de Linguagem Pequenos rodando em um dispositivo local, especificamente um pequeno computador poderoso chamado NVIDIA Jetson Orin NX. Eles não queriam apenas que o agente conversasse; eles queriam que ele agisse como um verdadeiro assistente que pudesse rotear seus pedidos para o serviço correto (como gerar um modelo 3D ou reproduzir um som) e mantivesse um diário de sua conversa.

Para testar isso, eles construíram um sistema onde o "cérebro" do agente era um modelo Qwen2.5. Eles testaram três tamanhos diferentes desses "cérebros": um minúsculo com 0,5 bilhão de parâmetros, um médio com 1,5 bilhão e um maior com 3,0 bilhões. Eles colocaram todos eles no dispositivo de borda e deram a eles uma série de desafios para ver quão bem podiam pensar e lembrar.

O Teste do "Pensar": Roteamento de Pedidos

Primeiro, eles testaram o processo de Pensar. Imagine que você está em um mundo virtual e diz: "Preciso de um efeito sonoro de um rugido de dragão" ou "Você pode gerar uma textura para uma parede de castelo?". O agente precisa descobrir instantaneamente qual ferramenta usar. É como um recepcionista em um hotel movimentado que tem que direcionar os hóspedes para o quarto certo: o spa, a academia ou o restaurante.

Os resultados mostraram uma clara troca entre velocidade e inteligência. O modelo minúsculo de 0,5B era rápido, mas frequentemente se perdia. Ele acertava a resposta correta apenas 29,4% das vezes. Ele frequentemente confundia pedidos semelhantes, como misturar "geração de imagem para 3D" com "gerador de conversação". Era como um recepcionista que fica enviando todo mundo para a academia porque esqueceu onde ficam as outras salas.

O modelo de 1,5B foi uma enorme melhoria, acertando 85,4% das vezes. Ele conseguia lidar bem com a maioria dos pedidos, embora ainda tropeçasse um pouco em tarefas 3D complexas. O modelo de 3,0B foi o mais inteligente, alcançando 87,7% de precisão, especialmente em tarefas de geração difíceis. No entanto, ser mais inteligente veio com um preço: o modelo de 3,0B levava muito mais tempo para pensar. Seu tempo de resposta médio foi de 5.067 milissegundos (cerca de 5 segundos), comparado a 3.349 milissegundos (cerca de 3,3 segundos) para o modelo de 1,5B. O modelo minúsculo de 0,5B foi o mais rápido, com 1.504 milissegundos, mas era pouco confiável para ser útil.

O Teste da "Memória": Lembrando dos Detalhes

Em seguida, eles testaram o processo de Memória. Isso é como pedir ao agente para recordar um detalhe específico que você mencionou anteriormente, ou atualizar um fato caso você tenha mudado de ideia. Por exemplo, se você disser: "O nome do meu personagem é Alex", e depois disser: "Na verdade, meu nome é Alex, o Bravo", o agente precisa lembrar da atualização e não se confundir.

Aqui, as diferenças foram ainda mais nítidas. O modelo de 0,5B conseguiu recordar fatos corretamente 72,8% das vezes, mas era terrível em lidar com correções. Ele frequentemente lembrava a pessoa certa, mas o detalhe errado, ou falhava em perceber que você havia mudado de ideia. Era como um amigo que lembra o seu nome, mas continua esquecendo que você acabou de cortar o cabelo.

O modelo de 1,5B se saiu melhor, acertando 78,4% das respostas. Ele era bom em fatos simples, mas ainda tinha dificuldades com atualizações complexas ou em distinguir entre memórias semelhantes. O modelo de 3,0B foi o vencedor claro, alcançando 93,6% de precisão. Ele conseguia lidar de forma confiável com fatos, atualizações e correções. No entanto, assim como no teste de pensamento, essa alta precisão veio com uma pesada penalidade de velocidade. O modelo de 3,0B levou uma média de 9.693 milissegundos (quase 10 segundos) para processar um pedido de memória, com alguns pedidos levando até 14.531 milissegundos (mais de 14 segundos) nos piores casos. O modelo de 0,5B foi muito mais rápido, com 2.025 milissegundos, mas sua baixa precisão o tornava uma escolha ruim para qualquer coisa séria.

O Veredito: Depende do Trabalho

Então, o que os pesquisadores descobriram? Eles descobriram que os Modelos de Linguagem Pequenos podem alimentar parcialmente as partes de "Pensar" e "Memória" do cérebro de um agente virtual diretamente na borda, sem precisar da nuvem. Mas não existe um tamanho "perfeito" único.

Se você precisa de velocidade e pode tolerar alguns erros, os modelos menores são mais rápidos, mas pouco confiáveis. Se você precisa de alta precisão para lembrar detalhes ou tomar decisões complexas, os modelos maiores são muito melhores, mas são lentos. O artigo sugere que a melhor solução pode ser uma abordagem híbrida: usar um modelo menor e mais rápido para tarefas rápidas e simples (como rotear um pedido) e um modelo maior e mais inteligente para o trabalho pesado (como lembrar de um histórico complexo ou lidar com correções).

O estudo conclui que, embora estejamos chegando perto de ter agentes virtuais que podem pensar e lembrar localmente, ainda temos muito trabalho a fazer. Os modelos atuais são um pouco lentos para interações em tempo real e instantâneas, e às vezes ficam confusos sobre qual ação tomar. Mas este é um primeiro passo promissor, mostrando que, com a mistura certa de tamanhos de modelos e um design cuidadoso, podemos começar a construir amigos virtuais que não são apenas bonitos de se ver, mas verdadeiramente inteligentes o suficiente para passar um tempo conosco no Metaverso.