Imagine um mundo onde os computadores que guiam robôs autônomos ou gerenciam edifícios inteligentes não são máquinas frágeis e delicadas, mas sim sistemas robustos capazes de funcionar mesmo quando sua memória interna está ligeiramente danificada ou imprecisa. Este é o promessa de um campo chamado arquitetura de símbolos vetoriais, uma forma de pensar sobre inteligência artificial que se inspira em como o cérebro humano armazena informações. Em vez de depender de números precisos e frágeis, essa abordagem utiliza vastos padrões de dados de alta dimensão que podem ser combinados e comparados usando matemática simples. A ideia central é que esses padrões são tão numerosos e distintos que podem se sobrepor sem confundir uns aos outros, tal como uma sala lotada de pessoas falando diferentes idiomas permite que você se concentre em uma única conversa sem que o ruído de fundo se torne uma confusão. Essa resiliência torna a abordagem particularmente atraente para dispositivos "edge" — computadores que operam com energia limitada ou em ambientes hostis onde o armazenamento perfeito de dados não pode ser garantido.

Pesquisadores da Universidade da Califórnia, Irvine, e seus colaboradores agora aplicaram esse conceito diretamente à maneira como as máquinas aprendem a tomar decisões. Em um novo estudo, eles introduziram um método chamado Gradiente de Política de Vetores Simbólicos (Vector-Symbolic Policy Gradient). Para entender o que eles fizeram, ajuda primeiro entender o problema que estão resolvendo. No aprendizado por reforço, um agente artificial aprende tentando ações e observando o que acontece, construindo gradualmente uma estratégia para maximizar recompensas. Tradicionalmente, essa estratégia é armazenada em redes neurais complexas, que são como teias intrincadas de conexões que exigem um ajuste preciso. Se os números dentro dessas redes forem corrompidos por um pouco de ruído elétrico ou um defeito de fabricação, a tomada de decisão do agente pode colapsar. Os pesquisadores fizeram uma pergunta simples: podemos construir um sistema de tomada de decisão que seja inerentemente resistente a esse tipo de dano, um que aprenda armazenando memórias de uma forma que seja naturalmente tolerante?

A resposta que encontraram é sim. A equipe desenvolveu um sistema onde cada ação possível que um agente pode realizar é representada por um padrão único de alta dimensão, ou "hipervetor". Quando o agente observa seu entorno, ele converte essa observação em um padrão semelhante. Para decidir o que fazer, o sistema simplesmente verifica qual padrão de ação é mais semelhante à observação atual. A genialidade do método deles reside em como o sistema aprende. Em vez de usar cálculos complexos de múltiplas etapas para ajustar seus pesos internos, o sistema atualiza sua memória em uma etapa única e direta. Quando um agente realiza uma boa ação e recebe uma recompensa, o sistema fortalece a conexão entre o padrão dessa ação e a observação que a levou a ela. Se a ação foi ruim, ele enfraquece essa conexão. Esse processo é matematicamente equivalente a um método de aprendizado padrão, mas é realizado usando adição e subtração simples desses grandes padrões, seguido de uma etapa de normalização para manter os padrões estáveis.

O que torna essa descoberta significativa é o que acontece com a memória ao longo do tempo. À medida que o agente aprende, ele não armazena uma lista de cada experiência que já teve. Em vez disso, ele comprime toda essa experiência em um banco de memória de tamanho fixo. A memória de cada ação torna-se um resumo comprimido de todas as vezes que aquela ação foi útil, ponderada pelo quão boa foi a consequência. Isso significa que o sistema pode aprender de forma eficiente sem a necessidade de armazenar quantidades massivas de dados brutos. Além disso, os pesquisadores provaram que este método é incrivelmente robusto contra erros. Eles testaram o que aconteceria se bits aleatórios na memória fossem invertidos, simulando o tipo de corrupção que ocorre em hardware não confiável. Enquanto as redes neurais tradicionais e modelos lineares simples sofreram quedas significativas de desempenho sob essas condições, o novo sistema baseado em vetores manteve-se firme. Os erros foram compensados pela magnitude e estrutura dos padrões, permitindo que o sistema continuasse tomando decisões corretas mesmo quando sua memória estava imperfeita.

A equipe testou seu método em uma variedade de desafios, desde tarefas de controle clássicas, como equilibrar uma haste sobre um carrinho em movimento, até navegar em labirintos complexos e gerenciar energia em sistemas de edifícios multiagentes. Nesses testes, o novo método aprendeu tão rápido quanto, e muitas vezes mais rápido do que, as abordagens padrão de redes neurais. Ele alcançou resultados competitivos ao atingir objetivos e maximizar recompensas, demonstrando que não sacrifica o desempenho pela robustez. Nas tarefas de navegação em labirintos, onde o agente deve lembrar de pegar uma chave antes de abrir uma porta, o sistema aprendeu com sucesso a sequência de ações. Nas simulações de controle de edifícios, onde múltiplos agentes devem coordenar-se para gerenciar temperatura e umidade, o método funcionou bem em diferentes condições climáticas.

Talvez o mais importante seja que o estudo mostrou que a capacidade de generalização do sistema — sua capacidade de aplicar o que aprendeu em uma situação a outra ligeiramente diferente — estava diretamente ligada a como os padrões iniciais foram criados. Os pesquisadores descobriram que a escolha de como converter observações brutas nesses padrões de alta dimensão importava muito. Alguns métodos de conversão levaram a um aprendizado melhor e memórias mais estáveis do que outros, sugerindo que a "linguagem" na qual o agente pensa é crucial para o seu sucesso. No entanto, uma vez treinado, o sistema não precisava manter os dados brutos de suas sessões de treinamento. Ele podia descartar o histórico e confiar apenas na memória comprimida de tamanho fixo, tornando-o altamente eficiente para implantação em dispositivos do mundo real.

Os pesquisadores também exploraram como o tamanho desses padrões afetava o desempenho. Eles descobriram que aumentar a dimensionalidade, ou o número de elementos em cada padrão, melhorava a capacidade do sistema de distinguir entre diferentes situações e reduzia a interferência entre memórias. No entanto, eles também observaram que essa melhoria eventualmente atingia um platô, o que significa que existe um ponto de retornos decrescentes onde tornar os padrões maiores não ajuda muito mais. Esse equilíbrio entre o tamanho da memória e o desempenho é uma consideração prática para engenheiros que precisam encaixar esses sistemas em pequenos chips.

No fim, este trabalho une a lacuna entre a robustez teórica e a aplicação prática. Ele demonstra que é possível criar agentes de aprendizado que não são apenas eficientes e rápidos, mas também resilientes às imperfeições do mundo real. Ao representar decisões como padrões distribuídos em vez de números precisos, o sistema evita a fragilidade que assombra muitos modelos modernos de inteligência artificial. As descobertas sugerem um caminho para o implante de sistemas inteligentes em ambientes onde a confiabilidade é primordial, desde veículos autônomos navegando em climas imprevisíveis até dispositivos médicos operando em ambientes de recursos limitados. O método não requer hardware complexo ou grandes centros de dados; ele se baseia em uma estrutura matemática simples e elegante que transforma o potencial ponto fraco da memória ruidosa em uma força. Como concluem os pesquisadores, esta abordagem oferece uma base promissora para a próxima geração de inteligência artificial robusta e baseada em "edge", provando que, às vezes, a melhor maneira de construir uma máquina inteligente é permitir que ela pense em padrões que são grandes demais para serem quebrados.