Contextual encoding of states and indices for episodic memories make goal-directed action selection flexible, transparent, and efficient

Quando enfrentamos um novo problema, nossos cérebros não apenas processam números para encontrar a melhor solução. Em vez disso, eles buscam em nosso passado, resgatando memórias específicas de situações semelhantes para guiar nosso próximo passo. Essa capacidade de recordar experiências relevantes e explicar nossas escolhas com base nelas é uma marca da inteligência humana. Por décadas, cientistas tentaram construir sistemas artificiais que mimetizassem essa flexibilidade, mas a maioria dos métodos bem-sucedidos depende do armazenamento de vastas quantidades de dados em formas matemáticas complexas, que são difíceis de interpretar e exigem um poder computacional imenso. Esses sistemas frequentemente têm dificuldade quando as regras do jogo mudam ou quando um novo objetivo surge, forçando-os a aprender do zero. O desafio para os pesquisadores tem sido criar um sistema que aprenda rapidamente, se adapte instantaneamente a novas restrições e consiga explicar suas decisões em termos simples, tudo isso enquanto opera em dispositivos pequenos e de baixo consumo de energia.

Uma equipe de pesquisadores da Universidade de Tecnologia de Graz desenvolveu uma nova abordagem chamada Mapa Cognitivo Episódico, ou ECM, que segue um caminho diferente. Em vez de tentar comprimir todo o conhecimento em números abstratos, este sistema funciona como uma mente humana que mantém um diário detalhado de suas experiências. O algoritmo explora um ambiente realizando caminhadas aleatórias, registrando cada passo dado como uma memória distinta. O que torna este sistema único é como ele armazena e utiliza essas memórias. Ele não apenas lembra por onde passou; ele vincula cada local visitado à jornada específica da qual ele fez parte. Se o sistema precisa ir do ponto A ao ponto B, ele não calcula a distância ou o valor de todos os caminhos possíveis. Em vez disso, ele consulta sua biblioteca de jornadas passadas e pergunta: "Qual das minhas viagens anteriores incluiu tanto onde estou agora quanto para onde quero ir?" A resposta a essa pergunta aponta diretamente para o melhor próximo passo.

Os pesquisadores testaram essa ideia em ambientes simulados que mimetizam tarefas de tomada de decisão complexas, incluindo mapas com centenas de locais e situações onde as ações têm resultados incertos. Nesses testes, o algoritmo ECM provou ser notavelmente eficiente. Ele aprendeu a navegar de qualquer ponto de partida para qualquer objetivo com uma velocidade e precisão que rivalizaram com métodos de inteligência artificial muito mais complicados. Crucialmente, ele alcançou isso usando apenas conexões binárias simples entre suas células de memória e seus neurônios de tomada de decisão. Isso significa que o sistema não precisa realizar cálculos matemáticos pesados ou armazenar números de alta precisão. Ele pode aprender um novo ambiente, resolver um problema de navegação e explicar sua escolha apontando para as experiências passadas específicas que a sustentaram, tudo isso sem precisar reaprender nada quando o objetivo muda.

O poder deste sistema reside em sua capacidade de se adaptar instantaneamente. Em muitos modelos de inteligência artificial, mudar um objetivo ou adicionar uma nova regra de segurança exige o retreinamento de todo o sistema, um processo que pode levar horas ou dias. O algoritmo ECM, no entanto, consegue ajustar seu comportamento em uma fração de segundo. Se um caminho torna-se bloqueado ou uma nova restrição de segurança é introduzida, o sistema simplesmente filtra sua biblioteca de memórias para ignorar aquelas que envolvem o caminho bloqueado ou a área insegura. Ele então seleciona uma nova rota baseada nas memórias válidas restantes. Essa flexibilidade permite que ele lide com cenários complexos, como navegar em uma cidade onde certas ruas estão fechadas ou evitar áreas com altos riscos, sem nunca precisar parar para reaprender o mapa.

Para entender como isso funciona, imagine o sistema construindo um mapa mental não de distâncias, mas de conexões. Quando o sistema explora uma nova área, ele cria um registro de cada jornada que realiza. Cada local nesta área é etiquetado com as jornadas específicas em que apareceu. Quando o sistema precisa se mover em direção a um objetivo, ele ativa as memórias associadas a esse objetivo. Essas memórias então iluminam os locais que frequentemente apareceram junto com o objetivo em jornadas passadas. O sistema simplesmente escolhe a ação que leva ao local com a conexão mais forte com o objetivo. Esse processo é tão direto que dispensa a necessidade de cálculos complexos. O sistema não precisa conhecer o valor de cada estado futuro possível; ele só precisa saber quais experiências passadas ligam o presente ao futuro desejado.

Os pesquisadores também exploraram como este sistema poderia melhorar com o tempo. Eles descobriram que, ao ocasionalmente substituir memórias antigas e menos úteis por novas, derivadas de tentativas de planejamento bem-sucedidas, o sistema poderia refinar seu mapa interno sem aumentar o tamanho de sua memória. Esse processo, conhecido como automelhoria recursiva, permitiu que o algoritmo se tornasse mais eficiente na busca por caminhos curtos à medida que ganhava mais experiência. Mesmo quando o ambiente era imprevisível, com ações levando às vezes a resultados inesperados, o sistema manteve sua capacidade de encontrar rotas confiáveis. Ele fez isso pesando suas memórias com base na frequência com que levaram ao sucesso, efetivamente aprendendo uma estratégia que equilibrava risco e recompensa.

Uma das descobertas mais significativas deste trabalho é que o sistema pode explicar suas decisões com total transparência. Como cada escolha é baseada em um conjunto específico de experiências passadas, o sistema pode mostrar exatamente quais memórias levaram a uma determinada ação. Se um humano perguntar por que o sistema escolheu determinado caminho, ele pode apontar para as jornadas específicas em seu histórico que fizeram aquele caminho parecer promissor. Isso contrasta fortemente com muitos sistemas de inteligência artificial modernos, que frequentemente atuam como "caixas pretas", onde o raciocínio por trás de uma decisão está oculto em camadas de matemática complexa. O algoritmo ECM oferece uma maneira de construir máquinas inteligentes que são não apenas eficazes, mas também compreensíveis e confiáveis.

As implicações desta pesquisa estendem-se além da navegação. Os princípios por trás do algoritmo ECM sugerem uma nova maneira de construir inteligência artificial que seja leve, eficiente em termos de energia e capaz de operar em dispositivos pequenos, como sensores ou robôs. Como o sistema depende de conexões binárias simples em vez de cálculos complexos de ponto flutuante, ele poderia ser implementado em hardware que utiliza pouquíssima energia. Isso o torna um candidato ideal para a computação de borda (edge computing), onde dispositivos precisam tomar decisões rápidas e inteligentes sem depender de uma conexão com um computador central poderoso. A capacidade de se adaptar a novos contextos e explicar seu raciocínio torna-o particularmente valioso para aplicações onde a segurança e a confiabilidade são primordiais.

Os pesquisadores reconhecem que seu trabalho atual foca em ambientes onde os estados são claramente definidos e rotulados. Eles planejam estender esta abordagem para situações mais complexas, onde o sistema deve interpretar dados sensoriais brutos, como imagens ou sons, para compreender o que o rodeia. Eles também pretendem explorar como o sistema lida com situações em que a visão atual não fornece informações suficientes para saber exatamente onde está. Apesar desses desafios futuros, os resultados atuais demonstram que uma abordagem simples, baseada em memória, pode alcançar níveis de desempenho que competem com métodos muito mais sofisticados. Ao buscar inspiração na forma como o cérebro humano utiliza as memórias episódicas, os pesquisadores mostraram que, às vezes, as soluções mais poderosas são aquelas que dependem das conexões mais simples e diretas entre o passado e o presente.