Towards Zero-Shot Task Transfer with Neurosymbolic World Models

Imagine um agente de inteligência artificial aprendendo a navegar em um mundo complexo, muito parecido com uma criança aprendendo a andar. No campo do aprendizado de máquina, esses agentes frequentemente dependem de "modelos de mundo", que são mapas mentais internos que permitem prever o que acontecerá a seguir se eles tomarem uma ação específica. Ao simular esses cenários futuros em suas mentes, os agentes podem planejar seus movimentos sem precisar tentar fisicamente todas as possibilidades no mundo real. Essa abordagem tornou-se incrivelmente poderosa, permitindo que computadores dominem jogos e controlem robôs ao aprender a partir de dados sensoriais de alta dimensão, como fluxos de imagens de vídeo. No entanto, um obstáculo significativo permanece: esses mapas mentais são geralmente construídos para um trabalho único e específico. Se o objetivo mudar — por exemplo, de alcançar uma porta vermelha para alcançar uma porta azul — o agente muitas vezes precisa reaprender toda a sua compreensão do mundo, porque seu mapa interno está intimamente tecido com a recompensa específica que ele estava perseguindo durante o treinamento.

Pesquisadores da KU Leuven, na Bélgica, desenvolveram uma nova abordagem para resolver essa rigidez, criando um sistema que pode se adaptar a novos objetivos instantaneamente, sem a necessidade de interagir novamente com o ambiente. O trabalho deles introduz um tipo de modelo de mundo "neurosimbólico", um sistema híbrido que combina a força de reconhecimento de padrões das redes neurais com a estrutura lógica clara do raciocínio simbólico. Em vez de aprender uma representação única e emaranhada do mundo, esses modelos aprendem a separar os detalhes sensoriais brutos de um ambiente dos fatos de alto nível que determinam o sucesso. Essa separação permite que o agente mantenha sua compreensão de como o mundo se move e muda, apenas trocando a regra do que conta como uma "vitória". O resultado é um agente que pode aprender um ambiente complexo uma vez e depois aplicar esse conhecimento a tarefas inteiramente novas, uma capacidade conhecida como transferência zero-shot (zero-shot transfer), simplesmente redefinindo o objetivo em termos dos mesmos fatos subjacentes.

A inovação central reside em como o modelo processa a informação. Os modelos de mundo tradicionais aprendem uma versão comprimida e abstrata do mundo que é difícil para os humanos interpretarem e difícil de reaproveitar. Em contraste, os novos modelos neurosimbólicos forçam o sistema a identificar e prever propriedades estruturadas e específicas do estado, como as coordenadas de um agente ou a localização de um objeto. Essas propriedades atuam como uma ponte. O modelo usa sua rede neural para entender o mundo visual desordenado e traduzi-lo nessas informações simbólicas claras. Uma vez que o modelo possui esses fatos, ele usa um componente lógico separado para prever recompensas. Como a previsão de recompensa depende apenas desses fatos claros, os pesquisadores podem simplesmente substituir a função de recompensa por uma nova que vise um objetivo diferente, e o modelo entende imediatamente como planejar para ele. O agente não precisa ver o novo objetivo ou testá-lo; ele simplesmente executa novamente suas simulações mentais com a nova regra, usando o mesmo mapa interno de como o mundo funciona.

Para testar essa ideia, os pesquisadores treinaram seus modelos em vários ambientes distintos, incluindo uma tarefa de navegação baseada em grade onde um agente deve encontrar um objetivo, uma versão 3D da mesma tarefa com movimento contínuo e um jogo de quebra-cabeça chamado Sokoban, onde caixas devem ser empurradas para locais específicos. Nessas fases de treinamento, os agentes aprenderam a navegar e a alcançar um objetivo específico, como alcançar uma localização fixa de meta. Os pesquisadores então desafiaram os modelos com novas tarefas onde as regras de movimento do ambiente permaneceram exatamente as mesmas, mas os objetivos mudaram. Em um cenário, o objetivo poderia mudar para outra sala; em outro, o agente precisaria alcançar uma configuração específica de objetos em vez de um único ponto. Os modelos foram capazes de se adaptar a esses novos objetivos sem qualquer interação adicional com o ambiente real. Eles alcançaram isso através de dois métodos: ou planejando novos caminhos usando um algoritmo de busca que explorava as possibilidades em sua mente, ou refinando sua política de tomada de decisão inteiramente dentro de suas simulações internas.

Os resultados mostraram que essa abordagem não apenas funcionou, mas o fez de forma mais eficiente do que os métodos padrão. Os modelos neurosimbólicos aprenderam as tarefas de treinamento com menos exemplos, sugerindo que a maneira estruturada como processam a informação ajuda-os a compreender o ambiente mais rapidamente. Mais importante ainda, quando confrontados com novas tarefas, eles se adaptaram instantaneamente. Enquanto os modelos tradicionais exigiriam um período de retreinamento ou uma quantidade massiva de novos dados para entender o novo objetivo, os agentes neurosimbólicos simplesmente aplicaram seu conhecimento existente do mundo ao novo objetivo. Isso foi verdade mesmo quando os pesquisadores forneceram apenas informações parciais sobre os fatos simbólicos durante o treinamento, ou quando não forneceram supervisão direta para esses fatos, confiando na própria estrutura do modelo para guiar o aprendizado.

Este trabalho demonstra um passo significativo em direção a uma inteligência artificial mais flexível e reutilizável. Ao desacoplar a compreensão de como o mundo funciona da compreensão dos objetivos específicos que um agente está tentando alcançar, os pesquisadores criaram um sistema que se comporta mais como um aprendiz geral do que como uma ferramenta especializada. O agente não apenas memoriza um caminho para um destino; ele aprende o terreno e as regras de movimento, permitindo-lhe navegar para qualquer destino definido dentro desse terreno. Embora o sistema ainda exija que os novos objetivos sejam descritíveis usando o mesmo conjunto de fatos de alto nível aprendidos durante o treinamento, ele remove a necessidade de retreinamento dispendioso sempre que uma tarefa muda. Isso sugere um futuro onde sistemas inteligentes podem ser implantados em ambientes dinâmicos, prontos para enfrentar novos desafios no momento em que surgirem, simplesmente sendo instruídos sobre o que procurar, em vez de terem que aprender como ver tudo de novo.