🤖 AI

Grounding LTL Tasks in Sub-Symbolic RL Environments for Zero-Shot Generalization

Este artigo propõe um método que treina conjuntamente uma política de aprendizado por reforço multitarefa e um aterrador simbólico usando Máquinas de Recompensa Neurais para permitir que agentes sigam instruções de Lógica Temporal Linear em ambientes subsimbólicos sem conhecimento prévio do mapeamento símbolo-observação, alcançando uma generalização zero-shot que supera as abordagens existentes.

Autores originais: Matteo Pannacci, Andrea Fanti, Elena Umili, Roberto Capobianco

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Matteo Pannacci, Andrea Fanti, Elena Umili, Roberto Capobianco

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô entrando em uma sala que ele nunca viu antes. Ele vê uma máquina de café, uma mesa e uma fenda de correio, mas para o robô, estas são apenas formas e cores em uma tela. Ele não sabe que a máquina é para café ou que a fenda é para correspondência. Agora, imagine um humano dando ao robô uma instrução complexa: "Vá até a fenda de correio, depois à máquina de café e, finalmente, à mesa, mas não pise nos ladrilhos vermelhos do chão ao longo do caminho". Para um humano, isso é fácil porque entendemos o significado das palavras e dos objetos. Para um robô, isso é um quebra-cabeça enorme. Ele deve primeiro descobrir quais objetos são quais, depois deve lembrar a ordem dos eventos enquanto evita os ladrilhos vermelhos, tudo isso enquanto aprende a se mover. Este é o desafio de ensinar a inteligência artificial a seguir instruções no mundo real, onde não se pode entregar a ela um dicionário pré-fabricado do que as coisas são chamadas.

Por décadas, pesquisadores tentaram resolver isso dando aos robôs um mapa perfeito de seu mundo, dizendo-lhes exatamente qual pixel corresponde a "café" ou "correio". Isso funciona em laboratórios controlados, mas falha no mundo real, bagunçado e imprevisível. Uma nova abordagem, detalhada em uma pesquisa recente, tenta ensinar o robô a aprender esses significados por conta própria enquanto aprende a se mover. Os cientistas focaram em um tipo específico de instrução que envolve tempo e sequência, conhecida como lógica temporal. Pense nisso como uma forma de escrever regras que dizem "faça A, depois B, mas nunca C", em vez de apenas "vá ao ponto X". O objetivo era ver se um robô poderia aprender a seguir essas regras complexas e baseadas no tempo em um mundo onde ele começa sem nenhuma ideia do que são os objetos, usando apenas sua transmissão de câmera e um sinal simples quando tem sucesso ou falha.

Os pesquisadores construíram um sistema onde o robio aprende duas coisas ao mesmo tempo. Primeiro, ele aprende uma política, que é simplesmente a estratégia para decidir qual ação tomar a seguir. Segundo, e mais importante, ele aprende um "grounder" (baseador). Este é um componente que atua como um tradutor, tentando descobrir o que as imagens brutas da câmera significam em termos da instrução. Se o robô vê um quadrado vermelho e a instrução diz "evite o vermelho", o grounder deve eventualmente aprender a rotular esse quadrado vermelho como "lava" ou "perigo". A dificuldade é que o robô não recebe um professor para corrigi-lo. Ele recebe apenas uma recompensa esparsa: um pequeno sinal quando termina a tarefa corretamente, um sinal negativo se falhar, e nada entre os dois. Isso é como tentar aprender uma nova língua sendo informado apenas com "sim" ou "não" ao final de uma conversa, sem qualquer feedback sobre as palavras individuais ditas no meio.

Para resolver isso, a equipe usou um truque inteligente envolvendo a estrutura das próprias instruções. Eles trataram a instrução como uma máquina que muda de estado conforme o robô se move. Se o robio pega a correspond, a máquina muda para um novo estado que diz "correspond concluído, agora encontre o café". Os pesquisadores treinaram o tradutor do robô para prever as recompensas que essa máquina daria. Ao observar o robô se mover e ver quando a máquina diz "sucesso" ou "falha", o tradutor aprende lentamente a associar as imagens que vê com as palavras corretas na instrução. É um processo de tentativa e erro, onde o robô usa a lógica da tarefa para ensinar a si mesmo o que os símbolos significam. Os pesquisadores testaram isso em dois mundos muito diferentes. Um era um ambiente baseado em grade que parecia um videogame simplificado, onde o robô tinha que navegar por um labirinto de itens. O outro era um espaço contínuo e suave onde o robô se movia como um carro em um plano plano, tentando visitar zonas coloridas em uma ordem específica.

Os resultados mostraram que este método funciona de forma notável. No mundo de grade, o robô aprendeu a seguir as instruções quase tão perfeitamente quanto se tivesse recebido o dicionário correto desde o início. Ele aprendeu a identificar os itens e a seguir a sequência de eventos, mesmo quando as instruções se tornavam mais longas e complexas. No mundo contínuo, o robô também aprendeu a identificar as zonas com alta precisão, embora tenha tido um pouco mais de dificuldade nas tarefas de esquiva mais complexas. Crucialmente, o robô aprendeu esses significados enquanto aprendia a se mover, sem qualquer fase de treinamento separada. O sistema provou que um agente pode aprender a fundamentar símbolos — conectar imagens brutas a conceitos abstratos — apenas tentando resolver a tarefa e usando a estrutura das regras para guiar seu aprendizado.

O estudo também comparou este novo método com uma tentativa anterior de resolver o mesmo problema. O método antigo, que tentava construir o cérebro do robô peça por peça com base na gramática das instruções, falhou quando as instruções ficaram mais longas. Não conseguiu lidar com a complexidade das novas tarefas. A nova abordagem, no entanto, escalou de forma eficaz, mostrando que aprender o significado dos objetos e a estratégia para se mover estão profundamente conectados e devem ser aprendidos juntos. Os pesquisadores descobriram que a capacidade do robô de identificar objetos melhorou rapidamente, muitas vezes atingindo um alto nível de precisão dentro de alguns milhões de passos de treinamento. Isso sugere que o feedback indireto da estrutura da tarefa é suficiente para ensinar ao robô o que as coisas são, mesmo sem um humano apontando-as.

Embora o sistema não seja perfeito, particularmente nos ambientes contínuos mais difíceis, onde evitar o perigo durante toda a duração de uma tarefa provou ser difícil para todos os métodos, a descoberta central é clara. É possível treinar um agente artificial para entender instruções complexas e baseadas no tempo em um mundo que ele não conhece, deixando-o aprender o significado das características do mundo enquanto tenta completar o trabalho. Isso nos aproxima de criar máquinas que possam entrar em um novo ambiente, ouvir um conjunto de regras e descobrir o que fazer sem a necessidade de um mapa pré-programado de cada objeto que possam encontrar. O trabalho demonstra que, ao combinar a lógica da tarefa com o aprendizado do ambiente, os robôs podem começar a construir a ponte entre dados brutos e ações significativas.

Resumo Técnico: Ancoragem de Tarefas LTL em Ambientes de RL Subsimbólicos para Generalização Zero-Shot

Declaração do Problema

Este trabalho aborda o desafio de treinar agentes de Aprendizado por Reforço (RL) para seguir múltiplas instruções temporalmente estendidas expressas em Lógica Temporal Linear (LTL) em ambientes subsimbólicos. Em tais configurações, os agentes recebem observações sensoriais brutas (por exemplo, imagens) em vez de descrições de estados simbólicos. Um gargalo crítico nas abordagens anteriores de RL multitarefa é a dependência de uma "função de rotulagem" conhecida (ancoragem de símbolos) — um mapeamento que traduz observações brutas em proposições atômicas necessárias para as fórmulas LTL.

Os autores argumentam que assumir o acesso a essa verdadeira função de rotulagem é irrealista para domínios do mundo real. Consequentemente, o problema é definido como o aprendizado simultâneo de uma política multitarefa e de um ancorador de símbolos (grounder), sem conhecimento prévio do mapeamento entre observações e símbolos. O objetivo é alcançar a generalização zero-shot para instruções LTL não vistas nesses ambientes subsimbólicos.

Metodologia

O método proposto aprende conjuntamente uma política multitarefa e um ancorador de símbolos usando a mesma experiência, aproveitando a estrutura das fórmulas LTL para fornecer supervisão indireta. A arquitetura consiste em quatro módulos de redes neurais:

Módulo de Ancoragem ( $L_\theta$ ): Um classificador que mapeia observações brutas para uma distribuição de probabilidade sobre o conjunto de proposições atômicas ( $\Delta(P)$ ).
Módulo de Características do Ambiente: Codifica observações brutas em vetores de características.
Módulo LTL: Codifica o estado atual da tarefa (a fórmula LTL progredida) em um vetor de características. Este módulo utiliza uma Rede Convolucional de Grafos Relacionais (R-GCN) baseada na Árvore de Sintaxe Abstrata (AST) da fórmula, pré-treinada via uma tarefa de geração de sequência "LTL-Bootcamp" para estabilizar o aprendizado.
Módulo de RL: Uma política e uma função de valor que recebem características concatenadas dos módulos de ambiente e LTL para selecionar ações.

Máquinas de Recompensa Neurais (NRMs) para Ancoragem Semi-Supervisionada

A inovação central reside no treinamento do ancorador utilizando Máquinas de Recompensa Neurais (NRMs). Como rótulos explícitos não estão disponíveis, o sistema trata o problema como uma tarefa de Ancoragem de Símbolos Semi-Supervisionada (SSSG).

Mecanismo: Para cada tarefa de treinamento (fórmula LTL), uma máquina de Moore correspondente é derivada. Esta máquina rastreia o progresso da tarefa e produz recompensas (+1 para satisfação, -1 para violação, 0 caso contrário).
Treinamento: As NRMs são implementadas como autômatos probabilísticos diferenciáveis. O ancorador é treinado através da retropropagação de gradientes através da estrutura da NRM. O objetivo é minimizar a entropia cruzada entre as recompensas previstas pela NRM (baseadas nas previsões de símbolos probabilísticos do ancorador) e as recompensas de verdade fundamental derivadas das condições de terminação da tarefa.
Vantagem Multitarefa: Diferente das aplicações anteriores de NRMs em tarefas únicas, este método emprega múltiplas NRMs compartilhando um único ancorador. Esta configuração multitarefa fornece um sinal de aprendizado mais denso, mitigando o problema de "atalhos de raciocínio" comum em configurações de recompensa esparsa e permitindo que o ancorador converja efetivamente sem recompensas densas baseadas em potencial.

Aprendizado de Política

A política é condicionada ao progresso da tarefa usando o framework LTL2Action (Vaezipoor et al., 2021). A fórmula LTL é progressivamente atualizada com base nos símbolos previstos pelo ancorador, e a fórmula resultante é codificada para guiar a política. Isso permite que o agente rastreie os requisitos da tarefa diretamente das observações brutas.

Principais Contribuições

Arquitetura Neurosimbólica para Aprendizado Conjunto: Os autores propõem uma nova arquitetura que aprende conjuntamente uma política multitarefa e um ancorador de símbolos. Esta abordagem elimina a necessidade de uma função de rotulagem conhecida, baseando-se apenas na especificação simbólica da tarefa (fórmula LTL) e nas trajetórias do ambiente.
Validação Empírica de Generalização Zero-Shot: O artigo fornece uma avaliação empírica demonstrando que o método proposto alcança um desempenho comparável ao "limite superior" (onde a verdadeira função de rotulagem é conhecida) e supera significativamente o único baseline existente para RL multitarefa sem conhecimento de ancoragem de símbolos (Kuo et al., 2020).

Resultados Experimentais

O método foi avaliado em dois ambientes baseados em visão: um mundo de grade estilo Minecraft discreto e um ambiente de navegação FlatWorld contínuo. As tarefas incluíram sequências de "Ordenação Parcial" e restrições de "Evitação Global".

Desempenho vs. Limite Superior: No ambiente estilo Minecraft, o método proposto alcançou taxas de sucesso e retornos descontados quase idênticos ao limite superior (LTL2Action com ancoragem verdadeira) tanto para o treinamento quanto para a transferência zero-shot para fórmulas complexas não vistas.
Desempenho vs. Baseline: O método superou significativamente o baseline de Kuo et al. (2020). O baseline teve dificuldades com sequências longas e falhou ao escalar para tarefas complexas, enquanto o método proposto manteve alto desempenho.
Convergência do Ancorador: O ancorador de símbolos convergiu consistentemente dentro de 1 milhão de frames. Mostrou convergência mais rápida em tarefas de "Evitação Global", onde as recompensas negativas de violações de tarefa forneceram um forte sinal de aprendizado.
Ambiente Contínuo: No FlatWorld, o ancorador alcançou mais de 95% de precisão, apesar da dificuldade de determinar a proximidade de zonas. Embora todos os métodos tenham tido dificuldades com as tarefas de "Evitação Global" mais complexas neste ambiente contínuo, o método proposto ainda superou significativamente o baseline em tarefas de "Ordenação Parcial" e manteve o desempenho próximo ao limite superior.

Significância e Alegações

O artigo afirma que, ao remover a suposição irrealista de uma ancoragem de símbolos conhecida, esta abordagem estende o RL multitarefa para ambientes verdadeiramente subsimbólicos. Os autores afirmam que seu método representa um passo significativo em direção a agentes capazes de seguir diversas instruções, anteriormente não vistas, diretamente de observações brutas.

O trabalho destaca que, embora as Máquinas de Recompensa Neurais tenham historicamente enfrentado dificuldades com recompensas esparsas em configurações de tarefa única, o treinamento em múltiplas tarefas fornece supervisão indireta suficiente para inferir corretamente a ancoragem de símbolos. Os autores observam modestamente que trabalhos futuros poderiam focar em melhorar a robustez do ancorador contra observações ruidosas, incorporar modelagem de recompensa baseada no progresso da tarefa e utilizar aprendizado curricular para fórmulas cada vez mais complexas. Eles também sugerem que futuras iterações poderiam evitar a construção explícita de autômatos ao utilizar a verificação de conformidade por lógica difusa (fuzzy logic).