Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories

Título: Políticas de Autômato Neural Emergente (ENAP): Aprendendo Estrutura Simbólica a partir de Trajetórias Visuomotoras

1. O Problema

O aprendizado de robótica para tarefas de longo horizonte (long-horizon tasks) enfrenta desafios significativos. As abordagens atuais dividem-se em duas categorias problemáticas:

• Políticas End-to-End (ex: VLA - Vision-Language-Action): Embora eficazes em tarefas de curto prazo, elas frequentemente falham em tarefas complexas e de longo prazo devido à falta de priors estruturais. Elas tendem a ser "caixas-pretas" semanticamente opacas, exigem grandes quantidades de dados e sofrem com a dificuldade de otimizar paisagens de otimização não convexas em um único rede monolítica.
• Métodos Neuro-Simbólicos Tradicionais (ex: TAMP): Oferecem interpretabilidade e planejamento hierárquico, mas dependem fortemente de priors simbólicos definidos manualmente (como lógica temporal ou predicados), o que limita sua adaptabilidade e escalabilidade para novos domínios sem engenharia intensiva.

O objetivo central é responder: Como a estrutura lógica de alto nível (Sistema 2) pode emergir naturalmente do fluxo perceptivo de baixo nível (Sistema 1) a partir de dados brutos, sem rótulos ou conhecimento prévio?

2. Metodologia: ENAP (Emergent Neural Automaton Policy)

O ENAP é um framework de aprendizado não supervisionado que reconstrói um planejador de máquina de estados de nível de tarefa a partir de demonstrações visuomotoras. A arquitetura é bi-nível, combinando um planejador discreto com um controlador contínuo.

A. Abstração Simbólica Adaptativa

1. Codificação: As observações contínuas (imagens e propriocepção) são codificadas em vetores de características.
2. Clustering: Utiliza o algoritmo HDBSCAN para agrupar essas características em um alfabeto discreto ($\Sigma$), onde cada cluster representa um símbolo semântico (ex: "Segurar", "Alinhar").
3. Representação de Histórico: Um RNN (Rede Neural Recorrente) é treinado para mapear sequências variáveis de ações e símbolos passados em embeddings fixos ($h_t$), servindo como um substituto contínuo para os nós da máquina de estados.

B. Extração de Estrutura via L Estendido*
O núcleo da descoberta de estrutura é uma extensão do algoritmo clássico L* (Angluin), adaptado para dados contínuos e estocásticos:

• Mapeamento para PMM: O objetivo é inferir uma Máquina de Mealy Probabilística (PMM), definida por estados ($Q$), entradas ($\Sigma$), saídas ($\Gamma$), função de transição ($\delta$) e função de saída ($\lambda$).
• Consulta de Membro (MQ) Auto-supervisionada: Em vez de consultar um oráculo, o algoritmo minera o banco de dados de demonstrações para encontrar transições válidas baseadas na similaridade dos embeddings de histórico.
• Consulta de Equivalência (EQ) Não-Determinística: Valida a hipótese da máquina de estados verificando se existem caminhos válidos nas demonstrações que correspondem às trajetórias de teste.
• Poda de Fase Estável: Remove nós redundantes para compactar a estrutura.

C. Pipeline de Controle Bi-nível
A política final é uma combinação de:

1. Prior de Ação (Alto Nível): A PMM fornece uma ação base ($a_{base}$) e um estado lógico ($q_t$) baseado na observação atual e no histórico.
2. Rede Residual (Baixo Nível): Uma rede neural ($\pi_\psi$) aprende um termo de correção residual ($\Delta a_t$) via Behavior Cloning (BC).
   • Ação Final: $\hat{a}_t = a_{base} + \Delta a_t$.
   • Isso permite que a PMM lide com o planejamento global e a lógica de tarefas, enquanto a rede residual lida com a precisão motora e correções finas.

D. Treinamento Iterativo (EM)
O framework utiliza um paradigma Expectation-Maximization (EM):

• E-Step: Extrai a estrutura da PMM usando o codificador atual.
• M-Step: Otimiza o codificador e a rede residual usando a estrutura fixa da PMM.
  Este ciclo permite que a representação de características e a estrutura simbólica co-evoluam para maximizar a eficácia do controle.

3. Principais Contribuições

1. Framework de Descoberta de Estrutura Sem Rótulos: O ENAP elimina a dependência de priors simbólicos manuais, descobrindo autônomamente máquinas de estados interpretáveis a partir de dados brutos.
2. Arquitetura Híbrida Emergente: Propõe uma representação de "Política de Autômato Neural" que unifica o raciocínio discreto (humano) e o controle contínuo (robótico), oferecendo tanto alta eficiência de amostra quanto interpretabilidade.
3. Justificativa Teórica: Fornece uma fundamentação baseada em Processos de Decisão Markovianos Parcialmente Observáveis (POMDP), mostrando como a fatoração da função de valor via estados latentes ($q$) simplifica o problema de aproximação de função.

4. Resultados Experimentais

Os experimentos foram conduzidos em simulação (ManiSkill, CALVIN) e no mundo real (montagem de Lego, classificação de objetos).

• Eficiência em Regimes de Poucos Dados: Em tarefas de manipulação complexa (ex: DualStackCube, PegInsert), o ENAP superou políticas VLA de última geração (como OpenVLA e $\pi_0$) em até 27% em cenários com poucos dados. O ENAP manteve alta eficácia mesmo com apenas 25% dos dados de treinamento.
• Desempenho em Tarefas de Longo Horizonte: No benchmark CALVIN (TAMP), o ENAP alcançou taxas de sucesso superiores em tarefas sequenciais e hierárquicas, demonstrando melhor capacidade de raciocínio de longo prazo.
• Interpretabilidade e Recuperação de Falhas:
  • O modelo descobriu estruturas lógicas como dependências cíclicas e ramificações lógicas para objetivos multimodais.
  • Recuperação Autônoma: Em tarefas de inserção, a máquina de estados aprendeu a transicionar de volta a um estado anterior (ex: tentar novamente) quando detectou falha, sem necessidade de reprogramação explícita.
• Eficiência Paramétrica: O ENAP alcançou desempenho superior utilizando significativamente menos parâmetros (até 39% menos) comparado a modelos VLA massivos.

5. Significado e Impacto

O trabalho do ENAP representa um passo crucial para a inteligência robótica geral e interpretável. Ao demonstrar que a estrutura lógica de alto nível pode emergir de dados de baixo nível, o artigo:

• Reduz a barreira de entrada para robótica complexa, eliminando a necessidade de especialistas definirem manualmente a lógica de tarefas.
• Oferece uma solução para o problema da "caixa preta" em IA, fornecendo um mapa explícito da lógica de decisão do agente.
• Valida a hipótese de que arquiteturas híbridas (discreto + contínuo) são superiores para tarefas de longo horizonte, alinhando-se melhor com a cognição humana (Sistema 1 e Sistema 2).

Em suma, o ENAP oferece um caminho viável para evoluir de políticas end-to-end puras para arquiteturas cognitivas hierárquicas que são simultaneamente eficientes, robustas e compreensíveis.