Resumo Técnico: ReStruct – Direcionamento de Comportamento Robótico em Tempo de Inferência através da Reconfiguração de Estrutura de Tarefa Fisicamente Consciente

1. Definição do Problema

O desafio central abordado é o direcionamento de comportamento em tempo de inferência: a capacidade de redirecionar uma política robótica aprendida durante o teste para satisfazer preferências do usuário não antecipadas durante o treinamento, sem necessidade de retreinamento ou coleta adicional de dados.

As abordagens existentes falham de duas formas distintas:

• Métodos End-to-End (ex: modelos VLA, Políticas de Difusão): Estes dependem de ajuste fino (fine-tuning) ou da imposição de mecanismos de orientação (ex: Lagrangianos suaves). Eles exigem conhecimento especializado e são limitados a preferências que sejam aproximadamente diferenciáveis. Carecem de uma abstração explícita para fundamentar novas preferências no conjunto de comportamentos executáveis sem retreinar.
• Métodos Neuro-Simbólicos: Utilizam uma camada simbólica para especificar preferências. No entanto, frequentemente dependem de símbolos predefinidos. Editar esses símbolos pode produzir planos que são logicamente válidos, mas fisicamente inviáveis, porque as edições simbólicas não se propagam para o controlador de baixo nível. O controlador pode tentar executar um plano que viola restrições físicas (ex: folga insuficiente) porque a abstração simbólica está desconectada da distribuição de comportamento executável do controlador.

O artigo argumenta que um direcionamento robusto requer uma representação intermediária que seja fisicamente consciente, fundamentando cada preferência no subconjunto de comportamentos executáveis pelo controlador que a satisfaçam.

2. Metodologia: ReStruct

Os autores propõem o ReStruct, um framework construído sobre o Emergent Neural Automaton Policy (ENAP). O ENAP decompõe uma política visuomotora em um esqueleto de máquina de estados de alto nível (Máquina de Mealy Probabilística, PMM) e um controlador contínuo de baixo nível. O ReStruct adapta esta arquitetura para permitir o direcionamento zero-shot através de um processo de três estágios:

A. Alto Nível: Reconfiguração do Esqueleto Simbólico ($p(z|\phi)$)

Dada uma preferência em linguagem natural $\phi$, o ReStruct reconfigura a estrutura da tarefa da política base mantendo o controlador de baixo nível congelado.

1. Fundamentação de Preferência: Um Modelo de Linguagem e Visão (VLM) analisa a preferência e o alfabeto de clusters do esqueleto base.
   • Se o alfabeto existente for suficiente, o VLM traduz $\phi$ em uma fórmula de Lógica Temporal Linear sobre Traços Finitos (LTLf) e a compila em um Autômato Determinístico Finito (DFA).
   • Se o alfabeto carecer de granularidade (ex: "pegar" precisa distinguir entre "pegar vermelho" vs. "pegar azul"), o VLM refina os clusters e atualiza a topologia do esqueleto adequadamente.
2. Produto Síncrono: A DFA de preferência é combinada com o esqueleto PMM base (ou refinado) via um produto síncrono. Isso cria um novo esqueleto direcionado ($M_2$) que admite estruturalmente apenas trajetórias que satisfaçam a preferência $\phi$.

B. Ponte de Prior de Ação: Replay de Trajetória ($p_D(z|\tau)$)

Para garantir que o novo esqueleto seja fisicamente viável, o ReStruct recomputa os priors de ação para o esqueleto modificado.

• Mecanismo de Replay: O sistema realiza o replay de trajetórias representativas do conjunto de demonstrações original através do novo esqueleto direcionado $M_2$.
• Filtragem: Trajetórias que alcançam estados inválidos ou terminam fora do conjunto de aceitação do autômato de produto são descartadas.
• Repopulação: Trajetórias válidas são aceitas, e suas ações específicas são escritas nas listas de ações associadas às arestas do novo esqueleto. Isso faz a ponte entre a edição da estrutura simbólica e a rede de baixo nível congelada, garantindo que os priors reflitam comportamentos fisicamente executáveis sob as novas restrições.

C. Baixo Nível: Geração de Ação ($p_D(\tau)$)

O controlador de baixo nível permanece congelado durante todo o processo de direcionamento.

• Arquitetura: O controlador recebe a observação atual e a lista de ações da aresta ativa (os priors repopulados) como entrada.
• Mecanismo: Ele utiliza um mecanismo de atenção para mapear a observação para uma ação protótipo da lista, e então aplica um MLP residual para gerar uma correção baseada no offset entre a observação e o centroide do cluster. A ação final é limitada (clamped) ao intervalo da lista de ações fornecida.
• Benefício: Este design permite que o controlador se adapte aos novos priors estruturais sem retreinamento, mantendo a robustez contra o deslocamento de distribuição causado pela reconfiguração do esqueleto.

3. Principais Contribuições

1. Framework ReStruct: Um framework de direcionamento zero-shot que permite que políticas aprendidas sigam preferências semânticas de alto nível (de objetos centrais a lógica temporal) sem retreinamento. Permite que usuários comuns moldem o comportamento do robô via linguagem.
2. Direcionamento Fisicamente Consciente: Ao recomputar os priors de ação via replay de trajetória no esqueleto reconfigurado, o método garante que as edições simbólicas se propaguem ao nível do controlador, evitando planos fisicamente inviáveis.
3. Interpretabilidade e Verificabilidade: A estrutura de máquina de estados e os priors de ação baseados em protótipos permitem que a satisfação da preferência seja inspecionada tanto no nível simbólico quanto no de controle.
4. Eficiência de Dados: O framework permite a adaptação entre tarefas ao reutilizar experiências através de diversas demonstrações, sintetizando o comportamento da tarefa alvo injetando preferências em tarefas relacionadas, porém distintas.

4. Resultados Experimentais

Os autores avaliaram o ReStruct em ambientes de simulação (ManiSkill, Calvin) e mundo real (Kinova Gen3) em tarefas que variam de manipulação complexa a Planejamento de Ação e Movimento Temporal (TAMP) de longo horizonte.

• Seguimento de Preferência vs. Sucesso da Tarefa: O ReStruct superou consistentemente os baselines (incluindo modelos VLA como OpenVLA e $\pi_0.5$, e Políticas de Difusão) tanto em Taxa de Sucesso (SR) quanto em Taxa de Sucesso sob Preferência (SRP).
  • Em tarefas de manipulação complexa (ex: SeqPushT, PegInsert), o ReStruct melhorou o seguimento de preferência em até 25% comparado aos modelos VLA, mantendo ou melhorando o sucesso da tarefa.
  • Diferente dos baselines de filtragem por rejeição (que sacrificam SR por SRP) ou baselines de injeção de prompt (que mantêm SR mas falham em SRP), o ReStruct alcançou pontuações altas em ambas as métricas.
• Adaptação de Longo Horizonte: Em tarefas de longo horizonte (ex: conjuntos de habilidades Causais e Não Restritas), o ReStruct recuperou com sucesso sequências ordenadas a partir de dados de demonstração desordenados, superando os baselines de VLA ajustados (fine-tuned).
• Robustez: Em experimentos no mundo real (CanSorting, PassTeaPot, ConeCover), o ReStruct alcançou um SRP quase perfeito (frequentemente 100%) onde os baselines VLA caíram significativamente (ex: para ~30-40%).
• Estudos de Ablação: Remover a etapa de replay de trajetória ou o mecanismo de atenção/limitação degradou significativamente o desempenho, confirmando a necessidade de re-fundamentar os priors de ação e o design flexível do controlador.

5. Significância e Alegações

O artigo alega que o ReStruct fornece um caminho viável para que usuários comuns moldem seus robôs através da linguagem, em vez de retreinamento. Ao desacoplar a estrutura de tarefa simbólica do controlador de baixo nível, mantendo um elo físico através dos priors de ação, o método alcança um nível de "decisividade" e viabilidade física que métodos puramente simbólicos ou puramente end-to-end não possuem.

Os autores posicionam o ReStruct como uma solução para as limitações estruturais dos métodos de implantação atuais: ele evita a necessidade de re-otimização (ao contrário de métodos de tempo de treinamento) e garante que as edições simbólicas se propaguem de forma confiável para o comportamento executável (ao contrário do roteamento neuro-simbólico tradicional). O trabalho demonstra que o direcionamento em tempo de inferência pode ser tanto interpretável (via autômato) quanto fisicamente fundamentado (via priors de replay), permitindo a adaptação robusta às preferências do usuário em cenários de manipulação complexos e do mundo real.

Limitações Reconhecidas:

• O método depende do backbone ENAP; estender o método para outras classes de política requer a destilação de políticas para o ENAP, o que atualmente incorre em uma lacuna de desempenho.
• A qualidade do direcionamento depende da capacidade do VLM de gerar fórmulas LTL corretas; o refinamento iterativo pode ser necessário para casos complexos.
• O escopo direcionável é atualmente limitado a preferências in-domain e composicionais fora do domínio (OOD); escalar para regimes OOD mais ricos e elicitar habilidades inteiramente novas continua sendo um desafio em aberto.