Resumo Técnico: PRISM – Representações Polinomiais para Controle Motor Estruturado por Interação

1. Declaração do Problema

Políticas robóticas padrão, tipicamente implementadas como Perceptrons de Camada Multicamadas (MLPs), mapeiam observações (posições de juntas, velocidades, comandos, etc.) diretamente para ações. Embora os MLPs possam, teoricamente, aproximar funções complexas, eles tratam as entradas como variáveis de primeira ordem. No entanto, muitas quantidades físicas críticas que regem o comportamento do robô — como potência das juntas, efeitos inerciais, deslizamento, impulso de contato e complacência — surgem de interações multiplicativas (produtos) entre essas variáveis observáveis.

Em MLPs padrão, esses sinais de interação permanecem latentes. A rede deve descobrir implicitamente essas relações a partir dos dados, muitas vezes exigindo uma capacidade excessiva para aproximar o que é, fisicamente, uma relação de segunda ordem ou superior. Simplesmente aumentar o número de parâmetros (capacidade do modelo) não altera a base de entrada; deixa a política sem uma "base de interação" explícita alinhada com a física subjacente. Além disso, alcançar um comportamento complacente em tarefas ricas em contato geralmente requer sensores de força explícitos, entradas de torque ou controladores de admitância especializados, que muitas vezes estão indisponíveis em cenários de implantação com sensores mínimos.

2. Metodologia: PRISM

Os autores introduzem o PRISM (Representações Polinomiais para Controle Motor Estruturado por Interação), uma representação de política que torna as interações polinomiais entre variáveis físicas observáveis explícitas, treináveis e compactas.

Arquitetura Central

O PRISM substitui o caminho de condicionamento linear padrão para entradas proprioceptivas por um módulo polinomial fatorizado. Em vez de enumerar explicitamente todos os termos monomiais (o que é computacionalmente ineficiente), o PRISM utiliza projeções aprendidas para formar fatores latentes compactos.

Dada uma entrada proprioceptiva vetorial $x_t$, o PRISM computa dois fatores afins aprendidos:
$$u_t = W_1 x_t + b_1$$
$$v_t = W_2 x_t + b_2$$

A representação de segunda ordem é construída como:
$$\psi_2(x_t) = u_t \odot (1 + \alpha_2 \odot v_t) = u_t + \alpha_2 \odot (u_t \odot v_t)$$
onde $\odot$ denota multiplicação elemento a elemento e $\alpha_2$ é um parâmetro treinável inicializado próximo de zero. Este design permite que a política retenha características lineares onde for suficiente, enquanto aprende a fortalecer interações quadráticas onde for benéfico.

O framework estende-se recursivamente até o grau $K$:
$$\psi_k(x_t) = \psi_{k-1}(x_t) \odot [1 + \alpha_k \odot (W_k x_t + b_k)]$$
Isso preserva todos os caminhos de ordens inferiores enquanto adiciona termos de interação de ordens superiores sem expansão explícita.

Integração em Paradigmas de Aprendizado

• Aprendizado por Reforço (RL): O PRISM aumenta a rede do ator aplicando o módulo polinomial aos estados proprioceptivos disponíveis para implantação antes que eles entrem no backbone MLP padrão. O espaço de ação, a função de recompensa e os controladores de baixo nível permanecem inalterados.
• Aprendizado por Imitação (IL): Em Políticas de Difusão (Diffusion Policies), o PRISM substitui a camada de condicionamento proprioceptivo linear padrão pela camada de interação polinomial. Esta camada é treinada de ponta a ponta com a política, combinando-se com características visuais e de linguagem para a predição de ações.

Crucialmente, o PRISM não requer sensores adicionais (força, tátil, torque) nem entradas físicas privilegiadas (rótulos de contato, fricção do terreno) durante a implantação.

3. Principais Contribuições

1. Identificação de uma Limitação: O artigo identifica que as políticas MLP padrão recebem apenas variáveis físicas de primeira ordem, falhando em representar explicitamente as interações multiplicativas essenciais para o controle (ex: torque $\times$ velocidade para potência).
2. Arquitetura PRISM: Uma representação de política polinomial fatorizada e compacta que torna essas interações explícitas e treináveis sem enumerar todos os monômios. Ele suporta ativação gradual em RL e pode substituir o condicionamento linear em Políticas de Difusão.
3. Validação Empírica: Demonstra que a modelagem estruturada de interações gera ganhos de desempenho tanto sobre MLPs padrão quanto sobre MLPs maiores com capacidade correspondente, provando que a estrutura de interação não pode ser substituída apenas pelo número de parâmetros.

4. Resultados Experimentais

Os autores avaliaram o PRISM no Humanoid-Gym (locomoção) e no LIBERO (manipulação rica em contato).

Locomoção de Humanoide (Humanoid-Gym)

• Desempenho: O PRISM superou significativamente tanto um MLP padrão quanto um "MLP Maior" (com quase o dobro de parâmetros do baseline) em comprimento de episódio, erro de rastreamento de velocidade linear/yaw e taxa de sobrevivência.
• Estabilidade: O PRISM mostrou limites de convergência mais estreitos entre sementes de treinamento e redução do desvio de velocidade em comparação com os baselines.
• Conclusão: O salto de desempenho é impulsionado pela modelagem explícita de interações multiplicativas, não meramente pelo aumento da capacidade do modelo.

Manipulação Rica em Contato (LIBERO)

• Complacência sem Sensores: O PRISM alcançou uma taxa de sucesso de 91,0%, superando significativamente a Política de Difusão padrão (63,8%) e um controlador de complacência sem sensores (MCC-Sensorless, 47,8%).
• Comportamento: O PRISM exibiu um comportamento complacente emergente: manteve aproximação de alta velocidade em espaço livre, mas suprimiu instantaneamente a velocidade ao contato, regulando forças sem entradas de força/tátil. Isso superou o MCC-Sensorless, que sofreu com respostas atrasadas e altas forças de impacto.
• Agnosticismo de Backbone: Quando integrado em backbones mais fortes (BFM-Zero para locomoção, SmolVLA para manipulação), o PRISM continuou a superar controles de maior capacidade, confirmando que o benefício é arquitetural, e não apenas de capacidade.

Análise de Quantidades Físicas

• Sondagem Linear (Linear Probing): Sondas lineares treinadas em representações congeladas do PRISM predisseram quantidades inspiradas na mecânica (velocidade de deslizamento, potência da junta, impulso de contato, trabalho de contato) com Erro Quadrático Médio (MSE) significativamente menor e Coeficientes de Correlação de Pearson (PCC) mais altos que os baselines.
• Interações Emergentes: Estudos de ablação revelaram que os fatores aprendidos mais impactantes correspondiam a acoplamentos fisicamente significativos, como "memória de velocidade" (velocidade atual $\times$ velocidade passada) e "acoplamento de velocidade de junta", confirmando que o modelo aprende estruturas físicas relevantes para a tarefa.

5. Significância e Alegações

O artigo argumenta que representações polinomiais devem se tornar uma escolha arquitetural padrão para o controle motor incorporado.

• Viés Indutivo Alinhado à Física: Ao tornar as estruturas de interação explícitas, o PRISM alinha o viés indutivo da política com a realidade física da dinâmica do robô, onde o controle frequentemente depende de produtos de variáveis de estado.
• Complacência Sem Sensores: O PRISM demonstra que o comportamento complacente e consciente de contato pode ser aprendido puramente através de propriocepção e entradas visuais, eliminando a necessidade de sensores de força/tátil caros ou frágeis na implantação.
• Eficiência sobre Capacidade: Os resultados sugerem que melhorar o desempenho da política não é apenas uma função de escala do tamanho do modelo; em vez disso, modelar explicitamente a estrutura de interação das variáveis físicas produz maior eficiência de dados e robustez.

Os autores concluem que, embora o PRISM assuma que pistas fundamentais sejam capturadas por polinômios de baixo grau e possa ter dificuldades com histórico de longo horizonte ou geometria não observada, ele oferece uma solução robusta e implantável para o controle estruturado por interação em diversas morfologias e tarefas robóticas.