Resumo Técnico: Controle Baseado em Amostragem via Transporte Ótimo Regularizado por Entropia

Declaração do Problema

Métodos de Controle Preditivo por Modelo (MPC) baseados em amostragem, como o Modelo Preditivo de Integral de Caminho (MPPI) e o Método de Entropia Cruzada (CEM), são amplamente utilizados para controle em tempo real de sistemas robóticos não lineares, particularmente onde gradientes estão indisponíveis ou as dinâmicas são descontínuas. No entanto, esses métodos dependem de objetivos baseados em teoria da informação (por exemplo, divergência KL) que são agnósticos à estrutura geométrica do espaço de controle.

Essa agnosticidade geométrica leva a dois modos de falha primários:

1. Média de Modos: O MPPI agrega amostras por meio de uma média ponderada. Em paisagens de custo complexas e multimodais (por exemplo, navegar ao redor de um obstáculo), isso resulta em comandos de controle que misturam mínimos locais distintos, frequentemente direcionando o robô diretamente para obstáculos em vez de escolher um caminho válido ao redor deles.
2. Busca de Modos: O CEM evita a média ao selecionar amostras "de elite", mas isso compromete agressivamente um único modo, limitando a exploração e potencialmente fazendo com que o algoritmo perca soluções viáveis em favor de um ótimo local.

Soluções existentes frequentemente dependem de heurísticas post-hoc (por exemplo, cronogramas de recozimento, adaptação de covariância) que não alteram fundamentalmente o objetivo variacional. O artigo argumenta que uma mudança fundamental é necessária para incorporar informações espaciais no processo de otimização.

Metodologia: OT-MPC e Descida de Coordenadas de Sinkhorn

Os autores propõem o OT-MPC (MPC de Transporte Ótimo), um algoritmo baseado em amostragem derivado de uma formulação de Transporte Ótimo Regularizado por Entropia (EOT). Em vez de minimizar a divergência baseada em teoria da informação, o OT-MPC minimiza o custo de transportar massa de probabilidade entre sequências de controle candidatas e propostas de baixo custo, incorporando explicitamente a proximidade geométrica.

Algoritmo Central: Descida de Coordenadas de Sinkhorn (SCD)

O motor de otimização é a Descida de Coordenadas de Sinkhorn (SCD), um algoritmo livre de gradientes que evolui um conjunto de $N$ partículas (sequências de controle candidatas) em direção a uma distribuição-alvo usando $M$ propostas.

1. Formulação: O problema é enquadrado como encontrar um acoplamento ótimo $\Gamma$ entre partículas $z$ e propostas $y$ que minimize um custo de transporte $c(z, y)$ regularizado pela entropia $H(\Gamma)$.
2. Otimização Alternada:
   • Atualização de Acoplamento: Dadas partículas fixas, o acoplamento ótimo $\Gamma$ é computado eficientemente usando o algoritmo de Sinkhorn. Esta etapa leva em conta tanto o custo das propostas quanto a distância geométrica entre partículas e propostas.
   • Atualização de Partículas: Dado o acoplamento, as partículas são atualizadas. Para custos quadráticos, esta atualização possui uma solução de forma fechada: cada partícula move-se em direção ao baricentro ponderado de suas propostas acopladas.
   • Relaxação: Um parâmetro de tamanho de passo $\eta$ é usado para estabilizar as atualizações, particularmente quando as propostas são reamostradas a cada iteração.
3. Distribuição de Propostas: Para equilibrar exploração e exploração, as propostas são amostradas de uma distribuição de mistura: uma fração $\rho$ é extraída de uma distribuição global (por exemplo, uniforme ou Gaussiana ampla), enquanto o restante são perturbações locais de partículas existentes.

Propriedades Teóricas Chave

• Biconvexidade: A função objetivo é biconvexa nas partículas e no acoplamento, garantindo soluções únicas para subproblemas.
• Descida Monotônica: O algoritmo garante uma sequência não crescente de valores de função objetivo.
• Convergência: As iterações convergem para um ponto estacionário.
• Generalização: O SCD generaliza o MPPI; no limite onde o número de partículas $N=1$ ou a regularização $\epsilon \to \infty$, o SCD recupera a média ponderada por importância padrão do MPPI.

Contribuições Principais

1. Inovação Algorítmica: A proposta do SCD e sua instância como OT-MPC. Diferentemente de métodos de amostragem existentes, o SCD atualiza partículas com base tanto no custo quanto na proximidade geométrica, permitindo refinamento local enquanto preserva a diversidade entre modos.
2. Garantias Teóricas: Estabelecimento de propriedades teóricas para o SCD, incluindo descida monotônica, garantias de convergência e atualizações de forma fechada para custos quadráticos (e outras funções de custo específicas como distância circular e métricas Log-Euclidianas).
3. Validação Empírica: Demonstração de que o OT-MPC alcança taxas de sucesso superiores ao MPPI, CEM e MPC Variacional de Stein (SV-MPC) em diversas tarefas robóticas, particularmente aquelas com paisagens de custo multimodais.

Resultados Experimentais

Os autores avaliaram o OT-MPC em tarefas de navegação, manipulação e locomoção, comparando-o com MPPI, CEM e SV-MPC.

• Evitação de Obstáculos para Carro (Bicicleta Cinemática): Em campos densos de obstáculos (configuração "Difícil"), o OT-MPC alcançou uma taxa de sucesso de 93,5% comparada a 88,5% para o MPPI. A lacuna de desempenho ampliou-se em ambientes complexos onde o MPPI sofreu com a média de modos.
• 2D Push-T (Manipulação Rica em Contato): O OT-MPC alcançou uma taxa de sucesso de 76%, superando significativamente o MPPI (4%) e o CEM (46%). O SV-MPC falhou completamente (0%) devido à falta de gradientes diferenciáveis em dinâmicas de contato híbridas.
• Evitação de Obstáculos para Quadrotor (12-DOF): Em configurações de obstáculos densos médios e difíceis, o OT-MPC alcançou taxas de sucesso de 100% e 92%, respectivamente, comparadas a 60% e 19% para o MPPI. O MPPI frequentemente falhou em encontrar caminhos viáveis, ficando preso em mínimos locais.
• Transporte Cooperativo de Carga (Dois Quadrotors): Em uma tarefa exigindo coordenação precisa através de uma abertura estreita em uma parede, o OT-MPC alcançou 75% de sucesso na configuração "Difícil" versus 10% para o MPPI. O gargalo estreito exacerbou os problemas de média de modos do MPPI, interrompendo a coordenação.
• Franka Push-T (Manipulação 3D): O OT-MPC alcançou 66% de sucesso, comparável a um MPPI fortemente ajustado (64%), mas exigiu significativamente menos esforço de ajuste de hiperparâmetros.
• Locomoção de Quadrúpede (Unitree Go2): O OT-MPC demonstrou eficiência superior, exigindo menos passos médios para alcançar objetivos em tarefas de subida de rampa e empurrão de caixa comparado ao MPPI.

Sobrecarga Computacional: Embora a etapa de Sinkhorn adicione custo computacional ($O(NM)$ versus $O(M)$ para o MPPI), os autores relatam que o OT-MPC frequentemente alcança tempos de relógio comparáveis ou mais rápidos. Isso ocorre porque o acoplamento de transporte extrai mais informações por amostra, permitindo que o algoritmo use menos propostas (execuções) para alcançar a convergência.

Significado e Alegações

O artigo afirma que o OT-MPC aborda as limitações fundamentais dos métodos de amostragem baseados em teoria da informação, substituindo a divergência KL por um objetivo de Transporte Ótimo. Essa mudança permite que o controlador:

• Preserve Modos: Evite a "média de modos" que leva a colisões em ambientes multimodais.
• Coordene Atualizações: Mantenha a diversidade do conjunto enquanto refina candidatos em direção a regiões locais promissoras.
• Opere sem Gradientes: Permaneça compatível com simuladores de caixa preta e dinâmicas não suaves, de forma semelhante ao MPPI.

Os autores posicionam o OT-MPC não meramente como uma melhoria heurística, mas como uma mudança fundamental na forma como o controle baseado em amostragem agrega informações, aproveitando a estrutura geométrica do espaço de controle para alcançar desempenho robusto em tarefas robóticas complexas, ricas em contato e de alta dimensão. Eles reconhecem limitações, como a dependência da cobertura de propostas para exploração e a necessidade de ajuste cuidadoso do parâmetro de regularização de entropia $\epsilon$, mas afirmam que o método oferece uma alternativa principial aos controladores de amostragem de última geração existentes.