Resumo Técnico: Regressão de Kolmogorov para Políticas de Difusão Robustas

Declaração do Problema

Políticas de difusão de dimensão finita (FD), embora dominantes no aprendizado de políticas visuomotoras para robótica e sistemas autônomos, sofrem de deriva temporal causada por artefatos de discretização. As abordagens padrão discretizam os espaços de ação (por exemplo, mapeando trajetórias contínuas para pixels ou tokens de texto) antes do treinamento. Esse esquema de "discretizar-os-dados-antes-da-difusão" desalinha as políticas com a dinâmica subjacente do sistema autônomo contínuo. Os artefatos de grade resultantes geram erros de interpolação que se acumulam ao longo de rollouts de trajetória, levando a:

• Instabilidade em implantações no mundo real de missão crítica.
• Execução de planejamento de longo horizonte deficiente.
• Limites de convergência que degradam como $O(\sqrt{d})$ com a dimensão da ação $d$.
• Uma falta de diagnósticos determinísticos para falhas de política sem depender de sinais de recompensa.

O artigo argumenta que uma aproximação orientada ao controle baseada em princípios deve representar a distribuição sobre trajetórias admissíveis diretamente no espaço de funções, adiando a discretização o máximo possível para preservar a estrutura geométrica da dinâmica.

Metodologia

Os autores propõem um Framework de Difusão de Dimensão Infinita (ID) fundamentado na teoria da medida Gaussiana e na Equação de Kolmogorov Inversa (BKE). Em vez de aprender um objetivo de correspondência de score estocástico em espaço Euclidiano, o método eleva a política de difusão para um espaço de Cameron-Martin (um subconjunto do espaço de Hilbert $H = L^2([0, T], \mathbb{R}^{d_a})$).

A inovação central substitui o pipeline padrão de DDPM por três substituições mínimas que não requerem mudanças na arquitetura da rede neural:

1. Ruído de Propagação Colorido (Colored Forward Noise):

   • O ruído branco padrão $\eta \sim \mathcal{N}(0, I)$ é substituído por ruído colorido $\eta = L_N \xi$, onde $\xi \sim \mathcal{N}(0, I)$ e $L_N = \text{chol}(G_N)$ é o fator de Cholesky de uma matriz Gram de Matérn.
   • Isso respeita a estrutura de covariância da distribuição de ação, gerando trajetórias suaves e fisicamente plausíveis e evitando descontinuidades abruptas de velocidade.

2. Perda de Cameron-Martin com Pesagem de Precisão:

   • O erro quadrático médio (MSE) padrão é substituído pela perda de Cameron-Martin:
     $$\mathcal{L}_{CM} = \mathbb{E} \left[ \| C_\mu^{-1/2} (\eta_\theta - \eta) \|_H^2 \right]$$
   • Aqui, $C_\mu$ é o operador de covariância. Esta pesagem de inverso de covariância garante que a perda de denoising preserve a estrutura de medida da distribuição de ruído subjacente (via teorema de Radon-Nikodym) e alcança convergência independente da dimensão.

3. Ruído Reverso Colorido (Colored Reverse Noise):

   • Durante a inferência, o ruído branco é substituído pela mesma estrutura de ruído colorido ($\eta = L_N \xi$) usada no treinamento para manter a consistência com a estrutura de covariância ao longo da trajetória de amostragem.

Fundamentação Teórica: A Equação de Kolmogorov Inversa (BKE)

O framework evita formulações baseadas em densidade (que falham em dimensões infinitas devido à falta de uma medida de referência de Lebesgue) ao definir o score como uma derivada logarítmica de Cameron-Martin. A função de valor $u(x, s) = \mathbb{E}[f(X_t) | X_s = x]$ satisfaz a BKE determinística:
$$-\frac{\partial u}{\partial s} = \left\langle -\frac{1}{2}x, \nabla_x u \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2_x u]$$
Isso transforma o problema estocástico de correspondência de score em um problema de PDE de valor de contorno determinístico.

Diagnóstico em Tempo de Inferência: O Resíduo de Kolmogorov

Uma contribuição inovadora é o Resíduo de Kolmogorov ($R(\hat{u})$), um sinal determinístico e livre de oráculo para detectar falhas de política:
$$R(\hat{u}) := \left\| \frac{\partial \hat{u}}{\partial s} + \left\langle -\frac{1}{2}x, \nabla_x \hat{u} \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2 \hat{u}] \right\|_H$$
Resíduos altos indicam afastamentos da restrição da BKE, correlacionando-se com modos de falha subsequentes (ex: deriva de trajetória ou planejamento inviável) sem a necessidade de recompensas da tarefa ou verdade fundamental (ground truth).

Principais Contribuições

1. PDEs de Kolmogorov para Difusão: Fundamentar as políticas de difusão na BKE substitui a correspondência de score estocástica por um problema de valor de contorno determinístico, gerando garantias de convergência onde as constantes dependem do posto efetivo do kernel, em vez da dimensão da ação.
2. Instanciação Algorítmica de Três Pontos: Demonstrar que o framework ID reduz-se a três substituições no DDPM padrão (ruído colorido, perda com pesagem de precisão, ruído reverso colorido), permitindo fácil adoção sem mudanças na arquitetura da rede.
3. Detecção de Falhas Determinística: Introduzir o resíduo de Kolmogorov como um diagnóstico interpretável e não supervisionado para confiabilidade da política.
4. Validação Multidomínio: Validar a abordagem através de manipulação robótica e controle de fluxo de manufatura.

Resultados Experimentais

1. Benchmark de Manipulação PushT

• Desempenho: A perda de Cameron-Martin alcançou uma melhora de 17% na recompensa máxima do episódio (0.95 vs. 0.78 para MSE).
• Qualidade da Trajetória: Uma redução de 67,6% nas derivas entre passos durante a inferência comparado às bases de MSE.
• Diagnósticos: O resíduo de Kolmogorov para o modelo treinado via CM foi de $\approx 0.11$ (vs. $\approx 0.34$ para MSE), mostrando forte alinhamento com a restrição da BKE. Resíduos altos correlacionaram-se fortemente com falhas na tarefa.

2. Controle de Fluxo de Manufatura (6-Station CONWIP)

• Previsão: O modelo ID alcançou um RMSE 28,4% menor na previsão de Trabalho em Processo (WIP) comparado às bases clássicas de LSTM.
• Detecção de Anomalias: O resíduo de Kolmogorov serviu como um detector de gargalo com Precisão@1 = 1.0 e uma relação sinal-ruído de 13× (identificando a estação sobrecarregada S2 com um resíduo médio de 13.05 vs. 0.96 para as outras).
• Certificação de Segurança: Integrado com a teoria de alcançabilidade de Hamilton-Jacobi (HJ), o sistema certificou políticas de despacho que reduziram eventos de deadlock em 96% (351 eventos evitados em 100 execuções) comparado ao despacho não controlado.

Significância e Alegações

O artigo alega que, ao elevar as políticas de difusão para espaços de funções de dimensão infinita e fundamentá-las na teoria da medida, resolve-se o desalinhamento fundamental entre artefatos de treinamento discretos e dinâmicas físicas contínuas.

• Garantias de Convergência: Limites teóricos mostram taxas de convergência desacopladas da dimensão do problema, dependendo, em vez disso, das propriedades espectrais (posto efetivo) do operador de covariância.
• Interpretabilidade: O framework fornece um diagnóstico consciente da física (o resíduo de Kolmogorov) que detecta falhas de política sem sinais de recompensa, preenchendo a lacuna entre o aprendizado de caixa-preta e a verificação de missão crítica.
• Superioridade Operacional: Na manufatura, o método supera a previsão baseada em escalares (LSTM) ao capturar acoplamentos inter-estações baseados em funções e fornece envelopes de segurança certificados via alcançabilidade HJ, prevenindo falhas operacionais como inanição (starvation) e deadlock.

Os autores concluem que a estrutura de dimensão infinita não é meramente um constructo teórico, mas é operacionalmente superior para sistemas onde a dinâmica subjacente é baseada em funções, oferecendo um caminho para o implante mais confiável, interpretável e seguro de políticas de difusão em robótica e controle industrial.