Sintesi Tecnica: Regressione di Kolmogorov per Politiche di Diffusione Robuste

Definizione del Problema

Le politiche di diffusione a dimensione finita (FD), pur essendo dominanti nell'apprendimento di politiche visuomotorie per la robotica e i sistemi autonomi, soffrono di drift temporale causato da artefatti di discretizzazione. Gli approcci standard discretizzano gli spazi di azione (ad esempio, mappando traiettorie continue in pixel o token di testo) prima dell'addestramento. Questo schema "discretizza-i-dati-prima-della-diffusione" disallinea le politiche con la dinamica sottostante dei sistemi autonomi continui. Gli artefatti di griglia risultanti generano errori di interpolazione che si accumulano durante i rollout delle traiettorie, portando a:

• Instabilità nelle implementazioni reali critiche per la sicurezza.
• Scarsa esecuzione della pianificazione a lungo termine.
• Limiti di convergenza che degradano come $O(\sqrt{d})$ con la dimensione dell'azione $d$.
• Una mancanza di diagnostica deterministica per il fallimento della politica senza fare affidamento su segnali di ricompensa.

Il documento sostiene che un'approssimazione basata sui principi del controllo dovrebbe rappresentare la distribuzione sulle traiettorie ammissibili direttamente in uno spazio di funzioni, differendo la discretizzazione il più possibile per preservare la struttura geometrica della dinamica.

Metodologia

Gli autori propongono un Framework di Diffusione a Dimensione Infinita (ID) fondato sulla teoria della misura gaussiana e sull'Equazione di Kolmogorov all'Indietro (BKE). Invece di apprendere un obiettivo di score matching stocastico in uno spazio euclideo, il metodo eleva la politica di diffusione a uno spazio di Cameron-Martin (un sottoinsieme dello spazio di Hilbert $H = L^2([0, T], \mathbb{R}^{d_a})$).

L'innovazione principale sostituisce la pipeline standard DDPM con tre sostituzioni minime che non richiedono modifiche all'architettura della rete neurale:

1. Rumore Forward Colorato:

   • Il rumore bianco standard $\eta \sim \mathcal{N}(0, I)$ è sostituito con rumore colorato $\eta = L_N \xi$, dove $\xi \sim \mathcal{N}(0, I)$ e $L_N = \text{chol}(G_N)$ è il fattore di Cholesky della matrice di Gram di Matérn.
   • Questo rispetta la struttura di covarianza della distribuzione di azione, producendo traiettorie fluide e fisicamente plausibili ed evitando discontinuità improvvise della velocità.

2. Perdita di Cameron-Martin Pesata per Precisione:

   • Lo standard errore quadratico medio (MSE) è sostituito dalla perdita di Cameron-Martin:
     $$\mathcal{L}_{CM} = \mathbb{E} \left[ \| C_\mu^{-1/2} (\eta_\theta - \eta) \|_H^2 \right]$$
   • Qui, $C_\mu$ è l'operatore di covarianza. Questa ponderazione dell'inverso della covarianza assicura che la perdita di denoising preservi la struttura della misura del rumore sottostante (tramite il teorema di Radon-Nikodym) e ottenga una convergenza indipendente dalla dimensione.

3. Rumore Reverse Colorato:

   • Durante l'inferenza, il rumore bianco è sostituito dalla stessa struttura di rumore colorato ($\eta = L_N \xi$) utilizzata durante l'addestramento per mantenere la coerenza con la struttura di covarianza durante l'intero percorso di campionamento.

Fondamento Teorico: L'Equazione di Kolmogorov all'Indietro (BKE)

Il framework evita formulazioni basate sulla densità (che falliscono in dimensioni infinite a causa della mancanza di una misura di riferimento di Lebesgue) definendo lo score come una derivata logaritmica di Cameron-Martin. La funzione valore $u(x, s) = \mathbb{E}[f(X_t) | X_s = x]$ soddisfa la BKE deterministica:
$$-\frac{\partial u}{\partial s} = \left\langle -\frac{1}{2}x, \nabla_x u \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2_x u]$$
Questo trasforma il problema di score-matching stocastico in un problema deterministico di PDE con valori al contorno.

Diagnostica al Tempo di Inferenza: Il Residuo di Kolmogorov

Un contributo innovativo è il Residuo di Kolmogorov ($R(\hat{u})$), un segnale deterministico e privo di oracle per rilevare il fallimento della politica. Esso misura la violazione del vincolo BKE della funzione appresa $\hat{u}$:
$$R(\hat{u}) := \left\| \frac{\partial \hat{u}}{\partial s} + \left\langle -\frac{1}{2}x, \nabla_x \hat{u} \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2 \hat{u}] \right\|_H$$
Residui elevati indicano scostamenti dal vincolo BKE, correlando con modalità di fallimento a valle (ad esempio, drift della traiettoria o pianificazione non fattibile) senza richiedere ricompense del task o verità di base (ground truth).

Principali Contributi

1. PDE di Kolmogorov per la Diffusione: Fondare le politiche di diffusione nella BKE sostituisce lo score matching stocastico con un problema deterministico di valori al contorno, garantendo tassi di convergenza in cui le costanti dipendono dal rango effettivo del kernel piuttosto che dalla dimensione dell'azione.
2. Istanziazione Algoritmica a Tre Punti: Dimostrare che il framework ID si riduce a tre sostituzioni nei DDPM standard (rumore colorato, perdita pesata per precisione, rumore reverse colorato), consentendo un facile adattamento senza modifiche all'architettura della rete.
3. Rilevamento del Fallimento Deterministico: Introdurre il residuo di Kolmogorov come diagnostica interpretabile e non supervisionata per la fiducia della politica.
4. Validazione Multi-Dominio: Validare l'approccio attraverso la manipolazione robotica e il controllo del flusso manifatturiero.

Risultati Sperimentali

1. Benchmark di Manipolazione PushT

• Performance: La perdita di Cameron-Martin ha ottenuto un miglioramento del 17% nella ricompensa massima dell'episodio (0.95 rispetto a 0.78 per MSE).
• Qualità della Traiettoria: Una riduzione del 67,6% dei drift tra i passi durante l'inferenza rispetto ai baseline MSE.
• Diagnostica: Il residuo di Kolmogorov per il modello addestrato con CM era $\approx 0.11$ (rispetto a $\approx 0.34$ per MSE), mostrando un forte allineamento con il vincolo BKE. Residui elevati correlavano fortemente con il fallimento del task.

2. Controllo del Flusso Manifatturiero (6-Station CONWIP)

• Previsione: Il modello ID ha ottenuto un RMSE del 28,4% inferiore nella previsione del Work-In-Process (WIP) rispetto ai classici baseline LSTM.
• Rilevamento Anomalie: Il residuo di Kolmogorov ha agito come un rilevatore di colli di bottiglia con Precision@1 = 1.0 e un rapporto segnale-rumore di 13× (identificando la stazione sovraccarica S2 con un residuo medio di 13.05 rispetto a 0.96 per le altre).
• Certificazione della Sicurezza: Integrato con la teoria della raggiungibilità di Hamilton-Jacobi (HJ), il sistema ha certificato politiche di dispatch che hanno ridotto gli eventi di deadlock del 96% (351 eventi prevenuti su 100 esecuzioni) rispetto al dispatch non controllato.

Significato e Claim

Il documento sostiene che, elevando le politiche di diffusione agli spazi di funzioni a dimensione infinita e fondandole nella teoria della misura, esso risolve il disallineamento fondamentale tra gli artefatti di addestramento discreti e le dinamiche fisiche continue.

• Garanzie di Convergenza: I limiti teorici mostrano tassi di convergenza scollegati dalla dimensione del problema, dipendendo invece dalle proprietà spettrali (rango effettivo) dell'operatore di covarianza.
• Interpretabilità: Il framework fornisce una diagnostica consapevole della fisica (il residuo di Kolmogorov) che rileva il fallimento della politica senza segnali di ricompensa, colmando il divario tra l'apprendimento black-box e la verifica critica per la sicurezza.
• Superiorità Operativa: Nel manifatturiero, il metodo supera la previsione basata su scalari (LSTM) catturando accoppiamenti tra stazioni valorizzati come funzioni e fornisce involucri di sicurezza certificati tramite raggiungibilità HJ, prevenendo fallimenti operativi come starvation e deadlock.

Gli autori concludono che la struttura a dimensione infinita non è solo una costruzione teorica, ma è operativamente superiore per sistemi in cui la dinamica sottostante è valorizzata come funzione, offrendo una via verso l'implementazione più affidabile, interpretabile e sicura delle politiche di diffusione in robotica e controllo industriale.