A Nonasymptotic Theory of Gain-Dependent Error Dynamics in Behavior Cloning

1. Problématique

L'apprentissage par imitation (Behavior Cloning - BC) sur des robots à contrôle de position repose souvent sur une interface standard où une politique apprise $\hat{\pi}_K$ génère des positions de consigne $a_t$, qui sont ensuite converties en couples moteurs par un contrôleur PD (Proportionnel-Dérivé). La dynamique en boucle fermée est régie par les gains du contrôleur ($K_p$ pour la rigidité, $K_d$ pour l'amortissement).

Le paradoxe empirique : Des travaux récents (notamment Bronars et al.) ont montré empiriquement que les politiques BC entraînées avec des gains compliant (faible $K_p$) et sur-amortis (fort $K_d$) obtiennent de meilleurs taux de réussite en boucle fermée, même si elles présentent une erreur de validation (MSE) plus élevée que les politiques entraînées avec d'autres réglages.

Le manque théorique : Il n'existait jusqu'alors aucune théorie non asymptotique expliquant ce phénomène. Les analyses classiques de l'erreur cumulante (Ross & Bagnell, DAgger) traitent la dynamique comme une boîte noire et ne tiennent pas compte de la structure spécifique du contrôleur. De plus, la théorie de l'apprentissage par imitation ne relie pas explicitement la perte de prédiction (ouverte) à la performance en boucle fermée via les gains du contrôleur.

2. Méthodologie

L'article propose un cadre théorique reliant les erreurs de prédiction d'action aux erreurs de position en boucle fermée, en modélisant explicitement la propagation des erreurs à travers les dynamiques dépendantes des gains.

• Modélisation des erreurs :
  • Les erreurs de prédiction d'action $\xi_t$ sont modélisées comme des vecteurs aléatoires indépendants, de moyenne nulle et sous-gaussiens.
  • La dynamique de l'erreur de position $e_t$ est linéarisée autour de la trajectoire de l'expert, conduisant à un système d'état linéaire discret (via échantillonnage ZOH - Zero-Order Hold) : $x_{t+1} = A_K x_t + B_K \xi_t$.
• Propagation sous-gaussienne :
  • En exploitant la linéarité du système, les auteurs montrent que la somme pondérée d'erreurs sous-gaussiennes reste sous-gaussienne.
  • Ils définissent une matrice proxy $X_t(K)$ (projection de la somme de Lyapunov) qui gouverne la queue de distribution de l'erreur de position.
• Analyse de la défaillance :
  • La probabilité de défaillance sur un horizon $T$ (sortie du tube de succès) est bornée en fonction de la perte de validation et d'un indice d'amplification $\Gamma_T(K)$ dépendant des gains.
• Réduction scalaire et ordre des régimes :
  • Sous des hypothèses structurelles (borne supérieure préservant la forme), la matrice proxy est bornée par un scalaire $\Psi(K)$ décomposé en trois termes : difficulté des étiquettes, force d'injection des erreurs et taux de contraction.
  • L'analyse est vérifiée sur un système canonique du second ordre (PD scalaire) pour obtenir des expressions en temps continu et discret.

3. Contributions Clés

L'article présente quatre contributions théoriques majeures :

1. Propagation sous-gaussienne (Théorème 1) : Démonstration que des erreurs d'action sous-gaussiennes indépendantes génèrent des erreurs de position sous-gaussiennes. La matrice de covariance proxy $X_\infty(K)$ est la solution d'une équation de Lyapunov discrète dépendante des gains.
2. Bornes de défaillance via la perte de validation (Théorème 3) : Établissement d'une borne de probabilité de défaillance qui se factorise en :
   $$P(\text{Défaillance}) \propto \exp\left( - \frac{r^2}{\Gamma_T(K) \cdot (\hat{L}_{va} + \epsilon_{gen})} \right)$$
   Cela montre que la performance dépend du produit de la perte de validation et de l'indice d'amplification. Une perte de validation plus élevée peut être compensée par un indice d'amplification plus faible.
3. Réduction de l'ordre scalaire (Théorèmes 5 et 7) : Définition d'un indice d'ordonnancement $\Psi(K) = \frac{b(K)l(K)}{1-\rho^*(K)^2}$. Ce scalaire permet de comparer quatre régimes canoniques de gains :
   • CO (Compliant-Sur-amorti : $K_p$ faible, $K_d$ fort)
   • SO (Stiff-Sur-amorti)
   • CU (Compliant-Sous-amorti)
   • SU (Stiff-Sous-amorti)
     Le théorème prouve que CO minimise l'erreur (meilleure borne) et SU la maximise, tandis que l'ordre entre SO et CU dépend du système.
4. Monotonie globale (Théorème 9) : Pour un système PD scalaire du second ordre, la variance stationnaire de l'erreur $X_\infty^c(\alpha, \beta) = \frac{\sigma^2 \alpha}{2\beta}$ est strictement monotone : elle augmente avec la rigidité ($\alpha$) et diminue avec l'amortissement ($\beta$). Cette propriété s'étend au cas discret via l'échantillonnage ZOH exact.

4. Résultats

• Explication du paradoxe : Les gains compliant-sur-amorti (CO) induisent une difficulté d'étiquetage plus élevée (la politique doit prédire des trajectoires plus complexes), ce qui augmente la perte de validation. Cependant, ils réduisent drastiquement l'injection des erreurs dans le système (faible $K_p$) et augmentent la contraction (fort $K_d$). Le gain net sur l'indice d'amplification $\Gamma_T(K)$ l'emporte sur la perte de validation, conduisant à une meilleure performance en boucle fermée.
• Validation numérique : Des simulations sur un système scalaire (masse unitaire, 50 Hz) confirment que :
  • Le régime CO présente les enveloppes d'erreur les plus serrées (médiane et percentiles 95/99).
  • Le taux de défaillance empirique suit l'ordre théorique : CO (1%) < CU (22%) $\approx$ SO (26%) < SU (75%).
  • La borne théorique (Théorème 3) domine uniformément les taux de défaillance empiriques, confirmant la validité de l'analyse non asymptotique.
• Relation avec la norme H2 : L'indice d'amplification à long terme converge vers le carré de la norme H2 du système, reliant l'apprentissage par imitation à la théorie classique du contrôle robuste.

5. Signification et Impact

• Justification théorique : Cet article fournit la première justification rigoureuse et non asymptotique de l'observation empirique selon laquelle les contrôleurs compliant-sur-amorti sont optimaux pour le Behavior Cloning.
• Nouveau critère de conception : Il déplace le paradigme de l'optimisation. Au lieu de minimiser uniquement la perte de validation (MSE), les praticiens doivent minimiser le produit $\Gamma_T(K) \times L_{val}(K)$. Cela implique de privilégier des gains qui atténuent la propagation des erreurs, même au prix d'une précision de prédiction apparente moindre.
• Pont entre contrôle et apprentissage : L'étude comble le fossé entre l'analyse d'erreur cumulante en apprentissage par imitation et l'analyse de stabilité/propagation des perturbations en théorie du contrôle linéaire.
• Guide pratique : Elle offre une feuille de route pour le réglage des gains (Gain Tuning) : commencer par des réglages compliant-sur-amorti et surveiller l'indice d'amplification plutôt que la perte d'entraînement seule.

En résumé, ce travail démontre que la stabilité et la robustesse d'une politique BC ne dépendent pas seulement de la précision de la politique elle-même, mais crucialement de la manière dont le contrôleur sous-jacent amplifie ou atténue les erreurs de prédiction.