A Nonasymptotic Theory of Gain-Dependent Error Dynamics in Behavior Cloning

Titel: Een niet-asymptotische theorie van gain-afhankelijke foutdynamica in Behavior Cloning

Auteur: Junghoon Seo (PIT IN Corp., Zuid-Korea)

1. Probleemstelling

In robotica is Behavior Cloning (BC) een veelgebruikte methode om policies te leren via gesuperviseerde regressie op expert data. Bij position-gestuurde robots (de standaardinterface voor geleerde manipulatie) voert de policy een doelpositie $a_t$ uit, die vervolgens wordt omgezet in motor-torque door een onderliggende PD-regelaar (Proportional-Derivative).

De kern van het probleem is dat de keuze van de regelaar-gain (de versterkingsfactoren $K_p$ voor proportionaliteit en $K_d$ voor differentiatie) vaak heuristisch wordt bepaald. Recent empirisch werk (Bronars et al.) toonde aan dat BC-policies beter presteren in gesloten-lus taken wanneer ze worden getraind met compliant (lage $K_p$) en overgedempt (hoge $K_d$) gains. Dit leidt tot een paradox: deze instellingen vertonen vaak een hoger validatieverlies (open-loop voorspellingsfout) maar leiden tot een hogere succesratio in de gesloten-lus taak.

Bestaande theoretische analyses van BC (zoals Ross & Bagnell) behandelen de dynamica als een "black box" en negeren de invloed van de controller-gains op de foutpropagatie. Er ontbreekt een niet-asymptotische theorie die verklaart hoe controller-gains de fouten versterken of dempen en waarom de bovenstaande paradox optreedt.

2. Methodologie

De auteur introduceert een wiskundig raamwerk dat de gesloten-lus foutdynamica expliciet koppelt aan de controller-gains.

• Foutmodel: De voorspellingsfout van de policy ($\xi_t$) wordt gemodelleerd als onafhankelijke, sub-Gaussische ruis.
• Gesloten-lus Dynamica: Door de PD-regelaar te lineariseren rondom de expert-trajectorie, wordt de positiefout $e_t$ beschreven als een lineair tijd-invariant (LTI) systeem:
  $$\dot{x}_t = A_K x_t + B_K \xi_t$$
  waarbij $A_K$ en $B_K$ afhangen van de gains $K_p$ en $K_d$.
• Sub-Gaussische Propagatie: De auteur bewijst dat onafhankelijke sub-Gaussische actiefouten leiden tot sub-Gaussische positiefouten. De "proxy-matrix" (een covariantie-achtige maatstaf) die de staartverdeling van de fout bepaalt, wordt afgeleid via een discrete Lyapunov-vergelijking.
• Versterkingsindex: Er wordt een gain-afhankelijke versterkingsindex $\Gamma_T(K)$ gedefinieerd. Deze index meet de cumulatieve versterking van actiefouten naar positiefouten over de horizon $T$.

3. Belangrijkste Bijdragen

1. Sub-Gaussische Propagatie (Stelling 1):
   De paper toont aan dat de positiefout sub-Gaussisch blijft, maar dat de "proxy-matrix" $X_t(K)$ die de grootte van deze fout bepaalt, volledig afhankelijk is van de controller-gains via de Lyapunov-oplossing. Dit betekent dat het aanpassen van $K_p$ en $K_d$ de hele staartverdeling van de fouten herschikt.

2. Foutgrens via Validatieverlies (Stelling 3):
   De kans op taakfalen binnen een horizon $T$ wordt gefactoriseerd in:
   $$P(\text{Fail}_T) \propto \exp\left( - \frac{r^2}{\Gamma_T(K) \cdot (\hat{L}_{va}(K) + \epsilon_{gen})} \right)$$
   Hieruit volgt dat de versterkingsindex $\Gamma_T(K)$ en het validatieverlies $\hat{L}_{va}(K)$ met elkaar vermenigvuldigd worden. Een lagere versterking (door geschikte gains) kan een hoger validatieverlies compenseren, wat de empirische paradox theoretisch verklaart.

3. Scalar Ordering en Regime Vergelijking (Stellingen 5 & 7):
   Onder aannames van "vormbehoudende bovengrenzen" wordt de proxy-matrix begrensd door een scalair index $\Psi(K)$, samengesteld uit drie componenten:

   • $l(K)$: Moeilijkheidsgraad van de labels (data-afhankelijk).
   • $b(K)$: Injectiekracht van de fouten (afhankelijk van $K_p$).
   • $\rho^*(K)$: Contractiegraad van het systeem (afhankelijk van $K_d$).
     Dit leidt tot een rangschikking van vier canonieke regelingen:
   • CO (Compliant-Overdamped): Strakste foutgrens (beste prestatie).
   • SU (Stiff-Underdamped): Losste foutgrens (slechtste prestatie).
   • De vergelijking tussen SO (Stiff-Overdamped) en CU (Compliant-Underdamped) is systeemafhankelijk.

4. Globale Monotonie (Stelling 9):
   Voor een canoniek scalair tweede-orde PD-systeem is de stationaire variantie $X_\infty(\alpha, \beta) = \frac{\sigma^2 \alpha}{2\beta}$ strikt monotoon:

   • Stijgend met stijfheid ($\alpha = K_p$).
   • Dalend met demping ($\beta = K_d$).
     Deze relatie geldt voor zowel ondergedempte als overgedempte regimes en wordt overgenomen door de exacte Zero-Order-Hold (ZOH) discretisatie.

4. Resultaten

• Numerieke Validatie: Simulaties op een scalair systeem met 50.000 rollouts bevestigen dat de CO-regime (lage $K_p$, hoge $K_d$) de kleinste foutmarges en de laagste faalkansen heeft, ondanks een hoger voorspellingsverlies.
• Foutgrens: De theoretische bovengrens (Theorem 3) volgt de empirische faalratio's nauwkeurig en bevestigt dat de CO-regime een vier keer kleinere foutproxy heeft dan de SU-regime.
• Monotonie: De analyse toont aan dat het verlagen van $K_p$ en verhogen van $K_d$ de foutgrens systematisch verbetert over het gehele stabiele domein.

5. Significatie en Conclusie

Dit paper levert de eerste niet-asymptotische theoretische onderbouwing voor het empirische advies om compliant-overgedempte controllers te gebruiken bij Behavior Cloning.

• Oplossing voor de Paradox: Het verklaart waarom een policy met een hoger trainingsverlies beter kan presteren: de controller-gains versterken de fouten minder agressief (kleine $\Gamma_T(K)$), wat de negatieve impact van het hogere verlies compenseert.
• Ontwerprichtlijn: In plaats van alleen het trainingsverlies te minimaliseren, moeten practitioners de product van versterking en verlies minimaliseren.
• Theoretische Brug: Het werk verbindt klassieke regelingstheorie (Lyapunov, $H_2$-normen) met imitation learning, en biedt een rigoureuze basis voor het kiezen van controller-gains in robotleerpijplijnen.

Kortom, de paper bewijst dat de keuze van controller-gains geen secundaire parameter is, maar een fundamentele structuurvariabele die bepaalt hoe fouten zich door het systeem voortplanten en of een robot taak zal slagen of falen.