Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

Technische Samenvatting: Dichtheidsratio-gewogen Behaviorale Cloning

Probleemstelling
Offline versterkend leren (RL) maakt beleidsoptimalisatie mogelijk vanuit vaste datasets, wat een cruciale oplossing biedt voor veiligheidskritieke domeinen zoals autonome voertuigen en industriële robotica, waar online exploratie niet haalbaar is. Echter, real-world datasets worden vaak gecompromitteerd door data-vergiftiging die voortkomt uit sensorfouten, cyber-fysische aanvallen, annotatiefouten of adversariale manipulaties. Standaard Behaviorale Cloning (BC) en offline RL-algoritmen behandelen impliciet alle trajecten als even betrouwbaar, waardoor schone en beschadigde steekproeven tijdens de optimalisatie worden vermengd. Dit leidt tot verslechterde beleidsprestaties, instabiliteit of schendingen van veiligheidsnormen, vooral bij matige tot ernstige vergiftiging waarbij subtiele anomalieën controletaken zoals trajectvolging kunnen verstoren. Bestaande studies naar robuustheid richten zich vaak op specifieke corruptiekanaals of gaan uit van bekende mengverdelingen, waardoor er een lacune blijft in het hanteren van willekeurige, onbekende contaminatiemechanismen in offline controledatasets.

Methodologie
Het artikel stelt Dichtheidsratio-gewogen Behaviorale Cloning (Weighted BC) voor, een robuust imitatieleerframework dat is ontworpen om te leren van verontreinigde offline datasets zonder voorafgaande kennis van het corruptiemechanisme. De kernmethodologie rust op drie fasen:

1. Gebruik van een Referentieset: De aanpak gaat uit van toegang tot een kleine, geverifieerde en disjuncte referentieset ($D_{ref}$) van schone experttrajecten, die onderscheiden is van de potentieel verontreinigde hoofddataset ($D$).
2. Discriminator-gebaseerde Dichtheidsratio-schatting: Een binaire discriminator $d_\phi$ wordt getraind om trajecten uit de schone referentieset (klasse 1) te onderscheiden van die uit de verontreinigde hoofddataset (klasse 0). De discriminator minimaliseert een binaire cross-entropy-verlies. Bij gebalanceerde steekproeven wordt de dichtheidsratio $r(\tau) = p_{clean}(\tau)/p(\tau)$ hersteld als $d_\phi(\tau) / (1 - d_\phi(\tau))$.
3. Gewogen Doelfunctie: Deze geschatte ratio's worden afgeknipt tot een deterministisch bereik $[\epsilon, C]$ om numerieke stabiliteit te waarborgen en worden gebruikt als gewichten in de Behaviorale Cloning-doelfunctie. De empirische verliezen wordt:
   $$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$$
   waarbij $w_i = \text{clip}(r(\tau_i), \epsilon, C)$. Dit wegingsschema geeft prioriteit aan trajecten die lijken op het schone expertgedrag, terwijl anomalieën worden afgezwakt of verworpen.

De methode wordt geëvalueerd tegen vier specifieke vergiftigingsprotocollen die zijn toegepast op benchmarks voor continue controle:

• Beloningsvergiftiging: Omkeren van positieve beloningen om goed gedrag te bestraffen.
• Staatvergiftiging: Toevoegen van Gaussisch ruis aan staten om sensorfalen te simuleren.
• Overgangsvergiftiging: Willekeurig herschikken van waarnemingen van de volgende staat om causale koppelingen te verstoren.
• Actievergiftiging: Perturberen van acties met Gaussisch ruis.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

1. Algoritmisch Voorstel: Het introduceert Weighted BC, dat gebruikmaakt van kleine geverifieerde referentiesets om beschadigde trajecten te identificeren en af te zwakken via discriminator-gebaseerde weging. Dit maakt robuust beleidsleren mogelijk zonder kennis van het specifieke corruptiemechanisme te vereisen.
2. Theoretische Fundamenten: De auteurs stellen theoretische garanties vast, waaronder uniforme grenzen voor de benadering van het schone risico en garanties voor excessief schone risico's voor het geleerde beleid. Cruciaal wordt aangetoond dat deze grenzen onafhankelijk zijn van de contaminatiegraad ($\alpha$) onder geschikte afkniptdrempels, waarbij eindsteekproeffouten, discriminatorfouten en afknipbias van elkaar worden gescheiden.
3. Evaluatiekader: Er wordt een uitgebreid evaluatiekader opgezet dat diverse vergiftigingsscenario's (actie, staat, overgang en beloning) omvat over benchmarks voor continue controle (D4RL), waarmee een lacune in de bestaande literatuur wordt aangepakt die vaak uitgaat van specifieke corruptietypen.

Resultaten
Experimenten zijn uitgevoerd op D4RL-benchmarks (HalfCheetah, Ant, Hopper, Walker2d) met contaminatieniveaus variërend van 20% tot 100% ($\alpha \in \{0.2, \dots, 1.0\}$). Weighted BC werd vergeleken met Traditionele BC, Batch-Constrained Q-learning (BCQ) en Behavior Regularized Actor-Critic (BRAC).

• Robuustheid: Weighted BC behield bijna optimale prestaties, zelfs bij hoge contaminatieverhoudingen ($\alpha \ge 0.8$), terwijl baselines aanzienlijke degradatie leden.
• Actievergiftiging: In dit scenario stortten baselines in (bijvoorbeeld Traditionele BC degradeerde tot ~2.500 return versus Weighted BC dat >10.000 behield in HalfCheetah bij $\alpha=1.0$). De discriminator slaagde erin actieverontreinigde trajecten te identificeren als afwijkend van het gedragsmanifold.
• Staat- en Overgangsvergiftiging: Weighted BC toonde consistente stabiliteit, terwijl de op VVA gebaseerde beperkingen van BCQ faalden om verontreinigde dynamica te modelleren, en BRAC instabiliteit vertoonde onder staatverontreiniging.
• Beloningsvergiftiging: Omdat BC steunt op staat-actieparen in plaats van beloningssignalen, behield Weighted BC 80-90% van de basisprestaties, terwijl BRAC in verschillende omgevingen faalde.
• Behoud: Weighted BC behield tot 60% contaminatie over alle vergiftigingstypen heen meer dan 80% van de schone prestaties, wat een significant betere prestatie opleverde dan de lineaire degradatie die bij Traditionele BC werd waargenomen.

Betekenis en Claims
Het artikel claimt dat Weighted BC een robuuste oplossing biedt voor offline RL in aanwezigheid van willekeurige data-vergiftiging, een kritieke vereiste voor het inzetten van op leren gebaseerde controllers in veiligheidskritieke systemen. Door gebruik te maken van een kleine, gecontroleerde referentieset, filtert de methode effectief verontreinigde data zonder de specifieke aard van de aanval te hoeven modelleren. Theoretische analyse bevestigt dat de aanpak convergeert naar het schone expertbeleid met grenzen voor eindsteekproeven die niet afhankelijk zijn van de ernst van de contaminatie. Empirisch toont de methode superieure veerkracht in vergelijking met state-of-the-art offline RL-algoritmen, met name in regimes met hoge contaminatie waar standaardmethoden falen. Het werk benadrukt dat beoordeling op trajectniveau essentieel is voor het vastleggen van temporele consistentie en controle-relevante anomalieën, wat het onderscheidt van methoden die alleen geïsoleerde staat-actie-artefacten aanpakken.