Technische Samenvatting: Dataset Poisoning Attacks op Behavioral Cloning Policies

Probleemstelling

Behavioral Cloning (BC) is een dominant framework binnen Imitation Learning (IL) voor het trainen van sequentiële besluitvormingspolicies via supervised learning op expert state-action paren. Hoewel BC een hoge campagnerefficiëntie biedt en de gevaren van trial-and-error exploratie die inherent zijn aan Reinforcement Learning (RL) vermijdt, bezit het een inherente kwetsbaarheid: wanneer policies buiten de distributie (out-of-distribution, OOD) van de bekende toestanden terechtkomen, zijn ze gevoelig voor cumulatieve fouten.

Dit artikel behandelt de beveiligingskwetsbaarheid van BC-policies tegen dataset poisoning attacks, specifiek clean-label backdoor attacks. In dit dreigmodel injecteert een aanvaller een klein aantal kwaadaardige samples in de trainingsdataset. Deze samples bevatten een specifieke visuele "trigger" (bijv. een patch) die gecorreleerd is met een doelactie (target action), maar de labels (expert acties) blijven ongewijzigd. Het doel is om een "backdoor" te creëren waarbij de getrainde policy normaal functioneert onder standaardomstandigheden, maar een vooraf bepaalde, potentieel catastrofale actie uitvoert zodra de trigger tijdens de inferentie aanwezig is.

In tegen tegenstelling tot eerdere adversariële aanvallen op RL of BC, die vaak white-box toegang tot modelparameters of beloningsfuncties vereisen, richt dit werk zich op black-box aanvallen die slechts minimale, eenvoudige wijzigingen aan de trainingsdataset vereisen.

Methodologie

Dreigmodel

De auteurs definiëren een scenario waarin een aanvaller volledige toegang heeft tot de trainingsdataset $D$, maar geen controle heeft over het uiteindelijke beleidstrainingproces of white-box toegang heeft tot het uiteindelijke model.

• Doel: Het induceren van fouten in de geleerde policy $\pi_{bc}$ wanneer een specifieke trigger aanwezig is tijdens de testfase, waardoor de policy een doelactie $a_{target}$ uitvoert.
• Capaciteiten: De aanvaller kan triggers injecteren in visuele observaties ($s$), maar kan de expert acties ($a$) niet wijzigen. Tijdens de testfase heeft de aanvaller black-box toegang tot de policy outputs en een beperkt budget ($B$) voor trigger-injecties.

Aanvalsstrategieën

1. Clean-Label Dataset Poisoning:
   De aanvaller selecteert een subset van state-action paren waar de expert actie overeenkomt met de gewenste doelactie (bijv. "gas geven"). Ze embedden een visuele trigger (een $n \times n$ pixel patch) in de state observatie $s$ om een vergiftigd paar $(\tilde{s}, a)$ te creëren. Het label $a$ blijft ongewijzigd. Het model leert een spurieuze correlatie tussen de visuele trigger en de doelactie.

2. Test-Time Trigger Attacks:
   Het artikel onderzoekt hoe de timing van de trigger-injectie de degradatie van de policy beïnvloedt. Twee strategieën worden vergeleken:

   • Random Triggering: Het injecteren van de trigger op willekeurige tijdstappen.
   • Entropy-Based Triggering: Een nieuwe strategie waarbij de aanvaller de policy bevraagt om de entropie van de actieverdeling $H(\pi(\cdot|s))$ te berekenen. Triggers worden alleen geïnjecteerd bij toestanden waar de entropie van de policy laag is (wat duidt op een hoge mate van vertrouwen in een specifieke actie), maar die actie niet de doelactie is. De intuïtie is dat het dwingen van een policy met een hoog vertrouwen om over te schakelen naar een doelactie bij kritieke, lage-entropie toestanden de meest significante afwijking van de demonstratie-distributie veroorzaakt, wat leidt tot cumulatieve fouten.

Experimentele Opzet

• Omgeving: OpenAI Gym Car Racing omgeving (96×96 RGB afbeeldingen, 5 discrete acties).
• Data Generatie: Expert demonstraties gegenereerd door een PPO agent die getraind is voor 1M stappen.
• Model: Standaard Convolutioneel Neuraal Netwerk (CNN) met 3 convolutionele lagen en 3 fully connected lagen.
• Triggers: Getest zijn onder andere een solide rode patch (hoog contrast) en een Gaussian noise patch (laag contrast, moeilijker te detecteren).

Belangrijkste Resultaten

1. Hoge Kwetsbaarheid voor Minimale Poisoning

De studie toont aan dat BC-policies extreem vatbaar zijn voor clean-label backdoors.

• Poisoning Drempelwaarde: Het vergiftigen van slechts 2,31% van de totale dataset (overeenkomend met 5% van de "gas geven" actie frames) is voldoende om een backdoor te vestigen.
• Control Rate: Bij dit minimale poisoning niveau springt de backdoor control rate (de frequentie waarmee de trigger de doelactie induceert) van toevalsniveaus naar ongeveer 100%.
• Bedriegende Robuustheid: Ondanks dat de policy volledig gecompromitteerd is, blijft de gemiddelde episode reward nabij de baseline (stabiel) totdat de poisoning ratio de 70–80% overschrijdt. Dit geeft aan dat standaard evaluatiemetrieken (zoals gemiddelde reward) falen in het detecteren van de aanwezigheid van een backdoor, aangezien de policy goed presteert in afwezigheid van de trigger.

2. Impact van Trigger Eigenschappen

• Visuele Salientie: Een hoog-contrast rode patch (3×3 pixels) bleek effectiever dan een Gaussian noise patch, waarbij een backdoor control nauwkeurigheid van 96,45% werd bereikt tegenover 80,35% bij 5% poisoning.
• Detectie vs. Effectiviteit: Hoewel de rode patch meer waarneembaar is, biedt de Gaussian noise patch een lagere waarschijnlijkheid van detectie door eenvoudige defensies, hoewel deze hogere poisoning rates vereist om een vergelijkbare effectiviteit te bereiken.

3. Effectiviteit van Entropy-Based Timing

De voorgestelde entropy-based test-time attack presteert aanzienlijk beter dan random triggering. Door zich te richten op kritieke toestanden waar de policy weliswaar zelfverzekerd is, maar ook onjuist (relatief aan het doel van de aanvaller), maximaliseert de aanval de degradatie van de policy-prestaties binnen een beperkt budget. Deze aanpak maakt gebruik van de sequentiële aard van BC, waarbij één fout in een kritieke staat kan leiden tot een cascade van cumulatieve fouten.

Bijdragen en Betekenis

Het artikel levert de volgende primaire bijdragen:

1. Eerste Analyse van BC Poisoning: Het presenteert de eerste studie naar clean-label dataset poisoning attacks specifiek op Behavioral Cloning policies.
2. Gevoeligheidsanalyse: Het biedt een uitgebreide gevoeligheidsanalyse met betrekking tot het deel vergiftigde data, de sterkte van de trigger (patch grootte) en het type trigger (kleur versus ruis).
3. Nieuwe Aanvalsstrategie: Het introduceert en valideert een entropy-based test-time trigger attack die het gebruik van het aanvalsbudget optimaliseert door kritieke toestanden te targeten, wat een superieure prestatie laat zien ten opzichte van willekeurige aanvallen.
4. Beveiligingsimplicaties: Het werk benadrukt een kritieke kloof in de robuustheid van BC-policies. Het toont aan dat policies getraind op grootschalige datasets (wat steeds gebruikelijker wordt voor cyber-fysieke systemen) zeer kwetsbaar kunnen worden gemaakt voor manipulatie, terwijl ze een bedriegend hoge prestatiecijfers behouden.

Conclusie

De auteurs concluderen dat Behavioral Cloning policies zeer kwetsbaar zijn voor clean-label backdoor attacks. Het vermogen om een policy te compromitteren met een minimaal deel van de vergiftigde data, terwijl de taakprestaties nabij de baseline blijven, onderstreept de dringende noodzaak voor onderzoek naar robuuste training- en detectiemethoden voor imitation learning, met name naarmate deze systemen worden ingezet in real-world cyber-fysieke omgevingen.