⚡ electrical engineering

Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

Dieses Papier stellt die gewichtete Verhaltensklonierung mittels Dichteverhältnis vor, eine robuste Offline-Reinforcement-Learning-Methode, die einen kleinen sauberen Referenzdatensatz nutzt, um Dichteverhältnis-Gewichte zu schätzen und anzuwenden, wodurch das Erlernen nahezu optimaler Steuerungsstrategien aus Datensätzen ermöglicht wird, die stark durch adversariale Angriffe oder minderwertige Stichproben kontaminiert sind, ohne dass eine vorherige Kenntnis des Korruptionsmechanismus erforderlich ist.

Ursprüngliche Autoren: Shriram Karpoora Sundara Pandian, Ali Baheri

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shriram Karpoora Sundara Pandian, Ali Baheri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man ein Auto fährt. Sie verfügen über eine riesige Videobibliothek mit Fahrtaufnahmen, die Sie dem Roboter zeigen können. Dies ist „Offline-Lernen" – der Roboter lernt aus einem statischen Datensatz, anstatt in der realen Welt herumzufahren und Unfälle zu bauen.

Allerdings gibt es ein Problem: Jemand hat die Videobibliothek manipuliert.

Einige Videos zeigen, wie das Auto von Klippen fährt (schlechte Daten).
Einige Videos zeigen, wie sich das Lenkrad ohne Grund wild dreht (beschädigte Daten).
Einige Videos zeigen, wie das Auto perfekt fährt, aber die „Punktzahl" am Ende „0 Punkte" statt „100 Punkte" anzeigt (vergiftete Belohnungen).

Wenn Sie dem Roboter einfach alle diese Videos gleichermaßen zeigen, wird er lernen, von Klippen zu fahren oder seine Räder durchdrehen. Er wird denken, dass die schlechten Dinge normal sind, weil sie im Datensatz enthalten sind.

Diese Arbeit stellt eine neue Methode namens Weighted Behavioral Cloning (gewichtetes Verhaltensklonen) vor, um dieses Problem zu lösen. Hier ist, wie sie funktioniert, unter Verwendung einfacher Analogien:

1. Der „vertrauenswürdige Bibliothekar" (Der Referenzsatz)

Die Forscher gehen davon aus, dass Sie einen winzigen, speziellen Ordner mit Videos haben, von denen Sie wissen, dass sie zu 100 % perfekt sind. Vielleicht sind dies Aufnahmen aus einer professionellen Testfahrt, bei der Ingenieure jeden Zug überprüft haben. Sie nennen dies den Referenzsatz. Er ist klein im Vergleich zur riesigen, chaotischen Bibliothek, aber er ist pure Gold.

2. Der „Detektiv" (Der Diskriminator)

Die Methode verwendet einen intelligenten KI-„Detektiv" (genannt Diskriminator). Seine einzige Aufgabe ist es, sich ein Video aus der chaotischen Bibliothek anzusehen und zu fragen: „Sieht dies aus wie die Videos in meinem vertrauenswürdigen Ordner, oder sieht es seltsam aus?"

Wenn das Video wie das Fahren eines vertrauenswürdigen Experten aussieht, sagt der Detektiv: „Ja, das ist gut!"
Wenn das Video zeigt, wie das Auto in eine Wand fährt oder sich das Lenkrad zufällig dreht, sagt der Detektiv: „Nein, das ist verdächtig."

3. Die „gewichtete Lektion" (Der Zaubertrick)

Beim normalen Lernen behandelt der Roboter jedes Video als gleich wichtig. Bei dieser neuen Methode hört der Roboter auf den Detektiv.

Gute Videos: Der Detektiv gibt ihnen ein hohes Gewicht. Der Roboter achtet genau auf diese.
Schlechte Videos: Der Detektiv gibt ihnen ein winziges Gewicht (oder fast null). Der Roboter ignoriert sie im Wesentlichen, auch wenn sie noch im Datensatz enthalten sind.

Der Roboter muss nicht wissen, wie die Daten manipuliert wurden (ob es ein Sensorfehler, ein Hacker oder ein Tippfehler war). Er muss nur wissen: „Sieht dies aus wie der Experte, dem ich vertraue?"

4. Die Ergebnisse: „Der unzerstörbare Schüler"

Die Forscher testeten dies an Computersimulationen von Robotern (wie einem rennenden Geparden oder einem balancierenden Walker). Sie manipulierten die Daten auf vier böswillige Arten:

Aktionsvergiftung: Die Bewegungen des Roboters wurden zufällig geändert.
Zustandsvergiftung: Die „Augen" des Roboters (Sensordaten) wurden unscharf gemacht.
Übergangsvergiftung: Das Video wurde so zum Springen gebracht, dass Ursache und Wirkung unterbrochen wurden.
Belohnungsvergiftung: Gelogen über die Leistung des Roboters.

Das Ergebnis:
Selbst wenn 80 % bis 100 % der Daten manipuliert waren (was bedeutet, dass fast die gesamte Bibliothek Müll war), lernte der Roboter mit dieser neuen Methode immer noch fast perfekt zu fahren.

Alte Methoden (wie das Standard-Verhaltensklonen) scheiterten katastrophal und lernten, von Klippen zu fahren.
Diese neue Methode hielt den Roboter stabil und effizient, ignorierte den Müll und konzentrierte sich nur auf die wenigen sauberen Videos, die es finden konnte.

Warum dies wichtig ist

Die Arbeit beweist mathematisch, dass diese Methode funktioniert, selbst wenn der „Müll" im Datensatz riesig ist. Es ist wie ein Schüler, der in einem Raum voller Menschen sitzen kann, die Unsinn schreien, aber weil er einen vertrauenswürdigen Lehrer hat, der ihm die richtigen Antworten zuflüstert, kann er die Prüfung trotzdem mit Bravour bestehen.

Kurz gesagt: Diese Arbeit lehrt Roboter, schlechte Daten zu ignorieren, indem sie alles mit einer winzigen, verifizierten Stichprobe „guter" Daten vergleichen, um sicherzustellen, dass sie die richtigen Fähigkeiten erlernen, selbst wenn die Trainingsdaten sabotiert wurden.

Technische Zusammenfassung: Dichteverhältnis-gewichtete Behaviorale Clonierung

Problemstellung
Offline-Reinforcement-Learning (RL) ermöglicht die Optimierung von Strategien aus festen Datensätzen und bietet eine entscheidende Lösung für sicherheitskritische Domänen wie autonome Fahrzeuge und Industrierobotik, in denen eine Online-Erkundung nicht durchführbar ist. Allerdings sind reale Datensätze häufig durch Datenvergiftung beeinträchtigt, die aus Sensorfehlern, cyber-physischen Angriffen, Annotationsfehlern oder adversarialen Manipulationen resultiert. Standard-Verfahren der Behavioral Cloning (BC) und Offline-RL-Algorithmen behandeln implizit alle Trajektorien als gleich zuverlässig und vermischen saubere und korrupte Stichproben während der Optimierung. Dies führt zu einer verschlechterten Strategieperformance, Instabilität oder Sicherheitsverletzungen, insbesondere bei moderater bis schwerer Vergiftung, wo subtile Anomalien Kontrollaufgaben wie das Trajektorien-Tracking stören können. Bestehende Studien zur Robustheit konzentrieren sich oft auf spezifische Korruptionskanäle oder gehen von bekannten Mischverteilungen aus, wodurch eine Lücke in der Handhabung beliebiger, unbekannter Kontaminationsmechanismen in Offline-Kontrolldatensätzen besteht.

Methodik
Der Artikel schlägt Dichteverhältnis-gewichtete Behaviorale Clonierung (Weighted BC) vor, ein robustes Imitationslern-Framework, das darauf ausgelegt ist, aus kontaminierten Offline-Datensätzen zu lernen, ohne dass vorab Wissen über den Vergiftungsmechanismus vorliegt. Die Kernmethodik basiert auf drei Stufen:

Nutzung einer Referenzmenge: Der Ansatz geht von einem kleinen, verifizierten und disjunkten Referenzset ( $D_{ref}$ ) aus sauberen Expertentrajektorien aus, das sich vom potenziell kontaminierten Hauptdatensatz ( $D$ ) unterscheidet.
Dichteverhältnis-Schätzung auf Diskriminator-Basis: Ein binärer Diskriminator $d_\phi$ wird trainiert, um zwischen Trajektorien aus dem sauberen Referenzset (Klasse 1) und dem kontaminierten Hauptdatensatz (Klasse 0) zu unterscheiden. Der Diskriminator minimiert einen binären Kreuzentropie-Verlust. Unter ausgeglichener Stichprobenziehung wird das Dichteverhältnis $r(\tau) = p_{clean}(\tau)/p(\tau)$ als $d_\phi(\tau) / (1 - d_\phi(\tau))$ wiederhergestellt.
Gewichtete Zielgröße: Diese geschätzten Verhältnisse werden auf einen deterministischen Bereich $[\epsilon, C]$ geklemmt, um numerische Stabilität zu gewährleisten, und als Gewichte in der Zielgröße der Behavioral Cloning verwendet. Der empirische Verlust lautet:
$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$
wobei $w_i = \text{clip}(r(\tau_i), \epsilon, C)$ . Dieses Gewichtungsschema priorisiert Trajektorien, die dem sauberen Expertenverhalten ähneln, und wichtet anomale Segmente herunter oder verwirft sie.

Die Methode wird gegen vier spezifische Vergiftungsprotokolle bewertet, die auf kontinuierliche Kontroll-Benchmarks angewendet werden:

Reward-Vergiftung: Umkehren positiver Rewards, um gutes Verhalten zu bestrafen.
State-Vergiftung: Hinzufügen von Gaußschem Rauschen zu States, um Sensorausfälle zu simulieren.
Transition-Vergiftung: Durchmischen von Next-State-Beobachtungen, um kausale Verknüpfungen zu stören.
Action-Vergiftung: Perturbieren von Actions mit Gaußschem Rauschen.

Hauptbeiträge
Der Artikel leistet drei primäre Beiträge:

Algorithmischer Vorschlag: Er führt Weighted BC ein, das kleine verifizierte Referenzsets nutzt, um korrupte Trajektorien über eine diskriminatorbasierte Gewichtung zu identifizieren und herunterzuwichten. Dies ermöglicht robustes Strategie-Lernen, ohne dass Wissen über den spezifischen Vergiftungsmechanismus erforderlich ist.
Theoretische Grundlagen: Die Autoren etablieren theoretische Garantien, einschließlich gleichmäßiger Näherungsschranken für das saubere Risiko und Garantien für das überschüssige saubere Risiko der gelernten Strategie. Entscheidend ist, dass diese Schranken sich unter geeigneten Klemmschwellen als unabhängig von der Kontaminationsrate ( $\alpha$ ) erweisen, wodurch Fehler endlicher Stichproben, Diskriminatorfehler und Klemm-Bias getrennt werden.
Bewertungsrahmen: Es wird ein umfassender Bewertungsrahmen etabliert, der verschiedene Vergiftungsszenarien (Action, State, Transition und Reward) über kontinuierliche Kontroll-Benchmarks (D4RL) hinweg integriert und eine Lücke in der bestehenden Literatur adressiert, die oft spezifische Korruptionsarten voraussetzt.

Ergebnisse
Experimente wurden an D4RL-Benchmarks (HalfCheetah, Ant, Hopper, Walker2d) mit Kontaminationsniveaus im Bereich von 20 % bis 100 % ( $\alpha \in \{0.2, \dots, 1.0\}$ ) durchgeführt. Weighted BC wurde mit traditioneller BC, Batch-Constrained Q-learning (BCQ) und Behavior Regularized Actor-Critic (BRAC) verglichen.

Robustheit: Weighted BC behielt auch bei hohen Kontaminationsquoten ( $\alpha \ge 0.8$ ) eine nahezu optimale Performance bei, während Baselines eine signifikante Verschlechterung erlitten.
Action-Vergiftung: In diesem Szenario kollabierten Baselines (z. B. verschlechterte sich traditionelle BC auf einen Return von ca. 2.500, während Weighted BC bei $\alpha=1.0$ in HalfCheetah >10.000 beibehielt). Der Diskriminator identifizierte erfolgreich action-korrupte Trajektorien als vom Verhaltensmanifold abweichend.
State- und Transition-Vergiftung: Weighted BC zeigte konsistente Stabilität, während die auf VAE basierenden Constraints von BCQ versagten, die korrupten Dynamiken zu modellieren, und BRAC unter State-Korruption Instabilität aufwies.
Reward-Vergiftung: Da BC auf State-Action-Paaren statt auf Reward-Signalen basiert, behielt Weighted BC 80–90 % der Baseline-Performance bei, während BRAC in mehreren Umgebungen versagte.
Erhalt: Weighted BC behielt bis zu 60 % Kontamination über alle Vergiftungstypen hinweg über 80 % der sauberen Performance bei und übertraf damit deutlich den linearen Abfall, der bei traditioneller BC beobachtet wurde.

Bedeutung und Behauptungen
Der Artikel behauptet, dass Weighted BC eine robuste Lösung für Offline-RL in Gegenwart beliebiger Datenvergiftung bietet, eine kritische Anforderung für den Einsatz lernbasierter Controller in sicherheitskritischen Systemen. Durch die Nutzung eines kleinen, geprüften Referenzsets filtert die Methode effektiv korrupte Daten, ohne die spezifische Natur des Angriffs modellieren zu müssen. Die theoretische Analyse bestätigt, dass der Ansatz mit Schranken endlicher Stichproben zur sauberen Expertenstrategie konvergiert, die nicht von der Schwere der Kontamination abhängen. Empirisch zeigt die Methode eine überlegene Resilienz im Vergleich zu state-of-the-art Offline-RL-Algorithmen, insbesondere in Regimen mit hoher Kontamination, in denen Standardmethoden versagen. Die Arbeit betont, dass eine Bewertung auf Trajektorienebene entscheidend ist, um zeitliche Konsistenz und kontextrelevante Anomalien zu erfassen, und unterscheidet sich damit von Methoden, die nur isolierte State-Action-Artefakte adressieren.