💻 computer science

From Action Labels to Sets: Rethinking Action Supervision for Imitation Learning from Corrective Feedback

Dieser Beitrag stellt CLIC vor, ein Framework für imitatives Lernen mit menschlicher Rückkopplung, das spröde punktuelle Aktionsüberwachung durch mengenwertige Ziele ersetzt, die aus korrigierendem Feedback abgeleitet werden, und damit ein robustes Politiklernen ermöglicht, das verrauschte, relative und multimodale menschliche Anleitung berücksichtigt.

Ursprüngliche Autoren: Zhaoting Li, Rodrigo Pérez-Dattari, Robert Babuska, Cosimo Della Santina, Jens Kober

Veröffentlicht 2026-05-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhaoting Li, Rodrigo Pérez-Dattari, Robert Babuska, Cosimo Della Santina, Jens Kober

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter bei der Ausführung einer Aufgabe, wie etwa das Eingießen von Wasser in eine Tasse oder das Fangen eines Balls. Die traditionelle Methode hierfür heißt Behavior Cloning (Verhaltensklonierung). Denken Sie daran wie an einen strengen Lehrer, der auf eine einzige, exakte Stelle auf einer Karte zeigt und sagt: „Sie müssen genau hierhin gehen."

Das Problem bei diesem Ansatz ist, dass Menschen nicht perfekt sind. Manchmal werden wir müde, unsere Hände zittern oder wir geben einfach eine leicht falsche Richtung vor. Wenn der Roboter jede einzelne menschliche Anweisung als perfektes, unveränderliches Gesetz behandelt, beginnt er, unsere Fehler auswendig zu lernen. Er wird „brüchig" – wenn der Mensch einen winzigen Fehler macht, gerät der Roboter in Verwirrung und scheitert. Es ist wie ein Schüler, der die exakten Koordinaten einer falschen Antwort in einem Test auswendig lernt und dann durchfällt, weil er keine Variationen bewältigen kann.

Andererseits versuchen einige Methoden, den Roboter beizubringen, indem sie sagen: „Diese Aktion ist besser als diese." Das ist wie ein Lehrer, der sagt: „Nach links gehen ist besser als nach rechts", ohne genau zu sagen, wie weit nach links zu gehen ist. Obwohl dies flexibler ist, ist es oft zu vage. Der Roboter könnte am Ende ziellos umherwandern, weil er die Grenzen des „guten" Verhaltens nicht kennt.

Die neue Idee: „Die sichere Zone"

Die Autoren dieses Papiers schlagen einen Mittelweg vor, der CLIC (Contrastive policy Learning from Interactive Corrections) genannt wird. Anstatt dem Roboter einen einzelnen Punkt oder einen vagen Vergleich zu geben, bringen sie ihm bei, nach einer „Sicheren Zone" oder einem Zielbereich zu suchen.

Hier ist die Analogie:

Alter Weg (Punktweise): Der Lehrer sagt: „Stehen Sie genau auf dieser spezifischen Kachel." Wenn der Lehrer auf eine leicht falsche Kachel zeigt, steht der Roboter dort und scheitert.
Alter Weg (Paarweise): Der Lehrer sagt: „Auf der linken Seite zu stehen ist besser als auf der rechten." Der Roboter weiß, dass er nicht rechts sein sollte, aber er weiß nicht, ob er weit links, in der Mitte oder nur leicht links stehen soll. Es ist zu locker.
CLIC (Mengenwertig): Der Lehrer sagt: „Stehen Sie nicht auf der roten Kachel (wo der Roboter einen Fehler gemacht hat), aber Sie dürfen überall in diesem blauen Kreis um die grüne Kachel herum stehen."

Bei dieser neuen Methode geben Menschen, wenn sie den Roboter korrigieren, nicht einfach eine neue Koordinate vor. Sie definieren einen Bereich akzeptabler Aktionen.

Wenn der Mensch den Arm des Roboters leicht nach links schiebt, um einen Fehler zu korrigieren, lernt der Roboter: „Okay, die richtige Aktion liegt irgendwo in dieser allgemeinen Richtung, nicht unbedingt genau dort, wo Sie mich geschoben haben."
Wenn der Mensch eine verrauschte oder zittrige Korrektur gibt, versteht der Roboter, dass die „Sichere Zone" etwas verschwommen ist, aber er weiß immer noch, was er nicht tun soll (die falsche Seite) und was grundsätzlich akzeptabel ist (die Zone).

Wie es in der Praxis funktioniert

Das Papier hat diese Idee auf zwei Hauptarten getestet:

Simulationen: Sie führten Tausende von Computersimulationen mit Aufgaben durch, wie das Schieben eines T-förmigen Blocks, das Aufheben einer Dose oder das Anheben eines Objekts mit zwei Roboterarmen.
- Das Ergebnis: Wenn die menschlichen Daten perfekt waren, funktionierte CLIC genauso gut wie die alten Methoden. Aber wenn die menschlichen Daten verrauscht, zittrig oder nur teilweise waren (z. B. korrigierte der Mensch nur einen Arm eines zweihändigen Roboters), funktionierte CLIC weiter, während die alten Methoden abstürzten oder vollständig versagten.
- Warum? Weil CLIC nicht versuchte, die zittrigen Handbewegungen auswendig zu lernen. Es lernte die Form des korrekten Verhaltens.
Echte Roboter: Sie testeten dies an echten Robotern bei Aufgaben wie:
- Einsetzen einer T-Form in eine U-Form: Ein komplexes Puzzle, das präzise Bewegungen erfordert.
- Fangen eines Balls: Eine schnelle, dynamische Aufgabe, bei der Menschen keine perfekten Demonstrationen geben können, also geben sie nur schnelle Richtungsimpulse.
- Eingießen von Wasser: Eine Aufgabe, die eine feinfühlige Kontrolle einer Flasche erfordert.
- Das Ergebnis: Der Roboter lernte schneller und zuverlässiger. Bei der Ballfang-Aufgabe ging der Roboter davon, den Ball selten zu fangen, dazu über, ihn innerhalb von zwei Versuchen konsistent zu fangen, obwohl der Mensch nur grobe Richtungshinweise gab.

Die Kernaussage

Das Papier behauptet, dass Roboter durch die Behandlung menschlicher Korrekturen als Bereiche der Möglichkeit anstelle von exakten Zielen viel robuster werden. Sie können menschliche Fehler, zittrige Hände und unvollständige Anweisungen bewältigen, ohne in Verwirrung zu geraten.

Es ist der Unterschied zwischen einem Schüler, der eine einzelne falsche Antwort auswendig lernt, und einem Schüler, der das Konzept der richtigen Antwort versteht. CLIC bringt dem Roboter das Konzept (die „Sichere Zone") bei und nicht nur die Koordinaten, was ihn zu einem viel besseren Lerner macht, wenn Menschen beteiligt sind.

1. Problemstellung

Das Paper adressiert eine fundamentale Einschränkung beim Interaktiven Imitationslernen (IIL) und beim Behavior Cloning (BC): die Zerbrechlichkeit der punktweisen Supervision.

Das Problem: Traditionelles BC behandelt menschliche Demonstrationen oder korrigierendes Feedback als exakte, punktweise Aktionsziele ( $a^*$ ). Während dieser Ansatz mit perfekten Daten effektiv ist, scheitert er, wenn menschliches Feedback verrauscht, suboptimal oder relativ ist (d. h. eine Richtung anzeigt, aber nicht die Stärke).
Die Konsequenz: Bei der Verwendung ausdrucksstarker Policy-Klassen (z. B. Energy-Based Models (EBMs) oder Diffusionsmodelle) führt punktweise Supervision dazu, dass die Policy spezifische, potenziell verrauschte Labels überanpasst. Dies erzeugt scharfe lokale Minima um die bereitgestellten Aktionen herum und lenkt die Policy vom wahren, zugrunde liegenden optimalen Verhalten ab.
Einschränkungen alternativer Ansätze:
- Pairwise Preference Learning: Obwohl robuster als punktweise Labels, beschränken paarweise Vergleiche (z. B. „Aktion A ist besser als Aktion B") nur die relative Ordnung zweier Aktionen. In hochdimensionalen kontinuierlichen Räumen lässt dies den Rest des Aktionsraums weitgehend unbeschränkt, sodass die Policy suboptimalen Regionen eine hohe Wahrscheinlichkeit zuweisen kann, während sie dennoch die Präferenzbedingung erfüllt.
Die Lücke: Es besteht ein Bedarf an einem Supervisionsziel, das robuster als punktweises BC ist (um Rauschen/Suboptimalität zu handhaben), aber informativer als paarweise Vergleiche (um den Aktionsraum effektiv einzuschränken).

2. Methodik: CLIC

Die Autoren schlagen CLIC (Contrastive policy Learning from Interactive Corrections) vor, ein Framework, das von punktweisen Labels zu einer wertmengengestützten Supervision übergeht.

Kernkonzept: Gewünschte Aktionsmengen

Anstatt eine menschliche Korrektur als einzelne Zielaktion zu behandeln, interpretiert CLIC sie als Definition einer gewünschten Aktionsmenge ( $\hat{A}$ ). Diese Menge enthält alle Aktionen, die mit dem Feedback konsistent sind, schließt jedoch die ausgeführte (suboptimale) Aktion aus.

Absolute Korrekturen: Wenn ein Mensch eine neue Aktion $a_h$ bereitstellt, ist die gewünschte Menge eine Region um $a_h$ herum (z. B. eine Kugel oder ein Polytop).
Relative Korrekturen: Wenn ein Mensch eine Richtung $h$ angibt, um die aktuelle Aktion $a_r$ zu verbessern, ist die gewünschte Menge ein Kegel oder Halbraum in dieser Richtung, ohne sich auf eine spezifische Stärke festzulegen.

Schlüsselkomponenten

A. Konstruktion gewünschter Aktionsmengen
Das Paper definiert zwei spezifische geometrische Konstruktionen für diese Mengen:

Polytop-Mengen (CLIC-Half): Durchschnitte mehrerer „Halbraum"-Beschränkungen, die aus Daten-Augmentierung abgeleitet werden.
- Eine einzelne Korrektur $(a_r, a_h)$ wird in mehrere kontrastive Paare $(a^-_i, a^+_i)$ augmentiert.
- Jedes Paar definiert einen Halbraum, in dem Aktionen, die näher an $a^+_i$ liegen, bevorzugt werden.
- Der Schnitt dieser Halbräume bildet ein Polytop (das sich einem Kegel annähert).
- Parameter: Die Richtungsunsicherheit ( $\alpha$ ) und die Stärkeunsicherheit ( $\epsilon$ ) steuern Form und Größe der Menge.
Kreisförmige Mengen (CLIC-Circular): Speziell für absolute Korrekturen.
- Definiert eine Kugel mit Mittelpunkt bei der menschlichen Aktion $a_h$ und einem Radius, der proportional zum Abstand zwischen der Roboteraktion und der menschlichen Aktion ist.
- Dies erfasst die Intuition, dass die optimale Aktion innerhalb einer Nachbarschaft der Korrektur liegt.

B. Aggregation und Konvergenz

Iterative Verfeinerung: Eine einzelne Korrektur reicht oft nicht aus, um die optimale Aktion genau zu bestimmen. CLIC aggregiert mehrere Korrekturen über die Zeit.
Schnittmenge: Die gesamte gewünschte Aktionsmenge für einen Zustand ist der Schnitt aller einzelnen Mengen, die aus dem Feedback-Puffer abgeleitet wurden ( $\hat{A}_{D_s} = \bigcap \hat{A}_i$ ).
Konvergenz: Theoretisch konvergiert der Schnitt dieser Mengen, wenn mehr Feedback aggregiert wird, gegen die Menge der optimalen Aktionen ( $A^*_s$ ), vorausgesetzt, der Lehrer gibt Feedback zu suboptimalen Aktionen und die Mengen enthalten immer mindestens eine optimale Aktion.

C. Policy-Shaping-Ziel
Um die Policy $\pi_\theta$ so zu trainieren, dass sie mit diesen Mengen übereinstimmt, minimiert CLIC die KL-Divergenz zwischen der aktuellen Policy und einer Zielverteilung ( $\pi_{target}$ ):
$\ell_{KL} = \mathbb{E} [ KL(\pi_{target}(\cdot|s) \parallel \pi_\theta(\cdot|s)) ]$

Zielverteilung: Definiert über die Bayes-Regel unter Verwendung eines Beobachtungsmodells.
- Beobachtungsmodell: Eine weiche Mitgliedschaftsfunktion (Sigmoid), die Aktionen innerhalb der gewünschten Menge eine hohe Wahrscheinlichkeit und Aktionen außerhalb eine niedrige Wahrscheinlichkeit zuweist.
- Prior: Verwendet die aktuelle Policy als Prior ( $\pi_\theta$ ) anstelle eines uniformen Priors. Dies erzeugt einen „policy-gewichteten Bayes-Verlust", der sicherstellt, dass Updates konservativ und inkrementell sind und verhindert, dass die Policy zu weit von zuvor gelernten Verhaltensweisen abweicht.
Implizit vs. Explizit:
- Implizit (EBM): Der Verlust wird mittels kontrastivem Sampling (InfoNCE-ähnlich) optimiert, wobei die Zielverteilung die Stichproben basierend auf ihrer Mengenmitgliedschaft gewichtet.
- Explizit (Gaussian): Für unimodale Aufgaben vereinfacht sich die Methode zu einem Hinge-Loss, der sicherstellt, dass der Policy-Mittelwert innerhalb des Polytops liegt.

3. Hauptbeiträge

Perspektive der wertmengengestützten Supervision: Vorschlag einer neuartigen Formulierung, bei der korrigierendes Feedback einen Bereich akzeptabler Aktionen definiert und nicht einen einzelnen Punkt, wodurch die Lücke zwischen punktweisem BC und paarweisem Preference Learning geschlossen wird.
CLIC-Framework: Einführung eines praktischen Algorithmus, der diese Mengen konstruiert und aggregiert, um die Policy iterativ zu verfeinern. Es unterstützt sowohl absolute als auch relative Feedback und behandelt multimodale Verhaltensweisen auf natürliche Weise durch implizite Policies (EBMs).
Theoretische Analyse: Liefert Konvergenzbedingungen, die zeigen, dass aggregierte wertmengengestützte Feedback die optimale Aktionsmenge wiederherstellen kann, selbst wenn einzelne Feedback-Signale verrauscht oder relativ sind.
Umfassende Evaluation: Ausgedehnte Validierung in Simulationen und an echten Robotern (KUKA iiwa), die Robustheit über verschiedene Feedback-Typen hinweg demonstriert.

4. Experimentelle Ergebnisse

Simulationsexperimente:

Präzises Feedback: CLIC schneidet im Vergleich zu State-of-the-Art (SOTA)-Methoden (z. B. Diffusion Policy, IBC) konkurrenzfähig ab und beweist, dass wertmengengestützte Supervision die Leistung nicht beeinträchtigt, wenn die Daten perfekt sind.
Verrauschtes Feedback: CLIC übertrifft die Baselines (IBC, Diffusion Policy, PVP) deutlich. Während punktweise BC-Methoden an Rauschen überanpassen und nicht konvergieren, absorbiert der mengenbasierte Ansatz von CLIC das Rauschen und behält hohe Erfolgsraten bei.
Relative und partielle Feedback:
- Relative Korrekturen: CLIC-Half und CLIC-Explicit lernen erfolgreich aus richtungsweisendem Feedback, bei dem punktweise BC-Methoden vollständig scheitern (aufgrund des „on-policy"-Problems, bei dem vergangene Korrekturen suboptimal werden).
- Partielle Feedback: Bei Multi-Roboter-Aufgaben, bei denen Menschen nur einen Arm korrigieren, glänzt CLIC-Half, indem es nur die korrigierten Dimensionen einschränkt, während Baselines, die versuchen, den vollen (teilweise suboptimalen) Aktionsvektor zu imitieren, scheitern.

Experimente mit echten Robotern:

Insert-T (Multimodal): CLIC-Half erreichte bei schwierigen Aufgaben 80 % Erfolg, was Diffusion Policy (30 %) und IBC (10 %) deutlich übertrifft. Dies unterstreicht die Fähigkeit von CLIC, komplexe, multimodale Entscheidungsfindung zu handhaben, ohne zu überanpassen.
Ballfangen (Dynamisch/Partiell): Erfolgreiches Erlernen einer hochfrequenten Aufgabe unter Verwendung von relativem und partiellem Feedback mit einer 100%igen Erfolgsrate innerhalb von zwei Versuchen.
Wasserschütten (Präzision): Demonstrierte die Fähigkeit, während des Trainings zwischen absoluten und relativen Korrekturen zu wechseln und die Policy von grober zu feiner Kontrolle zu verfeinern.

Ablationsstudien:

Bestätigten, dass der policy-gewichtete Prior für die Stabilität entscheidend ist.
Zeigten, dass die Hyperparameter, die die Mengen-Geometrie steuern ( $\alpha, \epsilon$ ), so abgestimmt werden müssen, dass sie der Unsicherheit des Feedback-Signals entsprechen.
Visualisierten, dass CLIC, wenn der Mengenradius auf Null schrumpft, zu überanpassendem IBC degeneriert, was die Notwendigkeit der „Mengen"-Formulierung validiert.

5. Bedeutung und Auswirkung

Robustheit gegenüber menschlichen Fehlern: Die primäre Bedeutung liegt darin, das Imitationslernen gegenüber den inhärenten Unvollkommenheiten menschlicher Lehrer (Müdigkeit, Grenzen der Teleoperation, kognitive Belastung) robust zu machen.
Einheitliches Framework: CLIC vereinigt das Lernen aus absoluten Demonstrationen, relativen Korrekturen und partiellem Feedback unter einem einzigen mathematischen Rahmen.
Skalierbarkeit auf komplexe Aufgaben: Durch die Vermeidung der Überanpassung ausdrucksstarker Modelle an verrauschte Labels ermöglicht CLIC den Einsatz leistungsfähiger impliziter Policies (EBMs) in realen, interaktiven Umgebungen, in denen Daten selten perfekt sind.
Praktische Anwendbarkeit: Die Methode reduziert die kognitive Belastung menschlicher Lehrer (die grobe Richtungen anstelle exakter Trajektorien bereitstellen können) und beschleunigt den Lernprozess für komplexe robotische Aufgaben.

Zusammenfassend denkt CLIC die fundamentale Einheit der Supervision im Imitationslernen von einem einzelnen Punkt zu einer Menge neu und bietet eine mathematisch fundierte und empirisch robuste Lösung für das Lernen aus unvollkommenem menschlichem Feedback.