🤖 machine learning

DataMIL: Selecting Data for Robot Imitation Learning with Datamodels

DataMIL ist ein End-to-End-Datenselektionsframework für das robotische Imitationslernen, das Datamodelle nutzt, um automatisch hochwirksame Datenpunkte aus großen vorläufigen Datensätzen zu identifizieren und zu kuratieren, wodurch die Leistung bei spezialisierten Aufgaben verbessert wird, ohne auf menschendefinierte Qualitätsmetriken oder teure Umgebungs-Rollouts angewiesen zu sein.

Ursprüngliche Autoren: Shivin Dass, Alaa Khaddaj, Logan Engstrom, Aleksander Madry, Andrew Ilyas, Roberto Martín-Martín

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shivin Dass, Alaa Khaddaj, Logan Engstrom, Aleksander Madry, Andrew Ilyas, Roberto Martín-Martín

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine bestimmte Aufgabe beizubringen, wie zum Beispiel das Einschenken einer Tasse Kaffee oder das Aufheben eines bestimmten Objekts. Sie verfügen über eine riesige Bibliothek mit Videoaufnahmen, die tausende von Robotern bei verschiedensten Aufgaben zeigen: Einige sind Experten, andere sind tollpatschig, manche führen völlig andere Jobs aus und manche wandern einfach nur ziellos umher.

Das Problem ist: Wie wählt man die richtigen Videos aus, um sie dem Roboter zu zeigen, damit er schnell lernt und nicht verwirrt wird?

Der alte Weg: Raten nach dem „Aussehen“

Traditionell versuchten Forscher, dies zu lösen, indem sie sich die Videos ansah und diejenigen auswählten, die so aussah wie die Aufgabe, die der Roboter lernen sollte.

Die Analogie: Stellen Sie sich vor, Sie möchten lernen, wie man einen Schokoladenkuchen backt. Sie gehen in eine Bibliothek und schnappen sich jedes Buch, das ein Bild eines Kuchens auf dem Cover hat.
Der Fehler: Sie könnten versehentlich ein Buch über Schokoladenfudge (das falsche Rezept) erwischt haben, ein Buch über das Bemalen von Kuchen (nicht das Backen) oder ein Buch, das zwar ein Bild eines Kuchens zeigt, dessen Text aber in einer Sprache verfasst ist, die Sie nicht sprechen. Sie haben das richtige „Aussehen“ gewählt, aber der Inhalt war nutzlos oder sogar schädlich. In der Robotik nennt man dies „heuristische Selektion“, und sie führt oft dazu, dass der Roboter schlechte Angewohnheiten lernt.

Der neue Weg: DataMIL (Der „Geschmackstester“)

Die Autoren dieser Arbeit führen eine neue Methode namens DataMIL ein. Anstatt darauf zu raten, wie die Daten aussehen, stellt DataMIL eine einfache Frage: „Wenn ich dieses spezifische Stück Daten verwende, um den Roboter zu trainieren, wird der Roboter die Aufgabe tatsächlich besser beherrschen?“

Sie verwenden einen cleveren Trick namens „Datamodel“.

Die Analogie: Stellen Sie sich vor, Sie haben einen superschnellen, winzigen „Geschmackstester“-Roboter. Sie wollen nicht für jedes einzelne Rezeptbuch einen kompletten Kuchen backen (den echten Roboter trainieren), um zu sehen, ob er gelingt – das dauert zu lange und kostet zu viel Geld.
Stattdessen fragen Sie den Geschmackstester: „Basierend auf meiner Erfahrung: Wenn wir diese spezifische Zutat (Datenpunkt) zur Mischung hinzufügen, wird der Kuchen dann besser schmecken?“
Der Geschmackstester (das Datamodel) sagt das Ergebnis voraus, ohne dass Sie den Kuchen tatsächlich backen müssen. Er lernt, den Erfolg vorherzusagen, indem er Muster darin erkennt, wie Daten die Leistung beeinflussen, anstatt nur die Daten selbst zu betrachten.

So funktioniert es in drei Schritten

Die Vorhersage: Das System betrachtet jedes einzelne Video in der riesigen Bibliothek. Es nutzt seinen „Geschmackstester“, um vorherzusagen: „Wenn wir den Roboter mit diesem Video trainieren, wird er erfolgreich sein?“
Die Selektion: Es wählt die Videos aus, von denen der Tester sagt, dass sie am meisten helfen werden. Entscheidend ist, dass es auch Videos wegwirft, die zwar hilfreich aussehen, den Roboter aber tatsächlich verwirren würden (wie das falsche Kuchenrezept).
Das Training: Der Roboter wird nur auf dieser sorgfältig kuratierten, hochwertigen Liste von Videos trainiert.

Warum das eine große Sache ist

Die Autoren testeten dies an über 60 verschiedenen Aufgaben, sowohl in Computersimulationen als auch mit echten Robotern in der realen Welt.

Das Ergebnis: Roboter, die mit den von DataMIL ausgewählten Daten trainiert wurden, waren viel erfolgreicher als Roboter, die mit „allen Daten“ oder mit den „Look-alike“-Methoden der alten Schule trainiert wurden.
Die Überraschung: Manchmal stammten die besten Daten, um einem Roboter den Umgang mit einem „Franka“-Arm beizubringen, aus Videos eines völlig anderen Roboters (wie einem „Tiago“-Arm). Die alten Methoden hätten diese ignoriert, weil sie anders aussah. DataMIL erkannte jedoch, dass die Logik der Bewegung hilfreich war, auch wenn sie anders aussah.

Das „Geheimrezept“ (Vermeidung der Gefahr)

Normalerweise muss man den Roboter in der realen Welt laufen lassen, um zu wissen, ob ein Video hilft. Das ist langsam, teuer und gefährlich (Roboter können Dinge beschädigen).

Die Innovation: DataMIL verwendet eine „Proxy-Metrik“. Anstatt den Roboter in der realen Welt laufen zu lassen, um seinen Erfolg zu prüfen, prüft es, wie gut die Mathematik des Roboters die korrekte Aktion auf einem kleinen Testdatensatz vorhersagt. Es ist, als würde man die Hausaufgaben eines Schülers kontrollieren, anstatt ihn eine Abschlussprüfung machen zu lassen, um zu sehen, ob er gelernt hat. Dies ermöglicht es, die Selektion sicher und schnell durchzuführen, ohne das Risiko realer Schäden einzugehen.

Zusammenfassung

DataMIL ist wie ein kluger Bibliothekar, der nicht nur Bücher auswählt, weil sie das richtige Coverbild haben. Stattdessen besitzt dieser Bibliothekar eine Kristallkugel, die genau vorhersagt, welche Bücher einem Schüler helfen werden, eine bestimmte Prüfung zu bestehen. Durch die Nutzung dieser Kristallkugel lernt der Roboter schneller, macht weniger Fehler und kann sogar von Daten lernen, die ganz anders aussehen als die Aufgabe, die er gerade zu meistern versucht.

Technisches Resümee: DataMIL – Datenauswahl für das Imitationslernen von Robotern mittels Datamodellen

1. Problemstellung

Die Robotik-Community hat sich vor kur Jahren hin zum Training allgemeiner Fundament-Policies auf Basis massiver, diverser Datensätze (z. B. Open-X Embodiment) entwickelt. Während diese Policies eine starke mittlere Leistung über verschiedene Aufgaben hinweg erzielen, fallen sie bei einzelnen, spezialisierten Aufgaben häufig unterdurchschnittlich aus, was eine Feinabstimmung auf neu erworbenen, aufgabenspezifischen Daten erforderlich macht.

Die Kernherausforderung, die mit dieser Arbeit adressiert wird, ist die Datenauswahl: die Identifizierung jener Teilmengen großer, vorab vorhandener Datensätze, die in Kombination mit begrenzten aufgabenspezifischen Demonstrationen die besten spezialisierten Policies hervorbringen.

Einschränkungen aktueller Methoden: Eine naive Auswahl basierend auf menschlichen Vorstellungen von Qualität (z. B. semantische Ähnlichkeit, visuelle Ähnlichkeit oder Zustands-Aktions-Nähe) scheitert oft. Diese Heuristiken setzen voraus, dass die „ähnlichsten“ Daten auch die „nützlichsten“ sind, ignorieren dabei jedoch den tatsächlichen Einfluss eines Datenpunktes auf die nachgelagerte Policy-Performance.
Die Optimierungsbarriere: Idealerweise würde man Daten auswählen, indem man Teilmengen durch erneutes Training testet und die resultierende Policy evaluiert. Da die Evaluierung einer Policy in der Robotik jedoch reale Durchläufe (Rollouts) erfordert, die zeitaufwendig, gefährlich und für eine groß angelegte Suche rechnerisch nicht machbar sind, ist dies unpraktikabel.
Die Lücke: Bestehende Frameworks zur Datenattribution wie Datamodelle (die die Performance eines Modells basierend auf den Trainingsdaten vorhersagen) waren in der NLP und im Computer Vision erfolgreich, konnten jedoch aufgrund der nicht-differenzierbaren und teuren Natur der realen Policy-Evaluierung bisher nicht direkt auf die Robotik angewendet werden.

2. Methodik: DataMIL

Die Autoren führen DataMIL (Datamodels for Imitation Learning) ein, ein Framework, das das Datamodel-Paradigma auf die Robotik überträgt. DataMIL begründet die Datenauswahl in einem End-to-End-Verfahren, indem es das Policy selbst nutzt, um Datenpunkte zu identifizieren, die die Leistung verbessern, anstatt sich auf statische Heuristiken zu verlassen.

2.1 Kern-Framework

DataMIL behandelt den Lernalgorithmus der Policy als „Black Box“ und trainiert einen Schätzer (ein Datamodel), um die Performance einer auf einer spezifischen Teilmenge von Daten trainierten Policy vorherzusagen.

Zielsetzung: Finde eine Teilmenge $D' \subset D$ , die die Zielmetrik $M(A(D'))$ maximiert, wobei $A$ der Lernalgorithmus und $M$ die Performance-Metrik ist.
Datamodel-Formulierung: Anstatt die Policy zu trainieren, lernt DataMIL eine Funktion $\hat{f}(D') \approx M(A(D'))$ . Für lineare Datamodelle reduziert sich dies auf die Zuweisung eines Skalar-Scores $\tau(z_i)$ für jeden Datenpunkt $z_i$ , wobei die vorhergesagte Performance die Summe der Scores der ausgewählten Teilmenge ist.

2.2 Wichtige Anpassungen für die Robotik

Um Datamodelle für die Robotik handhabbar zu machen, führen die Autoren drei kritische Modifikationen ein:

Surrogat-Verlustfunktion (Vermeidung von Rollouts):
Reale Rollouts sind nicht-differenzierbar und teuer. DataMIL ersetzt die wahre Erfolgsrate durch eine Proxy-Metrik $\tilde{M}$ , definiert als der negative Behavior Cloning (BC) Loss auf einem gehaltenen Satz von Ziel-Demonstrationen:
$\tilde{M}(\pi, D_{target}) = \frac{1}{|D_{target}|} \sum_{(s,a) \in D_{target}} -L_{BC}(\pi(s), a)$
Diese Metrik ist voll differenzierbar und erfordert keine Interaktion mit der Umgebung, was die Verwendung gradientenbasierter Schätzverfahren ermöglicht.
Datamodel-Schätzer:
Das Paper verwendet zwei Methoden, um die Einfluss-Scores $\tau(z_i)$ zu schätzen:

Regressions-Schätzer: Stichprobenartige Auswahl zufälliger Datensubsets, Training der Policies, Evaluierung der Proxy-Metrik und Anpassung eines linearen Modells zur Vorhersage der Performance basierend auf der Präsenz der Daten. Dies ist genau, aber rechenintensiv.
Metagradient-basierter Schätzer: Verwendet Einflussfunktionen und Metagradienten, um die Ableitung der Zielmetrik in Bezug auf die Datengewichte zu berechnen. Diese Methode ist effizienter für große Modelle (wie Octo) und vermeidet die Notwendigkeit, Policies für jede Teilmenge neu zu trainieren.

Clustering und Milderung des Verteilungsshift (Distribution Shift):

Clustering: Um das Rauschen in der Einfluss-Schätzung zu reduzieren, werden einzelne Zustands-Aktions-Paare in zeitliche Cluster (Teiltrajektorien oder vollständige Trajektorien) gruppiert. Die optimale Granularität der Cluster hängt von der Datensatzgröße ab; größere Datensätze (wie OXE) profitieren von der Aggregation auf Trajektorien-Ebene.
Distribution Shift: Um schlechte Schätzungen durch Verschiebungen zwischen dem Prior- und dem Target-Domain zu verhindern, wird ein kleiner Bruchteil der Zielaufgaben-Daten während der Datamodel-Schätzphase inkludiert, um den Lernprozess an die Ziel-Domain auszurichten.

2.3 Trainings-Pipeline

Sobald die Einfluss-Scores geschätzt wurden:

Die obersten $x\%$ der Prior-Daten (höchster positiver Einfluss) werden ausgewählt, um $D_{sel}$ zu bilden.
Die finale Policy wird mittels Co-Training auf den Ziel-Daten $D_{target}$ und den ausgewählten Daten $D_{sel}$ trainiert. In jedem Schritt wird ein Batch mit der Wahrscheinlichkeit $\alpha$ aus $D_{target}$ und mit der Wahrscheinlichkeit $1-\alpha$ aus $D_{sel}$ gezogen.

3. Kernbeiträge

Erweiterung von Datamodellen auf die Robotik: DataMIL ist das erste Framework, das Datamodelle erfolgreich auf das Imitationslernen von Robotern anwendet, indem es die Barriere teurer realer Rollouts durch eine differenzierbare Surrogat-Loss-Funktion überwindet.
End-to-End Performance-Bewusstsein: Im Gegensatz zu heuristischen Methoden (visuelle, Bewegungs- oder Zustandsähnlichkeit) optimiert DataMIL direkt auf den Einfluss auf den Erfolg der Policy. Dies ermöglicht es, Daten zu wählen, die die Leistung verbessern, und solche zu verwerfen, die sie verschlechtern, selbst wenn die Daten visuell ähnlich erscheinen.
Skalierbare Schätzer: Die Einführung des metagradienten-basierten Schätzers ermöglicht es dem Framework, auf große, komplexe Policies (z. B. Octo) und massive Datensätze (z. B. OXE) zu skalieren, bei denen Regressions-basierte Ansätze rechentechnisch prohibitiv wären.
Cross-Embodiment und Multi-Task Selektion: Die Methode demonstriert die Fähigkeit, nützliche Daten für Aufgaben und Roboter-Embodiments auszuwählen, die nicht im Prior-Datensatz enthalten sind, sowie Datensätze zu kuratieren, die mehrere nachgelagerte Ziele gleichzeitig unterstützen.

4. Experimentelle Ergebnisse

Die Autoren validieren DataMIL über 60+ Aufgaben in Simulationen und realen Umgebungen:

MetaWorld (50 Aufgaben): DataMIL erreichte eine Leistungssteigerung von 10 % gegenüber State-of-the-Art-Baselines (Behavior Retrieval, Flow Retrieval, STRAP). Es filterte erfolgreich verrauschte, suboptimale Demonstrationen aus autonomen Explorationsdaten heraus, während Ähnlichkeits-basierte Baselines oft irrelevante oder qualitativ minderwertige Daten abriefen.
LIBERO (10 Aufgaben): Unter Verwendung der Octo Transformer-Policy übertraf DataMIL konsistent die Baselines bei vielfältigen Long-Horizon-Aufgaben. Während visuelle Ähnlichkeits-Baselines in einigen spezifischen Aufgaben gut abschnitten, lieferte DataMIL die robusteste durchschnittliche Leistung.
Open-X Embodiment (OXE) (Realwelt):
- Franka-Ball & Franka-Pouch: DataMIL wählte Daten aus, die die Erfolgsraten signifikant verbesserten im Vergleich zu zufälliger Auswahl und heuristischen Baselines.
- Tiago-Sink: In einem anspruchsvollen Cross-Embodiment-Szenario (Auswahl von Daten für einen Tiago-Roboter aus einem Datensatz, der keine Tiago-Daten enthält) identifizierte DataMIL erfolgreich relevante Demonstrationen von anderen Robotern (z. B. RT-1, BC-Z), die die „Essenz“ der Aufgabe (Tabletop Manipulation) teilten, während Baselines daran scheiterten zu generalisieren.
- Droid-Multitask: DataMIL kuratierte einen einzelnen Datensatz, der die Leistung bei drei verschiedenen Aufgaben gleichzeitig verbesserte und damit die Baselines in der durchschnittlichen Erfolgsrate übertraf.

Qualitative Erkenntnisse:

DataMIL wählt eine diverse Mischung von Datensätzen aus, anstatt sich zu stark auf eine einzige Quelle zu verlassen (im Gegensatz zu Baselines, die oft 80 %+ aus einem einzigen Datensatz beziehen).
Es unterscheidet effektiv zwischen hilfreichen und schädlichen Daten, selbst wenn diese visuell identisch aussehen (z. B. gleicher Zustand, aber unterschiedliche Aktionsverteilungen) – ein Fehlermodus, der bei Ähnlichkeits-basierten Retrieval-Methoden häufig vorkommt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass eine End-to-End, performance-bewusste Datenauswahl entscheidend ist, um das Potenzial großer Prior-Datensätze in der Robotik freizusetzen. Die Autoren argumentieren, dass während große Fundament-Modelle eine starke Basis bieten, deren Spezialisierung maßgeblich von der Qualität der Feinabstimmungs-Daten abhängt.

Bescheidene Ansprüche auf Skalierbarkeit: Die Autoren räumen ein, dass die Schätzung von Datamodellen rechenintensiv bleibt (mehrfach so teuer wie das Training einer Policy auf allen Daten), wenngleich der Metagradienten-Ansatz dies abmildert. Sie merken an, dass die Hyperparameter-Optimierung (z. B. Cluster-Größe, Selektionsrate) derzeit noch wenig starke theoretische Intuition besitzt.
Geltungsbereich: Die Arbeit konzentriert sich primär auf die Single-Task-Spezialisierung, wobei das Droid-Multitask-Setting als vorläufiger Schritt zur Multi-Task-Kuration dient.
Fazit: DataMIL zeigt, dass der Übergang von menschendefinierten Heuristiken hin zu datengesteuerter, modellbewusster Auswahl konsistente Gewinne bei den Erfolgsraten liefert, insbesondere in komplexen, heterogenen und realen Szenarien, in denen traditionelle Retrieval-Methoden versagen.