💻 computer science

Jointly Learning Predicates and Actions Enables Zero-Shot Skill Composition

Dieser Beitrag stellt Predicate Action Skills (PACTS) vor, eine geschlossene visuell-motorische Politik, die Aktionspfade und symbolische Prädikatergebnisse gemeinsam modelliert, um eine robuste Zero-Shot-Komposition erlernter Fähigkeiten durch Planung zu ermöglichen.

Ursprüngliche Autoren: Benedict Quartey, Sebastian Castro, Eric Rosen, Wil Thomason, George Konidaris, Stefanie Tellex

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benedict Quartey, Sebastian Castro, Eric Rosen, Wil Thomason, George Konidaris, Stefanie Tellex

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein komplexes Mahl zuzubereiten, wie etwa ein Sandwich herzustellen und anschließend aufzuräumen.

Der alte Weg: Der „blinde" Koch
Traditionell verwenden wir beim Unterrichten von Robotern in neuen Fähigkeiten (wie „das Brot aufheben") eine Methode namens „Lernen durch Demonstration". Wir zeigen dem Roboter ein Video eines Menschen, der dies tut, und der Roboter lernt, die Handbewegungen nachzuahmen.

Allerdings gibt es ein Problem mit diesem Ansatz. Der Roboter lernt die Bewegungen perfekt, versteht aber das Ergebnis nicht wirklich. Er weiß, wie er seinen Arm bewegen muss, um das Brot zu greifen, hat aber keine klare interne Überprüfung, um festzustellen: „Okay, ich habe das Brot erfolgreich gegriffen."

Aus diesem Grund gerät der Roboter in Verwirrung, wenn Sie ihn bitten, eine neue Kombination von Fähigkeiten auszuführen, die er noch nie gesehen hat (wie „das Brot greifen, aber nur, wenn die Butter bereits geöffnet ist"). Es ist wie ein Koch, der weiß, wie man Zwiebeln schneidet, aber nicht weiß, wie eine „geschnittene Zwiebel" aussieht, und daher nicht entscheiden kann, wann er mit dem Schneiden aufhören soll oder was als Nächstes zu tun ist. Um dies zu beheben, müssen wir den Roboter normalerweise für jede neue Kombination von Grund auf neu trainieren.

Der neue Weg: PACTS (Der „achtsame" Koch)
Diese Arbeit stellt ein neues System namens PACTS (Predicate-Action Skills) vor. Betrachten Sie PACTS als einen Roboter, der zu einem „achtsamen" Koch ausgebildet wird, der zwei Dinge zur exakt gleichen Zeit lernt:

Die Aktion: Die physischen Bewegungen (wie man den Arm bewegt).
Das Ergebnis: Eine symbolische „Überzeugung" darüber, was gerade passiert ist (z. B. „Das Brot befindet sich jetzt in meiner Hand" oder „Die Tür ist jetzt geöffnet").

Die kreative Analogie: Das „Dual-Track"-Band
Stellen Sie sich den Lernprozess des Roboters wie die Aufnahme eines Films auf einem speziellen Dual-Track-Band vor:

Spur A zeichnet das Video der sich bewegenden Roboterhände auf.
Spur B zeichnet einen laufenden Kommentar über „Wahrheiten" auf, die während des Abspielens des Films wahr werden (z. B. „Objekt wird gehalten", „Objekt wird losgelassen", „Tür ist geöffnet").

Bei alten Systemen wurden diese beiden Spuren von verschiedenen Personen aufgezeichnet, die niemals miteinander sprachen. Manchmal zeigte das Video, wie der Roboter die Tasse fallen ließ, aber die Kommentarspur sagte immer noch: „Tasse wird gehalten." Diese Diskrepanz verursachte Verwirrung beim Planen komplexer Aufgaben.

Mit PACTS zeichnet der Roboter beide Spuren gleichzeitig in einem einzigen, vereinten Prozess auf. Während er die Bewegung lernt, lernt er auch die entsprechende Veränderung in der Welt. Da sie gemeinsam gelernt werden, sind sie perfekt synchronisiert. Wenn sich die Hand des Roboters bewegt, um eine Tasse aufzuheben, aktualisiert sich seine interne „Überzeugung" automatisch auf „Ich halte die Tasse".

Warum dies wichtig ist: Zero-Shot-Komposition
Die größte Superkraft von PACTS ist die Zero-Shot-Komposition.

Da der Roboter nun diese klare, symbolische „Kommentarspur" (die Prädikat-Überzeugungen) besitzt, die sich in Echtzeit aktualisiert, können wir einen Standard-„Planer" aus dem Handel (wie ein GPS oder ein Kochbuch) verwenden, um Fähigkeiten zu mischen und zu kombinieren, die der Roboter noch nie zusammen gesehen hat.

Das Szenario: Sie haben dem Roboter beigebracht, „die Tür zu öffnen" und separat, „den Wagen zu schieben". Sie haben ihm nie gezeigt, wie man „die Tür öffnet und dann den Wagen schiebt".
Das Ergebnis: Der Planer betrachtet die interne „Überzeugungsspur" des Roboters. Er sieht, dass der Roboter erfolgreich „die Tür geöffnet" hat (die Überzeugung änderte sich von Falsch zu Wahr). Der Planer sagt dann: „Großartig! Da die Tür jetzt offen ist, führen wir die Fähigkeit 'Wagen schieben' aus."

Der Roboter kann dies ohne neues Training tun. Es ist wie ein Koch, der weiß, wie man Wasser kocht und wie man ein Ei brät. Selbst wenn er noch nie einen „gekochten-Ei-gebratenen-Sandwich" gemacht hat, kann er auf seine interne Checkliste schauen, sehen, dass das Wasser gekocht ist, und sofort zum Braten des Eies wechseln.

Tests in der realen Welt
Die Autoren testeten dies auf drei Arten:

Ein 2D-Spiel: Ein Roboter, der Blöcke schiebt. PACTS war sowohl beim korrekten Bewegen der Blöcke als auch beim korrekten Identifizieren, wann die Blöcke am richtigen Ort waren, besser als Roboter, die nur Bewegungen lernten.
3D-Simulation: Komplexe Aufgaben wie Kaffee zubereiten oder Kochen in einer Küche. PACTS behielt eine hohe Leistung bei, während es dem Planer einen klaren Einblick in das Geschehen gab.
Reales Leben: Ein echter Roboter, der farbige Würfel in eine Box packt. Das Team brachte ihm bei, rote und grüne Würfel separat zu packen. Mit PACTS konnten sie den Roboter dann bitten, „nur die roten und gelben Würfel zu packen" (eine Kombination, die er noch nie gesehen hatte), und er tat dies erfolgreich, indem er den Anweisungen des Planers basierend auf seinen internen Überzeugungen folgte.

Zusammenfassung
PACTS lehrt Roboter, Aktionen und Ergebnisse gemeinsam zu lernen, wie ein einziges Paket. Dies verleiht dem Roboter einen klaren, Echtzeit-„Statusbericht" darüber, was er erreicht hat. Dieser Statusbericht ermöglicht es einem einfachen Planer, Fähigkeiten sofort zu mischen und zu kombinieren, sodass der Roboter neue, komplexe Probleme lösen kann, ohne von Grund auf neu trainiert werden zu müssen.

Technische Zusammenfassung: Gemeinsames Lernen von Prädikaten und Aktionen ermöglicht Zero-Shot-Skill-Komposition

1. Problemdefinition

Lernen durch Demonstration (LfD) hat Robotern ermöglicht, komplexe Verhaltensweisen zu erlernen, doch bestehende generative visuomotorische Strategien versagen häufig bei der Generalisierung auf neue Kombinationen bekannter Fähigkeiten ohne erneutes Training. Aktuelle Ansätze modellieren typischerweise ausschließlich Verteilungen über Aktionspfade. Obwohl diese Modelle effektiv sind, um multimodales Verhalten zu erfassen, fehlt ihnen die Fähigkeit, über die symbolischen Ergebnisse (Zustandsänderungen) nachzudenken, die durch Aktionen hervorgerufen werden. Diese Einschränkung erzeugt eine Lücke bei Aufgaben mit langem Horizont, bei denen sich Verteilungsverschiebungen summieren und der Raum der Aufgabenvariationen kombinatorisch wächst.

Vorarbeiten, die versuchen, diese Lücke zu schließen, entkoppeln oft Komponenten: Sie trainieren ein Modell zur Generierung von Aktionen und ein separates Modell zur Klassifizierung von Prädikaten aus Beobachtungen. Diese Trennung ignoriert die enge Kopplung zwischen Manipulationsaktionen und ihren symbolischen Effekten. Folglich können Inkonsistenzen zur Inferenzzeit entstehen, bei denen der vorhergesagte symbolische Zustand nicht mit dem tatsächlichen Aktionsmodus übereinstimmt, was eine robuste, planungsbasierte Komposition behindert.

2. Methodik: Prädikat-Aktions-Fähigkeiten (PACTS)

Die Autoren schlagen Prädikat-Aktions-Fähigkeiten (PACTS) vor, eine Klasse von geschlossenen visuellen motorischen Strategien, die Fähigkeiten als einen gemeinsamen generativen Prozess über Aktionspfade ( $x$ ) und Prädikat-Glaubenspfade ( $z$ ) modellieren.

Kernformulierung

Anstatt $p(x|o)$ und $p(z|o)$ separat zu lernen, lernt PACTS eine gekoppelte Verteilung:
$(x, z) \sim p_\theta(x, z | o)$
wobei:

$x$ der Aktionspfad über einen Horizont $H$ ist.
$z$ ein Prädikat-Glaubenspfad ist, der eine kompakte Spur weicher Wahrheitswerte (Konfidenzwerte in $[0, 1]$ ) für eine Menge von Prädikaten $J$ über die Zeit darstellt.
$o$ die aktuelle Beobachtung ist.

Durch das Abtasten aus dieser gemeinsamen Verteilung erzeugt das Modell kohärente Paare, bei denen die Verpflichtung zu einem bestimmten Aktionsmodus inhärent die entsprechende symbolische Spur mit sich bringt.

Architektonische Implementierung

Gemeinsame Variable: Das Modell definiert eine gemeinsame Pfadvariable $y \triangleq [x | z]$ und lernt ein einziges bedingtes generatives Modell $p_\theta(y | o)$ .
Ziele: Das Framework unterstützt sowohl Denoising Diffusion Probabilistic Modeling (DDPM) als auch Conditional Flow Matching (CFM).
- DDPM: Trainiert ein Rauschvorhersagenetzwerk $\epsilon_\theta$ , um die gemeinsame Variable $y$ zu enträuschen.
- CFM: Trainiert ein Vektorfeld $v_\theta$ , um Rauschen entlang eines optimalen Transportpfads zu Daten zu transportieren.
Grundgerüste: Der Pfadgenerator kann entweder mit einem temporalen UNet (1D-Faltungen) oder einem Transformer (Selbstaufmerksamkeit über Zeitschritte) instanziiert werden.
Ausführung: PACTS operiert in einer Art gleitendem Horizont. In jedem Regelkreiszyklus wird es auf die aktuelle Beobachtung konditioniert, zieht eine gemeinsame Rollout-Stichprobe $(x, z)$ , führt ein Präfix der Aktion aus und zieht erneut eine Stichprobe.

Planungsbasierte Komposition

Die generierte Prädikat-Glaubenspfad $z$ dient als Online-Symbol-Schnittstelle für die Planung.

Zustandsschätzung: Die kontinuierlichen Glaubenswerte in $z$ werden schwellenwertiert (z. B. $>0,5$ ), um diskrete Prädikatzustände $\hat{p}_t$ zu erzeugen.
Planungsschleife: Ein handelsüblicher PDDL-Planer verwendet diese vorhergesagten Zustände, um:
- Vorbedingungen und Effekte zu überprüfen.
- Fähigkeiten zu sequenzieren, um Ziele zu erreichen.
- Eine Neuplanung auszulösen, wenn die vorhergesagten Effekte einer Fähigkeit verletzt werden (z. B. aufgrund von Umgebungsstörungen).
  Dies ermöglicht eine Zero-Shot-Komposition, die Robotern erlaubt, gelernte Fähigkeiten zu sequenzieren, um neue Ziele zu erreichen, ohne erneut trainiert zu werden.

Daten-Tooling

Um den Einsatz in der realen Welt zu erleichtern, stellen die Autoren ein Toolkit zur Skill-Segmentierung und -Kennzeichnung vor. Dieses Tool wandelt monolithische Demonstrationsdatensätze (z. B. im LeRobot-Format) in skill-zentrierte Datensätze um durch:

Annotieren von spärlichen Keyframes mit verankerten Prädikaten.
Interpolieren dieser in dichte pro-Zeitschritt-Labels.
Segmentieren von Episoden in zusammenhängende pro-Skill-Pfade basierend auf ziel-erreichenden Prädikat-Konfigurationen.

3. Hauptbeiträge

Der Artikel leistet drei primäre Beiträge:

Gemeinsame generative Formulierung: Ein Skill-Modell, das Aktionspfade und Prädikat-Spuren als einen gekoppelten generativen Prozess behandelt und kohärente Aktion-Ergebnis-Rollouts innerhalb eines einzigen Modells erzeugt.
Planungsbasierte Komposition: Eine Methode zur Sequenzierung und Überwachung von Fähigkeiten unter Verwendung von Prädikat-Glaubensspuren als Online-Schnittstelle, die Zero-Shot-Komposition mit handelsüblichen Planern ermöglicht.
Open-Source-Toolkit: Ein Segmentierungs- und Kennzeichnungs-Toolkit, das monolithische Demonstrationen in Datensätze umwandelt, die für das gemeinsame $(x, z)$ -Lernen geeignet sind.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PACTS auf einem 2D-Kompositions-Benchmark (PushBarrier), zwei 3D-RoboMimic-Aufgaben (Küche und Kaffeezubereitung) und einer realen Aufgabe zum Verpacken von Würfeln.

Leistung einzelner Strategien

Aktionsqualität: In der 2D-PushBarrier-Umgebung erreichte PACTS perfekte oder nahezu perfekte Aufgabenbelohnungen (Maximale Belohnung $\approx 1,0$ ) über verschiedene Grundgerüste (UNet/Transformer) und Ziele (DDPM/CFM) hinweg und übertraf oder entsprach dabei reinen Aktions-Baselines. Bei 3D-Aufgaben blieb PACTS mit reinen Aktionsstrategien wettbewerbsfähig, was zeigt, dass die Hinzufügung einer Ergebnismodellierung die Kontrollleistung nicht verschlechtert.
Prädikatvorhersage: PACTS schnitt bei der Prädikatklassifizierung (F1, Recall, Precision, Accuracy) konsistent besser ab als Baselines. Bemerkenswerterweise übertraf es eine Multi-Task-Baseline mit gemeinsamem Encoder, aber separaten Köpfen, was darauf hindeutet, dass gemeinsames Abtasten einen stärkeren induktiven Bias bietet als einfache Parameterfreigabe.

Kohärenz und Komposition

Prädikat-Aktions-Kohärenz: Experimente zeigten, dass die vorhergesagten Glaubens-Rollouts von PACTS mit den tatsächlichen Ergebnissen, die durch die Ausführung der generierten Aktionen erzielt wurden, eng übereinstimmten (niedrige Cross-Brier- und Cross-NLL-Werte), was bestätigt, dass die symbolische Spur aktionsabhängig und nicht nur eine A-priori-Annahme ist.
Zero-Shot-Komposition: In Simulation und realen Umgebungen komponierte das System erfolgreich gelernte Teilfähigkeiten, um neue Ziele zu erreichen (z. B. nur bestimmte farbige Würfel zu verpacken), die nicht von Anfang bis Ende demonstriert wurden.
Adversarielle Erholung: Das System zeigte die Fähigkeit, zu erkennen, wenn die Effekte einer Fähigkeit verletzt wurden (z. B. eine Tür schließt sich während der Ausführung), über die Prädikatschnittstelle, und löste eine Neuplanung aus, um sich zu erholen und die Aufgabe abzuschließen.

5. Bedeutung und Behauptungen

Der Artikel argumentiert, dass die grundlegende Einschränkung beim aktuellen Skill-Lernen die Entkopplung von Aktionen von ihren symbolischen Ergebnissen ist. Durch die Modellierung von Fähigkeiten als gemeinsame Aktion-Ergebnis-Rollouts bietet PACTS eine „planer-ausgerichtete" Schnittstelle, die natürlicherweise mit dem Verhalten der Strategie konsistent ist.

Die Autoren behaupten, dass dieser Ansatz Folgendes ermöglicht:

Robuste Generalisierung: Die Fähigkeit, Fähigkeiten für nicht gesehene Aufgabenkompositionen ohne erneutes Training zu sequenzieren.
Zuverlässige Überwachung: Eine Online-Symbol-Schnittstelle, die es Planern ermöglicht, den Ausführungsfortschritt zu überprüfen und Fehler zu erkennen.
Induktiver Bias: Das Lernen der gekoppelten Verteilung ermutigt die Strategie, die spezifische Beziehung zwischen Aktionsmodi und symbolischen Übergängen darzustellen, was sowohl die Kontrolle als auch die Vorhersage verbessert.

Der Artikel schließt bescheiden, indem er anerkennt, dass die Leistung von der Qualität der Prädikatsmenge abhängt und dass der aktuelle Ansatz ein manuell definiertes symbolisches Domäne voraussetzt. Er postuliert jedoch, dass die gemeinsame Modellierung von Aktionen und Ergebnissen ein notwendiger Schritt hin zu skalierbaren, zuverlässigen und komponierbaren robotischen Fähigkeiten ist.