💻 computer science

Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

Dieses Paper schlägt ein Framework vor, das gemeinsam diskrete Objekt- und Aktionssymbole durch die Vorhersage multimodaler Interaktionseffekte aus zufälligen Daten entdeckt und dadurch eine robuste Few-Shot-Generalisierung sowie präzise Manipulationsplanung für sowohl bekannte als auch neue Objekte auf Basis von verhaltensbezogener statt visueller Ähnlichkeit ermöglicht.

Ursprüngliche Autoren: Burcu Kilic, Berke Kartal, Fatih Dogangun, Erhan Oztop, Emre Ugur

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Burcu Kilic, Berke Kartal, Fatih Dogangun, Erhan Oztop, Emre Ugur

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Objekte auf einem Tisch hin und her zu bewegen. Wenn Sie ihm nur Bilder von Blöcken, Bällen und Zylindern zeigen, könnte der Roboter denken, dass ein runder Ball und ein runder Donut gleich sind, weil sie sich ähnlich sehen. Aber wenn Sie versuchen, sie zu drücken, rollt der Ball weg, während der Donut liegen bleibt. Der Roboter muss lernen, dass was ein Objekt tut, wichtiger ist als wie es aussieht.

Dieses Paper präsentiert eine neue Art und Weise, wie Roboter diese Lektion selbstständig lernen können, ohne dass ein menschlicher Lehrer ihnen erklären muss, was jedes einzelne Objekt ist. So funktioniert es, unterteilt in einfache Konzepte:

1. Das „Blindlings“-Lernspiel

Anstatt Objekten nur zuzusehen, spielt der Roboter ein Spiel der „blindlings erkundenden Exploration“. Er greift, drückt, hebt und lässt verschiedene Objekte zufällig fallen und zeichnet dabei alles auf, was passiert:

Wohin sich das Objekt bewegte.
Wie viel Kraft der Roboter aufwenden musste (Kraft).
Ob das Objekt rutschte oder stecken blieb (Kontakt).

Denken Sie an ein Baby, das lernt, die Welt zu verstehen. Ein Baby schaut nicht nur ein Rasselspielzeug an; es schüttelt es, lässt es fallen und beißt hinein, um zu verstehen, wie es sich verhält. Dieser Roboter tut dasselbe, aber mit Sensoren.

2. Der „Geheimcode“ (Symbole)

Der Roboter nimmt all diese ungeordneten Daten und komprimiert sie in einen einfachen „Geheimcode“ (binäre Symbole).

Objekt-Code: Er gruppiert Objekte nicht nach ihrer Form, sondern danach, wie sie reagieren. Er lernt zum Beispiel, dass ein „Würfel“ und ein „T-Block“ denselben Code erhalten könnten, wenn beide einen bestimmten Griff erfordern, um angehoben zu werden, selbst wenn sie unterschiedlich aussehen.
Aktions-Code: Er gruppiert seine Bewegungen. Er lernt den Unterschied zwischen einem „Drücken“ und einem „Anheben“, und sogar den Unterschied zwischen einem „nach links Drücken“ und einem „nach rechts Drücken“.

Der Roboter nutzt hierfür einen speziellen zweistufigen Trainingsprozess, um den Code zu lernen:

Schritt 1 (Der erste Entwurf): Er lernt zuerst, die Unterschiede zwischen großen Aktionen (wie „Drücken“ vs. „Anheben“) allein durch das Fühlen der Kraft zu erkennen.
Schritt 2 (Das Kleingedruckte): Dann verfeinert er dies, um spezifische Richtungen und Details zu lernen, wie zum Beispiel genau, wie weit sich das Objekt bewegt.

3. Die „Karte und der Kompass“ (Planung)

Sobald der Roboter diese Codes besitzt, erstellt er eine diskrete Karte (eine Bibliothek von Effekten).

Stellen Sie sich ein Schachbrett vor, bei dem jedes Quadrat eine mögliche Position für ein Objekt darstellt.
Der Roboter weiß: „Wenn ich Aktions-Code A auf Objekt-Code B anwende, bewegt sich das Objekt zu Feld X.“
Er nutzt einen Suchalgorithmus (ähnlich wie ein GPS, das die kürzeste Route findet), um diese Bewegungen zu einer Abfolge zu verknüpfen, um von Punkt A nach Punkt B zu gelangen.

Entscheidend ist, dass der Roboter nicht nur das Endziel plant, sondern auch die Zwischenschritte plant. Er kann sagen: „Ich drücke es zur Hälfte, überprüfe, wo es ist, und passe mich dann an.“ Dies ermöglicht eine präzise Steuerung, im Gegensatz zu anderen Methoden, die einfach nur den gesamten Pfad auf einmal erraten.

4. Die „Few-Shot“-Superkraft

Der beeindruckendste Teil ist, wie der Roboter mit neuen Objekten umgeht, die er noch nie zuvor gesehen hat.

Der alte Weg: Wenn man einem Roboter einen neuen „T-Block“ zeigt, betrachtet er das Bild. Wenn er wie ein „Würfel“ aussieht, versucht der Roboter, ihn wie einen Würfel zu behandeln. Wenn der T-Block schwer oder rutschig ist, scheitert der Robbot.
Der Weg dieses Papers: Der Roboter drückt oder hebt den neuen T-Block nur dreimal. Er vergleicht die Ergebnisse (die Kraft und die Bewegung) mit seinen bestehenden „Geheimcodes“.
- Er erkennt: „Hey, dieser neue T-Block reagiert exakt wie der 'Block X', den ich bereits kenne!“
- Er weist dem T-Block denselben Code wie dem Block X zu und nutzt seine bestehende Karte, um ihn perfekt zu bewegen.

Die Ergebnisse

Die Forscher testeten dies in einer Simulation mit Aufgaben wie dem Bewegen von Objekten an einen bestimmten Ort und dem Stapeln von Objekten.

Bessere Genauigkeit: Ihre Methode war bei der präzisen Platzierung von Objekten wesentlich genauer als eine populäre „Diffusion Policy“ (eine Art von KI, die durch Raten und Korrigieren lernt).
Besseres Stapeln: Beim Stapeln von Blöcken war der Roboter viel erfolgreicher, da er verstand, wie man verschiedene Formen greift, während die andere Methode oft die Blöcke fallen ließ oder umstieß.
Neue Objekte: Wenn er mit völlig neuen Formen (wie einem Donut oder einer U-Form) konfrontiert wurde, lernte der Roboter, diese nach nur wenigen Versuchen korrekt zu handhaben, während die visuellen Methoden scheiterten, weil sie von den Formen getäuscht wurden.

Zusammenfassend

Dieses Paper lehrt Roboter, aufzuhören, „Fotografen“ zu sein (die nur darauf achten, wie Dinge aussehen) und statichter „taktile Entdecker“ zu werden (die darauf achten, wie sich Dinge anfühlen und bewegen). Indem der Roboter die „Physik“ von Objekten durch Versuch und Irrtum lernt, kann er komplexe Bewegungen planen und sich sofort an neue Spielzeuge anpassen, die er noch nie zuvor gesehen hat.

Technische Zusammenfassung: Gemeinsame Entdeckung von Objekt- und Aktionssymbolen durch Effektvorhersage für die robotergestützte Manipulationsplanung

Problemstellung
Autonome Roboter stehen vor einer grundlegenden Herausforderung bei langfristigen Manipulationsaufgaben: Die Argumentation über hochdimensionale, kontinuierliche Sensorimotorik-Räume ist rechnerisch nicht handhabbar. Effektive Planung erfordert die Abstraktion kontinuierlicher Wahrnehmungen und Aktionen in diskrete Repräsentationen. Bisherige Ansätze weisen Limitationen auf: Visuelle Kategorisierung scheitert daran, Objekte zu unterscheiden, die zwar ähnlich aussehen, sich aber unterschiedlich verhalten; während interaktionsbasierte Methoden oft auf vordefinierten Aktionen beruhen oder die zeitliche Struktur von Trajektorien ignorieren. Darüber hinaus verlassen sich bestehende Few-Shot-Generalisierungsmethoden typischerweise auf statische geometrische oder visuelle Ähnlichkeit und erfassen dabei nicht die physikalischen Interaktionsdynamiken (Affordanzen), die für den Umgang mit neuartigen Objekten entscheidend sind. Das adressierte Kernproblem ist, wie Roboter autonom hochgradige Objekt- und Aktionssymbole aus kontinuierlichen, zufälligen Interaktionsdaten entdecken können, um eine präzise, mehrstufige Planung und eine robuste Generalisierung auf ungesehene Objekte zu ermöglichen.

Methodik
Die Autoren schlagen ein neuro-symbolisches Framework vor, das Objekt- und Aktionssymbole gemeinsam durch einen zweistufigen Lernprozess entdeckt, der auf einer multimodalen Effektvorhersage optimiert ist.

Architektur und Symbolentdeckung:
- Das System verwendet ein Encoder-Decoder-Netzwerk mit einem binären Bottleneck-Layer.
- Objekt-Encoder ( $\phi_o$ ): Ein Convolutional Neural Network bildet Tiefenbilder des Objekts auf binäre Symbole ( $z_o$ ) ab.
- Aktions-Encoder ( $\phi_a$ ): Eine Transformer-Architektur bildet Gelenkwinkel-Trajektorien auf binäre Symbole ( $z_a$ ) ab und erfasst dabei die zeitliche Struktur.
- Binäre Aktivierung: Beide Encoder verwenden eine Gumbel-Sigmoid (GS) Aktivierungsfunktion, um diskrete binäre Vektoren zu erzeugen, was den Gradientenfluss während des Trainings mittels der Reparametrisierung zu ermöglichen.
- Decoder ( $\psi$ ): Sagt die multimodale Effekt-Trajektorie (Objektposition, Kraftvektoren und Kontakt-Feedback) unter Berücksichtigung der konnektierten Objekt- und Aktionssymbole voraus.
Zweistufiges Trainingsverfahren:
- Stufe 1: Das Modell sagt nur Kraft- und Kontakt-Feedback-Effekte unter Verwendung der vollen Objekt-Bits und einer Teilmenge der Aktions-Bits voraus. Diese Stufe lernt, grobe, hochgradige Primitiven (z. B. Schieben vs. Aufheben und Platzieren) basierend auf dem taktilen Feedback zu unterscheiden, was die frühe sensorimotorische Entwicklung von Säuglingen nachahmt.
- Stufe 2: Das Modell nutzt alle Symbol-Bits, um die gesamte Effekt-Trajektorie einschließlich räumlicher Positionsänderungen vorherzusagen. Diese Stufe verfeinert die Aktionssymbole, um Richtungsunterschiede (z. B. Schieben nach links vs. Schieben nach rechts) zu erfassen.
Planungsframework:
- Eine diskrete Effekt-Bibliothek wird aus dem gelernten Modell konstruiert, die Tupel von (Objektsymbol, Aktionssymbol, Zeitschritt) auf vorhergesagte Positionseffekte abbildet.
- A-Suche:* Die Planung erfolgt mittels A*-Suche über diese Bibliothek. Der Algorithmus nutzt partielle Aktionsausführungen, bei denen zwischenzeitliche Zeitschritte der vorhergesagten Trajektorie als distinkte erreichbare Zustände dienen, was eine präzise Low-Level-Steuerung ermöglicht.
- Ausführung: Symbolische Pläne werden mithilfe eines symbolbedingten Low-Level-Controllers (Conditional Neural Movement Primitives, CNMP) in ausführbare Gelenkwinkel-Trajektorien umgewandelt.
- Drift-Validierung: Ein Replanning-Mechanismus wird ausgelöst, wenn die tatsächliche Objektposition die vorhergesagte Position über einen Schwellenwert hinaus abweicht, um die Integrität der Ausführung zu gewährleisten.
Few-Shot Generalisierung:
- Neuartige Objekte werden nicht nach ihrem visuellen Erscheinungsbild, sondern nach ihrer Verhaltensähnlichkeit kategorisiert.
- Das System sammelt eine geringe Anzahl zufälliger Demonstrationen für ein neues Objekt, extrahiert die Aktionssymbole und sagt die Effekte für Kandidaten-Objektsymbole voraus.
- Das Objektsymbol mit dem niedrigsten mittleren Vorhersagefehler über die Demonstrationen hinweg wird dem neuartigen Objekt zugewiesen, was die Planung ohne erneutes Training ermöglicht.

Wesentliche Beiträge

Gemeinsame Symbolentdeckung: Ein tiefes Encoder-Decoder-Netzwerk mit einem binären Bottleneck, das durch ein zweistufiges Lernverfahren, welches auf multimodalen (räumlich-haptischen) Effekt-Trajektorien-Vorhersagen optimiert ist, gemeinsam Objekt- und Aktionssymbole entdeckt.
Diskrete Planung mit partieller Ausführung: Ein Planungsframework, das eine diskrete Effekt-Bibliothek erstellt und eine A*-Suche unter Verwendung zwischenzeitlicher Trajektorienpunkte für präzise Steuerung durchführt, kombiniert mit symbolbedingten Low-Level-Controllern und Drift-basiertem Replanning.
Effektgesteuerte Few-Shot Generalisierung: Eine Methode zur Kategorisierung neuartiger Objekte basierend auf Verhaltensähnlichkeit (Effektabgleichung) statt visueller Ähnlichkeit, was die Manipulationsplanung auf ungesehenen Objekten mit minimalen Demonstrationen ermöglicht.

Experimentelle Ergebnisse
Die Experimente wurden in einer PyBullet-Simulationsumgebung mit einem UR10e-Manipulator und fünf Objekttypen (Ball, Würfel, Block X, Y, Z) durchgeführt. Das Framework wurde gegen eine Diffusion-Policy-Baseline in zwei Aufgaben evaluiert: Tischoberflächen-Repositionierung (Aufgabe 1) und Stapeln (Aufgabe 2).

Effektvorhersage: Die vorgeschlagene Transformer-basierte Architektur mit zwei Stufen erreichte signifikant geringere Positionsvorhersagefehler (1,70 cm) als das einstufige Lernen (1,77 cm) und vollvernetzte Baselines (1,82 cm).
Planungsleistung (gesehene Objekte): Die vorgeschlagene Methode schnitt in beiden Aufgaben signifikant besser ab als die Diffusion-Policy-Baseline. In Aufgabe 1 erreichte sie geringere euklidische Distanzfehler über alle Objekttypen hinweg (z. B. 4,49 cm vs. 5,09 cm für den Würfel). In Aufgabe 2 (Stapeln) erzielte sie signifikant höhere Erfolgsraten (z. B. 69,67 % vs. 18,33 % für Block Z), was auf ihre Fähigkeit zurückzuführen ist, Greif-Affordanzen und Zwischenzustände zu lernen.
Few-Shot Generalisierung (neuartige Objekte): Beim Test auf fünf neuartige Objekte (Torus, T-Block, Zylinder, U-Block, Breiter Block) mit jeweils nur drei Demonstrationen schnitt der effektgesteuerte Ansatz signifikant besser ab als die Diffusion-Policy und eine visuelle Kodierungs-Baseline. Bemerkenswerterweise klassifizierte die visuelle Baseline Objekte falsch (z. B. einen Torus als Ball), während die effektbasierte Methode die Verhaltensähnlichkeiten korrekt identifizierte (z. B. verhält sich ein Torus beim Schieben ähnlich wie ein Würfel), was zu einer überlegenen Planungsleistung führte.

Bedeutung und Ansprüche
Das Paper behauptet, dass autonome Agenten Repräsentationen durch Interaktion entdecken müssen, um neuartige Szenarien effektiv zu bewältigen. Die Bedeutung dieser Arbeit liegt in der Demonstration, dass:

Interaktion über Erscheinung geht: Die Kategorisierung von Objekten und Aktionen basierend auf multimodalen Interaktionseffekten (Kraft, Kontakt, Bewegung) ist einer visuellen Methode überlegen, insbesondere um Objekte zu unterscheiden, die visuell ähnlich aussehen, aber unterschiedliche physikalische Dynamiken aufweisen.
Zeitliche Struktur: Die Erfassung der vollen zeitlichen Dynamik von Interaktionen, statt nur der Endergebnisse, ermöglicht eine präzise Planung mittels zwischenzeitlicher Trajektorienpunkte.
Effiziente Generalisierung: Das Matching von Verhaltensähnlichkeiten ermöglicht eine robuste Few-Shot-Generalisierung auf neuartige Objekte, die Methoden übertrifft, die auf geometrischer oder visueller Ähnlichkeit beruhen.

Die Autoren räumen Limitationen ein, darunter der Fokus auf Einzelobjekt-Affordanzen, die reaktive Natur des Drift-basierten Replannings (welches nach der Ausführung erfolgt) und die rechnerische Effizienz von A* im Vergleich zu PDDL-Solvern. Sie schlagen zukünftige Arbeiten in den Bereichen inter-objektbezogene relationale Symbole, Pre-Execution-Verifizierung und PDDL-kompatible symbolische Operator-Generierung vor.