💻 computer science

Inference-Time Robot Behavior Steering through Physically-Aware Reconfiguration of Task-Structure

Dieses Paper führt ReStruct ein, eine Methode, die gelernte Roboter-Policies zur Inferenzzeit steuert, um unvorhergesehene Nutzerpräferenzen zu erfüllen, indem sie die Aufgabenstruktur eines neuronalen Automaten durch synchrone Produktintegration rekonfiguriert, wodurch eine physikbewusste Steuerung ohne Retraining ermöglicht wird und bestehende Ansätze sowohl in der Aufgabenerfolgsrate als auch in der Präferenztreue übertrifft.

Ursprüngliche Autoren: Yiyuan Pan, Hanjiang Hu, Shangtao Li, Xusheng Luo, Changliu Liu

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yiyuan Pan, Hanjiang Hu, Shangtao Li, Xusheng Luo, Changliu Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochqualifizierten Roboter-Koch. Sie haben ihn trainiert, indem Sie ihm Videos gezeigt haben, wie man ein Sandwich zubereitet. Nun ist der Roboter bereit zu arbeiten. Aber dann ändern Sie Ihre Meinung. Sie sagen: „Eigentlich möchte ich keinen Schinken, ich möchte Truthahn“, oder „Stell das Sandwich in das oberste Regal, nicht in das unterste.“

In der Welt der Robotik ist das ein riesiges Problem. Normalerweise muss man den Roboter stoppen, ihn von Grund auf neu lehren (Retraining) oder einen menschlichen Experten engagieren, um seinen Gehirncode manuell umzuschreiben. Beides ist langsam, teuer und unpraktisch.

Dieses Paper stellt eine neue Methode namens ReStruct vor, die es Ihnen ermöglicht, das Verhalten des Roboters sofort zu steuern, indem Sie einfach mit ihm sprechen, ohne ihn jemals neu trainieren zu müssen.

So funktioniert es, erklärt durch einfache Analogien:

Das Problem: Zwei fehlerhafte Wege, einen Roboten zu verändern

Die Autoren erklären, dass aktuelle Methoden auf zwei spezifische Arten scheitern:

Die „Hard-Reset“-Methode (End-to-End): Stellen Sie sich vor, Sie möchten die Handlung eines Films ändern, indem Sie den Filmstreifen Bild für Bild bearbeiten. Sie müssen den gesamten Film neu schneiden (den Roboter neu trainieren), jedes Mal, wenn Sie ein anderes Ende wollen. Das ist langsam und erfordert einen Regisseur (Experten), der genau weiß, wie man schneidet.
Die „Logik-nur“-Methode (Neuro-symbolisch): Stellen Sie sich vor, Sie geben einem Roboter eine Liste logischer Regeln wie „Hebe den Becher auf“ und „Stelle ihn ins Regal“. Der Roboter folgt der Logik perfekt, aber er versucht vielleicht, den Becher durch das Regal zu schieben, weil er die Physik nicht versteht. Er hat die richtigen Wörter, aber das falsche Muskelgedächtnis.

Die Lösung: ReStruct (Das „Re-organizing“-Framework)

ReStruct löst dies, indem es das Gehirn des Roboters als ein System aus zwei unterschiedlichen Teilen behandelt: einer Karte (dem High-Level-Plan) und einem Fahrer (der Low-Level-Muskelsteuerung).

1. Die Karte und der Fahrer

Betrachten Sie die Strategie (Policy) des Roboters als eine Autofahrt:

Der Fahrer (Low-Level-Controller): Dies ist der Teil, der tatsächlich lenkt, Gas gibt und das Lenkrad dreht. Er weiß, wie man sich physisch bewegt. In ReStruct ist dieser Fahrer eingefroren. Wir ändern den Fahrer nicht; wir vertrauen darauf, dass er gut fährt.
Die Karte (High-Level-Skeleton): Dies ist die Reiseroute. Sie besagt: „Fahre zuerst zur Tankstelle, dann zum Supermarkt, dann nach Hause.“ In einem alten Roboter war diese Karte starr.

2. Der magische Trick: Die Karte neu zeichnen

Wenn Sie eine neue Präferenz angeben (z. B. „Gehe zum Supermarkt bevor du zur Tankstelle fährst“), fordert ReStruct den Fahrer nicht auf, eine neue Art zu fahren zu lernen. Stattdessen zeichnet ReStruct die Karte neu.

Schritt A: Der Übersetzer (VLM): Sie sagen dem Roboter Ihre Präferenz in einfachem Englisch. Ein intelligenter KI-Übersetzer (ein Vision-Language-Model) verwandelt Ihren Satz in einen strikten Satz von Regeln (eine Zustandsmaschine).
Schritt B: Die Verschmelzung: Er nimmt Ihre neuen Regeln und verschmilzt sie mit der ursprünglichen Karte des Roboters. Dadurch entsteht eine neue Karte, die nur Pfade zulässt, die Ihre neue Regel erfüllen.
Schritt C: Der Realitätscheck (Trajectory Replay): Dies ist der wichtigste Teil. Die alte Karte könnte einen Pfad enthalten, der zwar logisch korrekt, aber physisch unmöglich war (wie das Fahren durch eine Wand). ReStruct schaut sich die ursprünglichen Trainingsvideos (die Demonstrationen) an und fragt: „Welche der alten Fahrwege auf dieser neuen Karte funktionieren tatsächlich?“
- Es verwirft die Pfade, die zu einem Crash führen würden.
- Es behält die Pfade, die funktionieren, und aktualisiert die „Anweisungen“ für den Fahrer auf diesen spezifischen Straßen.

3. Das Ergebnis

Nun besitzt der Roboter eine neue Karte, die Ihren Regeln folgt, nutzt aber immer noch denselben vertrauenswürdigen Fahrer. Da die Karte so aktualisiert wurde, dass sie nur Pfade enthält, die der Fahrer tatsächlich befahren kann, folgt der Roboter Ihrer neuen Präferenz perfekt, ohne zu abstürzen oder neu trainiert werden zu müssen.

Warum das eine große Sache ist

Das Paper zeigt, dass ReStruct komplexe Anfragen bewältigen kann, wie zum Beispiel:

„Hebe den roten Block auf, aber nur, wenn der blaue Block bereits dort ist.“
„Stelle den Becher in das oberste Regal, nicht in das unterste.“

In Tests konnte ReStruct diese neuen Regeln 25 % besser befolgen als die fortschrittlichsten aktuellen Robotermodelle (wie VLA-Modelle), während es gleichzeitig die Hauptaufgabe erfolgreich ausführte.

Das Fazente

ReStruct ist vergleichbar mit der Gabe eines GPS an einen Roboterfahrer. Wenn Sie das Ziel ändern wollen, müssen Sie dem Fahrer nicht erneut beibringen, wie man fährt. Sie aktualisieren einfach die GPS-Route, um sicherzustellen, dass nur Straßen vorgeschlagen werden, die der Fahrer auch navigieren kann. Dies macht Roboter viel flexibler und für normale Menschen einfacher über einfache Sprache steuerbar.

Technisches Resümee: ReStruct – Steuerung des Roboterverhaltens zur Inferenzzeit durch physikbewusste Rekonfiguration der Aufgabenstruktur

1. Problemstellung

Die zentrale Herausforderung, die hier adressiert wird, ist die Steuerung des Verhaltens zur Inferenzzeit (Inference-Time Behavior Steering): die Fähigkeit, eine gelernte Roboter-Policy zum Testzeitpunkt umzulenken, um Nutzerpräferenzen zu erfüllen, die während des Trainings nicht antizipiert wurden – und zwar ohne Retraining oder zusätzliche Datenerhebung.

Bestehende Ansätze scheitern in zwei unterschiedlichen Modi:

End-to-End-Methoden (z. B. VLA-Modelle, Diffusion Policies): Diese verlassen sich auf Fine-Tuning oder das Aufzwingen von Guidance-Mechanismen (z. B. weiche Lagrange-Multiplikatoren). Sie erfordern Expertenwissen und sind auf Präferenzen beschränkt, die annähernd differenzierbar sind. Ihnen fehlt eine explizite Abstraktion, um neue Präferenzen in die Menge der ausführbaren Verhaltensweisen zu verankern, ohne neu zu trainieren.
Neuro-symbolische Methoden: Diese nutzen eine symbolische Schicht, um Präferenzen zu spezifizieren. Diese verlassen sich jedoch oft auf vordefinierte Symbole. Das Editieren dieser Symbole kann Pläne erzeugen, die zwar logisch gültig, aber physikalisch nicht durchführbar sind, da die symbolischen Edits nicht an den Low-Level-Controller propagieren. Der Controller versucht dann möglicherweise, einen Plan auszuführen, der physikalische Einschränkungen verletzt (z. B. unzureichende Freiräume), weil die symbolische Abstraktion von der ausführbaren Verhaltensverteilung des Controllers entkoppelt ist.

Das Paper argumentiert, dass robuste Steuerung eine zwischengeschaltete Repräsentation erfordert, die physikbewusst ist, indem sie jede Präferenz in der Teilmenge der vom Controller ausführbaren Verhaltensweisen verankert, die diese erfüllt.

2. Methodik: ReStruct

Die Autoren schlagen ReStruct vor, ein Framework, das auf der Emergent Neural Automaton Policy (ENAP) aufbaut. ENAP zerlegt eine visuomotorische Policy in ein hochgradiges Zustandsmaschinen-Skelett (Probabilistic Mealy Machine, PMM) und einen Low-Level-kontinuierlichen Controller. ReStruct passt diese Architektur an, um Zero-Shot-Steuerung durch einen dreistufigen Prozess zu ermöglichen:

A. Hochgradig: Rekonfiguration des symbolischen Skeletts ( $p(z|\phi)$ )

Gegeben eine natürliche Sprachpräferenz $\phi$ rekonfiguriert ReStruct die Aufgabenstruktur der Basis-Policy, während der Low-Level-Controller eingefroren bleibt.

Präferenz-Grounding: Ein Vision-Language Model (VLM) analysiert die Präferenz und das Cluster-Alphabet des Basis-Skeletts.
- Wenn das bestehende Alphabet ausreichend ist, übersetzt das VLM $\phi$ in eine Linear Temporal Logic over Finite Traces (LTLf)-Formel und kompiliert diese in einen deterministischen endlichen Automaten (DFA).
- Wenn dem Alphabet die Granularität fehlt (z. B. muss „greifen“ zwischen „rot greifen“ und „blau greifen“ unterscheiden), verfeinert das VLM die Cluster und aktualisiert die Skelett-Topologie entsprechend.
Synchrones Produkt: Das Präferenz-DFA wird über ein synchrones Produkt mit dem Basis- (oder verfeinerten) PMM-Skelett kombiniert. Dies erzeugt ein neues, gesteuertes Skelett ( $M_2$ ), das strukturell nur Trajektorien zulässt, die die Präferenz $\phi$ erfüllen.

B. Action-Prior-Brücke: Trajektorien-Replay ( $p_D(z|\tau)$ )

Um sicherzustellen, dass das neue Skelett physikalisch machbar ist, berechnet ReStruct die Aktions-Priors für das modifizierte Skelett neu.

Replay-Mechanismus: Das System spielt repräsentative Trajektorien aus dem ursprünglichen Demonstrationsdatensatz durch das neue gesteuerte Skelett $M_2$ ab.
Filterung: Trajektorien, die ungültige Zustände erreichen oder außerhalb der akzeptierenden Menge des Produktautomaten enden, werden verworfen.
Repopulation: Gültige Trajektorien werden akzeptiert, und ihre spezifischen Aktionen werden in die mit den Kanten des neuen Skeletts assoziierten Aktionslisten geschrieben. Dies überbrückt die Lücke zwischen der editierten symbolischen Struktur und dem eingefrorenen Low-Level-Netzwerk und stellt sicher, dass die Priors die physikalisch ausführbaren Verhaltensweisen unter den neuen Bedingungen widerspiegeln.

C. Low-Level: Aktionsgenerierung ( $p_D(\tau)$ )

Der Low-Level-Controller bleibt während des gesamten Steuerungsprozesses eingefroren.

Architektur: Der Controller nimmt die aktuelle Beobachtung und die aktive Kante der Aktionsliste (die neu befüllten Priors) als Input entgegen.
Mechanismus: Er nutzt einen Attention-Mechanismus, um die Beobachtung auf eine prototypische Aktion aus der Liste abzubilden, und wendet dann ein Residual-MLP an, um eine Korrektur basierend auf dem Offset zwischen der Beobachtung und dem Cluster-Zentroiden zu generieren. Die finale Aktion wird auf den Bereich der bereitgestellten Aktionsliste begrenzt (Clamping).
Vorteil: Dieses Design ermöglicht es dem Controller, sich an die neuen strukturellen Priors anzupassen, ohne neu trainiert werden zu müssen, wodurch die Robustheit gegenüber dem Verteilungsdrift durch die Skelett-Rekonfiguration gewahrt bleibt.

3. Kernbeiträge

ReStruct-Framework: Ein Zero-Shot-Steuerungs-Framework, das es gelernten Policies ermöglicht, hochgradigen semantischen Präferenzen (von objektzentriert bis hin zu temporaler Logik) zu folgen, ohne neu zu trainieren. Es ermöglicht alltäglichen Nutzern, das Roboterverhalten über Sprache zu formen.
Physikbewusste Steuerung: Durch die Neuberechnung der Aktions-Priors mittels Trajektorien-Replay auf dem rekonfigurierten Skelett stellt die Methode sicher, dass symbolische Edits an den Controller-Level propagieren, wodurch physikalisch nicht durchführbare Pläne vermieden werden.
Interpretierbarkeit und Verifizierbarkeit: Die Zustandsmaschinen-Struktur und die prototypbasierten Aktions-Priors ermöglichen die Inspektion der Präfenzbefriedigung sowohl auf symbolischer als auch auf kontrollorientierter Ebene.
Dateneffizienz: Das Framework ermöglicht die domänenübergreifende Anpassung durch Wiederverwendung von Erfahrungen aus diversen Demonstrationen, wobei Zielaufgaben-Verhalten durch Injektion von Präferenzen in verwandte, aber distinkte Aufgaben synthetisiert wird.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ReStruct in Simulationsumgebungen (ManiSkill, Calvin) und in der realen Welt (Kinova Gen3) bei Aufgaben, die von komplexer Manipulation bis hin zu langfristigen Temporal Action and Motion Planning (TAMP) reichen.

Präferenzbefolgung vs. Aufgabenerfolg: ReStruct übertraf die Baselines (einschließlich VLA-Modellen wie OpenVLA und $\pi_0.5$ $π_{0} .5$ sowie Diffusion Policies) konsistent sowohl im Erfolgsrate (Success Rate, SR) als auch in der Erfolgsrate unter Berücksichtigung der Präferenz (Success Rate under Preference, SRP).
- In komplexen Manipulationsaufgaben (z. B. SeqPushT, PegInsert) verbesserte ReStruct die Präferenzbefolgung um bis zu 25 % im Vergleich zu VLA-Modellen, während die Aufgabenerfolgsrate beibehalten oder verbessert wurde.
- Im Gegensatz zu Rejection-Filtering-Baselines (die SR zugunsten von SRP opfern) oder Prompt-Injection-Baselines (die SR beibehalten, aber bei SRP scheitern), erreichte ReStruct hohe Werte in beiden Metriken.
Langfristige Anpassung: Bei langfristigen Aufgaben (z. B. Causal und Unconstrained Skill-Sets) konnte ReStruct geordnete Sequenzen aus ungeordneten Demonstrationsdaten rekonstruieren und übertraf dabei feinjustierte VLA-Baselines.
Robustheit: In realen Experimenten (CanSorting, PassTeaPot, ConeCover) erreichte ReStruct eine nahezu perfekte SRP (oft 100 %), während VLA-Baselines signifikant abfielen (z. B. auf ~30-40 %).
Ablationsstudien: Das Entfernen des Trajektorien-Replay-Schritts oder des Attention/Clamp-Mechanismus verschlechterte die Leistung erheblich, was die Notwendigkeit der Neugrundierung der Aktions-Priors und des flexiblen Controller-Designs bestätigt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass ReStruct einen gangbaren Weg bietet, damit alltägliche Nutzer ihre Roboter durch Sprache statt durch Retraining formen können. Durch die Entkopplung der symbolischen Aufgabenstruktur vom Low-Level-Controller bei gleichzeitiger Aufrechterhaltung einer physikalischen Verbindung durch Aktions-Priors erreicht die Methode ein Maß an „Entschlossenheit“ und physikalischer Machbarkeit, das rein symbolische oder rein End-to-End-Methoden vermissen lassen.

Die Autoren positionieren ReStruct als Lösung für die strukturellen Limitationen aktueller Deployment-Methoden: Es vermeidet die Notwendigkeit der Re-Optimierung (im Gegensatz zu Trainingszeit-Methoden) und stellt sicher, dass symbolische Edits zuverlässig in ausführbares Verhalten propagieren (im Gegensatz zu traditionellen neuro-symbolischen Routings). Die Arbeit zeigt, dass Steuerung zur Inferenzzeit sowohl interpretierbar (via Automaten) als auch physikalisch fundiert (via replayed Priors) sein kann, was eine robuste Anpassung an Nutzerpräferenzen in komplexen, realen Manipulationsszenarien ermöglicht.

Anerkannte Limitationen:

Die Methode ist vom ENAP-Backbone abhängig; die Erweiterung auf andere Policy-Klassen erfordert die Destillation von Policies in ENAP, was derzeit einen Leistungsverlust zur Folge hat.
Die Qualität der Steuerung hängt von der Fähigkeit des VLM ab, korrekte LTL-Formeln zu generieren; für komplexe Fälle kann eine iterative Verfeinerung notwendig sein.
Der steuerbare Umfang ist derzeit auf In-Domain- und kompositorische Out-of-Domain (OOD)-Präferenzen beschränkt; die Skalierung auf reichere OOD-Regime und die Erarbeitung völlig neuer Fähigkeiten bleibt eine offene Herausforderung.