💻 computer science

Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation

Dieses Paper stellt See2Act vor, ein Imitationslern-Framework, das Aktionsdenoising mit Ansichtspfadverfeinerung koppelt, um Robotern zu ermöglichen, aktiv informative Kamerawinkel für eine robuste Manipulation unter schweren Verdeckungen abzuleiten, wobei signifikante Leistungssteigerungen in der Simulation sowie beim Zero-Shot-Transfer auf reale Aufgaben erzielt werden.

Ursprüngliche Autoren: Kuancheng Wang, Vaibhav Saxena, Shuo Cheng, Yotto Koga, Danfei Xu

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kuancheng Wang, Vaibhav Saxena, Shuo Cheng, Yotto Koga, Danfei Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten ein bestimmtes Spielzeug aus einem Regal nehmen, aber ein großer Karton versperrt Ihnen die Sicht. Wenn Sie einfach nur stillstehen und ins Regal starren, werden Sie das Spielzeug vielleicht nie finden. Sie müssen um den Karton herumgehen, über ihn hinwegspähen und einen besseren Winkel einnehmen, bevor Sie danach greifen können.

Dieses Paper stellt ein Robotergehirn namens See2Act vor, das genau das lernt: Es lernt, seine Augen (Kamera) zu bewegen, während es gleichzeitig lernt, seine Hand (Arm) zu bewegen.

So funktioniert es, unterteilt in einfache Konzepte:

Das Problem: Der „blinde“ Roboter

Die meisten Lernmethoden für Roboter sind wie eine Person, die versucht, ein Puzzle zu lösen, während sie eine Augenbinde trägt, die nur ein winziges Quadrat des Tisches freigibt. Sie gehen davon aus, dass alles, was sie sehen müssen, bereits direkt vor ihnen liegt. Aber in der realen Welt verdecken sich Objekte gegenseitig (Okklusion). Wenn der Roboter das Objekt nicht sehen kann, kann er es auch nicht greifen.

Die Lösung: Ein „Denoising“-Tanz

Die Autoren verwenden eine Art von KI, die als Diffusionsmodell bezeichnet wird. Stellen Sie sich das wie einen Bildhauer vor, der mit einem verrauschten, verschwommenen Klumpen Ton beginnt und das Rauschen langsam wegmeißelt, um eine perfekte Statue zu enthüllen.

Der alte Weg: Der Roboter versucht, das Rauschen wegzumeißeln, um die Aktion zu finden (wohin sich die Hand bewegen soll), während er auf ein feststehendes, verschwommenes Bild starrt.
Der See2Act-Weg: Der Roboter meißelt das Rauschen weg, um die Aktion zu finden UND bewegt gleichzeitig seinen Kopf (die Kamera).

Je näher der Roboter dem Punkt kommt, an dem er versteht, was er tun soll, desto besser versteht er auch, wohin er schauen muss.

Start: Der Roboter sieht eine weite, verschwommene Ansicht des gesamten Tisches. Er weiß nicht genau, wo sich das Objekt befindet, weil es versteckt ist.
Der Tanz: Während die KI das „Rauschen“ seiner Vermutung über die Handbewegung bereinigt, bewegt sie gleichzeitig die Kamera näher heran und neigt sie so, dass sie um das Hindernis herumspähen kann.
Das Ergebnis: Bis der Roboter einen klaren Plan für seine Hand hat, hat er auch seine Kamera in eine perfekte Nahaufnahme bewegt, die das verborgene Objekt enthüllt.

Das Training: Lernen von einem „Digitalen Zwilling“

Der Roboter hat dies nicht durch Versuch und Irrtum in der realen Welt gelernt (was langsam und gefährlich wäre). Stattdessen bauten die Forscher einen Digitalen Zwilling – eine perfekte Videospiel-Version des Roboters und des Raums.

Sie zeigten dem Roboter 50 Demonstrationen, in denen jemand Objekte aufhob. Entscheidend war, dass sie dem Roboter nicht nur beigebracht haben, wie man die Hand bewegt; sie lehrten ihn auch, wo die Kamera bei jedem Schritt der Bewegung sein sollte. Der Roboter lernte, dass er seine Kamera bewegen muss, um das Objekt zuerst zu sehen, wenn er etwas verstecktes greifen will.

Die Ergebnisse: Sehen ist Glauben

Die Forscher testeten dies auf zwei Arten:

Im Videospiel (Simulation):
- Wenn Objekte hinter Boxen oder in Behältern versteckt waren, scheiterten andere Roboter vollständig (0 % Erfolgsquote).
- See2Act war etwa 96 % der Zeit erfolgreich. Es fand heraus, wie es um die Box herumgehen und in den Behälter hineinspähen muss, um das Ziel zu finden.
- Es schlug auch andere fortgeschrittene Roboter bei Standardaufgaben, selbst wenn es keine Hindernisse gab, was beweist, dass das Bewegen der Kamera die Präzision erhöht.
In der realen Welt:
- Sie nahmen den im Videospiel trainierten Roboter und setzten ihn auf einen echten Metallarm in einem echten Labor. Sie haben ihn nicht für die reale Welt nachjustiert oder neu trainiert (dies nennt man „Zero-Shot Transfer“).
- Der Roboter griff erfolgreich versteckte Objekte auf und platzierte sie mit hoher Präzision in 95 % der Fälle.
- Er bewältigte Aufgaben wie das Einsetzen einer Basis in eine enge Reglnische (wo es auf einen Millimeter ankommt), indem er seine Kamera bewegte, um eine Nahaufnahme zu erhalten, bevor er das Objekt einsetzte.

Das Fazament

See2Act ist ein Roboter, der eine sehr menschliche Fähigkeit gelernt hat: Wenn du etwas nicht sehen kannst, bewege deinen Kopf, bis du es sehen kannst. Durch die Kombination des Aktes des „Sehens“ und des „Handelns“ zu einem einzigen, kontinuierlichen Prozess kann der Roboter Probleme lösen, an denen andere Roboter, die starr auf einen festen Punkt starren, einfach scheitern.

Technisches Resümee: See2Act – Diffusionsmodelle für aktive Wahrnehmung in der Roboter-Imitation

Problemstellung

Aktuelle Methoden des Imitationslernens (Imitation Learning, IL) für die visuomotorische Steuerung setzen typischerweise eine vollständige Beobachtbarkeit und feste Kameraperspektiven voraus, wodurch die Fähigkeiten zu „sehen“ und zu „handeln“ miteinander vermischt werden. In realistischen Umgebungen sind Objekte häufig verdeckt, was erfordert, dass Roboter aktiv nach aufgabenrelevanten Informationen suchen, bevor sie diese manipulieren. Bestehende Ansätze stehen vor einer fundamentalen Einschränkung: Demonstrationen verknüpfen die Auswahl der Perspektive mit der Manipulation, doch Standard-IL behandelt diese als getrennte Prozesse oder setzt voraus, dass die benötigten visuellen Informationen bereits sichtbar sind.

Feststehende Policies (Fixed-view policies) versagen, wenn aufgabenrelevante Regionen verdeckt sind.
Multi-View- oder passive View-Selection-Methoden (z. B. die Auswahl der besten Ansicht aus einem vordefinierten Set) lehren die Policy nicht, wie sie die Kamera bewegen muss, um Verdeckungen dynamisch aufzulösen.
Datenineffizienz: Die bloße Anreicherung von Demonstration mit zusätzlichen Blickwinkeln erhöht den Datenbedarf kombinatorisch, ohne der Policy beizubringen, welche Ansichten für spezifische Aktionen nützlich sind.

Die zentrale Herausforderung besteht darin, eine Policy zu erlernen, die sowohl bestimmt, wohin zu sehen ist, als auch wie zu handeln ist, basierend auf begrenzten Demonstrationen, insbesondere unter starker Okklusion (Verdeckung).

Methodik: See2Act

Die Autoren schlagen See2Act vor, ein diffusionsbasiertes Imitationslern-Framework, das die Aktions-Denoising-Phase mit der Perspektiv-Verfeinerung innerhalb eines einzigen generativen Loops koppelt. Die zentrale Erkenntnis ist, dass die Diffusions-Trajektorie eine Trajektorie über sowohl Aktionen als auch Blickwinkel darstellt.

1. Trainingsstrategie

Die Policy wird vollständig in der Simulation unter Verwendung eines Digitalen Zwilling trainiert, wobei Offline-Manipulationsdatensätze genutzt werden.

Keyframe-Aktionen: Demonstration werden in Ziel-Keyframe-Aktionen ( $a_0$ ) zerlegt, welche die Endeffektor-Posen für Pick-and-Place-Operationen repräsentieren.
Perspektiv-Verankerung (Viewpoint Anchoring): Anstatt eines festen Welt-Koordinatensystems werden Aktionen im Kamerakoordinatensystem dargestellt. Für jeden Diffusions-Zeitschritt $t$ $t$ wird eine Kamera-Pose $C_t$ $C_{t}$ generiert.
- Anker: Die Trajektorie ist zwischen einer breiten globalen Ansicht ( $C_T$ ) und einer zielzentrierten Ansicht ( $C_0$ ) verankert, die direkt aus der Keyframe-Aktion $a_0$ abgeleitet wird.
- Interpolation: Zwischenäre Posen $C_t$ werden mittels linearer Interpolation für die Position und Spherical Linear Interpolation (SLERP) für die Orientierung zwischen $C_T$ und $C_0$ generiert.
Rauschprozess (Noising Process): Die Zielaktion $a_0$ wird in die Kamera-Pose $C_t$ transformiert, um eine perspektivabhängige Zielaktion $\hat{a}_0$ zu erstellen. Gaußsches Rauschen wird hinzugefügt, um eine verrauschte Aktion $\hat{a}_t$ zu erzeugen.
Zielsetzung: Ein visueller Encoder und ein Rauschvorhersage-Netzwerk werden trainiert, um das Rauschen $\epsilon$ gegeben die Beobachtung $O_t$ (gerendert aus $C_t$ ) und die verrauschte Aktion $\hat{a}_t$ vorherzusagen. Das Modell lernt, die Aktion zu entrauschen und implizit den entsprechenden informativen Blickwinkel zu erlernen.

2. Inferenz: Aktive Perspektiv-Inferenz

Zur Testzeit führt die Policy einen gekoppelten reversen Diffusionsprozess durch:

Initialisierung: Beginn mit einer globalen Ansicht ( $C_T$ ) und einer verrauschten Aktionsschätzung.
Iterative Verfeinerung: In jedem Denoising-Schritt $t$ $t$ :
- Erfassung der aktuellen Beobachtung $O_t$ .
- Vorhersage des Rauschens und Aktualisierung der Aktionsschätzung im Kamerakoordinatensystem.
- Transformation der verfeinerten Aktionsschätzung zurück in das Weltkoordinatensystem.
- Repositionierung der Kamera: Berechnung einer neuen, zielzentrierten Kamera-Pose $C_{t-1}$ basierend auf der aktualisierten Aktionsschätzung (unter Verwendung derselben Interpolationslogik wie beim Training).
- Erfassung der neuen Beobachtung $O_{t-1}$ .
Ausführung: Dieser Loop setzt sich bis $t=0$ fort, was zu einer finalen Aktion und einer Sequenz von Kamera-Posen führt, die Okklusionen aktiv auflösen. Die Policy wählt den Rollout mit der geringsten Varianz in den Änderungen der Kamera-Pose aus, um Stabilität zu gewährleisten.

Zentrale Beiträge

See2Act-Framework: Eine perspektivunabhängige Policy, die die Kopplung von Perspektive und Aktion lernt, indem sie digitale Zwillinge und eine neuartige Trainingsstrategie nutzt, bei der Kamera-Trajektorien vollständig durch Aktions-Labels supervidiert werden.
Aktive Perspektiv-Inferenz: Ein Mechanismus zur Inferenz zur Testzeit, der die Kamera-Pose des Roboters und die vorhergesagte Aktion simultan iterativ verfeinert. Dies ermöglicht es dem Roboter, Okklusionen autonom aufzulösen, ohne separate Planungsphasen oder Belohnungen (Rewards) für die Wahrnehmung zu benötigen.
Benchmark-Leistung:
- Ravens: Erzielte eine durchschnittliche Erfolgsrate von 91 % bei vier neuen, okklusionsintensiven Aufgaben und übertraf damit die Fixed-View-, Multi-View- und Zoom-Only-Baselines signifikant.
- RLBench: Erzielte eine durchschnittliche Erfolgsrate von 81,1 % über neun Aufgaben hinweg und übertraf dabei State-of-the-Art 3D- und Multi-View-Policies (z. B. RVT-2, PerAct), obwohl nur eine einzige aktiv repositionierte 2D-Ansicht pro Schritt verwendet wurde.
Zero-Shot Sim-to-Real Transfer: Demonstriert an einem physischen UR10-Roboter mit einer am Handgelenk montierten Tiefenkamera. Mit nur 50 Demonstrationen, die in einem digitalen Zwilling gesammelt wurden, erreichte die Policy eine Erfolgsrate von 95 % bei realen Pick-and-Place-Aufgaben mit signifikanten Verdeckungen, ohne jegliches Fine-Tuning in der realen Welt.

Experimentelle Ergebnisse

Auflösung von Verdeckungen: Bei Ravens-Aufgaben (z. B. bin-picking, put-within-shelf) scheiterten Fixed-View-Baselines (Conv-MLP, Diff-MV) (0 % Erfolg). Passive View-Selection (Diff-MV-Entropy) erreichte bis zu 64 %, hatte aber Schwierigkeiten mit komplexen Verdeckungen. See2Act erreichte bis zu 100 % Erfolg, was zeigt, dass eine iterative aktive Verfeinerung notwendig ist, um verborgene Regionen zu erschließen.
Suchverhalten: In der bin-search-Aufgabe zeigte See2Act ein emergentes Suchverhalten, indem es die Kamera neu ausrichtete, um alternative Behälter zu inspizieren, wenn die aktuelle Ansicht leer war, und erreichte 100 % Erfolg, während Baselines bei 0 % lagen.
Präzisionsmanipulation: In der realen shelf-kitting-Aufgabe (die eine Toleranz von 1–2 mm erfordert) erreichte See2Act 95 % Erfolg im Vergleich zu 25 % bei Fixed-View-Methoden. Die Fähigkeit, die Kamera während des Denoising-Prozesses nah an das Ziel zu bewegen, lieferte die notwendigen geometrischen Details für hochpräzise Einfügevorgänge.
Robustheit: Die Policy zeigte Robustheit gegenüber Out-of-Distribution Initial-Kamera-Posen; die Leistung sank nur marginal (8–10 %), wenn sie von Blickwinkeln ausging, die außerhalb der Trainingsverteilung lagen.

Bedeutung und Ansprüche

Das Paper behauptet, dass See2Act eine kritische Lücke im Imitationslernen schließt, indem es Manipulation als einen gekoppelten Prozess aus Aktionsverfeinerung und Gewinnung visueller Evidenz behandelt.

Vereinheitlichtes Lernen: Es demonstriert, dass „wohin zu sehen ist“ und „wie zu handeln ist“ gemeinsam aus Offline-Daten gelernt werden können, ohne explizite Perspektiv-Annotationen oder Reinforcement-Learning-Belohnungen für die Wahrnehmung.
Effizienz: Der Ansatz erzielt eine robuste Leistung mit begrenzten Daten (50 Demos) und transferiert Zero-Shot in die reale Welt, wobei der Sim-to-Real-Gap durch die Nutzung von Tiefenbeobachtungen und aktiver Perspektiv-Verfeinerung überwunden wird.
Limitierungen: Die Autoren räumen ein, dass die Anforderung einer neuen Beobachtung bei jedem Denoising-Schritt Latenzen einführt, was die Ausführung langsamer macht als bei Fixed-View-Methoden. Als zukünftige Arbeit wird vorgeschlagen, das Framework auf die dichte Trajektorienvorhersage für dexteritätsreiche und dynamische Manipulationen auszuweiten.

Die Arbeit etabliert, dass aktive Wahrnehmung, wenn sie direkt in den Diffusions-Denoising-Loop eingebettet ist, es Robotern ermöglicht, partielle Beobachtbarkeit auf eine Weise aufzulösen, die Fixed-View-, Multi-View- und passive Selection-Methoden nicht leisten können.