Learning 3D Affordances for Blade Insertion in Cluttered Stowing

Technisches Resümee: Erlernen von 3D-Affordanzen für das Einführen von Klingen beim gestauchten Verstauen

Problemstellung
Das robotergestützte Verstauen (Stowing) beinhaltet das Einführen einer starren Klinge in dicht gestaute Stoffbehälter, um Gegenstände zur Seite zu schieben und Platz zu schaffen. Diese Aufgabe erfordert das Nachdenken über Freiraum-Affordanzen (free-space affordances): die Identifizierung von 3D-Volumina, in denen ein Werkzeug sicher navigieren kann, ohne mit der umgebenden Geometrie zu kollidieren. Im Gegensatz zu Oberflächenkontakt-Affordanzen (bei denen ein Werkzeug ein Objekt berührt), hängen Freiraum-Affordanzen vom navigierbaren Volumen ab, das durch Behälterwände und verdeckte Objekte begrenzt wird.

Standardansätze behandeln dies als Regressions- oder Generierungsproblem über SE(3)-Posen (6-DoF-Werkzeugplatzierungen). Die Produktionsdaten sind jedoch inhärent unimodal: Für einen gegebenen Behälterzustand führt das System nur eine einzige Strategie aus, obwohl oft mehrere geometrisch gültige Einführpfade existieren. Das Training generativer Modelle (z. B. Flow Matching) auf diesen unimodalen Posendaten führt dazu, dass sie zu einem einzelnen Modus kollabieren und somit die vielfältigen gültigen geometrischen Lösungen nicht wiederherstellen können. Zudem verschiebt das Denken im Posenraum die Inferenz weg von dem Bereich, in dem die geometrische Machbarkeit natürlich definiert ist (3D-Okkupanz), was es schwierig macht zu bestimmen, ob unobservierte Platzierungen physisch möglich sind.

Methodik: VulcanVoxel
Die Autoren schlagen VulcanVoxel vor, ein Framework, das die Inferenz im räumlichen Bereich belässt, anstatt sie in den Posenraum zu projizieren. Die Kernhypothese ist, dass Klingen-Affordanzen räumliche Objekte (Teilmengen des 3D-Raums) sind und als solche inferiert werden sollten.

1. Repräsentation: Das System rekonstruiert die Szene aus einem einzelnen RGB-D-Frame in ein mehrkanaliges 3D-Okkupanzgitter ($32^3$ Voxel). Die Kanäle kodieren:
   • Kombinierte Wand- und Objekt-Okkupanz ($O_{occupy}$).
   • Nur-Objekt-Okkupanz ($O_{object}$).
   • Grundwahre Klingen-Okkupanz ($O_{blade}$).
2. Architektur: VulcanVoxel verwendet einen 3D U-Net Masked Autoencoder (MAE).
   • Trainingsziel: Anstatt eine Posenverteilung vorherzusagen, wird das Modell darauf trainiert, den maskierten Klingen-Okkupanzkanal unter Berücksichtigung der beobachteten Szenengeometrie zu rekonstruieren.
   • Kanal-Maskierung: Während des Trainings werden zufällige Kombinationen der drei Kanäle maskiert. Dies zwingt das Modell, inter-kanalspezifische geometrische Beziehungen zu lernen (z. B. das Schlussfolgern, wo eine Klinge passt, gegeben die Position von Wand und Objekten), anstatt Ausführungsmuster auswendig zu lernen.
   • Verlustfunktion: Aufgrund der Spärlichkeit der Klingen-Voxel verwendet das Modell eine Kombination aus Focal Loss und Dice Loss, um das Klassenungleichgewicht zu handhaben und die Formkohärenz zu erzwingen.
3. Inferenz-Pipeline:
   • Das Modell gibt ein 3D-Wahrscheinlichkeitsfeld für die gültige Klingen-Okkupanz aus.
   • Extraktion der Posen: Gültige zusammenhängende Komponenten im Okkupanzfeld werden identifiziert. Kandidaten für SE(3)-Posen werden um diese Komponenten herum enumeriert und basierend auf der volumetrischen Überlappung mit dem vorhergesagten Feld bewertet. Dies verschiebt die Extraktion der Posen auf einen Post-hoc-Schritt, um sicherzustellen, dass die räumliche Argumentation zuerst erfolgt.
4. Destillation: Um die Inferenzlatenz zu adressieren (das Voxel-zu-Voxel-Modell benötigt ca. 2,3 s), wird ein destillierter Student trainiert, der die Klingen-Okkupanz direkt aus RGB-Bildern in ca. 30 ms vorhersagt. Dieser Student nutzt einen ViT-Encoder und einen 3D-Decoder, der 2D-Merkmale über geometrische Constraints aus der Kamerakalibrierung in den 3D-Raum hebt.

Wesentliche Beiträge

1. Räumliche Inferenz für Freiraum-Affordanzen: Die Arbeit zeigt, dass die Darstellung von Affordanzen als 3D-Okkupanzfelder anstelle von SE(3)-Posenverteilungen es Modellen ermöglicht, multimodale Vorhersagen aus unimodalen Produktionsdaten zu gewinnen.
2. Repräsentationsanalyse: Durch systematische Ablation (Vergleich von Eingangsmodalitäten, Repräsentationsformen und Trainingszielen) zeigen die Autoren, dass:
   • Das Operieren im räumlichen Bereich notwendig, aber nicht hinreichend ist.
   • Das Rekonstruktionsziel (Lernen, was geometrisch konsistent ist) der entscheidende Faktor ist, der Multimodalität ermöglicht und VulcanVoxel von Flow-Matching-Baselines unterscheidet, die im selben räumlichen Bereich operieren.
3. Generalisierung auf Fehler: Das Modell kann geometrisch gültige Freiraum-Volumina selbst in Behälterkonfigurationen identifizieren, in denen das Produktionssystem versagt hat, wodurch Fehlerszenarien effektiv in informative Trainingssignale umgewandelt werden.
4. StowAffordance Dataset: Veröffentlichung eines groß angelegten Datensatzes mit über 10.000 realen Klingen-Einführzyklen inklusive RGB-D-Beobachtungen, SE(3)-Trajektorien und Ergebnis-Labels.

Ergebnisse
Evaluierung auf 1.000 realen Test-Episoden (Juli 2025) und zusätzlichen temporalen/hochgradig verstopften Sets:

• Abdeckung (Coverage): VulcanVoxel erreicht eine Top-5 Abdeckung (Cov5) von 0,89, was die beste Posen-basierte Baseline (Voxel FM Pose) mit 0,71 signifikant übertrifft. Dies bedeutet, dass in 89 % der Szenen mindestens eine der fünf vorhergesagten Posen geometrisch gültig ist.
• Multimodalität: VulcanVoxel sagt durchschnittlich 2,7 distinkte Modi pro Szene mit einer räumlichen Streuung ($\sigma$) von 8,4 cm voraus. Im Gegensatz dazu kollabieren Flow-Matching-Baselines zu singulären Modi ($N_m \approx 1,0$) oder erzeugen geometrisch inkohärente Streuungen.
• Genauigkeit: Während die Kosten für eine Einzelvorhersage bei VulcanVoxel etwas höher sind als bei der besten Posen-basierten Baseline (0,81 vs. 0,60), erreicht es die Produktionsleistung bei der Genauigkeit der Einzelvorhersage und bietet gleichzeitig eine weitaus überlegene Diversität.
• Destillation: Das RGB-Studentenmodell erreicht eine Inferenzzeit von 30 ms (46-fache Beschleunigung) bei gleichzeitiger Wiederherstellung von ca. 65 % der Vorhersagequalität des Lehrers und Beibehaltung einer partiellen Multimodalität.
• Fehlertoleranz: Bei Produktionsfehlern behält VulcanVoxel eine hohe Abdeckung (> 0,80), was darauf hindeutet, dass viele Produktionsfehler auf Ausführungs- oder Kraftrückkopplungs-Probleme zurückzuführen sind und nicht auf perzeptive Fehler.

Bedeutung und Ansprüche
Die Arbeit argumentiert, dass Werkzeug-Affordanzen räumliche Objekte sind und dass die Inferenz im SE(3)-Posenraum die geometrische Struktur verwirft, die für die Machbarkeitsprüfung essenziell ist. Durch die Beibehaltung der Inferenz im nativen 3D-Bereich und die Verwendung eines Rekonstruktionsziels lernt das Modell „wo Klingen passen“ als lokale geometrische Bedingung, anstatt „wo Klingen eingeführt wurden“ als globale Verteilung.

Die Autoren behaupten, dass dieser Ansatz eine kanonische Lösung für das Lernen von Freiraum-Affordanzen bei der Manipulation starrer Werkzeuge darstellt. Sie postulieren, dass dieses Prinzip über das Verstauen hinaus auf alle Manipulationsdomänen übertragbar ist, in denen die geometrische Kompatibilität die primäre Randbedingung ist, und legen nahe, dass räumliche Inferenz der Standardansatz sein sollte, wenn Produktionsdaten reichlich vorhanden sind, selbst wenn diese unimodal sind. Die Arbeit verdeutlicht, dass der Flaschenhals in solchen Aufgaben oft der Inferenzbereich (Pose vs. Raum) und das Trainingsziel (Generativ vs. Rekonstruktion) ist, und nicht die Modellkapazität oder die Datenmenge.