💻 computer science

TacSE3: Equivariant SE(3) Motion Estimation from Low-Texture Visuotactile Images for In-Gripper Tracking and Compensation

Dieser Beitrag stellt TacSE3 vor, eine äquivariante SE(3)-Bewegungsschätzpipeline, die duale Sensor-Daten mit geringer Textur aus Visuotaktilen Quellen nutzt, um 3D-Kraftfelder in planare Translation und scherungsbasierte Rotation zu entkoppeln und dadurch eine robuste Verfolgung im Greifer sowie eine Störungskompensation für die robotische Manipulation ohne Nachtraining zu ermöglichen.

Ursprüngliche Autoren: Zhongyuan Liao, Junzhe Wang, Qingyang Liu, Zhenmin Huang, Jun Ma, Yi Cai, Fei Meng, Haobo Liang, Michael Yu Wang

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhongyuan Liao, Junzhe Wang, Qingyang Liu, Zhenmin Huang, Jun Ma, Yi Cai, Fei Meng, Haobo Liang, Michael Yu Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine glatte, glänzende Murmel in Ihrer Hand zu bewegen, während Ihre Augen geschlossen sind. Wenn Sie versuchen, nur durch das Fühlen der glatten Haut Ihrer Handfläche zu erraten, wie die Murmel rollt, ist dies unglaublich schwierig. Ihr Gehirn kann keine „Punkte" oder „Linien" finden, um sie zu verfolgen, und gerät daher in Verwirrung, ob die Murmel seitlich gleitet oder an Ort und Stelle rotiert.

Dies ist exakt das Problem, dem Roboter begegnen, wenn sie versuchen, glatte, texturlose Objekte (wie eine polierte Kugel oder ein Metallrad) mit „Tastkameras" zu manipulieren. Diese Kameras, visuotaktile Sensoren genannt, machen Bilder des Objekts, das gegen die Fingerspitzen des Roboters drückt. Doch wenn das Objekt glatt ist, sieht das Bild wie ein leerer, verschwommener Fleck aus. Herkömmliche Methoden der computergestützten Bildverarbeitung scheitern, da sie darauf angewiesen sind, Muster zu erkennen, und es gibt keine Muster zu erkennen.

Hier kommt „TacSE3" ins Spiel: Das „Fühl"-System des Roboters

Die Studie stellt eine neue Methode namens TacSE3 vor, die Robotern hilft, genau herauszufinden, wie sich ein Objekt in ihrem Griff bewegt, selbst wenn das Objekt glatt ist und der Roboter es nicht sehen kann.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Hören Sie auf, das Bild zu betrachten, und beginnen Sie, den „Druck" zu spüren

Anstatt das verschwommene Bild zu verfolgen, wie ein Mensch ein sich bewegendes Auto an seinen Rücklichtern verfolgt, behandelt TacSE3 den Tastsensor wie eine Druckkarte.

Die Analogie: Stellen Sie sich vor, Sie drücken Ihren Daumen in ein weiches, kuscheliges Kissen. Wenn Sie Ihren Daumen gleiten lassen, dehnt sich das Kissen in eine Richtung aus. Wenn Sie Ihren Daumen drehen, dehnt sich das Kissen spiralförmig aus.
Die Methode: Der Roboter sucht nicht nach „Merkmalspunkten" im Bild. Stattdessen berechnet er ein 3D-Kraftfeld. Er zerlegt den Druck in zwei Teile:
- Normalkraft: Wie stark das Objekt in den Finger drückt (wie beim Drücken einer Taste).
- Schubkraft: Wie das Objekt über den Finger zieht (wie beim Reiben Ihrer Hand auf einem Tisch).

2. Der „Schwerpunkt"-Trick (Trennung von Gleiten und Drehen)

Eines der größten Ärgernisse für Roboter ist der Unterschied zwischen einem Objekt, das seitlich gleitet, und einem Objekt, das sich dreht. Auf einem einzelnen glatten Finger können diese beiden Bewegungen sehr ähnlich aussehen.

Die Analogie: Denken Sie an eine sich drehende Münze auf einem Tisch. Wenn Sie die Münze von der Seite drücken, gleitet sie. Wenn Sie den Rand antippen, dreht sie sich. Aber wenn Sie nur auf die Mitte der Münze schauen, ist es schwer, den Unterschied zu erkennen.
Die Lösung: TacSE3 nutzt einen cleveren Trick.
- Um das Gleiten zu finden, beobachtet es die Mitte der Kontaktfläche (den „Schwerpunkt"). Wenn sich die Mitte des Drucks nach links bewegt, ist das Objekt nach links gerutscht.
- Um das Drehen zu finden, betrachtet es die drehenden Kräfte (Schub) um diese Mitte herum.
- Durch die Trennung dieser beiden Berechnungen gerät der Roboter nicht in Verwirrung. Es ist, als hätte ein Teil des Gehirns die Aufgabe „Wo gehe ich hin?" und ein anderer die Aufgabe „Drehe ich mich?".

3. Die „Zwei-Finger"-Superkraft

Die Studie zeigt, dass die Verwendung von zwei Tastsensoren (einer auf jedem Finger des Greifers) einen Wendepunkt darstellt.

Die Analogie: Stellen Sie sich vor, Sie versuchen zu erraten, ob eine Kugel rollt, indem Sie sie nur mit einem Finger fühlen. Es ist mehrdeutig. Aber wenn Sie sie mit zwei Fingern auf gegenüberliegenden Seiten fühlen, werden die Hinweise offensichtlich.
- Wenn die Kugel nach vorne gleitet, spüren beide Finger einen Druck in die gleiche Richtung.
- Wenn die Kugel sich dreht, spürt ein Finger einen Druck nach vorne, während der andere einen Druck nach hinten spürt (wie eine Wippe).
Das Ergebnis: Durch den Vergleich der beiden Finger kann der Roboter die Verwirrung sofort aufheben. Er weiß mit Sicherheit, ob sich das Objekt dreht oder gleitet, selbst wenn das Objekt perfekt glatt ist.

4. Der „Residual"-Helfer (Der Co-Pilot)

Die Autoren testeten dieses System nicht, indem sie das Hauptgedächtnis des Roboters ersetzten, sondern indem sie es als Co-Piloten hinzufügten.

Die Analogie: Stellen Sie sich ein selbstfahrendes Auto vor, das gut fahren kann, aber verwirrt wird, wenn ein plötzlicher Windstoß es von der Kurs abdrängt. Sie müssen den Motor des Autos nicht neu bauen; Sie brauchen nur einen kleinen Sensor, der sagt: „Hey, wir wurden um 5 Grad nach links gestoßen, lassen Sie uns wieder einlenken."
Die Anwendung: Der Roboter hat eine Haupt-KI-Richtlinie (der Fahrer), die versucht, eine Aufgabe zu erfüllen (wie das Einfügen eines Stifts in ein Loch). Wenn ein Mensch das Objekt im Greifer versehentlich anstößt, könnte die Haupt-KI verwirrt werden und scheitern. TacSE3 fungiert als „Residual"-Signal. Es erkennt den Stoß, berechnet die winzige Rotation und sagt dem Roboter: „Passen Sie Ihre Hand leicht an, um dies auszugleichen."
Das Ergebnis: In Experimenten war der Roboter mit TacSE3, wenn Menschen versuchten, den Griff des Roboters zu stören, viel besser darin, sich zu erholen und die Aufgabe abzuschließen, als der Roboter ohne es. Er musste nicht neu trainiert werden; er brauchte nur diese zusätzliche „Fühl"-Ebene.

Zusammenfassung

TacSE3 ist eine neue Art für Roboter, Bewegung zu „fühlen". Anstatt sich auf visuelle Muster zu verlassen (die auf glatten Objekten nicht existieren),

verwandelt es Tastaufnahmen in eine 3D-Druckkarte.
trennt Gleiten (Bewegung der Mitte) von Drehen (drehende Kräfte).
verwendet zwei Finger, um Kreuzkontrollen durchzuführen und Verwirrung zu beseitigen.
fungiert als Echtzeit-Korrektursignal, um Robotern zu helfen, stabil zu bleiben, wenn sich Objekte in ihrem Griff verschieben.

Es ermöglicht Robotern, glatte, rutschige oder merkmalslose Objekte mit demselben Selbstvertrauen zu handhaben, das sie beim Halten eines strukturierten Objekts haben, einfach durch das Verständnis der Physik des Tastsinns anstatt des Aussehens des Bildes.

Technische Zusammenfassung: TacSE3 – Äquivariante SE(3)-Bewegungsschätzung aus visuo-taktilen Bildern mit geringer Textur

Problemstellung
Bei der robotischen In-Hand-Manipulation treten häufig Szenarien auf, bei denen die visuelle Verfolgung aufgrund von Okklusion oder dem Fehlen markanter visueller Merkmale versagt. Während visuo-taktile Sensoren (VBTS) eine vielversprechende Alternative für interaktionsreiche Kontakte bieten, haben herkömmliche Bewegungsschätzpipelines, die auf Bildtextur, Marker-Tracking oder dichten optischen Flüssen basieren, Schwierigkeiten mit Objekten mit geringer Textur oder Symmetrie (z. B. polierte Kugeln). Unter diesen Bedingungen führen subtile Rotationsbewegungen zu minimalen Änderungen im Erscheinungsbild, was korrespondenzbasierte Methoden unzuverlässig macht. Darüber hinaus leiden Einzel-Sensor-Setups oft unter einer Ambiguität zwischen translations- und rotationsbedingten Bewegungen, da beide ähnliche lokale Verformungsmuster erzeugen können. Die Arbeit adressiert die Herausforderung, eine zuverlässige SE(3)-Bewegungsschätzung direkt aus taktilen Bildern mit geringer Textur zu konstruieren, ohne auf explizites Textur-Matching zurückzugreifen.

Methodik: TacSE3-Pipeline
Die vorgeschlagene Methode, TacSE3, betrachtet das taktile Bild nicht als texturierten visuellen Input, sondern als geometrische Messung des Kontakts. Die Pipeline durchläuft folgende Stufen:

Entkoppelte Konstruktion eines 3D-Kraftfelds:
Anstatt Bildmerkmale zu verfolgen, verarbeitet die Methode rohe taktile Beobachtungen, um ein dichtes 3D-Kraftfeld zu rekonstruieren. Unter Verwendung eines VBTS mit dichter Farbmusterung (speziell DM-Tac) zerlegt das System die taktile Antwort in tangential (Scher-) und normale Komponenten. Dies wird durch eine Helmholtz–Hodge-Zerlegung des planaren Verschiebungsfelds erreicht, das wirbelfreie (Divergenz-) und divergenzfreie (Rotation-)Komponenten trennt, um räumliche Verteilungen normaler und Scherkräfte abzuleiten.
Generierung von Kontaktpunkten und Bewegungsproxys:
Das System identifiziert aktive Kontaktbereiche basierend auf signifikanten normalen Antworten. Für jedes gültige Pixel wird ein 3D-Kontaktpunkt im lokalen taktilen Koordinatensystem konstruiert. Die tangentialen und normalen Kraftantworten werden kalibriert, um als lokaler Geschwindigkeitsproxy zu dienen, der die momentane Bewegung des Kontaktpunkts approximiert.
SE(3)-Starrkörper-Schätzung:
Die lokalen Geschwindigkeitsproxys werden mittels einer Starrkörper-Twist-Gleichung ( $v = \omega \times q + t$ ) modelliert. Der Schätzprozess verwendet eine spezifische Entkoppelungsstrategie:
- Translation: Die planare Translation wird strikt aus der Bewegung des Kontaktschwerpunkts auf der Sensorebene abgeleitet, anstatt gemeinsam mit der Rotation angepasst zu werden.
- Rotation: Die Rotation wird separat geschätzt, indem die scherungsbezogenen Bewegungseinschränkungen an das Starrkörpermodell angepasst werden.
  Diese Trennung vermeidet die bei gekoppelten Translations-Rotations-Kleinste-Quadrate-Problemen häufig auftretende Schlechtbedingtheit und liefert ein physikalisch interpretierbares Signal.
Zeitliche Integration und Äquivarianz:
Die geschätzte momentane Twist wird über die Zeit unter Verwendung der Exponentialabbildung auf der SE(3)-Mannigfaltigkeit integriert, um eine kontinuierliche Pose-Trajektorie zu erzeugen. Die Methode gewährleistet äquivariante Koordinatenkonsistenz: Die geschätzte Bewegung ist im Endeffektor-Rahmen definiert, sodass dieselbe zugrundeliegende Objektbewegung konsistente Schätzungen liefert, unabhängig von Änderungen der globalen Pose des Roboters oder der spezifischen Kontaktstelle auf dem Sensor.
Dual-Sensor-Fusion:
Um die Ambiguität zwischen Translation und Rotation aufzulösen, nutzt das System zwei taktile Sensoren, die an gegenüberliegenden Greiferfingern montiert sind. Durch Anwendung einer Vorzeichenmatrix-Transformation zur Berücksichtigung der gespiegelten Koordinatensysteme fusioniert das System die Twist-Schätzungen. Dies ermöglicht dem System, zwischen translationsbedingter Bewegung (die konsistente Kraftrichtungen über die Sensoren hinweg erzeugt) und rotationsbedingter Bewegung (die entgegengesetzte Kraftmuster erzeugt) zu unterscheiden.
Integration der Residuensteuerung:
Die geschätzte SE(3)-Bewegung wird als taktiles geometrisches Residuum behandelt. Sie wird mit einer bestehenden Basisstrategie (z. B. Action Chunking mit Transformern) als leichtgewichtiges Nachverarbeitungssignal fusioniert ( $u_{final} = u_{policy} + \Delta u_{tactile}$ ), um Roboteraktionen zu verfeinern, ohne die Basisstrategie neu zu trainieren.

Hauptbeiträge

Geometrische Zustandsformulierung: Die Arbeit formuliert die Schätzung von taktilen Daten zu SE(3) für die Erfassung mit geringer Textur als geometrisches Zustandsschätzproblem, das auf lokaler Starrkörperbewegung basiert, und weicht damit von texturabhängigem Korrespondenz-Matching ab.
Entkoppelung des Kraftfelds: Sie schlägt eine Pipeline vor, die rohe taktile Beobachtungen in ein 3D-Kraftfeld zerlegt und die Starrkörper-Twist über ein physikalisch fundiertes SE(3)-Modell rekonstruiert, wobei die schwerpunktbasierte Translation spezifisch von der scherungsbasierten Rotation getrennt wird.
Reduktion der Ambiguität durch Dual-Sensor-Setups: Die Arbeit zeigt, dass Dual-Sensor-Konfigurationen die Ambiguität zwischen Translation und Rotation im Vergleich zu Einzel-Sensor-Setups signifikant reduzieren.
Leichtgewichtige Kompensation: Die Methode liefert ein Rotationssignal, das als Nachverarbeitungsmodul angefügt werden kann, um die Störfestigkeit in nachgelagerten Manipulationsaufgaben zu verbessern, ohne die Basissteuerungsstrategie zu modifizieren.

Experimentelle Ergebnisse
Die Experimente wurden mit einem UR5-Roboter durchgeführt, der mit zwei DM-Tac-Sensoren ausgestattet war:

Rotationsgenauigkeit: Unter kontrollierten Rotationen einer gegriffenen Kugel (30°, 60°, 90°) über drei Achsen ( $r_x, r_y, r_z$ ) erreichte die Methode mittlere Winkelabweichungen von ca. 3° bei 30°-Rotationen bis ca. 12° bei 90°-Rotationen. Das Fehlerwachstum wird auf Integrationsdrift und Kontakt-Nichtlinearität über größere Winkel zurückgeführt.
Einzel- vs. Dual-Sensor: Bei reinen Translationsbewegungstests zeigte die Einzel-Sensor-Konfiguration signifikante Rotationsdrift (ca. 9–10°), während die Dual-Sensor-Konfiguration diese Drift auf etwa 1,1–1,5° reduzierte, was eine effektive Entkoppelung demonstriert.
Generalisierung: Die Methode behielt niedrige Fehlerraten (2,6°–4,0°) über diverse Objekte mit unterschiedlichen Geometrien (Kugeln, Zylinder, unregelmäßige Formen) und Oberflächentexturen (glatt, strukturiert, Holz, Kunststoff) bei und bestätigte damit die Robustheit gegenüber texturarmen Bedingungen.
Leistung auf Policy-Ebene: In Aufgaben mit menschlich verursachten Störungen (Zeichnen, Zahnrad-Einfügen, Stift-in-Loch) verbesserte die Aktivierung des taktilen Nachverarbeiters die Erfolgsraten unter Störungen im Vergleich zur alleinigen Basisstrategie (z. B. verbesserte sich das Einfügen eines Zahnrads unter Störungen von 20 % auf 35 % Erfolg).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass TacSE3 eine praktische geometrische Brücke zwischen visuo-taktiler Erfassung mit geringer Textur und kontaktreicher In-Gripper-Manipulation darstellt. Durch die Priorisierung der Kontaktgeometrie gegenüber dem Bildaussehen erreicht die Methode eine zuverlässige Bewegungsschätzung dort, wo traditionelle visuelle oder texturbasierte taktile Methoden versagen. Die Autoren betonen, dass der Ansatz nicht dazu gedacht ist, die globale Vision zu ersetzen oder eine vollständige Objektzustandsschätzung für neue Objekte über lange Zeiträume zu liefern. Stattdessen dient er als robustes, interpretierbares und leichtgewichtiges Modul für die lokale Bewegungsverfolgung und Kompensation, das insbesondere für glatte, symmetrische oder okkludierte Objekte wertvoll ist, bei denen die Vision unzuverlässig ist. Die äquivariante Natur des Outputs stellt sicher, dass das Signal für die nachgelagerte Steuerung konsistent bleibt, unabhängig von der spezifischen Kontaktstelle oder der Roboterpose.

1. Hören Sie auf, das Bild zu betrachten, und beginnen Sie, den „Druck" zu spüren

2. Der „Schwerpunkt"-Trick (Trennung von Gleiten und Drehen)

3. Die „Zwei-Finger"-Superkraft

4. Der „Residual"-Helfer (Der Co-Pilot)

Zusammenfassung

Mehr davon