💻 computer science

StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video

StableHand ist ein qualitätsbewusstes Flow-Matching-Framework, das die Schätzung von Zwei-Hand-Bewegungen im Weltkoordinatensystem aus egozentrischen Videos verbessert, indem es sich durch ein vierkanaliges Qualitätssignal dynamisch an die Zuverlässigkeit der Beobachtungen pro Bild anpasst und damit einen State-of-the-Art-Ergebnis bei der Handhabung von Okklusionen und fehlenden Daten erzielt.

Ursprüngliche Autoren: Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie tragen eine Kamera auf dem Kopf, die Ihre Hände aufzeichnet, während Sie kochen, bauen oder mit Gegenständen spielen. Dies wird als „egozentrisches Video" bezeichnet. Stellen Sie sich nun vor, Sie möchten, dass ein Roboter aus diesem Video lernt, indem er genau beobachtet, wie sich Ihre Hände im dreidimensionalen Raum bewegen.

Das Problem? Ihre Hände verschwinden oft. Manchmal drehen Sie den Kopf, und Ihre Hände geraten aus dem Sichtfeld der Kamera. In anderen Fällen greifen Sie nach einem Topf oder einem Buch, und der Gegenstand blockiert die Sicht der Kamera auf Ihre Finger.

StableHand ist ein neues Computerprogramm, das als bester „Vermutungsdetektiv" konzipiert wurde, um diese fehlenden Teile zu ergänzen. Es rät nicht einfach zufällig; es nutzt ein intelligentes System, um zu entscheiden, wem es vertrauen kann und was es korrigieren muss.

So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Der „Vertrauensmesser" (Qualitätssignale)

Die meisten früheren Programme behandelten jeden Videobildschirm gleich. Wenn die Kamera Ihre Hand sah, nutzten sie sie. War die Hand unscharf oder verdeckt, versuchten sie dennoch, sie zu verwenden, was oft dazu führte, dass die Bewegungen des Roboters wackelig oder falsch wirkten.

StableHand ist anders. Es verfügt über einen eingebauten „Vertrauensmesser" für jeden Teil Ihrer Hand.

Es überprüft Ihre Handgelenke (die großen Gelenke, die die Hand bewegen).
Es überprüft Ihre Finger (die kleinen Gelenke, die das Greifen ausführen).
Es überprüft die linke Hand und die rechte Hand separat.

Es vergibt für jeden dieser vier Teile eine Punktzahl von 0 bis 1.

Hohe Punktzahl (1,0): „Ich sehe dies klar! Ich vertraue diesen Daten vollständig."
Niedrige Punktzahl (0,0): „Dies ist unscharf, verdeckt oder fehlt. Ich kann diesen Daten nicht vertrauen."

2. Der „Intelligente Editor" (Flow Matching)

Sobald das Programm seine Vertrauenswerte hat, agiert es wie ein sehr intelligenter Videoredakteur, der eine Technik namens Flow Matching verwendet. Stellen Sie sich dies als einen magischen Prozess vor, der ein chaotisches Video „glätten" oder eine fehlende Szene „rekonstruieren" kann.

Hier ist der magische Trick:

Wenn die Vertrauenspunktzahl hoch ist: Das Programm sagt: „Ich sehe diesen Teil klar, also werde ich ihn fixieren." Es behält die ursprünglichen Videodaten exakt so bei, wie sie sind, und stellt sicher, dass die Bewegung präzise ist.
Wenn die Vertrauenspunktzahl niedrig ist: Das Programm sagt: „Ich kann diesen Teil nicht gut sehen. Ich werde die schlechten Daten ignorieren und mein Wissen darüber, wie Hände sich normalerweise bewegen, nutzen, um ihn zu rekonstruieren."

Es tut dies für jeden winzigen Teil der Hand unabhängig. Wenn also Ihr linkes Handgelenk sichtbar ist, aber Ihre linken Finger hinter einer Tasse verborgen sind, fixiert es das Handgelenk an Ort und Stelle, „halluziniert" (rekonstruiert) jedoch die Finger basierend darauf, wie Hände sich natürlich bewegen.

3. Die „Gedächtnisbank" (Der Prior)

Wie weiß das Programm, wie es die fehlenden Finger rekonstruieren soll? Es hat Tausende von Stunden an Videos von Menschen studiert, die beide Hände benutzen. Es hat eine „Gedächtnisbank" darüber gelernt, wie Hände typischerweise zusammenarbeiten. Wenn die Kamera versagt, greift sie auf diese Gedächtnisbank zurück, um die Lücken zu füllen, und stellt sicher, dass die rekonstruierte Hand natürlich aussieht und mit der anderen Hand konsistent ist.

4. Warum es besser ist (Die Ergebnisse)

Die Forscher haben StableHand an zwei schwierigen Videodatensätzen getestet:

HOT3D: Videos, in denen Menschen viel den Kopf bewegen, wodurch Hände für längere Zeiträume aus dem Sichtfeld der Kamera verschwinden.
ARCTIC: Videos von Menschen, die komplexe Aufgaben mit Gegenständen ausführen, wobei Hände ständig durch das, was sie halten, verdeckt werden.

Das Ergebnis: StableHand war deutlich genauer als frühere Methoden.

Es reduzierte Fehler um 20–25 %.
Es war besonders gut bei den schwierigsten Teilen: wenn Hände vollständig verdeckt oder stark blockiert waren.
Im Gegensatz zu älteren Methoden, die „driften" würden (wobei sich die Hand im Laufe der Zeit langsam an die falsche Stelle bewegt), bleibt StableHand an der realen Welt verankert.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, ein Puzzle zu vervollständigen, aber einige Teile fehlen, und einige der Teile, die Sie haben, sind verschmiert und unscharf.

Alte Methoden versuchten, die verschmierten Teile gewaltsam an ihren Platz zu zwingen, wodurch das Bild verzerrt wirkte.
StableHand betrachtet jedes Teil. Ist ein Teil sauber, legt es es ins Puzzle. Ist ein Teil verschmiert oder fehlt, zwingt es kein schlechtes Teil hinein. Stattdessen betrachtet es die umliegenden sauberen Teile und nutzt sein Wissen über das Bild, um den fehlenden Teil perfekt einzumalen.

Dies ermöglicht es Robotern, viel zuverlässiger aus menschlichen Videos zu lernen, selbst wenn die Kameraansicht unvollkommen ist.

Technische Zusammenfassung: StableHand

Problemstellung

Die Wiederherstellung der 4D-Bewegung zweier interagierender Hände im Weltkoordinatensystem aus egozentrischem Video ist eine entscheidende Fähigkeit zur Überwachung des Roboterpolicy-Lernens, wobei Handgelenkstrajektorien die Endeffektoren steuern und Fingerartikulationen die Greifposen definieren. Diese Aufgabe steht jedoch im egozentrischen Setting vor zwei Hauptherausforderungen:

Verlängerte Sichtverlustzeiträume: Die gekoppelte Bewegung von Kopf und Hand führt häufig dazu, dass eine oder beide Hände für längere Zeiträume den Kamerabildschirm verlassen.
Anhaltende Okklusionen: Geschickte beidhändige Manipulation und Hand-Objekt-Interaktionen führen zu schweren, oft asymmetrischen Okklusionen der Hände.

Bestehende Methoden leiden in diesen Szenarien unter erheblichen Einschränkungen. SLAM-basierte Pipelines transformieren pro-Frame-Kamerakoordinaten-Posen in den Weltrahmen ohne zeitliche Priors, was zu katastrophalem Drift während der Zeiträume mit fehlenden Händen führt. Native Methoden im Weltkoordinatensystem lernen Bewegungspriors auf Sequenzebene, konditionieren jedoch typischerweise uniform auf visuelle Merkmale und berücksichtigen dabei nicht die Heterogenität der Beobachtungszuverlässigkeit. Insbesondere ignorieren sie, dass globale Driftfehler des Handgelenks signifikant größer sind als Fehler bei der Fingerartikulation und dass Okklusionen die beiden Hände asymmetrisch beeinträchtigen.

Methodik

Die Autoren schlagen StableHand vor, ein qualitätsbewusstes Flow-Matching-Framework, das entwickelt wurde, um Weltkoordinaten-Trajektorien für zwei Hände zu synthetisieren, indem es explizit die pro-Komponente-Qualität der Beobachtungen nutzt. Das Framework besteht aus zwei gelernten Modulen, die sequenziell trainiert werden:

1. Adaptives Qualitätssignal und Netzwerk

Die Kernidee besteht darin, dass die Beobachtungsqualität über die Komponenten (Handgelenk vs. Finger) und die Hände (links vs. rechts) hinweg heterogen ist.

Qualitätsdefinition: Das System zerlegt die Bewegungsqualität der Hand in vier Kanäle: linkes Handgelenk ( $L_W$ ), linke Finger ( $L_F$ ), rechtes Handgelenk ( $R_W$ ) und rechte Finger ( $R_F$ ). Die Qualität $q \in [0, 1]$ wird aus dem Fehler zwischen beobachteten und Ground-Truth-Gelenken unter Verwendung eines Radial-Basis-Funktion-Kernels (RBF) abgeleitet: $q = \exp(-e/\sigma)$ .
Qualitätsnetzwerk (QN): Da Ground-Truth-Fehler beim Inferenzvorgang nicht verfügbar sind, sagt ein gelerntes Qualitätsnetzwerk den pro-Komponente-Fehler $\hat{e}$ $\overset{e}{^}$ (in Millimetern) direkt voraus. Das Netzwerk nimmt als Eingabe:
- Weltkoordinaten-MANO-Beobachtungen ( $\bar{y}$ ) von einem eingefrorenen, handelsüblichen Schätzer.
- Binäre Hand-Vertrauensflags ( $\delta$ ).
- Pro-Frame-Kamerapose ( $g$ ).
- Ein lernbarer Kontext-Token auf Trajektorienebene, der über temporäre Selbst-Aufmerksamkeit aggregiert wird.
Training: Das QN wird auf acht egozentrischen beidhändigen Korpora (~10 Mio. Frames) vortrainiert. Es wird durch einen Log-Raum-MSE-Verlust überwacht, um Fehlermagnituden anzupassen, sowie durch einen zusätzlichen 1D-Wasserstein-1-Abstandsverlust, um die empirische Verteilung der vorhergesagten Fehler mit dem Ground Truth abzugleichen und sicherzustellen, dass die Einsatzzeit-Bandbreite $\hat{\sigma}$ dem Trainingszeit- $\sigma$ entspricht.

2. Qualitätsbewusstes Flow-Matching-generatives Modell

Das generative Modell ist ein Diffusion Transformer (DiT), der auf dem vorhergesagten Qualitätssignal $\hat{q}$ konditioniert ist. Es setzt vier gekoppelte Mechanismen ein, um Kanäle mit hoher und niedriger Qualität unterschiedlich zu behandeln:

Pro-Kanal-Vorwärtsschedule: Im Gegensatz zum Standard-Flow-Matching, das einen skalaren Schedule verwendet, nutzt StableHand einen kanalspezifischen Schedule $\alpha(\tau, \tilde{q})$ . Für Kanäle mit hoher Qualität ( $q \approx 1$ ) friert der Schedule die Beobachtung ein ( $\alpha \equiv 1$ ) und verankert die Trajektorie. Für Kanäle mit niedriger Qualität ( $q \approx 0$ ) behandelt der Schedule diese als Rauschen ( $\alpha \approx 0$ ), was eine Neuberechnung aus dem Prior erfordert.
Qualitätsangepasster Geschwindigkeitszielwert: Das Trainingsziel regressiert einen Geschwindigkeitszielwert $u_\tau = (1 - \tilde{q}) \odot (x_1 - \varepsilon)$ . Dies stellt sicher, dass das Modell lernt, Kanäle mit hoher Qualität unberührt zu lassen, während Kanäle mit niedriger Qualität rekonstruiert werden.
AdaLN-Modulation: Der DiT-Denoiser verwendet Adaptive Layer Normalization (AdaLN), die vom Qualitätssignal gesteuert wird, um Updates für Handgelenk- und Finger-Token separat zu skalieren und so die pro-Kanal-Qualitätsstruktur abzubilden.
Qualitätsbewusste Initialisierung: Beim Inferenzvorgang wird die reverse ODE bei $\tau=0$ mit $x_0 = \tilde{q} \odot \bar{y} + (1 - \tilde{q}) \odot \varepsilon$ initialisiert. Dies stellt sicher, dass Kanäle mit hoher Qualität nahe der Beobachtung starten und Kanäle mit niedriger Qualität nahe bei reinem Rauschen, wodurch die bei abgeschnittenen reversen Prozessen (z. B. SDEdit) auftretende Train-Test-Mismatch eliminiert wird.

Hauptbeiträge

Pro-Komponente-Qualitätsformulierung: Das Papier formuliert die egozentrische Wiederherstellung von Weltkoordinaten-Trajektorien für zwei Hände als pro-Komponente-Qualitätsbewusstes Generierungsproblem und identifiziert explizit die Heterogenität der Beobachtungsqualität entlang der zwei Achsen (Komponente, Hand) als Strukturprior, der zuvor implizit belassen wurde.
Qualitätsbewusster Flow-Matching-Pfad: Ein neuartiger generativer Pfad, der von einem vierwertigen Qualitätssignal angetrieben wird und einen pro-Kanal-Vorwärtsschedule, einen qualitätsangepassten Geschwindigkeitszielwert, AdaLN-Modulation und eine qualitätsbewusste ODE-Initialisierung integriert.
Kalibriertes Qualitätssignal: Die Einführung eines korpusadaptiven Qualitätssignals, das beim Inferenzvorgang aus visuellen Streams vorhergesagt wird, welches den globalen Drift des Handgelenks von der Fingerartikulationsfehler entkoppelt und asymmetrische Okklusionen handhabt.
State-of-the-Art-Leistung: Die Methode erzielt überlegene Ergebnisse auf Benchmarks mit langen Zeiträumen fehlender Hände und anhaltenden Okklusionen.

Experimentelle Ergebnisse

Die Autoren bewerten StableHand auf HOT3D (gekennzeichnet durch lange Zeiträume fehlender Hände) und ARCTIC (gekennzeichnet durch anhaltende Hand-Objekt-Okklusion und asymmetrische Qualität).

HOT3D: StableHand reduziert den W-MPJPE (World-space Mean Per-Joint Position Error) um 20–25 % im Vergleich zur stärksten Baseline (HaWoR) und erreicht einen W-MPJPE von 57,83 mm gegenüber 71,89 mm. Die Verbesserung ist in Clips mit einem hohen Anteil fehlender Hände am ausgeprägtesten.
ARCTIC: StableHand reduziert den W-MPJPE um ~25 % gegenüber der stärksten Baseline und erreicht 124,59 mm gegenüber 171,61 mm. Es zeigt auch signifikante Gewinne beim MRRPE (Mean Relative Root Position Error), was auf eine bessere gemeinsame Schlussfolgerung über die relative räumliche Konsistenz der beiden Hände hindeutet.
Ablationsstudien: Das Entfernen des pro-Kanal-Qualitätsschedules führt zu einer Verschlechterung des W-MPJPE um den Faktor 1,6. Das Ersetzen des Vier-Token-Aufteilungsansatzes (Handgelenk/Finger pro Hand) durch einen einzelnen Token verschlechtert die Leistung um den Faktor 2,1 und bestätigt die Notwendigkeit der pro-Kanal-Modulation. Die Verwendung eines konstanten oder binären Qualitätssignals anstelle des vorhergesagten gestuften Signals führt zu Ergebnissen, die mit den Baselines vergleichbar sind oder diese sogar unterbieten.

Bedeutung und Behauptungen

Das Papier behauptet, dass die genaue Schätzung der Handbewegung im Weltkoordinatensystem eng mit der Qualität der pro-Frame-Beobachtungen verknüpft ist. Durch die explizite Modellierung dieser Qualitätsheterogenität kann StableHand zuverlässige Beobachtungen „verankern" und gleichzeitig unzuverlässige Beobachtungen unter Verwendung eines gelernten beidhändigen Bewegungspriors „neu generieren".

Die Autoren positionieren diese Arbeit als einen fundamentalen Schritt zur Überwachung des Roboterpolicy-Lernens aus großskaligem egozentrischem Video, insbesondere für geschickte und beidhändige Manipulationsaufgaben, bei denen bestehende Methoden aufgrund von Drift und Okklusion versagen. Das Framework wird als robust gegenüber verschiedenen upstream-Pose-Schätzern (z. B. WiLoR vs. HaMeR) beschrieben, sofern das Qualitätsnetzwerk neu kalibriert oder neu trainiert wird.

Das Papier räumt bescheiden Einschränkungen ein: Das Qualitätssignal ist auf einen spezifischen upstream-Schätzer kalibriert, und in Fällen extrem langer Zeiträume niedriger Qualität, in denen keine Hand beobachtet wird, kann das Modell zu plausiblen, aber nicht treu fundierten Konfigurationen driften. Als zukünftige Arbeit wird die gemeinsame Modellierung von Objekten und Händen sowie ein End-to-End-Training vorgeschlagen.