🤖 AI

MoPO: Incorporating Motion Prior for Occluded Human Mesh Recovery

MoPO ist ein neuartiges Framework zur Wiederherstellung verdeckter menschlicher Mesh-Modelle, das Bewegungsprioritäten aus Pose-Sequenzen nutzt, um Verdeckungen zu erkennen, fehlende Gelenkpositionen vorherzusagen und die endgültige Pose zu verfeinern, wodurch sowohl auf verdeckungsspezifischen als auch auf Standard-Benchmarks eine state-of-the-art Genauigkeit und zeitliche Konsistenz erreicht wird.

Ursprüngliche Autoren: Tao Tang, Hong Liu, Xinshun Wang, Wanruo Zhang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tao Tang, Hong Liu, Xinshun Wang, Wanruo Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu erraten, wie ein Tänzer aussieht, während er eine komplexe Choreografie aufführt. Stellen Sie sich nun vor, dass alle paar Sekunden ein großer Baum oder ein anderer Tänzer vor ihn tritt und Teile seines Körpers verdeckt. Wenn Sie nur den einzelnen Frame betrachten, in dem sie verdeckt sind, könnten Sie vermuten, dass ihr Arm an der falschen Stelle ist oder dass ihr Bein in der Luft schwebt. Dies ist das Problem, dem sich Informatiker stellen müssen, wenn sie aus Videos 3D-Modelle von Menschen erstellen wollen, bei denen die Person teilweise verdeckt ist.

Die Arbeit stellt ein neues System namens MoPO (Motion Prior for Occluded Human Mesh Recovery) vor. Denken Sie an MoPO als einen „superklugen Ratgeber", der nicht nur das aktuelle Bild betrachtet, sondern sich an die kürzlichen Bewegungen des Tänzers erinnert, um die Lücken zu füllen.

So funktioniert es, aufgeteilt in einfache Schritte:

1. Das Problem: Der „blinde Fleck"

Die aktuelle Technologie ist gut darin, die Pose einer Person zu bestimmen, wenn sie vollständig sichtbar ist. Doch wenn eine Person durch ein Objekt oder eine andere Person verdeckt (okkludiert) wird, gerät der Computer in Verwirrung. Er versucht, die Position der verdeckten Teile nur anhand der winzigen sichtbaren Körperteile zu erraten. Dies führt häufig zu zwei schlechten Ergebnissen:

Falsche Posen: Der Computer könnte raten, dass der verdeckte Arm auf unmögliche Weise verdreht ist.
Zitternde Bewegung: In einem Video könnte der Computer raten, dass sich der Arm in einem Frame hier und im nächsten dort befindet, wodurch das 3D-Modell wie ein unkontrolliert zitterndes oder vibrierendes Objekt aussieht.

2. Die Lösung: MoPOs „Erinnerungspfad"

MoPO löst dieses Problem, indem es erkennt, dass Bewegung ein Muster aufweist. Wenn Sie sehen, wie sich der Arm einer Person in den letzten drei Frames nach oben bewegt, können Sie ziemlich sicher sein, wo er im nächsten Frame sein wird, selbst wenn ein Baum Ihre Sicht blockiert. MoPO nutzt dieses „Bewegungsgedächtnis", um die blinden Flecken zu beheben.

Es geschieht in zwei Hauptphasen:

Phase A: Der „Lückenfüller"-Detektiv

Zuerst agiert MoPO wie ein Detektiv, der eine Überwachungskamera überprüft.

Das Verstecken erkennen: Es betrachtet das Video und prüft: „Ist dieser Körperteil gerade sichtbar?" Es verwendet einen speziellen Detektor, der sowohl das aktuelle Bild als auch die jüngste Vergangenheit analysiert, um zu entscheiden, ob ein Gelenk (wie ein Knie oder Ellbogen) verdeckt ist.
Das Fehlende vorhersagen: Wenn ein Gelenk verdeckt ist, rät MoPO nicht zufällig. Es verwendet einen leichten „Bewegungsvorhersager" (denken Sie daran als eine Art Kurzzeitgedächtnisbank), um zu prüfen, wo sich dieses Gelenk einen Moment zuvor befand und wohin es sich bewegt. Anschließend vollendet es den fehlenden Teil des Skeletts mit einer hochwahrscheinlichen Schätzung.
- Analogie: Stellen Sie sich vor, Sie beobachten einen Magier, der ein Kaninchen aus einem Hut zieht, aber ein Vorhang für einen Sekundenbruchteil Ihre Sicht blockiert. Ein normaler Beobachter könnte denken, das Kaninchen sei verschwunden. MoPO hingegen erinnert sich daran, dass das Kaninchen kurz bevor der Vorhang fiel, nach oben bewegt wurde, und „füllt" daher die Position des Kaninchens hinter dem Vorhang ein, damit der Trick kontinuierlich wirkt.

Phase B: Der „Misch- und Polier"-Koch

Sobald MoPO ein „vollendetes" Skelett hat (bei dem die fehlenden Teile eingefügt sind), muss es dieses Skelett in einen vollständigen 3D-Körper (mit Haut und allem) verwandeln.

Die Zutaten mischen: Es nimmt das „vollendete Skelett" (das Bewegungsgedächtnis) und mischt es mit den tatsächlichen visuellen Details aus dem Video (wie die Farbe des Hemdes oder die Form des Rumpfes).
Die Pose verfeinern: Manchmal reicht es nicht aus, nur die Position zu erraten; die Gelenke müssen sich korrekt drehen. MoPO verwendet eine Technik namens „Inverse Kinematik" (wie ein Puppenspieler, der die Fäden justiert), um sicherzustellen, dass sich der 3D-Körper natürlich bewegt und nicht wie eine kaputte Roboterfigur aussieht. Es trennt das „Schwingen" des Gliedes (was leicht zu sehen ist) von der „Drehung" (was schwerer zu sehen ist), um die Rotation genau richtig zu bekommen.

3. Die Ergebnisse: Ein flüssiger, präziser Tanz

Die Autoren testeten MoPO an vielen verschiedenen Videos, in denen Personen durch Objekte oder andere Menschen verdeckt wurden.

Genauigkeit: MoPO war deutlich genauer als bisherige State-of-the-Art-Methoden. Im Vergleich zu den besten bestehenden Tools reduzierte es die Fehler bei der Vorhersage der Gelenkpositionen um etwa 8,5 % bis 12 %.
Flüssigkeit: Der größte Gewinn lag in der Video-Stabilität. Da MoPO das „Bewegungsgedächtnis" nutzt, zittern oder wackeln die 3D-Modelle nicht, wenn die Person verdeckt ist. Die Bewegung fließt glatt, genau wie bei einem echten Menschen.

Zusammenfassung

Kurz gesagt ist MoPO ein System, das 3D-Menschenmodelle aus Videos rekonstruiert, indem es sagt: „Ich kann deinen Arm gerade nicht sehen, aber ich weiß genau, wo er ist, weil ich mich daran erinnere, wie du dich vor einer Sekunde bewegt hast." Indem es diese Erinnerung an die Bewegung mit den visuellen Hinweisen kombiniert, die es sehen kann, erstellt es eine viel genauere und stabilere 3D-Rekonstruktion, selbst in unordentlichen, überfüllten oder verdeckten Szenen.

Technische Zusammenfassung: MoPO – Einbeziehung von Bewegungsprioritäten für die Wiederherstellung verdeckter menschlicher Meshes

1. Problemstellung

Die Wiederherstellung von 3D-Mensch-Meshes aus monokularem Video ist eine kritische Aufgabe für Anwendungen in Animation, virtueller Realität und Robotik. Während jüngste Fortschritte die Leistung bei Standard-Benchmarks verbessert haben, kämpfen bestehende Methoden erheblich mit Verdeckungen (Selbstverdeckung, Objekt-Person und Person-Person).
Aktuelle State-of-the-Art (SOTA)-Methoden für die verdeckte Wiederherstellung menschlicher Meshes (HMR) stehen vor zwei Hauptherausforderungen:

Ungenaue Posen unter starker Verdeckung: Die alleinige Abhängigkeit von unzureichenden räumlichen Merkmalen sichtbarer Körperteile führt zu ungenauen und unnatürlichen Pose-Schätzungen. Bestehende Methoden verlassen sich häufig auf 2D-Evidenz (Masken, Schlüsselpunkte) oder implizite Prioritäten aus Diffusionsmodellen, die bei schwerer Verdeckung versagen.
Temporale Inkonsistenz und Bewegungs-Jitter: Bei der Anwendung auf Videos führt eine schrittweise Schätzung ohne robuste zeitliche Modellierung zu schwerem Bewegungs-Jitter. Bestehende videobasierte Methoden fehlt oft die Fähigkeit, langfristige Abhängigkeiten zu modellieren oder effektiv über verdeckte Gelenke zu reasoning, was zu instabilen Ausgaben führt.

Die Kernhypothese dieser Arbeit ist, dass Pose-Sequenzen inhärent zuverlässige Bewegungsprioritäten für die Schätzung verdeckter Körperteile enthalten, die robuster sind als die alleinige Abhängigkeit von unzureichenden Bildmerkmalen oder allgemeinen Szenenprioritäten.

2. Methodik: MoPO-Rahmenwerk

Die vorgeschlagene Methode, MoPO (Motion Prior for Occluded human mesh recovery), ist ein modellbasiertes Verfahren, das Bewegungsvorhersage in die HMR-Pipeline integriert. Sie arbeitet in zwei Hauptstufen:

A. Modul zur Bewegungs-Deverdeckung

Diese Stufe zielt darauf ab, eine vollständige 3D-Gelenksequenz durch Vorhersage verdeckter Gelenke basierend auf historischer Bewegung wiederherzustellen.

Räumlich-zeitlicher Verdeckungs-Detektor: Im Gegensatz zu Methoden, die sich nur auf das Konfidenzniveau des aktuellen Frames verlassen, berechnet MoPO eine gewichtete Summe der Konfidenzwerte aus dem aktuellen und den vorherigen Frames. Es nutzt zudem eine RNN, um Konfidenz-Offsets basierend auf historischen Trends zu schätzen und Gelenke in sichtbare ( $V$ ) und verdeckte ($OccJ$) Mengen zu gruppieren. Dies gewährleistet eine zeitlich konsistente Verdeckungserkennung.
Ergänzung verdeckter Teile: Für erkannte verdeckte Gelenke wird ein leichtgewichtiges MLP-basiertes Bewegungsvorhersagemodell eingesetzt.
- Ein Lifting-Netzwerk schätzt zunächst 3D-Posen ( $P^{3D}$ ) aus 2D-Detektionen.
- Der Vorhersager verwendet eine Diskrete Kosinustransformation (DCT), um Pose-Sequenzen in den Frequenzbereich zu transformieren.
- Ein MLP-Mixer-Netzwerk verarbeitet die räumlich-zeitlichen Informationen im Frequenzbereich, um zukünftige Posen vorherzusagen.
- Eine Inverse DCT (IDCT) wandelt die Vorhersagen zurück in 3D-Positionen.
- Das System ersetzt iterativ verdeckte Gelenke im aktuellen Frame durch vorhergesagte Gelenke aus der Historie und erzeugt eine vervollständigte Pose-Sequenz ( $P^{3D}_{com}$ ).

B. Modul zur bewegungsbewussten Fusion und Verfeinerung

Diese Stufe integriert die vervollständigte Bewegungspriorität mit visuellen Daten, um die endgültigen SMPL-Parameter zu schätzen.

Verdeckungsreduzierende Fusion: Die vervollständigte Pose-Sequenz wird mittels RNN in einen Bewegungszusammenhang ( $C_M$ ) kodiert. Dieser Zusammenhang wird mit Bildmerkmalen (extrahiert über einen ViT-Rückgrat) unter Verwendung von Multi-Head Cross-Attention (MCA) fusioniert. Der Bewegungszusammenhang dient als Query, während Bildmerkmale als Keys und Values fungieren, wodurch das Netzwerk menschenrelevante Merkmale (Form und initiale Pose) geleitet durch zuverlässige Bewegungsprioritäten extrahieren kann.
Bewegungsbewusste Verfeinerung: Um die Schwierigkeit zu adressieren, SMPL-6D-Rotationsparameter direkt aus fusionierten Merkmalen zu regressieren, wendet die Methode Prinzipien der Inverse Kinematik (IK) an:
- Die SMPL-Pose wird in Schwingung (Rotation zwischen benachbarten Gelenken, ableitbar aus Gelenkpositionen) und Drehung (Rotation entlang der Knochenachse, nicht aus Gelenken ableitbar) zerlegt.
- Die Schwingung wird direkt aus der vervollständigten Gelenksequenz ( $P^{3D}_{com}$ ) berechnet, während die Drehung aus den fusionierten Merkmalen regressiert wird.
- Diese Komponenten werden kombiniert, um die initiale Pose ( $\theta_{init}$ ) in eine endgültig verfeinerte Pose ( $\theta_{refined}$ ) zu verfeinern, die dann an einen vortrainierten SMPL-Regressor zur Generierung des finalen Meshes übergeben wird.

3. Hauptbeiträge

Explizite Bewegungs-Deverdeckung: MoPO führt erstmals eine auf Bewegungsergänzung basierende Deverdeckung für HMR ein. Es vervollständigt verdeckte Gelenke explizit aus vergangenen Sequenzen und liefert einen verdeckungsfreien Bewegungsprior, der zuverlässiger ist als implizite Prioritäten aus allgemeinen Diffusionsmodellen.
Bewegungsbewusste Fusion und Verfeinerung: Das Rahmenwerk integriert vervollständigte Posen mit Bildmerkmalen via Cross-Attention und verfeinert SMPL-Parameter unter Verwendung einer Schwingung-Drehung-Zerlegungsstrategie. Dies nutzt Bewegungsprioritäten effektiv, um die Mehrdeutigkeit der Regression von Rotationen unter Verdeckung zu überwinden.
State-of-the-Art-Leistung: Die Methode erzielt überlegene Ergebnisse sowohl bei verdeckungsspezifischen als auch bei Standard-Benchmarks und reduziert die Fehlermetriken (MPJPE und MPVPE) im Vergleich zu bestehenden SOTA-Methoden signifikant.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MoPO auf mehreren Benchmarks, einschließlich 3DPW-OC, 3DPW-PC, 3DOH, 3DPW-Crowd, CMU-Panoptic und dem Standard-3DPW.

Verdeckungs-spezifische Benchmarks:
- Auf 3DPW-OC (Objekt-Person-Verdeckung) reduzierte MoPO den MPJPE um 8,5 % (von 70,9 mm auf 64,9 mm) und den MPVPE um 12,0 % (von 88,0 mm auf 77,4 mm) im Vergleich zum vorherigen SOTA (DPMesh).
- Auf 3DPW-PC (Person-Person-Verdeckung) erreichte MoPO 76,0 mm MPJPE und übertraf damit vorherige Methoden.
- Auf CMU-Panoptic (Mehrpersonenszenen) zeigte MoPO überlegene Robustheit und erzielte eine durchschnittliche Verbesserung von 2,0 mm gegenüber DPMesh.
Standard-Benchmarks:
- Auf dem Standard-3DPW-Datensatz erreichte MoPO 60,6 mm MPJPE, 37,1 mm PA-MPJPE und 71,2 mm MPVPE. Dies stellt eine 10,2 %ige Reduktion des MPJPE im Vergleich zu MEGA (67,5 mm) dar und zeigt, dass der Bewegungsprior auch in weniger verdeckten Szenarien Vorteile bringt.
Effizienz: MoPO verwendet deutlich weniger Parameter (85,0 M) und FLOPs (1,48 G) im Vergleich zu DPMesh (2607,4 M Parameter, 168,51 G FLOPs), das auf einem schweren vortrainierten Diffusionsmodell basiert.
Qualitative Analyse: Visualisierungen bestätigen, dass MoPO unter starker Verdeckung genauere und zeitlich konsistentere Meshes erzeugt, mit einem signifikant niedrigeren Beschleunigungsfehler (was weniger Bewegungs-Jitter anzeigt) im Vergleich zu Wettbewerbern.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MoPO die grundlegende schlechtgestellte Natur verdeckter HMR adressiert, indem sie die Abhängigkeit von unzureichenden räumlichen Bildmerkmalen hin zu zuverlässigen Bewegungsprioritäten verschiebt, die aus zeitlichen Sequenzen abgeleitet werden.

Robustheit: Durch die explizite Vervollständigung verdeckter Gelenke mildert die Methode die „unnatürlichen Posen" und den „schweren Bewegungs-Jitter", die bestehende videobasierte HMR-Methoden plagen.
Generalisierung: Die Methode zeigt starke Generalisierung auf „in-the-wild"-Internetvideos und diverse reale Szenarien, was darauf hindeutet, dass der explizite Bewegungsprior eine stabilere Grundlage für HMR ist als implizite Szenenprioritäten.
Effizienz: Das leichtgewichtige Design (MLP-Mixer-basierter Vorhersager) bietet eine rechnerisch effiziente Alternative zu diffusionsbasierten Ansätzen bei gleichzeitig höherer Genauigkeit.

Die Autoren schließen, dass die Nutzung menschlicher Bewegungsprioritäten eine kritische Richtung für zukünftige Forschung in der Wiederherstellung verdeckter menschlicher Meshes darstellt und eine zuverlässigere Lösung für komplexe, reale Szenarien bietet.