🤖 machine learning

Zero-shot Human Pose Estimation using Diffusion-based Inverse solvers

Dieser Beitrag stellt InPose vor, eine Zero-Shot-Methode zur menschlichen Pose-Schätzung, die die Aufgabe als inverses Problem formuliert, indem sie ein vortrainiertes Diffusionsmodell nutzt, das auf Rotationsmessungen konditioniert und durch einen aus spärlichen Positionsdaten abgeleiteten Likelihood-Term geleitet wird, um eine robuste Generalisierung über Benutzer mit unterschiedlichen Körpergrößen hinweg zu erreichen.

Ursprüngliche Autoren: Sahil Bhandary Karnoor, Romit Roy Choudhury

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sahil Bhandary Karnoor, Romit Roy Choudhury

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu erraten, was eine Person mit ihrem gesamten Körper macht (Tanzen, Laufen, Winken), indem Sie nur drei winzige Sensoren betrachten, die an ihrem Kopf und ihren Handgelenken befestigt sind. Dies ist das Problem der Schätzung menschlicher Posen (Human Pose Estimation).

Die Arbeit stellt eine neue Methode namens InPose vor, die ein großes Ärgernis in diesem Bereich löst: Unterschiede in der Körperform.

Das Problem: Die Falle des „Einheitsgrößen-Keiner"-Ansatzes

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der gelernt hat, Körperbewegungen zu erraten, indem er eine bestimmte Person beobachtet, nennen wir ihn „Groß-Bob". Der Roboter hat gelernt, dass sich Bobs Ellbogen dort befindet, wenn sich sein Handgelenksensor so bewegt.

Nun versuchen Sie, denselben Roboter zu verwenden, um die Bewegungen von „Klein-Sally" zu erraten. Selbst wenn Sally ihr Handgelenk exakt so bewegt wie Bob, befindet sich ihr Ellbogen an einer völlig anderen Stelle, da ihre Arme kürzer sind. Der Roboter, der nur auf Bob trainiert wurde, gerät in Verwirrung und rät falsch. Es ist, als würde man einen für einen Riesen maßgeschneiderten Anzug auf ein Kind anprobieren; die Ärmel sind zu lang und die Hosen zu kurz.

Frühere Methoden versuchten, dies zu beheben, indem sie den Roboter auf viele verschiedene Körperformen trainierten, doch dies machte den Roboter unglaublich komplex und deckte immer noch nicht jede mögliche menschliche Form ab (wie jemanden mit ungewöhnlich langen Beinen oder einem sehr kurzen Rumpf).

Die Lösung: InPose (Der „Skalenunabhängige" Detektiv)

Die Autoren dieser Arbeit, Sahil Bhandary Karnoor und Romit Roy Choudhury, kamen auf einen cleveren Trick. Sie erkannten, dass eine menschliche Pose in zwei Teile zerlegt werden kann:

Die „Skalenunabhängige" Pose: Dies ist die Form der Bewegung (z. B. „Arme sind um 90 Grad gebeugt"). Dies ist dasselbe, egal ob Sie ein Riese oder ein Zwerg sind.
Die „Skalenabhängige" Pose: Dies ist der tatsächliche Ort der Gelenke im Raum, der ausschließlich davon abhängt, wie lang Ihre Knochen sind.

InPose funktioniert wie ein zweistufiger Detektiv:

Schritt 1: Die „Vorstellung" (Der Diffusions-Prior)

Zunächst verwendet das System ein vortrainiertes KI-Modell (ein „Diffusionsmodell"), das die Regeln menschlicher Bewegung gelernt hat. Diese KI ist wie ein Künstler, der weiß, wie Menschen allgemein bewegen. Sie betrachtet die Rotationsdaten der drei Sensoren (wie sich Kopf und Handgelenke drehen) und stellt sich eine „perfekte" Person vor, die diese Bewegung ausführt.

Kritischer Punkt: Da sie nur die Rotation (Winkel) betrachtet, ist es ihr egal, ob die Person groß oder klein ist. Sie sieht nur die „Tanzschritte".

Schritt 2: Der „Realitätscheck" (Der Inverse Löser)

Nun betrachtet das System die Positionsdaten (wo sich die Sensoren tatsächlich im Raum befinden). Es fragt: „Okay, ich habe diese vorgestellte Tanzbewegung. Passt sie zu den tatsächlichen Sensorpositionen für diese spezifische Person?"

Hier liegt die Magie: Anstatt die KI für jede neue Person neu zu trainieren, verwendet InPose Mathematik, um die vorgestellte „perfekte" Tanzbewegung zu strecken oder zu stauchen, damit sie zu den spezifischen Knochenlängen der Person passt. Es behandelt das Problem wie ein Puzzle: „Wenn sich die Sensoren hier befinden und die Knochen diese Länge haben, was muss dann der Rest des Körpers tun?"

Dies wird als Inverses Problem bezeichnet. Anstatt zu fragen: „Wenn ich meinen Arm bewege, wohin geht der Sensor?" (Vorwärts), fragt es: „Der Sensor ist hier, also wo muss mein Arm sein?" (Invers).

Die „Zero-Shot"-Superkraft

Der Begriff „Zero-Shot" im Titel bedeutet, dass das System die Pose einer völlig neuen Person, die es noch nie gesehen hat, erraten kann, ohne neu trainiert oder feinabgestimmt werden zu müssen.

Alter Weg: Trainieren auf Bob, trainieren auf Sally, trainieren auf einen Basketballspieler, trainieren auf eine Turnerin. Wenn eine neue Person mit seltsamen Proportionen hereinkommt, versagt das System.
InPose-Weg: Trainieren auf die Regeln der Bewegung (unter Verwendung der Rotation). Wenn eine neue Person hereinkommt, geben Sie einfach ihre Knochenlängen und Sensordaten ein. Die Mathematik erledigt den Rest. Es ist wie ein universeller Übersetzer, der für jede Sprache funktioniert, ohne dass für jeden spezifischen Dialekt ein Wörterbuch benötigt wird.

Wie es mit Rauschen umgeht

Die Arbeit zeigt auch, dass InPose sehr gut darin ist, „Störungen" oder Fehler in den Sensoren zu ignorieren.

Analogie: Stellen Sie sich vor, Sie versuchen, ein Lied auf einem Radio mit Störgeräuschen zu hören.
- Alte Methoden versuchen, das Signal zu verstärken, aber das Rauschen (Sensorrauschen) lässt die Musik verzerrt klingen.
- InPose hört auf die „Melodie" (die Rotation/den Prior), die klar ist, und verwendet nur die „Texte" (die Positionsdaten), um zu prüfen, ob die Melodie Sinn ergibt. Wenn die Positionsdaten verrauscht sind, hält die Melodie (das Wissen der KI über menschliche Bewegung) die Schätzung genau.

Der Haken (Einschränkungen)

Die Arbeit ist ehrlich darüber, wo InPose Schwierigkeiten hat:

Das „Beine"-Problem: Da sich die Sensoren nur am Kopf und an den Handgelenken befinden, muss das System erraten, was die Beine tun, basierend auf dem Oberkörper. Wenn die Person springt oder der Boden uneben ist, rät das System die Beine manchmal falsch. Es ist, als würde man versuchen, die Fußarbeit einer Person nur durch Beobachtung ihrer Hände zu erraten; man kann den Rhythmus erraten, aber man könnte einen spezifischen Schritt verpassen.
Standardleistung: Wenn Sie InPose an einer Person testen, die genau wie die „durchschnittliche" Person aussieht, auf die die KI trainiert wurde, ist sie tatsächlich etwas schlechter als die alten Methoden. Die alten Methoden sind wie ein Schneider, der Ihre genauen Maße kennt; InPose ist wie ein Meister Schneider, der die Prinzipien des Schneiderns kennt und Ihre Größe perfekt erraten kann, aber ein winziges Detail verpassen könnte, wenn Sie genau durchschnittlich sind.

Zusammenfassung

InPose ist eine neue Art, menschliche Bewegung mit nur drei Sensoren zu verfolgen. Es trennt „wie man sich bewegt" von „wie groß man ist". Indem es eine intelligente KI verwendet, um den Bewegungsstil zu erraten, und einen mathematischen Trick, um die Körpergröße anzupassen, kann es jeden, überall, sofort verfolgen, ohne vorher die spezifische Körperform lernen zu müssen. Es ist eine „Universalpassform"-Lösung für die Bewegungsverfolgung.

Technische Zusammenfassung: Zero-Shot-Schätzung menschlicher Posen mittels diffusionsbasierter inverser Löser

Problemstellung

Die Schätzung menschlicher Posen zielt darauf ab, eine vollständige 3D-Körperhaltung (Kopf, Rumpf, Gliedmaßen) aus spärlichen Sensordaten zu rekonstruieren. Obwohl jüngste Fortschritte mit bedingten Diffusionsmodellen vielversprechend sind, vollständige Körperposen allein aus drei Sensoren (typischerweise Kopf und zwei Handgelenke) vorherzusagen, leiden diese Methoden unter einer kritischen Einschränkung: schlechte Generalisierung über Nutzer mit unterschiedlichen Körperformen hinweg.

Bestehende Ansätze, wie die von Castillo et al. (2023), konditionieren Diffusionsmodelle sowohl auf Gelenkpositionen als auch auf Rotationen. Da Gelenkpositionen jedoch inhärent skalenabhängig sind und sich signifikant je nach Knochenlängen und Körperproportionen eines Nutzers ändern, versagt ein Modell, das auf Daten eines spezifischen Nutzers trainiert wurde, bei der Generalisierung auf Nutzer mit anderen Körperformen ohne umfangreiches Fine-Tuning. Das gemeinsame Training auf mehreren Körperformen (wie von Aliakbarian et al., 2022 versucht) erhöht die Modellkomplexität und bietet keine Garantie dafür, alle möglichen Körpervariationen abzudecken. Es besteht Bedarf an einem Algorithmus, der auf Körperform-Ausreißer generalisieren kann, ohne personalisierte Trainingsdaten zu benötigen.

Methodik: InPose

Die Autoren schlagen InPose vor, eine diffusionsbasierte Methode, die die Posenschätzung als inverses Problem formuliert, um Zero-Shot-Generalisierung zu erreichen. Die zentrale Erkenntnis besteht darin, die menschliche Pose in zwei Komponenten zu zerlegen:

Skalenfreie Pose: Definiert durch Gelenkrotationen (Winkel), die unabhängig von der Körpergröße sind.
Skalenabhängige Komponente: Definiert durch Gelenkpositionen im 3D-Raum, die von Knochenlängen und Körperform abhängen.

1. Formulierung des inversen Problems

Anstatt das Diffusionsmodell sowohl auf Position als auch auf Rotation zu konditionieren (was das Modell an spezifische Körperformen koppelt), konditioniert InPose das generative Prior nur auf Rotationsmessungen.

Prior: Ein Conditional Flow Matching (CFG) Diffusionsmodell wird trainiert, um die Verteilung skalenfreier Posen unter Berücksichtigung verrauschter Rotationsmessungen ( $r_m$ ) der Sensoren vorherzusagen.
Likelihood (Führung): Die gemessenen Gelenkpositionen ( $l_m$ ) werden nicht als Konditionierungseingabe für das Training verwendet, sondern als Likelihood-Term zur Steuerung des Inferenzprozesses. Dieser Term bewertet, wie gut eine generierte Pose die beobachteten Positionen unter Berücksichtigung der spezifischen Knochenlängen des Nutzers erklärt.

2. Mathematischer Rahmen

Das Ziel ist das Sampling aus der Posterior-Verteilung $p(r_M | y_m)$ , wobei $r_M$ die 22 globalen Gelenkrotationen und $y_m$ die Sensormessungen darstellen. Unter Verwendung der Bayes-Regel wird die Score-Funktion zerlegt:
$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$

Der Prior-Term ( $\nabla \log p(r_M^t | r_m)$ ): Wird von einem CFG-basierten Score-Modell gelernt, das ausschließlich auf Rotationen konditioniert ist. Dies liefert eine skalenfreie Verteilung plausibler Posen.
Der Likelihood-Term ( $\nabla \log p(l_m | r_M^t)$ ): Dieser Term wirkt als Führung durch inverse Kinematik. Er erfordert die Abbildung der geschätzten Rotationen auf Positionen mittels eines nichtlinearen Operators $D(\cdot)$ (Umwandlung von 6D-Rotationsvektoren in Matrizen) und eines linearen Operators $A$ (vorwärtsgerichtete Kinematik).

3. Behandlung von Nichtlinearität durch Pseudoinverse-Führung

Eine zentrale Herausforderung besteht darin, dass der Likelihood-Term die Propagierung einer Gauß'schen Zufallsvariable durch die nichtlineare Funktion $D(\cdot)$ beinhaltet. Die Standard-Pseudoinverse-Führung für Diffusionsmodelle (ΠGDM) geht von linearen Operatoren aus.

Satz 1: Die Autoren beweisen, dass, wenn das Score-Modell spezifische Einheitsnorm- und Orthogonalitätsbedingungen für die 6D-Rotationsvektoren sicherstellt, die Verteilung der transformierten Rotationen $D(r_M^0)$ gegeben den verrauschten Input $r_M^t$ als Gauß'sche Verteilung approximiert werden kann.
Diese Approximation ermöglicht es den Autoren, den Likelihood-Score analytisch zu berechnen, wodurch die Verwendung von ΠGDM zur Steuerung des Denoising-Prozesses möglich wird, ohne dass der Operator linear sein muss.

4. Ablauf

Der Inferenzprozess (Algorithmus 1) verfeinert die Pose iterativ:

Generierung einer bedingt denoisierten Schätzung $\hat{r}_M^t$ unter Verwendung des CFG-Priors (konditioniert auf Rotationen).
Berechnung des Likelihood-Scores unter Verwendung des ΠGDM-Rahmens unter Einbeziehung der spezifischen Knochenlängen des Nutzers, um Rotationen auf erwartete Positionen abzubilden.
Kombination der Prior- und Likelihood-Scores unter Verwendung eines modifizierten DDIM-Samplers, um die Pose-Schätzung für den nächsten Zeitschritt zu aktualisieren.

Hauptbeiträge

Zero-Shot-Generalisierung: Durch die Entkopplung des generativen Priors (Rotationen) von den skalenabhängigen Messungen (Positionen) kann InPose Posen für Nutzer mit beliebigen Körperformen schätzen, ohne Nachtraining oder Fine-Tuning.
Formulierung als inverser Löser: Die Arbeit stellt die Posenschätzung als inverses Problem neu dar, bei dem ein vortrainiertes diffusionsbasiertes Prior durch einen Likelihood-Term geleitet wird, der aus spärlichen Positionsdaten abgeleitet ist.
Gauß'sche Approximation für nichtlineare Operatoren: Die Autoren liefern einen theoretischen Beweis (Satz 1), der die Propagierung Gauß'scher Variablen durch die nichtlineare Abbildung von 6D-Rotationen auf Matrizen ermöglicht und ΠGDM auf dieses spezifische inverse Problem anwendbar macht.
Robustheit: Die Methode zeigt inhärente Robustheit gegenüber Rauschen in Positionsdaten, da das generative Prior eine dominante Rolle bei der endgültigen Schätzung spielt, im Gegensatz zu Methoden, die stark von verrauschten Positionseingaben abhängen.

Experimentelle Ergebnisse

Experimente wurden auf dem AMASS-Datensatz mit Protokollen durchgeführt, die dem BoDiffusion-Baseline-Verfahren ähneln.

Skalierung der Körperform: Bei Tests mit Nutzern skalierten Körperformen (z. B. größer oder kleiner) zeigten Baseline-Modelle (AvatarJLM, BoDiffusion) eine signifikante Verschlechterung sowohl beim Positionsfehler (MPJPE) als auch beim Rotationsfehler (MPJRE). Im Gegensatz dazu behielt InPose über alle Skalierungsfaktoren hinweg eine konsistente Leistung bei und demonstrierte so seine Zero-Shot-Fähigkeit.
Variierende relative Körperteile: In Szenarien, in denen bestimmte Körperteile (z. B. Arme vs. Rumpf) unterschiedlich skaliert wurden, übertraf InPose die Baselines in MPJPE und dem Positionsfehler des Oberkörpers (UPE), da die inverse Führung die geänderten Knochenlängen korrekt berücksichtigte.
Rauschrobustheit: Unter zunehmendem Gauß'schem Rauschen in den Positionsdaten blieb InPose stabil, während die Baselines signifikant an Leistung verloren.
Kompromisse:
- InPose schneidet bei der Standard-Körperform (der für das Training verwendeten Form) leicht schlechter ab als die Baselines, wahrscheinlich weil die Baselines eine direkte nichtlineare Abbildung für diese spezifische Form lernen können, während InPose auf eine allgemeine Approximation angewiesen ist.
- Schätzung des Unterkörpers: Ohne Translation des Kopfes als CFG-Eingabe hat InPose Schwierigkeiten mit der Schätzung der Pose des Unterkörpers (hoher LPE), da die Wurzel-Translation nicht direkt beobachtet wird. Das Hinzufügen der Kopfposition als CFG-Eingabe (InPose (Kopf)) verbessert jedoch die Schätzung des Unterkörpers erheblich und übertrifft alle Baselines bei verschiedenen Körperformen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass InPose einen Weg zur Zero-Shot-Posenvorhersage bietet, indem es die Zerlegung der Pose in skalenfreie und skalenabhängige Komponenten nutzt. Die Bedeutung liegt in der Beseitigung der Notwendigkeit personalisierter Datenerfassung und eines Neutrainings für jeden neuen Nutzer, was ein Hauptengpass in praktischen Anwendungen tragbarer Sensoren darstellt.

Die Autoren erkennen bescheiden Limitationen an:

Die Methode übertrifft die Baselines nicht bei der spezifischen Körperform, die für das Training verwendet wurde.
Die Schätzung des Unterkörpers hängt stark vom Prior oder der Einbeziehung der Kopfposition ab, da die Wurzel-Translation nicht direkt integriert ist.
Der Algorithmus erfordert genaue Kenntnisse der Knochenlängen des Nutzers während der Inferenz; Fehler bei der Schätzung der Knochenlängen können die Leistung beeinträchtigen.

Die Arbeit legt nahe, dass zukünftige Forschung darauf abzielen sollte, die Modellierung des Unterkörpers durch physikalische Einschränkungen zu verbessern und Methoden zu entwickeln, um Knochenlängen blind zu schätzen, ohne explizite Kalibrierung.