Direct Reward Fine-Tuning on Poses for Single Image to 3D Human in the Wild

Die Arbeit stellt DrPose vor, einen Algorithmus zur direkten Belohnungsbasierten Feinabstimmung von Multi-View-Diffusionsmodellen, der mithilfe des neuen DrPose15K-Datensatzes und einer differenzierbaren PoseScore-Belohnung realistische 3D-Menschenrekonstruktionen aus einzelnen Bildern auch bei dynamischen und herausfordernden Posen ermöglicht, ohne teure 3D-Assets zu benötigen.

Das Wesentliche

🎨 Die Idee: Vom flachen Foto zum lebendigen 3D-Helden

Stell dir vor, du hast ein einziges Foto von einer Person, die einen extremen Akrobatik-Sprung macht oder einen wilden Tanzschritt vollführt. Deine Aufgabe ist es, aus diesem einen flachen Bild eine komplette, dreidimensionale Figur zu erschaffen, die man von allen Seiten betrachten kann.

Das ist für Computer eigentlich gar nicht so einfach. Bisherige Methoden waren wie Schüler, die nur aus dem Lehrbuch gelernt haben. Sie kannten die „normalen" Posen (stehen, laufen, winken) sehr gut. Aber wenn sie vor eine Person gestellt wurden, die einen Handstand macht oder sich in einer unmöglichen Verrenkung befindet, wurden sie unsicher. Die KI fing an zu raten, und das Ergebnis sah oft seltsam aus: Arme, die durch den Körper wuchsen, oder Beine, die sich in der Luft auflösten.

Der Grund dafür? Die KI hatte einfach nicht genug Beispiele für diese wilden, dynamischen Posen gelernt, weil es sehr teuer und schwierig ist, echte Menschen in 3D zu scannen, während sie akrobatische Kunststücke vollführen.

🚀 Die Lösung: DrPose – Der „Belohnungs-Trainer"

Die Forscher von der Seoul National University haben eine clevere Lösung namens DrPose entwickelt. Man kann sich das wie einen persönlichen Trainer für die KI vorstellen.

1. Das Problem mit dem „Raten"

Normalerweise lernt eine KI, indem sie Millionen von Beispielen sieht. Wenn sie einen Fehler macht, wird sie korrigiert. Aber bei 3D-Menschen in wilden Posen gab es zu wenige Beispiele. Die KI „halluzinierte" also oft die falsche Körperhaltung.

2. Der neue Ansatz: Lernen durch Feedback (Reward)

Statt neue 3D-Scans zu machen (was teuer ist), nutzen die Forscher eine andere Strategie: Sie geben der KI ein Feedback-System.

• Der Trainer (PoseScore): Stell dir vor, die KI malt ein Bild von der 3D-Figur. Ein „Trainer" (ein spezielles Programm namens PoseScore) schaut sich das Bild an und vergleicht es mit dem echten Pose-Befehl (dem Skelett der Bewegung).
• Die Belohnung: Wenn die KI die Pose richtig darstellt, gibt es eine hohe Punktzahl (Belohnung). Wenn die Arme falsch drehen, gibt es eine niedrige Punktzahl.
• Das Training: Die KI versucht nun, ihre „Malerei" so anzupassen, dass sie immer mehr Punkte bekommt. Sie lernt also nicht durch bloßes Auswendiglernen, sondern durch Versuch und Irrtum mit direktem Feedback.

3. Die neue Trainingsdatenbank (DrPose15K)

Damit der Trainer überhaupt arbeiten kann, brauchen sie viele Beispiele. Da sie keine echten 3D-Scans von Akrobaten hatten, haben sie einen Trick angewendet:
Sie haben eine riesige Datenbank mit Bewegungsdaten (wie ein Skript für Tänzer) genommen und eine KI genutzt, um daraus einzeln Fotos zu generieren.

• Analogie: Stell dir vor, du hast ein Skript für einen Tanz (die Pose). Anstatt den Tänzer zu filmen, lässt du einen Maler (die KI) basierend auf dem Skript ein Bild davon malen.
• Das Ergebnis ist DrPose15K: Eine Sammlung von 15.000 Beispielen, in denen jede Pose mit einem passenden Bild verknüpft ist. Diese Datenbank ist viel vielfältiger als alles, was es vorher gab.

🛠️ Wie funktioniert das in der Praxis?

Das Verfahren läuft in drei Schritten ab, ähnlich wie beim Bauen eines Hauses:

1. Das Fundament (Die Datenbank): Zuerst wird die KI mit den 15.000 neuen Beispielen trainiert. Sie lernt: „Aha, wenn das Skelett so aussieht, muss das Bild so aussehen."
2. Der Feinschliff (DrPose-Algorithmus): Die KI wird nun speziell darauf trainiert, die „Belohnung" (PoseScore) zu maximieren. Sie wird gezwungen, die Posen genau zu treffen, ohne dabei die Qualität des Bildes zu verschlechtern (dafür gibt es eine spezielle Sicherheitsvorkehrung, die verhindert, dass die KI nur noch „schlechte" Bilder malt, solange sie nur die Punktzahl erhöht).
3. Das Ergebnis: Wenn man nun ein Foto von einer wilden Pose in die KI gibt, erstellt sie nicht nur ein Bild, sondern ein perfekt proportioniertes 3D-Modell, das sich von allen Seiten betrachten lässt – selbst bei schwierigen Posen wie einem Handstand oder einem Sprung.

🌟 Warum ist das wichtig?

Bisher waren 3D-Charaktere in Videospielen oder Filmen oft steif oder sahen bei wilden Bewegungen „kaputt" aus. Mit DrPose können wir jetzt:

• Realistischere Spiele erstellen, in denen Charaktere echte Sportarten oder Kampfszenen ausführen.
• Bessere Avatare für die virtuelle Realität (VR) haben.
• Kostengünstiger arbeiten, da man nicht mehr jeden einzelnen 3D-Scan teuer aufnehmen muss.

Zusammenfassung in einem Satz

Die Forscher haben eine KI so trainiert, dass sie nicht mehr nur „normale" Menschen kennt, sondern durch ein intelligentes Belohnungssystem lernt, wie man auch die wildesten und schwierigsten Posen aus einem einzigen Foto perfekt in 3D nachbaut.

Kurz gesagt: Sie haben der KI beigebracht, nicht nur zu malen, sondern auch zu verstehen, wie sich der menschliche Körper in Bewegung verhält.

Technische Zusammenfassung

1. Problemstellung

Die Rekonstruktion von 3D-Menschen aus einem einzigen Bild (Single-View) hat durch den Einsatz von Multi-View-Diffusionsmodellen erhebliche Fortschritte gemacht. Diese Modelle generieren zunächst mehrere Ansichten aus einem Eingabebild und rekonstruieren daraus die 3D-Geometrie. Ein zentrales Problem bleibt jedoch bestehen: Die rekonstruierten 3D-Menschen weisen oft unnatürliche Posen auf, insbesondere bei dynamischen, akrobatischen oder extremen Bewegungen.

Die Autoren führen dies auf die begrenzte Größe und Vielfalt der verfügbaren Trainingsdatensätze für 3D-Menschen zurück. Diese Datensätze enthalten oft nur statische oder einfache Posen, da die Erfassung diverser Posen mit Multi-View-Setups teuer ist und Datenschutzbedenken die Veröffentlichung erschweren. Herkömmliche Modelle versagen daher bei „Out-of-Distribution"-Posen.

2. Methodik: DrPose

Um dieses Problem zu lösen, schlagen die Autoren DrPose (Direct Reward Fine-Tuning on Poses) vor. Dies ist ein Nachtrainings-Algorithmus (Post-Training), der ein Image-to-Multi-View (I2MV) Diffusionsmodell anpasst, um natürlichere Posen zu generieren, ohne teure 3D-Assets zu benötigen.

Der Ansatz besteht aus drei Hauptkomponenten:

A. Der DrPose15K Datensatz

Da keine ausreichenden 3D-Datensätze mit dynamischen Posen existieren, konstruierten die Autoren einen neuen Datensatz namens DrPose15K:

• Quelle: Sie nutzen den Motion-X-Datensatz (insbesondere die AIST-Teilmenge), der eine breite Abdeckung menschlicher Bewegungsbewegungen bietet.
• Generierung: Aus 1.500 ausgewählten Posen (mittels Farthest-Point-Sampling) und deren zeitlichen Nachbarn werden Sequenzen erstellt.
• Bildsynthese: Ein pose-konditioniertes Video-Generierungsmodell (MIMO) wird verwendet, um aus diesen Posen einzelne 2D-Bilder (Single-View Images) zu generieren.
• Ergebnis: Ein Datensatz mit 15.000 Paaren aus (Pose, Bild), der eine deutlich breitere Verteilung von Posen aufweist als bestehende 3D-Datensätze wie THuman2.1 oder CustomHumans.

B. Der DrPose-Algorithmus (Direct Reward Fine-Tuning)

DrPose fine-tunt das I2MV-Modell direkt auf dem DrPose15K-Datensatz, indem es eine differentiable Reward-Funktion maximiert:

1. PoseScore (Belohnungsfunktion): Um die Konsistenz zwischen dem generierten Multi-View-Latent-Bild ($x_0$) und der Ground-Truth-Pose ($\theta$) zu messen, wird ein Skelett-Prädiktor ($g_{skel}$) verwendet.
   • Das generierte Bild wird durch $g_{skel}$ in ein Skelett-Bild ($\hat{I}_{skel}$) umgewandelt.
   • Die Ground-Truth-Pose wird in ein Skelett-Bild ($I_{skel}$) projiziert.
   • Die Belohnung $r$ ist negativ gewichtet durch den Abstand zwischen diesen beiden Skelett-Bildern: $r(x_0, \theta) = -E(||\hat{I}_{skel} - I_{skel}||)$.
2. Vermeidung von Reward Hacking: Um zu verhindern, dass das Modell die Belohnung maximiert, indem es die Bildqualität verschlechtert (Reward Hacking), wird eine KL-Divergenz-Regularisierung ($L_{KL}$) hinzugefügt. Diese stellt sicher, dass die Vorhersagen des trainierten Modells nicht zu stark von denen des ursprünglichen, vortrainierten Modells abweichen.
3. Optimierungsziel: Das Modell wird trainiert, um $L_{total} = L_{reward} + w_{KL} \cdot L_{KL}$ zu minimieren. Dabei werden nur ausgewählte Denoising-Schritte für das Training genutzt, um die Recheneffizienz zu erhöhen.

C. 3D-Rekonstruktions-Pipeline

Das nachtrainierte I2MV-Modell wird in einer Pipeline eingesetzt, die Multi-View-RGB- und Normalenbilder generiert. Diese werden anschließend durch explizites Carving (basierend auf Li et al., 2024b) in eine 3D-Mesh-Struktur umgewandelt, gefolgt von SMPL-X-Initialisierung und Textur-Fusion.

3. Wichtige Beiträge

1. DrPose-Algorithmus: Ein neuartiges Post-Training-Verfahren, das I2MV-Modelle durch direkte Belohnungsoptimierung (PoseScore) an natürliche und komplexe Posen anpasst.
2. DrPose15K-Datensatz: Ein neuer Datensatz mit 15.000 Pose-Bild-Paaren, der eine signifikant höhere Vielfalt an Posen bietet als bestehende 3D-Datensätze.
3. MixamoRP-Benchmark: Ein neuer Evaluierungs-Benchmark, der speziell für herausfordernde und dynamische Posen entwickelt wurde (basierend auf Mixamo-Animationen und Renderpeople-Modellen), um die Leistung bei extremen Posen zu testen.
4. Verbesserte Ergebnisse: Quantitative und qualitative Nachweise, dass die Methode die Rekonstruktionsqualität über alle Benchmarks hinweg verbessert.

4. Ergebnisse

Die Autoren evaluieren ihre Methode auf drei Benchmarks: THuman2.1-test, CustomHumans-test und dem neuen MixamoRP.

• Quantitative Ergebnisse:
  • Auf MixamoRP (schwierige Posen) zeigt DrPose die größten Verbesserungen. Im Vergleich zum Baseline-Modell (PSHuman) verbessert sich der Chamfer Distance (CD) von 137,28 auf 126,53 und der F-Score von 8,21 auf 8,82.
  • Auch auf den Standard-Benchmarks (THuman2.1, CustomHumans) werden konsistente Verbesserungen bei Geometrie (CD, Normal Consistency, F-Score) und Erscheinung (PSNR, SSIM, LPIPS) erzielt.
• Qualitative Ergebnisse:
  • Visuelle Vergleiche zeigen, dass DrPose in der Lage ist, akrobatische Posen (z. B. Breakdance, Schläger-Schwünge) korrekt wiederzugeben, während Baseline-Modelle oft verzerrte Gliedmaßen oder unnatürliche Haltungen produzieren.
  • Die Methode funktioniert auch gut bei „In-the-Wild"-Bildern aus dem Internet.

5. Bedeutung und Fazit

Die Arbeit adressiert eine kritische Lücke in der 3D-Human-Rekonstruktion: die Unfähigkeit aktueller Modelle, komplexe Posen zu verarbeiten. Durch die Kombination aus einem synthetisch generierten, pose-reichen Datensatz und einem effizienten Direct-Reward-Fine-Tuning-Verfahren gelingt es, die Generalisierungsfähigkeit von Diffusionsmodellen erheblich zu steigern.

Bedeutung:

• Ermöglicht realistischere 3D-Avatare für Anwendungen in Spielen, Filmen und E-Commerce, auch wenn nur ein einzelnes Foto verfügbar ist.
• Bietet einen neuen Weg, um Diffusionsmodelle ohne teure 3D-Scans an spezifische Anforderungen (hier: Posen) anzupassen.
• Stellt mit MixamoRP einen neuen Standard für die Evaluierung von Posen-Genauigkeit bereit.

Einschränkungen:
Der Ansatz erfordert nach wie vor segmentierte Eingabebilder (sonst entstehen Artefakte am Rand) und ist rechenintensiv, da er viel GPU-Speicher für die iterative Denoising-Prozesse und die Berechnung der Belohnung benötigt.