Revisiting an Old Perspective Projection for Monocular 3D Morphable Models Regression

Die Autoren stellen ein neues Kameramodell für die Regression monokularer 3D-Morphable-Modelle vor, das durch die Einführung eines Schrumpfungsparameters eine stabile Pseudo-Perspektive ermöglicht und somit die bisherige Beschränkung auf orthografische Projektionen bei Nahaufnahmen, etwa von Head-Mounted-Cameras, überwindet.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würden wir sie über einen Kaffee diskutieren – ohne komplizierte Fachbegriffe, aber mit ein paar guten Bildern.

Das Problem: Der "schwebende Kiefer" und die "kleine Nase"

Stell dir vor, du machst ein Selfie mit deinem Handy. Wenn du das Handy ganz nah an dein Gesicht hältst, passiert etwas Interessantes: Deine Nase sieht riesig aus, und dein Kopf wirkt etwas breiter oder verzerrt. Das nennt man Perspektivverzerrung.

Jetzt stell dir vor, ein Computerprogramm versucht, ein 3D-Modell deines Gesichts aus diesem Foto zu bauen. Die meisten dieser Programme nutzen bisher eine sehr einfache Art zu "sehen", die man orthografische Projektion nennt.

• Die Analogie: Stell dir vor, du schaust durch ein Fernrohr, das alles flach macht. Egal, ob ein Objekt nah oder fern ist, es sieht immer gleich groß aus. Es ist, als würdest du dein Gesicht gegen eine flache Wand drücken.
• Das Ergebnis: Das Programm denkt: "Oh, die Nase ist im Bild klein, also muss sie im 3D-Modell auch klein sein." Aber das ist falsch! Bei einem Selfie ist die Nase eigentlich groß, nur weil sie nah dran ist. Das Programm baut dir also ein Gesicht mit einer winzigen Nase und einem Kiefer, der seltsam in die Luft schwebt, weil es die Verzerrung nicht versteht.

Die Lösung: Ein neuer "Zoom-Knopf"

Die Autoren (Toby Chong und Ryota Nakajima von TOEI) haben sich gedacht: "Warum machen wir es nicht etwas realistischer, ohne das ganze Programm neu zu erfinden?"

Sie haben eine clevere Lösung gefunden, die sie "Shrinkage-Parameter" (Schrumpf-Parameter) nennen.

• Die Analogie: Stell dir vor, das alte Programm ist wie ein alter Fernseher, der nur Schwarz-Weiß zeigt. Die Autoren haben keinen neuen Fernseher gebaut, sondern einfach einen kleinen Drehregler (den Parameter $\rho$) hinzugefügt.
• Wie es funktioniert:
  • Wenn der Regler auf 0 steht, sieht das Programm alles flach (wie früher).
  • Wenn du den Regler hochdrehst, fängt das Programm an zu verstehen: "Aha, dieser Teil des Gesichts ist näher dran, also muss er größer sein."
  • Es ist, als würdest du dem Computer beibringen, dass eine Nase, die nah an der Kamera ist, wie eine aufgeblähte Blase wirkt, während die Ohren, die weiter weg sind, kleiner wirken.

Warum ist das so genial?

Normalerweise ist es sehr schwer, einem Computer beizubringen, wie weit weg etwas ist und wie stark das Objektiv zoomt. Das ist wie zu versuchen, gleichzeitig die Geschwindigkeit eines Autos und die Entfernung zum Ziel zu erraten, ohne dass man weiß, wie schnell man fährt. Das führt oft zu Chaos.

Die Autoren haben einen Trick angewendet:

1. Sie nutzen die bewährten, stabilen alten Modelle (die flach sehen).
2. Sie fügen nur diesen einen neuen Regler hinzu.
3. Sie trainieren das Modell mit speziellen Kopf-Kameras (Kameras, die direkt auf der Stirn eines Schauspielers sitzen). Diese Kameras machen extrem Nahaufnahmen, wo die Verzerrung am stärksten ist.

Das Ergebnis: Ein besseres 3D-Gesicht

Durch diesen kleinen Drehregler passiert Folgendes:

• Bei Selfies und Nahaufnahmen: Die Nase sieht wieder natürlich groß aus, und der Kiefer sitzt fest im Gesicht, statt zu schweben. Das Gehirn des 3D-Modells "vergrößert" sich nicht mehr unnatürlich (kein "Expanding Brain"-Effekt mehr).
• Bei normalen Fotos: Wenn das Bild nicht so nah ist (wie bei Standard-Fotos aus dem Internet), dreht das Programm den Regler automatisch fast auf Null. Es passiert also nichts Schlechtes; das Modell bleibt stabil.

Zusammenfassung in einem Satz

Die Autoren haben einem alten, bewährten 3D-Gesichts-Scanner einen kleinen "Verzerrungs-Knopf" eingebaut, damit er endlich versteht, warum unsere Nasen auf Selfies riesig aussehen, und so viel realistischere 3D-Modelle für Filme und Animationen baut.

Es ist wie der Unterschied zwischen einem flachen Schattenriss und einem echten, lebendigen Gesicht, das die Tiefe der Welt versteht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Revisiting an Old Perspective: Projection for Monocular 3D Morphable Models Regression" auf Deutsch:

1. Problemstellung

Die Rekonstruktion von 3D-Morphable-Modellen (3DMM) aus monokularen Bildern ist ein zentraler Bestandteil der Content-Erstellung. Aktuelle regressionbasierte Ansätze (z. B. DECA, EMOCA, SMIRK) nutzen typischerweise eine orthogonale Projektion, um die 3D-Modelle auf den 2D-Bildraum abzubilden.

• Herausforderung: Die orthogonale Projektion ignoriert den perspektivischen Verzerrungseffekt (Perspektivische Verkürzung), der insbesondere bei Nahaufnahmen (z. B. von Head-Mounted-Cameras oder Selfies) stark ausgeprägt ist.
• Folgen: Dies führt zu Artefakten in der Rekonstruktion, wie z. B. zu kleinen Nasen (da die Nase dem Kameraobjektiv am nächsten ist und perspektivisch größer erscheinen sollte) und einem „expandierenden Gehirn"-Effekt, bei dem der Kopf an den Rändern unnatürlich nach außen gebogen wirkt.
• Dilemma: Eine direkte Regression der perspektivischen Parameter (Brennweite $f$ und Objektdistanz $z$) ist schwierig, da diese Parameter stark ambig sind (ein kleines Gesicht im Bild kann entweder durch große Distanz oder kleine Brennweite entstehen).

2. Methodik

Die Autoren schlagen ein neues Kameramodell vor, das die orthogonale Projektion um einen lernbaren Parameter erweitert, um perspektivische Effekte zu simulieren, ohne die Stabilität der orthogonalen Projektion zu verlieren.

A. Pseudo-Perspektivisches Kameramodell

Statt die volle perspektivische Projektion zu verwenden, wird eine modifizierte Formel eingeführt, die einen Schrumpfungsparameter ($\rho$) enthält:
$$\begin{pmatrix} u \\ v \end{pmatrix} = \begin{pmatrix} S\frac {v_x}{1+\rho v_z}\\ S\frac {v_y}{1+\rho v_z} \end{pmatrix}$$

• $\rho = 0$: Entspricht der reinen orthogonalen Projektion.
• $\rho > 0$: Führt einen perspektivischen Effekt ein. Der Parameter $\rho$ isoliert den Schrumpfungseffekt und ist äquivalent zu $\rho \approx \frac{S}{f} - \frac{1}{v_z}$.
• Vorteil: Dieser Ansatz erlaubt einen glatten Übergang zwischen orthogonaler und perspektivischer Projektion und kann durch Backpropagation optimiert werden.

B. Fine-Tuning-Strategie

Da viele existierende Modelle bereits mit orthogonaler Projektion vortrainiert sind, entwickeln die Autoren eine Fine-Tuning-Methode, um diese Modelle auf das neue Modell anzupassen:

1. Lernbarer Parameter: Ein einzelner linearer Layer wird dem Encoder hinzugefügt, um $\rho$ aus den Bildmerkmalen zu regressieren.
2. Initialisierung: Der Layer wird mit kleinen Werten initialisiert, um sicherzustellen, dass die Ausgabe zunächst der orthogonalen Projektion entspricht.
3. Priorisierung ($\rho_{prior}$): Um die Ambiguität bei unkalibrierten Daten zu lösen, wird ein priorisierter Wert für $\rho$ eingeführt. Für Head-Mounted-Camera-Daten wird empirisch ein höherer Wert ($\rho_{prior} = 4.0$) gewählt, für Standard-Datasets ($\rho_{prior} = 0.0$).
4. Maskierungstechnik: Um die Mehrdeutigkeit bei Nase und Gesichtskontur zu adressieren, werden während des Trainings spezifische Masken verwendet, die diese Regionen teilweise ausschließen oder gewichten, damit der Renderer nicht durch falsche geometrische Annahmen in die Irre geführt wird.

C. Datensatz (HMC1M)

Die Autoren stellen einen neuen Datensatz namens HMC1M vor, der aus 1 Million Bildern besteht, die mit Head-Mounted-Cameras von ca. 200 Schauspielern aufgenommen wurden (Abstand 15–30 cm). Dieser Datensatz ist entscheidend, da er extreme perspektivische Verzerrungen aufweist, die in öffentlichen Datensätzen wie CelebA oder FFHQ fehlen.

3. Wichtige Beiträge

1. Neues Kameramodell: Eine Erweiterung der orthogonalen Projektion durch den Parameter $\rho$, der perspektivische Verzerrungen effizient erfasst.
2. Kompatibilität: Eine Fine-Tuning-Methode, die es erlaubt, bestehende Modelle (wie SMIRK, DECA, EMOCA), die auf orthogonaler Projektion trainiert wurden, ohne vollständiges Neutraining an perspektivische Szenarien anzupassen.
3. HMC1M-Datensatz: Eine große Sammlung von Nahaufnahmen zur Validierung und zum Training von Modellen für extreme Close-Ups.
4. Lösung von Ambiguitäten: Eine Kombination aus Prior-Werten und Maskierungstechniken, um das Training des Schrumpfungsparameters auf unkalibrierten Daten zu stabilisieren.

4. Ergebnisse

Die Evaluation erfolgte quantitativ und qualitativ auf verschiedenen Datensätzen (HMC1M, MEAD, NoW).

• Quantitative Ergebnisse (Landmarks & 3D-Mesh):

  • Auf dem HMC1M-Datensatz erzielt die Methode die beste Rekonstruktionsqualität für Gesichtspunkte (Landmarks), insbesondere im Kieferbereich, wo orthogonale Modelle versagen.
  • Auf dem NoW-Datensatz (Selfie-Subset) zeigt die Methode signifikant bessere Ergebnisse als das vortrainierte SMIRK-Modell ($smirk_p$), da Selfies starke Perspektivverzerrungen aufweisen.
  • Auf Standard-Datasets (CelebA, FFHQ) bleibt die Leistung stabil, ohne signifikante Verschlechterung, da diese Bilder ohnehin wenig perspektivische Verzerrung aufweisen.

• Qualitative Ergebnisse:

  • Visuelle Vergleich: Die Methode korrigiert die „zu kleine Nase" und den „expandierenden Kopf"-Effekt, die bei orthogonalen Modellen in Nahaufnahmen auftreten.
  • Perzeptionsstudie: In einer Crowd-Sourcing-Studie (Amazon Mechanical Turk) bevorzugten 44,4 % der Teilnehmer die Rekonstruktion der neuen Methode gegenüber dem vortrainierten SMIRK (23,4 %) und dem neu trainierten SMIRK ohne $\rho$-Anpassung (32,1 %).

5. Bedeutung und Fazit

Die Arbeit zeigt, dass die strikte Verwendung orthogonaler Projektion in der 3DMM-Regression für moderne Anwendungen (VR/AR, Head-Mounted-Cameras, Selfies) unzureichend ist.

• Innovation: Statt die komplexe Regression von Brennweite und Distanz zu erzwingen, bietet der Ansatz einen einfachen, aber effektiven „Pseudo-Perspektiv"-Ansatz, der in bestehende Architekturen integrierbar ist.
• Praxisrelevanz: Die Methode ermöglicht hochwertige 3D-Rekonstruktionen aus Nahaufnahmen, was für Anwendungen in der Animation, im Film (TOEI Company) und in der VR-Technologie entscheidend ist.
• Limitierung: Der größte Gewinn wird bei stark verzerrten Nahaufnahmen erzielt; bei weit entfernten „in-the-wild"-Aufnahmen ist der Unterschied geringer, da diese ohnehin näher an der orthogonalen Projektion liegen.

Zusammenfassend stellt das Paper einen wichtigen Schritt dar, um die Lücke zwischen der mathematischen Einfachheit orthogonaler Projektionen und der visuellen Realität perspektivischer Nahaufnahmen zu schließen.