Stellen Sie sich vor, Sie versuchen, eine dreidimensionale Statue aus einer einzigen Fotografie wieder aufzubauen. Sie können die Vorderseite klar sehen, aber die Seiten und die Rückseite sind verborgen. Jahrhundertelang erforderte die Erstellung eines digitalen 3D-Modells eines solchen Objekts stundenlanges manuelles Modellieren durch einen Künstler oder teure Laserscanner, für die man einmal um das Objekt herumgehen musste. Heute können Computer versuchen, diese Aufgabe automatisch zu bewältigen, doch sie stehen vor einem grundlegenden Problem: Sie können nicht sehen, was verborgen ist. Wenn ein Computer versucht, die Rückseite eines Objekts basierend auf einem einzigen frontalen Foto zu erraten, gerät er oft in Verwirrung. Er könnte versehentlich das Vorderseitenmuster auf die Rückseite übertragen, was ein zweigesichtiges Monster mit identischen Merkmalen auf beiden Seiten erschafft, oder er könnte die Details so stark verwischen, dass das Objekt wie ein glatter, merkmalloser Klumpen aussieht. Dies ist eine bedeutende Hürde für Museen und Historiker, die fragile Artefakte wie antikes Porzellan oder Jade digitalisieren wollen, bei denen nur alte Katalogfotos existieren, aus denen keine anderen Winkel ersichtlich sind.

Forscher der North University of China haben ein neues System namens TriMagic entwickelt, um genau dieses Problem der Rekonstruktion der unsichtbaren Teile eines Objekts ohne Verlust der einzigartigen Details des Originals zu lösen. Ihr Ansatz behandelt den Ratesprozess des Computers eher wie ein strukturiertes Gespräch als wie eine bloße Vermutung. Anstatt den Computer zu bitten, das Objekt mit einem einzigen allgemeinen Wort zu beschreiben, lehren sie ihn, über die Form, die Farbe und die Textur des Objekts als drei separate, unterschiedliche Ideen nachzudenken. Sie führen zudem eine clevere Methode ein, um „Fake“-Fotos zu verwenden, die der Computer selbst generiert hat, um den Prozess zu leiten, während sie gleichzeitig sorgfältig sicherstellen, dass diese Fake-Fotos die realen Informationen, die das System bereits besitzt, nicht überlagern. Durch die Balance dieser verschiedenen Arten von Informationen schuf das Team eine Methode, die 3D-Modelle hervorbringt, die den Originalobjekten viel ähnlicher sehen und deren spezifische Muster und Farben selbst auf den Seiten bewahren, die die Kamera nie gesehen hat.

Der Kern dieser neuen Methode liegt darin, wie der Computer das Objekt versteht, das er zu rekonstruieren versucht. Bei früheren Versuchen wurde dem Computer ein einzelnes Label oder Token gegeben, um das gesamte Objekt zu repräsentieren. Dies war so, als würde man einen Maler bitten, eine komplexe Vase nur mit dem Wort „Vase“ zu beschreiben; das Ergebnis ließ oft spezifische Details vermissen oder vermischte die Form der Vase mit ihrer Farbe. Das TriMagic-Team änderte dies, indem es dem Computer drei spezialisierte Tokens oder mentale Platzhalter gab, von denen jeder eine spezifische Aufgabe hat. Ein Token konzentriert sich ausschließlich auf die Form und Struktur, ein weiteres auf die Farben und deren Verteilung, und das dritte auf die Oberflächentextur und feine Muster. Um sicherzustellen, dass diese Tokens in ihrem jeweiligen Bereich bleiben, nutzten die Forscher eine Technik, die sie dazu zwingt, aus verschiedenen Aspekten des Bildes zu lernen. Sie fügten zudem eine Regel hinzu, die verhindert, dass die Tokens die Arbeit der jeweils anderen kopieren, wodurch sichergestellt wird, dass das Form-Token nicht versehentlich versucht, die Farbe zu beschreiben, und umgekehrt. Diese Trennung ermöglicht es dem System, ein viel reicheres und genaueres mentales Modell des Objekts aufzubauen, noch bevor es überhaupt mit dem Bau der 3D-Form beginnt.

Sob wenn der Computer ein klares Verständnis der spezifischen Attribute des Objekts gewonnen hat, muss er herausfinden, wie die verborgenen Seiten aussehen. Da das System nur ein echtes Foto besitzt, kann es sich für die Rück- oder Seitenansichten nicht auf reale Daten verlassen. Um diese Lücke zu füllen, nutzten die Forscher einen leistungsstarken Bildgenerator, um sechs zusätzliche „Pseudo-Ansichten“ zu erstellen – computergenerierte Bilder dessen, wie das Objekt aus verschiedenen Blickwinkeln aussehen könnte. Diese generierten Bilder sind jedoch nicht perfekt; sie können Fehler oder Halluzinationen enthalten. Wenn der Computer diese Fake-Bilder so behandelt, als wären es echte Fotos, könnte er falsche Details erlernen. Um dies zu verhindern, entwickelte das Team eine dynamische Überwachungsstrategie. Sie wiesen den generierten Bildern ein sehr niedriges Vertrauensniveau zu und behandelten sie als schwache Hinweise statt als Fakten. Darüber hinaus erstellten sie einen Zeitplan dafür, wie stark diese Hinweise den Lernprozess des Computers beeinflussen sollten. Zu Beginn des Prozesses ignoriert das System die Fake-Bilder vollständig, um ein solides Fundament basierend auf dem echten Foto zu etablieren. Während sich das Modell verbessert, werden die Fake-Bilder langsam eingeführt, um beim Auffüllen der Lücken zu helfen, und ihr Einfluss wird gegen Ende des Prozesses wieder schrittweise reduziert, um zu verhindern, dass sie das Endergebnis verzerren.

Ein kritischer Teil dieses Prozesses ist die Art und Weise, wie der Computer das echte Foto mit den Fake-Fotos während seiner Lern-Updates kombiniert. In vielen Systemen betrachtet der Computer ein Fake-Bild und ein echtes Bild separat, was zu Verwirrung führen kann. Das TriMagic-Team stellte sicher, dass der Computer jedes Mal, wenn er ein Fake-Bild betrachtet, um die Rückseite des Objekts zu lernen, gleichzeitig das echte Foto der Vorderseite betrachtet. Dieser „verankerte“ Ansatz hält den Computer in der Realität verwurzelt. Er zwingt das System, seine Vermutungen über die verborgenen Teile ständig mit den bekannten Fakten der Vorderseite abzugleichen, wodurch sichergestellt wird, dass die generierte Rückseite des Objekts konsistent mit der Vorderseite bleibt. Dies verhindert den häufigen Fehler, bei dem der Computer ein zweigesichtiges Objekt erstellt, das auf beiden Seiten das gleiche Gesicht trägt – ein Problem, das als Janus-Artefakt bekannt ist.

Die Forscher testeten ihr System an einer Vielzahl von Objekten, darunter synthetische 3D-Modelle, reale Fotografien von Alltagsgegenständen sowie eine Sammlung von 24 Kulturerbe-Objekten aus dem Shanxi Museum, wie etwa Porzellan- und Jade-Artefakte. Sie verglichen ihre Ergebnisse mit mehreren anderen führenden Methoden. Die Ergebnisse zeigten, dass TriMagic Modelle produzierte, die den Originalbildern treuer waren. Auf dem Datensatz realer Objekte verbesserte das System die pixelgenaue Genauigkeit des rekonstruierten Bildes um eine messbare Spanne, und bei der Sammlung des Kulturerbes steigerte es die Genauigkeit sogar noch weiter. Obwohl das System nicht jedes winzige Detail der verborgenen Oberflächen perfekt rekonstruierte, reduzierte es die Unschärfe und die strukturellen Fehler im Vergleich zu anderen Methoden signifikant. Die generierten Modelle bewahrten die korrekte Farbverteilung und das Materialaussehen, was sie für digitale Museumspräsentationen, bei denen die visuelle Plausibilität entscheidend ist, geeignet macht.

Trotz dieser Erfolge weisen die Forscher vorsichtig auf die Grenzen ihrer Arbeit hin. Das System beruht auf der Fähigkeit des Computers, das Verborgene zu erraten, und obwohl die neue Methode diese Vermutungen deutlich verbessert, handelt es sich nach wie vor um Vermutungen. Die generierten Bilder der Rückseite des Objekts sind nicht durch reale Daten verifiziert und können daher nicht für präzise wissenschaftliche Messungen oder Ingenieurszwecke verwendet werden. Das System ist darauf ausgelegt, visuell überzeugende digitale Displays für Bildung und öffentliches Engagement zu schaffen, nicht aber, um den Bedarf an physischem Scannen zu ersetzen, wenn exakte geometrische Daten erforderlich sind. Das Team räumt zudem ein, dass das System immer noch Schwierigkeiten mit sehr komplexen Texturen oder Objekten mit ungewöhnlichen Materialien hat, bei denen der Computer möglicherweise immer noch kleine Fehler in der Ausrichtung der Muster über die verborgenen Flächen hinweg macht.

Die breitere Bedeutung dieser Arbeit liegt darin, dass sie einen praktischen Weg zur Digitalisierung des weltweiten Kulturerbes aufzeigt. Museen beherbergen oft riesige Sammlungen von Artefakten, die in alten Archiven nur von vorne fotografiert wurden. Mit dieser neuen Methode können diese Institutionen ein einzelnes flaches Bild in ein drehbares 3D-Modell verwandeln, das es Besuchern ermöglicht, das Objekt von allen Seiten zu erkunden, selbst wenn die Rückseite nie fotografiert wurde. Das System erfordert keine teure neue Ausrüstung oder stundenlange manuelle Arbeit; es arbeitet mit dem einzelnen Bild, das bereits verfügbar ist. Durch die sorgfältige Steuerung dessen, wie der Computer aus sowohl realen als auch generierten Informationen lernt, haben die Forscher gezeigt, dass es möglich ist, hochwertige 3D-Darstellungen zu erstellen, welche die einzigartige Identität des Originalobjekts respektieren und so die Lücke zwischen einer statischen Fotografie und einem lebendigen, dreidimensionalen digitalen Erlebnis schließen.