Spectrally Enriched 3D Models for Representation and Interpretation of Elemental Data in Augmented Reality

Stellen Sie sich vor, Sie halten ein zerbrechliches, jahrhundertealtes Artefakt in Ihren Händen. Es könnte eine bemalte Keramikscherbe sein, ein zartes Schmuckstück oder ein botanisches Modell aus Papier und Klebstoff. Um zu verstehen, woraus es besteht, verwenden Wissenschaftler oft eine Technik namens Laser-Induced Breakdown Spectroscopy (Laser-induzierte Emissionsspektroskopie). Diese Methode funktioniert, indem sie winzige, hochenergetische Lichtimpulse auf die Oberfläche eines Objekts abfeuert. Jeder Impuls verdampft eine mikroskopisch kleine Menge des Materials und erzeugt einen kurzen Plasmafunken, der die an genau dieser Stelle vorhandenen chemischen Elemente offenbart. Es ist ein leistungsstarkes Werkzeug, um die Geschichte von Materialien zu entschlüsseln, von der Identifizierung antiker Pigmente bis hin zum Nachweis von Spurenmineralien. Es gibt jedoch einen Haken: Der Prozess hinterlässt einen winzigen Krater, an der Stelle, an der der Laser aufgetroffen ist. Wenn ein Wissenschaftler die gesamte Oberfläche eines Objekts kartieren möchte, um zu sehen, wie sich seine Zusammensetzung von einem Bereich zum anderen verändert, muss er tausende dieser Impulse abfeuern. Auf einer flachen, stabilen Oberfläche mag dies akzeptabel sein. Aber auf einem zerbrechlichen, gekrümmten oder dreidimensionalen Objekt kann die kumulative Wirkung von tausenden winzigen Kratern sichtbare Schäden verursachen, die das sehr Objekt verändern, das die Forscher eigentlich untersuchen wollen.

Die Herausforderung besteht also darin, so viel wie möglich über die chemische Beschaffenheit eines Objekts zu erfahren, ohne es zu zerstören. Für flache Objekte haben Forscher einen klugen Umweg entwickelt: Sie machen ein Foto, nutzen einen Computer, um ähnlich aussehende Farben zusammenzufassen, und feuern den Laser dann nur an einigen wenigen repräsentativen Stellen innerhalb jeder Gruppe ab. Dies reduziert die Anzahl der Schüsse erheblich. Aber dieser Ansatz versagt, wenn das Objekt nicht flach ist. Eine Fotografie flacht die Welt ab und verbirgt die Kurven, Beulen und verborgenen Ecken eines realen Objekts. Wenn man versucht, eine gekrümmte Oberfläche mithilfe eines flachen Bildes zu kartieren, besteht die Gefahr, dass man zwei Bereiche zusammen gruppiert, die im Foto zwar ähnlich aussehen, aber auf dem realen Objekt weit voneinander entfernt liegen, oder dass man ein entscheidendes Detail übersieht, das in einem Schatten oder einer konkaven Wölbung verborgen ist. Um dies zu lösen, hat ein Team von Forschern am INESC TEC und der Universität Porto in Portugal einen neuen Weg entwickelt, um diese komplexen Formen zu analysieren. Sie sind über flache Bilder hinausgegangen und haben ein System geschaffen, das die wahre dreidimensionale Form eines Objekts versteht, was es ihnen ermöglicht, die Chemie mit weitaus weniger Laserimpulsen und einem deutlich geringeren Schadensrisiko zu kartieren.

Die Forscher testeten ihre neue Methode an einem spezifischen, empfindlichen Objekt: einem papiermaché-Modell eines Pilzes aus dem neunzehnten Jahrhundert, speziell eines Amanita muscaria, der im Naturhistorischen und Wissenschaftlichen Museum der Universität Porto aufbewahrt wird. Das Modell besteht aus zwei separaten Teilen, einem Stiel und einem Hut, und wurde ursprünglich für Bildungszwecke angefertigt. Da das Material zerbrechlich ist und das Objekt eine komplexe, abgerundete Form hat, war es ein idealer Kandidat für dieses Experiment. Das Team begann damit, ein präzises digitales Abbild des Pilzes zu erstellen. Mit einem 3D-Scanner, der blaues Laserlicht projiziert, erfassten sie die exakte Geometrie und Oberflächentextur des Objekts. Dieser Prozess erzeugte ein detailliertes digitales Modell, das nicht nur die Form, sondern auch die Farbe und feine Oberflächendetails enthielt, gespeichert als hochauflösende Texturkarte, die um die 3D-Form gewickelt war.

Mit dem digitalen Modell in der Hand stand das Team vor der Aufgabe, zu entscheiden, wo der Laser abgefeuert werden sollte. Anstatt ein flaches Foto zu betrachten, blickten sie direkt auf das 3D-Modell. Sie verwendeten einen Computeralgorithmus, um die Oberfläche des Pilzes in tausende winzige, unregelmäßige Patches, sogenannte Superpixel, zu unterteilen. Entscheidend war, dass dieser Algorithmus nicht nur nach der Farbe sah, sondern auch den physischen Ort jedes Patches im dreidimensionalen Raum berücksichtigte. Er stellte sicher, dass ein roter Patch auf dem Hut des Pilzes nicht mit einem roten Patch auf dem Stiel gruppiert wurde, wenn diese in der Realität weit voneinander entfernt waren, selbst wenn sie in einem flachen Bild ähnlich aussah. Dieser Schritt erstellte eine Karte des Objekts, welche die wahre Geometrie respektierte und die Grenzen zwischen den verschiedenen Teilen des Pilzes bewahrte, während die Oberfläche in handhabbare, kohärente Regionen unterteilt wurde.

Nachdem die Oberfläche in diese geometriebewussten Patches unterteilt worden war, vereinfachte das Team die Daten. Sie berechneten die Durchschnittsfarbe für jeden Patch und gruppierten die Patches dann in größere Cluster basierend darauf, wie ähnlich sich ihre Farben waren. Dieser Prozess reduzierte die Komplexität der Piltoberfläche von Millionen einzelner Pixel auf eine viel kleinere Anzahl distinkter Regionen. Das Ergebnis war eine Segmentierung, die die wesentlichen visuellen Bereiche des Objekts identifizierte, wie etwa den roten Hut mit den weißen Punkten und den weißen Stiel, während gleichzeitig die Kurven und Konturen des physischen Modells berücksichtigt wurden. Aus jedem dieser finalen Cluster wählten die Forscher nur einen oder wenige repräsentative Punkte für die Analyse mit dem Laser aus.

Diese Strategie führte zu einer dramatischen Reduktion der benötigten Laser-Schüsse. Anstatt die gesamte Oberfläche mit über 221.000 potenziellen Punkten zu scannen, was das zerbrechliche Papiermaché mit Kratern übersät hätte, wählte das Team nur 40 spezifische Schüsse aus. Diese 40 Schüsse waren ausreichend, um die essenziellen chemischen Informationen für das gesamte Objekt zu erfassen. Durch die Analyse des Lichts, das von diesen wenigen Punkten emittiert wurde, konnten sie die elementare Zusammensetzung der umliegenden Bereiche innerhalb jedes Clusters ableiten. Die Laserpulse wurden auf ein niedriges Energieniveau eingestellt, wodurch Ablationsstellen von nur etwa 300 Mikrometern Durchmesser entstanden, was sicherstellte, dass die Schädigung mikroskopisch klein und lokal begrenzt blieb.

Der letzte Schritt bestand darin, diese Daten auf eine Weise wieder zum Leben zu erwecken, die leicht zu verstehen ist. Das Team übertrug die Ergebnisse ihrer 40 Laserschüsse zurück auf das 3D-digitale Modell. Anschließend nutzten sie Augmented-Reality-Technologie, um die Funde zu visualisieren. Durch das Tragen eines speziellen Headsets konnte ein Benutzer den digitalen Pilz im Raum schweben sehen und die verschiedenen chemischen Cluster direkt auf seiner Oberfläche visualisiert sehen. Die Schnittstelle ermöglichte es ihnen, das Modell zu drehen, heranzuzoomen und spezifische Elemente auszuwählen, um zu sehen, wo sie gefunden wurden. Dies bot eine räumlich kontextualisierte Ansicht, die es Experten und Laien gleichermaßen ermöglichte, genau zu sehen, wie die chemische Zusammensetzung mit der physischen Form und Textur des Artefakts zusammenhängt.

Die Studie zeigt, dass es möglich ist, die Vorteile des intelligenten Samplings von flachen, zweidimensionalen Bildern auf komplexe, dreidimensionale Objekte auszuweiten. Durch die Einbeziehung der tatsächlichen Geometrie eines Objekts in die Analyse können Forscher die Verzerrungen und Fehler vermeiden, die durch das Abflachen einer gekrümmten Oberfläche entstehen. Dieser Ansatz spart nicht nur Zeit; er verändert grundlegend die Beziehung zwischen Analyse und Bewahrung. Er ermöglicht es Wissenschaftlern, reichhaltige, räumlich detaillierte chemische Daten von fragilen historischen Objekten zu sammeln, ohne sie der kumulativen Schädigung eines vollständigen Scans auszusetzen. Die Arbeit weist einen neuen Weg für die Kulturwissenschaften, die den Erhalt des Objekts priorisieren und bei denen die Analysewerkzeuge an die wahre, dreidimensionale Natur der Welt angepasst werden, die wir zu verstehen versuchen.