Multiband 3D Texture-based Change Detection for Monitoring Cultural Heritage
Diese Arbeit präsentiert einen semiautomatisierten, multiband-basierten 3D-photogrammetrischen Workflow, der sichtbare, ultraviolette und nahinfrarote Daten mittels PCA und K-Means-Clustering integriert, um Materialveränderungen auf komplexen Oberflächen des Kulturerbes präzise zu detektieren und zu quantifizieren und somit die Lücke zwischen hochauflösender Dokumentation und langfristiger Konservierungsüberwachung zu schließen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein zeitreisender Detektiv, der das Rätsel um eine langsam zerbröckelnde antike Statue lösen muss. Normalerweise würde man, um zu sehen, was sich verändert hat, heute ein Foto machen, im nächsten Jahr ein weiteres Foto machen und versuchen, sie auf einem Bildschirm perfekt übereinanderzulegen, um die Risse zu entdecken. Aber hier liegt das Problem: Wenn die Statue höckerig und kurvig ist, wie eine echte Skulptur, passen diese flachen Fotos nie ganz zusammen. Es ist, als würde man versuchen, zwei verschiedene Karten eines Berges zu vergleichen, von denen eine von Norden und die andere von Süden gezeichnet wurde; die Gipfel und Täler werden immer an den falschen Stellen liegen, was es schwierig macht zu sagen, ob ein Stein tatsächlich bewegt wurde oder ob man nur die Karte falsch gezeichnet hat.
Dieses Papier stellt einen cleveren neuen Trick vor, um dieses Chaos zu beheben. Anstatt mit flachen Fotos zu kämpfen, bauten die Forscher ein einziges, perfektes digitales 3D-„Skelett“ des Objekts. Denken Sie an dieses Skelett als an eine leere, unsichtbare Schaufensterpuppe. Sie nahmen dann zu zwei verschiedenen Zeiten (nennen wir sie Zeit 1 und Zeit 2) Bilder des Objekts mit vier verschiedenen „Super-Augen“ auf: einem, das normales Licht sieht, einem, das ultraviolettes Licht sieht, einem, das nahes Infrarotlicht sieht, und einem, das das Leuchten (Luminiszenz) sieht, das durch ultraviolettes Licht verursacht wird.
Hier geschieht das Magische: Anstatt die Fotos übereinanderzustapeln, malten sie all diese verschiedenen „Super-Augen“-Bilder auf diese einzelne 3D-Schaufensterpuppe. Da jedes Bild auf dieselbe 3D-Form gemalt wurde, passen sie pixelgenau zusammen, egal wie kurvig das Objekt ist. Es ist, als würde man das Objekt in ein einziges, magisches Stück Geschenkpapier einwickeln, das alle verschiedenen Arten der Sichtweise in sich vereint.
Sobald das Objekt in dieses Multi-Vision-Papier eingewickelt ist, agiert ein Computerprogramm wie ein superorganisierter Bibliothekar. Es betrachtet die „Zeit 1“-Version und die „Zeit 2“-Version nebeneinander. Es verwendet ein mathematisches Werkzeug namens PCA (was so ähnlich ist wie das Sortieren eines unordentlichen Haufens bunter Socken in ordentliche Gruppen) und ein Clustering-Werkzeug namens K-means (was wie das Sortieren dieser Gruppen in verschiedene Behälter funktioniert), um die Stellen zu finden, an denen sich die Farben oder das Leuchten verändert haben.
Der Computer zeichnet dann eine Karte auf das 3D-Modell und färbt die Veränderungen basend darauf ein, welche Art von Licht sie enthüllt hat. Wenn zum Beispiel eine Stelle im nahen Infrarotbereich verändert wurde, wird sie rot eingefärbt; wenn sie im ultravioletten Leuchten verändert wurde, wird sie cyanfarben. Dies ermöglicht es einem menschlichen Experten, auf das 3D-Modell zu schauen und sofort zu erkennen: „Ah, dieser rote Fleck ist ein neuer Riss, und dieser blaue Fleck ist etwas alter Schmutz, der vorher nicht da war.“
Die Forscher testeten dies an zwei Holzblöcken, die sie absichtlich beschädigt hatten, um wie alte Kunstwerke auszusehen. Sie verglichen die Karte des Computers mit dem manuellen Bericht eines menschlichen Experten. Der Computer war unglaublich gut darin, die Veränderungen zu erkennen, und lieferte für einen Block eine Genauigkeit von etwa 92 % und für den anderen 89 %. Er war besonders gut darin, „Richtig-Negative“ zu identifizieren, was bedeutet, dass er selten Fehlalarm bei Teilen des Objekts auslöste, die eigentlich in Ordnung waren (über 95 % Genauigkeit beim Ignorieren der guten Teile).
Das Papier weist jedoch vorsichtig auf einige Grenzen hin. Der Computer ist nicht perfekt darin, winziges, graduelles Verblassen von Farben zu erkennen, da diese Veränderungen so glatt verlaufen, dass sie mit dem Hintergrund verschmelzen. Außerdem kann diese Methode zwar hervorragend Oberflächenveränderungen wie Kratzer oder abblätternde Farbe erkennen, sie kann jedoch nicht messen, ob das Objekt selbst physisch geschrumpft oder deformiert ist; dafür müssen Sie die 3D-Formen direkt miteinander vergleichen, nicht nur die Bilder auf ihnen.
Das Team zeigte auch, dass sie diese Bilder selbst in einem Raum mit normalem Licht aufnehmen können (nicht in einer dunklen Höhle), was eine große Sache ist, da die meisten dieser Spezialkameras normalerweise völlige Dunkelheit benötigen. Sie taten dies, indem sie leistungsstarke Blitze verwendeten und zehn schnelle Bilder hintereinander aufnahmen und diese kombinierten, um das „körnige Rauschen“ zu eliminieren, das normalerweise bei Aufnahmen in der Dunkelheit auftritt.
Kurz gesagt legt dieses Papier nahe, dass wir, indem wir unsere Kulturschätze in einen einzigen, multispektralen 3D-Mantel hüllt, Oberflächenschäden schneller und genauer als je zuvor automatisch erkennen können. Es ersetzt nicht den menschlichen Experten, aber es gibt ihm eine superpowered Brille an die Hand, um die Problemstellen schnell zu finden, was Zeit und Geld spart und gleichzeitig unsere Geschichte bewahrt. Die Autoren merken an, dass die Ergebnisse zwar vielversprechend sind, sie aber planen, dies an noch komplexeren Objekten zu testen, um sicherzustellen, dass der Computer in Zukunft nicht durch die Kanten des 3D-Modells verwirrt wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.