Building a cross-platform WebXR heritage application from a drone survey using a language model

Die Bewahrung der Vergangenheit war schon immer ein Wettlauf gegen die Zeit und den Verfall. Seit Jahrhunderten verlassen sich Historiker und Architekten auf Zeichnungen, Fotografien und schriftliche Aufzeichnungen, um festzuhalten, wie Gebäude aussah, bevor sie zerfielen oder sich veränderten. Heute hat die Technologie dieser Bemühungen ein leistungsstarkes neues Werkzeug hinzugefüt: hochauflösendes Scannen. Indem sie tausende überlappende Fotografien von Drohnen aus oder Laser vom Boden aus verwenden, können Experten nun unglaublich detaillierte dreidimensionale Modelle antiker Stätten erstellen. Diese digitalen Zwillinge sind genau genug, um die Textur einer Lehmziegelwand oder die Krümmung eines Steinbogens zu zeigen. Es besteht jedoch eine erhebliche Lücke zwischen der Erstellung dieser statischen Modelle und der Verwandlung sie in lebendige, interaktive Erlebnisse, die die Öffentlichkeit erkunden kann. Traditionell erforderte das Überbrücken dieser Lücke ein Team von Softwareentwicklern, die komplexen Code schreiben konnten – eine Fähigkeit, die die meisten Kulturerbe-Organisationen nicht besitzen. Dies führt dazu, dass viele erfasste Stätten als Datendateien verbleiben, ungesehen von den Menschen, die sie eigentlich schützen sollten.

Ein neuer Ansatz legt nahe, dass die Eintrittsbarriere niedriger sein könnte als bisher angenommen. Anstatt Code Zeile für Zeile zu schreiben, kann ein Spezialist nun in natürlicher Sprache beschreiben, was eine Anwendung tun soll, und eine künstliche Intelligenz bitten, die Software für ihn zu bauen. Diese Methode, die oft als „Vibe Coding“ bezeichnet wird, verlagert den Fokus von der technischen Syntax auf das gewünschte Ergebnis. Die Frage ist, ob eine Person ohne Programmierhintergrund dieses Werkzeug nutzen kann, um eine zuverlässige, plattformübergreifende Anwendung für eine reale Kulturerbestätte zu erstellen, und was passiert, wenn die Software auf tatsächlichen Geräten getestet wird.

In einer kürzlich durchgeführten Studie dokumentierten Forscher, wie ein Kulturerbe-Spezialist ohne Erfahrung in der Spieleprogrammierung eine vollständig interaktive Anwendung für das Kulturerbedorf Sadous in Saudi-Arabien erstellte. Das Dorf, das sich etwa 70 Kilometer nordwestlich von Riad befindet, ist eine befestigte Siedlung aus sonnengetrockneten Lehmziegeln, ein traditioneller Stil, der als Najdi-Architektur bekannt ist. Die Stätte existiert in zwei Zuständen: ein westlicher Abschnitt, in dem Dächer und Wände restauriert wurden, und ein östlicher Abschnitt aus dachlosen Ruinen. Der Forscher begann damit, mit einer Drohne über das Dorf zu fliegen und dabei 10.213 Bilder aufzunehmen, um eine präzise 3D-Karte des Gebiets zu erstellen. Dieses digitale Modell deckte 0,160 Quadratkilometer mit einem Detailgrad ab, bei dem jeder Pixel weniger als einen Zentimeter am Boden repräsentierte.

Mit dem 3D-Modell bereit, wandte sich der Forscher einem Sprachmodell zu, einer Art von künstlicher Intelligenz, die in der Lage ist, Computercode zu generieren. Der Forscher schrieb keine einzige Zeile Code. Stattdessen agierte er als Regisseur und beschrieb das gewünschte Verhalten der Anwendung in natürlicher Sprache. Er sagte der KI, was der Nutzer sehen sollte, wie er sich durch das Dorf bewegen sollte und welche Interaktionen stattfinden sollten. Beispielsweise beschrieb der Forscher eine Gameplay-Mechanik, bei der ein Spieler ein Ruinengebäude scannt, um eine holografische Rekonstruktion auszulösen, die das Gebäude so zeigt, wie es nach der Restaurierung aussah. Diese Designentscheidung war nicht nur ein visueller Trick; sie ermöglichte es den Spielern, zwischen dem aktuellen Ruinenzustand und dem hypothetisch restaurierten Zustand hin und her zu schalten, wodurch der Unterschied zwischen Fakt und Interpretation sichtbar wurde. Die KI generierte die gesamte Anwendung, einschließlich der Logik für die Bewegung von Charakteren, der Physik für das Steigen von Treppen und des Dialogs für eine traditionelle Kaffeezeremonie, alles basierend auf diesen gesprochenen Anweisungen.

Das Endergebnis war eine einzelne Datei von etwa 34 Megabyte Größe, die auf einem Desktop-Computer, einem Android-Handy, einem iPhone und einem Virtual-Reality-Headset laufen konnte, ohne dass eine Installation oder ein Server-Setup erforderlich war. Die Anwendung führte die Spieler durch eine Reihe von Aufgaben: die Ankunft am Dorfportal, das Gehen über Dächer, das Dokumentieren von Strukturen und die Teilnahme an einem kulturellen Ritual, das das Rösten und Servieren von Kaffee beinhaltete. Die Kaffee-Sequenz war besonders bemerkenswert, da sie erforderte, dass der Spieler spezifischen sozialen Regeln folgte, wie etwa dem Einschenken mit der rechten Hand und dem Füllen der Tasse nur zu einem Viertel, wodurch der Brauch durch Handeln statt durch Text vermittelt wurde.

Der Prozess war jedoch nicht ohne erhebliche Herausforderungen. Während die KI den Code generieren konnte, konnte sie nicht immer vorhersagen, wie sich dieser Code auf verschiedenen physischen Geräten verhalten würde. Die Forscher verzeichneten 27 unterschiedliche Probleme, die während der Entwicklungs- und Testphasen auftraten. Zehn dieser Probleme wurden erst sichtbar, als die Anwendung auf einem physischen Gerät, wie einem Mobiltelefon oder einem Virtual-Reality-Headset, ausgeführt wurde, und konnten in der Computerumgebung, in der die KI arbeitete, nicht erkannt werden. Beispielsweise reagierte die Anwendung auf einem VR-Headset manchmal nicht auf Controller-Eingaben, weil die KI davon ausgegangen war, dass das Gerät wie ein Standard-Webbrowser funktioniert. Ähnlich gab es fünf weitere Fehler, die rein kultureller Natur waren; die KI hatte Verhaltensweisen programmiert, die nicht den tatsächlichen Traditionen der Region entsprachen, wie etwa falsche Arten des Kaffeeservierens oder unangemessene Bewegungen der Charaktere. Diese kulturellen Fehler wurden erst entdeckt, als ein menschlicher Experte mit tiefem Wissen über das lokale Erbe die Anwendung überprüfte.

Die Studie hebt eine entscheidende Unterscheidung zwischen dem Erstellen von Software und der Verifizierung derselben hervor. Die KI konnte den Code erfolgreich schreiben, aber sie konnte ihre eigene Arbeit nicht vollständig testen. Die automatisierten Tests, die die KI selbst schrieb, bestanden alle Prüfungen, dennoch enthielt die Anwendung Fehler, die das Erlebnis auf bestimmten Geräten unterbrachen. Dies deutet darauf hin, dass die künstliche Intelligenz zwar die schwere Arbeit des Codewritingens übernehmen kann, die Verantwortung für die Validierung jedoch fest beim Menschen bleibt. Ein Kulturerbe-Spezialist muss immer noch die Fähigkeit besitzen, die Anwendung genau zu beobachten, sie auf jedem Gerät auszuführen, für das sie bestimmt ist, und zu beurteilen, ob die kulturellen und historischen Details korrekt sind.

Die Forscher fanden heraus, dass diese neue Entwicklungsmethode möglich ist, aber sie verändert die Art der Arbeit eher, als dass sie die Notwendigkeit von Fachwissen beseitigt. Der Spezialist musste nicht lernen zu programmieren, aber er musste ein strenger Beobachter werden, der in der Lage ist, exakt zu beschreiben, was schiefgelaufen ist, damit die KI es beheben kann. Die Studie warf auch Bedenken hinsichtlich der langfristigen Erhaltung solcher Anwendungen auf. Da der Code von einer KI generiert wurde und von den menschlichen Schöpfern nicht verstanden wird, würden zukünftige Aktualisierungen oder Reparaturen den Zugriff auf ein ähnliches System künstlicher Intelligenz erfordern. Darüber hinaus stellt die Anwendung interpretative Behauptungen über die Vergangenheit auf, wie etwa wie ein Gebäude nach der Restaurierung aussah, und die Studie betont, dass diese Behauptungen klar von den physischen Beweisen unterschieden werden müssen, um die historische Integrität zu wahren.

Letztendlich zeigt dieses Projekt, dass ein Kulturerbe-Experte nun in der Lage ist, eine anspruchsvolle, interaktive Erfahrung für die Öffentlichkeit zu erstellen, ohne ein Team von Softwareentwicklern zu benötigen. Die Anwendung lief erfolgreich auf mehreren Plattformen und ermöglichte es den Nutzern, das Dorf Sadous zu erkunden und auf eine neue Weise mit seiner Geschichte in Kontakt zu treten. Dennoch war der Weg zu diesem Ergebnis durch sorgfältige menschliche Aufsicht geebnet. Die KI lieferte die Werkzeuge, aber der Mensch lieferte das Urteilsvermögen, den kulturellen Kontext und den kritischen Blick, der notwendig war, um sicherzustellen, dass das Endprodukt sowohl funktional als auch der Geschichte gegenüber wahrhaftig war. Dieser Ansatz bietet einen vielversprechenden Weg zur Bewahrung und Vermittlung von Kulturerbe, vorausgesetzt, die Rolle des Menschen verschiebt sich vom Schreiben des Codes hin zum rigorosen Testen und Validieren der Geschichten, die die Software erzählt.