Building a cross-platform WebXR heritage application from a drone survey using a language model

Het behouden van het verleden is altijd een race tegen de klok en verval geweest. Eeuwenlang hebben historici en architecten vertrouwd op tekeningen, foto's en schriftelijke verslagen om vast te leggen hoe gebouwen eruitzagen voordat ze instortten of veranderden. Vandaag de dag heeft technologie een krachtig nieuw instrument aan deze inspanning toegevoegd: hoogwaardige scanning. Door duizenden overlappende foto's vanuit drones of lasers vanaf de grond te maken, kunnen experts nu ongelooflijk gedetailleerde driedimensionale modellen van oude locaties bouwen. Deze digitale tweelingen zijn nauwkeurig genoeg om de textuur van een modderstenen muur of de kromming van een stenen boog te tonen. Er blijft echter een aanzienlijke kloof bestaan tussen het creëren van deze statische modellen en het omzetten ervan in levende, interactieve ervaringen die het publiek kan verkennen. Traditioneel vereiste het overbruggen van die kloof een team van software engineers om complexe code te schrijven, een vaardigheid waar de meeste erfgoedorganisaties niet over beschikken. Dit zorgt ervoor dat veel vastgelegde locaties als databestanden achterblijven, onzichtbaar voor de mensen die ze juist hadden moeten beschermen.

Een nieuwe benadering suggere houdt aan dat de drempel voor deelname lager is dan voorheen gedacht. In plaats van regel voor regel code te schrijven, kan een specialist nu in gewone taal beschrijven wat hij wil dat een applicatie doet, door een kunstmatige intelligentie te vragen de software voor hem te bouwen. Deze methode, vaak "vibe coding" genoemd, verschuift de focus van technische syntaxis naar het gewenste resultaat. De vraag is of een persoon zonder programmeerachtergrond dit hulpmiddel kan gebruiken om een betrouwbare, cross-platform applicatie te maken voor een echte erfgoedlocatie, en wat er gebeurt wanneer de software wordt getest op daadwerkelijke apparaten.

In een recente studie documenteerden onderzoekers hoe een erfgoedspecialist zonder ervaring in game-programmeren een volledig interactieve applicatie maakte voor het erfgoeddorp Sadous in Saoedi-Arabië. Het dorp, gelegen ongeveer 70 kilometer ten noordwesten van Riyad, is een ommuurde nederzetting gebouwd van zongedroogde modderstenen, een traditionele stijl die bekend staat als Najdi-architectuur. De site bestaat in twee toestanden: een westelijk deel waar daken en muren zijn gerestaureerd, en een oostelijk deel van dakloze ruïnes. De onderzoeker begon met het vliegen met een drone over het dorp en legde 10.213 afbeeldingen vast om een nauwkeurige 3D-kaart van het gebied te maken. Dit digitale model besloeg 0,160 vierkante kilometer met een detailniveau waarbij elke pixel minder dan één centimeter op de grond vertegenwoordigde.

Met het 3D-model gereed, wendde de onderzoeker zich tot een taalmodel, een type kunstmatige intelligentie dat in staat is om computercode te genereren. De onderzoeker schreef geen enkele regel code. In plaats daarvan trad hij op als een regisseur, die het gewenste gedrag van de applicatie in natuurlijke taal beschreef. Hij vertelde de AI wat de gebruiker moest zien, hoe men zich door het dorp moest bewegen en welke interacties mocht plaatsvinden. Bijvoorbeeld, de onderzoeker beschreef een gameplay-mechanisme waarbij een speler een geruïneerd gebouw scant om een holografische reconstructie te activeren, die laat zien hoe het gebouw eruitzag toen het gerestaureerd was. Deze ontwerpkeuze was niet slechts een visuele truc; het stelde spelers in staat om te schakelen tussen de huidige geruïneerde staat en de hypothetische gerestaureerde staat, waardoor het verschil tussen feit en interpretatie zichtbaar werd. De AI genereerde de volledige applicatie, inclusief de logica voor het bewegen van personages, de fysica voor het beklimmen van trappen en de dialoog voor een traditionele koffieceremonie, alles op basis van deze gesproken instructies.

Het eindresultaat was een enkel bestand van ongeveer 34 megabyte, dat kon draaien op een desktopcomputer, een Android-telefoon, een iPhone en een virtual reality-headset zonder dat er installatie of serveropstelling nodig was. De applicatie leidde spelers door een reeks taken: aankomen bij de dorspoort, over daken lopen, structuren documenteren en deelnemen aan een cultureel ritueel waarbij koffie wordt gebrand en geserveerd. De koffiesequentie was bijzonder opmerkelijk omdat het van de speler vereiste om specifieke sociale regels te volgen, zoals het schenken met de rechterhand en het slechts voor een kwart vullen van de kop, waardoor de gewoonte werd onderwezen door middel van actie in plaats van tekst.

Het proces verliep echter niet zonder aanzienlijke uitdagingen. Hoewel de AI de code kon genereren, kon zij niet altijd voorspellen hoe die code zich zou gedragen op verschillende fysieke apparaten. De onderzoekers legden 27 afzonderlijke problemen vast die optraden tijdens de ontwikkelings- en testfasen. Tien van deze problemen werden pas zichtbaar wanneer de applicatie op een fysiek apparaat werd uitgevoerd, zoals een mobiele telefoon of een virtual reality-headset, en konden niet worden gedetecteerd in de computeromgeving waarin de AI werkte. Zo faalde de applicatie op een virtual reality-headset soms om te reageren op controller-inputs, omdat de AI ervan uitging dat het apparaat werkte als een standaard webbrowser. Evenzo waren vijf andere fouten puur cultureel; de AI had gedragingen geprogrammeerd die niet overeenkwamen met de werkelijke tradities van de regio, zoals onjuiste manieren om koffie te serveren of ongepaste bewegingen van personages. Deze culturele fouten werden pas ontdekt toen een menselijke expert met diepe kennis van het lokale erfgoed de applicatie beoordeelde.

De studie benadrukt een cruciaal onderscheid tussen het creëren van software en het verifiëren ervan. De AI schreef de code succesvol, maar kon haar eigen werk niet volledig testen. De geautomatiseerde tests die de AI schreef, slaagden voor alle controles, toch bevatte de applicatie bugs die de ervaring op specifieke apparaten verstoorden. Dit suggereert dat hoewel kunstmatige intelligentie de zware arbeid van het schrijven van code kan afhandelen, de verantwoordelijkheid voor validatie stevig bij de mens blijft liggen. Een erfgoedspecialist moet nog steeds de vaardigheid bezitten om de applicatie nauwlettend te observeren, deze op elk type apparaat te testen waarvoor deze bedoeld is, en te oordelen of de culturele en historische details accuraat zijn.

De onderzoekers vonden dat deze nieuwe methode van ontwikkeling mogelijk is, maar dat het de aard van het werk verandert in plaats van de behoefte aan expertise weg te nemen. De specialist hoefde niet te leren programmeren, maar moest een rigoureuze waarnemer worden, in staat om precies te beschrijven wat er misging zodat de AI het kon herstellen. De studie riep ook zorgen op over de langetermijnbehoud van dergelijke applicaties. Omdat de code door een AI is gegenereerd en niet begrepen wordt door de menselijke makers, zullen toekomstige updates of reparaties afhankelijk zijn van toegang tot een vergelijkbaar systeem van kunstmatige intelligentie. Bovendien maakt de applicatie interpretatieve claims over het verleden, zoals hoe een gebouw eruitzag toen het gerestaureerd was, en de studie benadrukt dat deze claims duidelijk onderscheiden moeten worden van het fysieke bewijs om de historische integriteit te waarborgen.

Uiteindelijk demonstreert dit project dat een erfgoedprofessional nu een geavanceerde, interactieve ervaring voor het publiek kan bouwen zonder een team van software engineers. De applicatie draaide succesvol op meerdere platforms, waardoor gebruikers het dorp Sadous konden verkennen en op een nieuwe manier met de geschiedenis in interactie konden gaan. Toch was de weg naar dit resultaat geplaveid met zorgvuldig menselijk toezicht. De AI leverde de instrumenten, maar de mens leverde het oordeel, de culturele context en het kritische oog dat nodig was om te garanderen dat het eindproduct zowel functioneel als getrouw aan de geschiedenis was die het vertegenwoordigde. Deze benadering biedt een veelbelovend pad voor het behoud en delen van erfgoed, mits de menselijke rol verschuift van het schrijven van code naar het rigoureus testen en valideren van de verhalen die de software vertelt.