Building a cross-platform WebXR heritage application from a drone survey using a language model

Preservare il passato è sempre stata una corsa contro il tempo e il decadimento. Per secoli, storici e architetti si sono affidati a disegni, fotografie e registri scritti per catturare l'aspetto degli edifici prima che si sbriciolassero o cambiassero. Oggi, la tecnologia ha aggiunto un nuovo, potente strumento a questo sforzo: la scansione ad alta risoluzione. Catturando migliaia di fotografie sovrapposte tramite droni o laser dal suolo, gli esperti possono ora costruire modelli tridimensionali incredibilmente dettagliati di siti antichi. Questi gemelli digitali sono abbastanza accurati da mostrare la trama di un muro di mattoni di fango o la curva di un arco di pietra. Tuttavia, rimane un divario significativo tra la creazione di questi modelli statici e la loro trasformazione in esperienze viventi e interattive che il pubblico possa esplorare. Tradizionalmente, colmare questo divario richiedeva un team di ingegneri del software per scrivere codice complesso, un insieme di competenze che la maggior parte delle organizzazioni del patrimonio culturale non possiede. Ciò lascia molti siti catturati sotto forma di semplici file di dati, invisibili alle persone che avrebbero dovuto proteggerli.

Un nuovo approccio suggerisce che la barriera all'ingresso potrebbe essere inferiore a quanto precedentemente ipotizzato. Invece di scrivere codice riga per riga, uno specialista può ora descrivere ciò che desidera che un'applicazione faccia in linguaggio naturale, chiedendo a un'intelligenza artificiale di costruire il software per lui. Questo metodo, spesso chiamato "vibe coding", sposta l'attenzione dalla sintassi tecnica al risultato desiderato. La domanda è se una persona senza alcuna esperienza di programmazione possa utilizzare questo strumento per creare un'applicazione affidabile e multi-piattaforma per un vero sito del patrimonio culturale, e cosa accade quando il software viene testato su dispositivi reali.

In uno studio recente, i ricercatori hanno documentato come uno specialista del patrimonio senza esperienza di programmazione di videogiochi abbia creato un'applicazione completamente interattiva per il villaggio storico di Sadous, in Arabia Saudita. Il villaggio, situato a circa 70 chilometri a nord-ovest di Riyadh, è un insediamento murato costruito con mattoni di fango essiccati al sole, uno stile tradizionale noto come architettura Najdi. Il sito esiste in due stati: una sezione occidentale dove tetti e pareti sono stati restaurati, e una sezione orientale di rovine prive di tetto. Il ricercatore ha iniziato facendo volare un drone sopra il villaggio, catturando 10.213 immagini per creare una mappa 3D precisa dell'area. Questo modello digitale copriva 0,160 chilometri quadrati con un livello di dettaglio in cui ogni pixel rappresentava meno di un centimetro sul terreno.

Con il modello 3D pronto, il ricercatore si è rivolto a un modello linguistico, un tipo di intelligenza artificiale capace di generare codice informatico. Il ricercatore non ha scritto una singola riga di codice. Al contrario, ha agito come un regista, descrivendo il comportamento desiderato dell'applicazione in linguaggio naturale. Ha spiegato all'IA ciò che l'utente doveva vedere, come doveva muoversi attraverso il villaggio e quali interazioni dovevano avvenire. Ad esempio, il ricercatore ha descritto una meccanica di gioco in cui un giocatore scansiona un edificio in rovina per attivare una ricostruzione olografica, mostrando l'edificio come appariva quando era restaurato. Questa scelta di design non era solo un trucco visivo; permetteva ai giocatori di passare dalla condizione attuale di rovina allo stato ipotizzato di restauro, rendendo visibile la differenza tra fatto e interpretazione. L'IA ha generato l'intera applicazione, compresa la logica per il movimento dei personaggi, la fisica per salire le scale e il dialogo per una cerimonia del caffè tradizionale, tutto basandosi su queste istruzioni verbali.

Il risultato finale è stato un singolo file, di circa 34 megabyte, in grado di girare su un computer desktop, un telefono Android, un iPhone e un visore di realtà virtuale senza necessità di installazione o configurazione del server. L'applicazione guidava i giocatori attraverso una serie di compiti: arrivare alla porta del villaggio, camminare sui tetti, documentare le strutture e partecipare a un rituale culturale che coinvolgeva la tostatura e il servizio del caffè. La sequenza del caffè è stata particolarmente degna di nota perché richiedeva al giocatore di seguire specifiche regole sociali, come versare con la mano destra e riempire la tazza solo per un quarto, insegnando la consuetudine attraverso l'azione piuttosto che attraverso il testo.

Tuttavia, il processo non è stato privo di sfide significative. Sebbene l'IA potesse generare il codice, non era sempre in grado di prevedere come quel codice si sarebbe comportato su diversi dispositivi fisici. I ricercatori hanno registrato 2 7 distinti problemi emersi durante le fasi di sviluppo e test. Dieci di questi problemi sono diventati visibili solo quando l'applicazione veniva eseguita su un dispositivo fisico, come un telefono cellulare o un visore di realtà virtuale, e non potevano essere rilevati dall'ambiente informatico in cui lavorava l'IA. Ad esempio, su un visore di realtà virtuale, l'applicazione a volte non rispondeva agli input del controller perché l'IA aveva assunto che il dispositivo funzionasse come un normale browser web. Allo stesso modo, altri cinque errori erano puramente culturali; l'IA aveva programmato comportamenti che non corrispondevano alle reali tradizioni della regione, come modi errati di servire il caffè o movimenti inappropriati dei personaggi. Questi errori culturali sono stati intercettati solo grazie all'intervento di un esperto umano con una profonda conoscenza del patrimonio locale che ha revisionato l'applicazione.

Lo studio evidenzia una distinzione cruciale tra la creazione di software e la sua verifica. L'IA ha scritto il codice con successo, ma non è stata in grado di testare pienamente il proprio lavoro. I test automatizzati scritti dall'IA avevano superato tutti i controlli, eppure l'applicazione conteneva ancora bug che interrompevano l'esperienza su dispositivi specifici. Ciò suggerisce che, sebbene l'intelligenza artificiale possa gestire il lavoro pesante della scrittura del codice, la responsabilità della validazione rimane fermamente in capo all'essere umano. Uno specialista del patrimonio deve comunque possedere la capacità di osservare attentamente l'applicazione, eseguirla su ogni tipo di dispositivo per cui è destinata e giudicare se i dettagli culturali e storici siano accurati.

I ricercatori hanno scoperto che questo nuovo metodo di sviluppo è possibile, ma cambia la natura del lavoro piuttosto che eliminare la necessità di competenza. Lo specialista non ha dovuto imparare a programmare, ma ha dovuto diventare un osservatore rigoroso, capace di descrivere esattamente cosa non funzionava affinché l'IA potesse correggere l'errore. Lo studio ha anche sollevato preoccupazioni sulla conservazione a lungo termine di tali applicazioni. Poiché il codice è generato da un'IA e non è compreso dai creati umani, gli aggiornamenti o le riparazioni future dipenderanno dall'accesso a un sistema di intelligenza artificiale simile. Inoltre, l'applicazione esprime affermazioni interpretative sul passato, come l'aspetto di un edificio una volta restaurato, e lo studio sottolinea che tali affermazioni devono essere chiaramente distinte dalle prove fisiche per mantenere l'integrità storica.

In definitiva, questo progetto dimostra che un professionista del patrimonio può ora costruire un'esperienza interattiva sofisticata per il pubblico senza un team di ingegneri del software. L'applicazione è riuscita a girare su più piattaforme, permettendo agli utenti di esplorare il villaggio di Sadous e di interagire con la sua storia in un modo nuovo. Eppure, il percorso verso questo risultato è stato pavimentato da una attenta supervisione umana. L'IA ha fornito gli strumenti, ma l'essere umano ha fornito il giudizio, il contesto culturale e l'occhio critico necessari per garantire che il prodotto finale fosse sia funzionale che fedele alla storia che rappresentava. Questo approccio offre una strada promettente per la preservazione e la condivisione del patrimonio, a patto che il ruolo umano si sposti dalla scrittura del codice alla verifica rigorosa e alla validazione delle storie che il software racconta.