Building a cross-platform WebXR heritage application from a drone survey using a language model

Préserver le passé a toujours été une course contre la montre et le déclin. Depuis des siècles, les historiens et les architectes s'appuient sur des dessins, des photographies et des archives écrites pour capturer l'apparence des bâtiments avant qu'ils ne s'effondrent ou ne se transforment. Aujourd'hui, la technologie a ajouté un nouvel outil puissant à cet effort : la numérisation haute résolution. En prenant des milliers de photographies se chevauchant ou en utilisant des lasers depuis le sol, les experts peuvent désormais construire des modèles tridimensionnels incroyablement détaillés de sites anciens. Ces jumeaux numériques sont assez précis pour montrer la texture d'un mur en brique de boue ou la courbe d'une arche de pierre. Cependant, un fossé important subsiste entre la création de ces modèles statiques et leur transformation en expériences vivantes et interactives que le public peut explorer. Traditionnellement, combler ce fossé nécessitait une équipe d'ingénieurs logiciels pour écrire du code complexe, un ensemble de compétences que la plupart des organisations patrimoniales ne possèdent pas. Cela laisse de nombreux sites capturés sous forme de fichiers de données, invisibles pour les personnes qu'ils étaient censés protéger.

Une nouvelle approche suggère que la barrière à l'entrée pourrait être plus basse qu'on ne le pensait auparavant. Au lieu d'écrire du code ligne par ligne, un spécialiste peut désormais décrire ce qu'il veut qu'une application fasse en langage clair, en demandant à une intelligence artificielle de construire le logiciel pour lui. Cette méthode, souvent appelée « vibe coding », déplace l'attention de la syntaxe technique vers le résultat souhaité. La question est de savoir si une personne sans formation en programmation peut utiliser cet outil pour créer une application fiable et multiplateforme pour un site patrimonial réel, et ce qui se passe lorsque le logiciel est testé sur des appareils réels.

Dans une étude récente, des chercheurs ont documenté comment un spécialiste du patrimoine sans expérience en programmation de jeux a créé une application entièrement interactive pour le village patrimonial de Sadous, en Arabie saoudite. Le village, situé à environ 70 kilomètres au nord-ouest de Riyad, est un établissement fortifié construit en briques de boue séchées au soleil, un style traditionnel connu sous le nom d'architecture Najdi. Le site existe sous deux états : une section ouest où les toits et les murs ont été restaurés, et une section est composée de ruines sans toit. Le chercheur a commencé par faire voler un drone au-dessus du village, capturant 10 213 images pour créer une carte 3D précise de la zone. Ce modèle numérique couvrait 0,160 kilomètre carré avec un niveau de détail où chaque pixel représentait moins d'un centimètre au sol.

Une fois le modèle 3D prêt, le cherchenaire s'est tourné vers un modèle de langage, un type d'intelligence artificielle capable de générer du code informatique. Le chercheur n'a pas écrit une seule ligne de code. Au lieu de cela, il a agi comme un directeur, décrivant le comportement souhaité de l'application en langage naturel. Il a dit à l'IA ce que l'utilisateur devait voir, comment il devait se déplacer dans le village et quelles interactions devaient avoir lieu. Par exemple, le chercheur a décrit une mécanique de jeu où un joueur scanne un bâtiment en ruine pour déclencher une reconstruction holographique, montrant le bâtiment tel qu'il était lors de sa restauration. Ce choix de conception n'était pas seulement un truc visuel ; il permettait aux joueurs de basculer entre l'état de ruine actuel et l'état restauré hypothétique, rendant la différence entre le fait et l'interprétation visible. L'IA a généré l'application entière, y compris la logique pour le mouvement des personnages, la physique pour monter les escaliers et le dialogue pour une cérémonie traditionnelle du café, tout cela basé sur ces instructions parlées.

Le résultat final était un fichier unique, d'environ 34 mégaoctets, qui pouvait fonctionner sur un ordinateur de bureau, un téléphone Android, un iPhone et un casque de réalité virtuelle sans nécessiter d'installation ou de configuration de serveur. L'application guidait les joueurs à travers une série de tâches : arriver à la porte du village, marcher sur les toits, documenter les structures et participer à un rituel culturel impliquant la torréfaction et le service du café. La séquence du café était particulièrement notable car elle exigeait que le joueur suive des règles sociales spécifiques, comme verser avec la main droite et remplir la tasse seulement au quart, enseignant la coutume par l'action plutôt que par le texte.

Cependant, le processus n'a pas été exempt de défis importants. Bien que l'IA puisse générer le code, elle ne pouvait pas toujours prédire comment ce code se comporterait sur différents appareils physiques. Les chercheurs ont enregistré 27 problèmes distincts apparus pendant les phases de développement et de test. Dix de ces problèmes n'étaient devenus visibles que lorsqu' l'application était exécutée sur un appareil physique, tel qu'un téléphone mobile ou un casque de réalité virtuelle, et n'avaient pas pu être détectés par l'environnement informatique dans lequel l'IA travaillait. Par exemple, sur un casque de réalité virtuelle, l'application échouait parfois à répondre aux commandes des manettes parce que l'IA avait supposé que l'appareil fonctionnait comme un navigateur web standard. De même, cinq autres erreurs étaient purement culturelles ; l'IA avait programmé des comportements qui ne correspondaient pas aux traditions réelles de la région, comme des façons incorrectes de servir le café ou des mouvements de personnages inappropriés. Ces erreurs culturelles n'ont été détectées que lorsqu'un expert humain possédant une connaissance approfondie du patrimoine local a examiné l'application.

L'étude souligne une distinction cruciale entre la création de logiciels et leur vérification. L'IA a réussi à écrire le code, mais elle ne pouvait pas tester pleinement son propre travail. Les tests automatisés que l'IA a écrits ont réussi tous les contrôles, pourtant l'application contenait encore des bogues qui brisaient l'expérience sur certains appareils. Cela suggère que si l'intelligence artificielle peut gérer la partie lourde de l'écriture du code, la responsabilité de la validation reste fermement entre les mains de l'humain. Un spécialiste du patrimoine doit toujours posséder la compétence d'observer l'application attentivement, de l'exécuter sur chaque type d'appareil auquel elle est destinée, et de juger si les détails culturels et historiques sont exacts.

Les chercheurs ont constaté que cette nouvelle méthode de développement est possible, mais qu'elle change la nature du travail plutôt que de supprimer le besoin d'expertise. Le spécialiste n'avait pas besoin d'apprendre à programmer, mais il devait devenir un observateur rigoureux, capable de décrire précisément ce qui n'allait pas pour que l'IA puisse le corriger. L'étude a également soulevé des inquiétudes concernant la préservation à long terme de telles applications. Parce que le code a été généré par une IA et n'est pas compris par les créateurs humains, les futures mises à jour ou réparations dépendront de l'accès à un système d'intelligence artificielle similaire. De plus, l'application fait des affirmations interprétatives sur le passé, comme l'apparence d'un bâtiment lors de sa restauration, et l'étude souligne que ces affirmations doivent être clairement distinguées des preuves physiques pour maintenir l'intégrité historique.

En fin de compte, ce projet démontre qu'un professionnel du patrimoine peut désormais construire une expérience interactive sophistiquée pour le public sans une équipe d'ingénieurs logiciels. L'application a fonctionné avec succès sur plusieurs plateformes, permettant aux utilisateurs d'explorer le village de Sadous et de s'engager avec son histoire d'une manière nouvelle. Pourtant, le chemin vers ce résultat a été pavé d'une surveillance humaine attentive. L'IA a fourni les outils, mais l'humain a fourni le jugement, le contexte culturel et l'œil critique nécessaires pour garantir que le produit final soit à la fois fonctionnel et fidèle à l'histoire qu'il représentait. Cette approche offre une voie prometteuse pour préserver et partager le patrimoine, à condition que le rôle humain passe de l'écriture du code à la vérification rigoureuse et à la validation des histoires que le logiciel raconte.