Building a cross-platform WebXR heritage application from a drone survey using a language model

Preservar el pasado siempre ha sido una carrera contra el tiempo y la decadencia. Durante siglos, historiadores y arquitectos han dependido de dibujos, fotografías y registros escritos para capturar cómo se veían los edificios antes de que se desmoronaran o cambiaran. Hoy en día, la tecnología ha añadido una nueva y poderosa herramienta a este esfuerzo: el escaneo de alta resolución. Al tomar miles de fotografías superpuestas desde drones o láseres desde el suelo, los expertos pueden ahora construir modelos tridimensionales increíblemente detallados de sitios antiguos. Estos gemelos digitales son lo suficientemente precisos como para mostrar la textura de una pared de ladrillo de barro o la curva de un arco de piedra. Sin embargo, sigue existiendo una brecha significativa entre la creación de estos modelos estáticos y su transformación en experiencias vivas e interactivas que el público pueda explorar. Tradicionalmente, cerrar esa brecha requería un equipo de ingenieros de software para escribir código complejo, un conjunto de habilidades que la mayoría de las organizaciones de patrimonio no poseen. Esto deja a muchos de los sitios capturados sentados como archivos de datos, invisibles para las personas a las que debían proteger.

Un nuevo enfoque sugiere que la barrera de entrada podría ser más baja de lo que se pensaba anteriormente. En lugar de escribir código línea por línea, un especialista ahora puede describir lo que quiere que haga una aplicación en lenguaje sencillo, pidiendo a una inteligencia artificial que construya el software por él. Este método, a menudo llamado "vibe coding", desplaza el enfoque de la sintaxis técnica hacia el resultado deseado. La pregunta es si una persona sin formación en programación puede utilizar esta herramienta para crear una aplicación fiable y multiplataforma para un sitio de patrimonio del mundo real, y qué sucede cuando el software se prueba en dispositivos reales.

En un estudio reciente, los investigadores documentaron cómo un especialista en patrimonio sin experiencia en programación de juegos creó una aplicación totalmente interactiva para el pueblo patrimonial de Sadous, en Arabia Saudita. El pueblo, situado a unos 70 kilómetros al noroeste de Riad, es un asentamiento amurallado construido con ladrillos de barro secados al sol, un estilo tradicional conocido como arquitectura Najdi. El sitio existe en dos estados: una sección occidental donde los techos y las paredes han sido restaurados, y una sección oriental de ruinas sin techo. El investigador comenzó volando un dron sobre el pueblo, capturando 10.213 imágenes para crear un mapa 3D preciso del área. Este modelo digital cubría 0,160 kilómetros cuadrados con un nivel de detalle donde cada píxel representaba menos de un centímetro en el terreno.

Con el modelo 3D listo, el investigador recurrió a un modelo de lenguaje, un tipo de inteligencia artificial capaz de generar código informático. El investigador no escribió ni una sola línea de código. En su lugar, actuó como un director, describiendo el comportamiento deseado de la aplicación en lenguaje natural. Le dijo a la IA lo que el usuario debía ver, cómo debía moverse por el pueblo y qué interacciones debían ocurrir. Por ejemplo, el investigador describió una mecánica de juego donde un jugador escanea un edificio en ruinas para activar una reconstrucción holográfica, mostrando el edificio tal como era cuando fue restaurado. Esta elección de diseño no fue solo un truco visual; permitió a los jugadores alternar entre el estado de ruina actual y el estado restaurado hipotético, haciendo visible la diferencia entre el hecho y la interpretación. La IA generó toda la aplicación, incluyendo la lógica para mover personajes, la física para subir escaleras y el diálogo para una ceremonia de café tradicional, todo basado en estas instrucciones habladas.

El resultado final fue un único archivo, de aproximadamente 34 megabytes, que podía ejecutarse en una computadora de escritorio, un teléfono Android, un iPhone y un visor de realidad virtual sin necesidad de instalación o configuración de servidor. La aplicación guiaba a los jugadores a través de una serie de tareas: llegar a la puerta del pueblo, caminar por los tejados, documentar estructuras y participar en un ritual cultural que involucraba el tostado y el servicio de café. La secuencia del café fue particularmente notable porque requería que el jugador siguiera reglas sociales específicas, como servir con la mano derecha y llenar la taza solo hasta un cuarto, enseñando la costumbre a través de la acción en lugar del texto.

Sin embargo, el proceso no estuvo exento de desafíos significativos. Aunque la IA podía generar el código, no siempre podía predecir cómo se comportaría ese código en diferentes dispositivos físicos. Los investigadores registraron 27 problemas distintos que aparecieron durante las fases de desarrollo y pruebas. Diez de estos problemas solo se hicieron visibles cuando la aplicación se ejecutó en un dispositivo físico, como un teléfono móvil o un visor de realidad virtual, y no pudieron ser detectados por el entorno informático donde la IA estaba trabajando. Por ejemplo, en un visor de realidad virtual, la aplicación a veces fallaba al responder a los controles debido a que la IA había asumido que el dispositivo funcionaba como un navegador web estándar. Del mismo modo, otros cinco errores fueron puramente culturales; la IA había programado comportamientos que no coincidían con las tradiciones reales de la región, como formas incorrectas de servir el café o movimientos de personajes inapropiados. Estos errores culturales solo fueron detectados cuando un experto humano con profundo conocimiento del patrimonio local revisó la aplicación.

El estudio destaca una distinción crucial entre la creación de software y su verificación. La IA escribió el código con éxito, pero no pudo probar plenamente su propio trabajo. Las pruebas automatizadas que la IA escribió pasaron todas las comprobaciones, pero la aplicación seguía conteniendo errores que rompían la experiencia en dispositivos específicos. Esto sugiere que, si bien la inteligencia artificial puede encargarse del trabajo pesado de escribir código, la responsabilidad de la validación permanece firmemente en manos del humano. Un especialista en patrimonio debe seguir poseyendo la habilidad de observar la aplicación de cerca, ejecutarla en cada tipo de dispositivo para el que está destinada y juzgar si los detalles culturales e históricos son precisos.

Los investigadores descubrieron que este nuevo método de desarrollo es posible, pero cambia la naturaleza del trabajo en lugar de eliminar la necesidad de experiencia. El especialista no necesitó aprender a programar, pero sí tuvo que convertirse en un observador riguroso, capaz de describir exactamente qué salía mal para que la IA pudiera corregirlo. El estudio también planteó preocupaciones sobre la preservación a largo plazo de tales aplicaciones. Debido a que el código fue generado por una IA y no es comprendido por los creadores humanos, las actualizaciones o reparaciones futuras dependerán de tener acceso a un sistema de inteligencia artificial similar. Además, la aplicación hace afirmaciones interpretativas sobre el pasado, como cómo se veía un edificio cuando fue restaurado, y el estudio enfatiza que estas afirmaciones deben distinguirse claramente de la evidencia física para mantener la integridad histórica.

En última instancia, este proyecto demuestra que un profesional del patrimonio puede ahora construir una experiencia sofisticada e interactiva para el público sin un equipo de ingenieros de software. La aplicación se ejecutó con éxito en múltiples plataformas, permitiendo a los usuarios explorar el pueblo de Sadous e interactuar con su historia de una manera nueva. Sin embargo, el camino para lograr este resultado estuvo pavimentado con una cuidadosa supervisión humana. La IA proporcionó las herramientas, pero el humano proporcionó el juicio, el contexto cultural y el ojo crítico necesarios para asegurar que el producto final fuera tanto funcional como fiel a la historia que representaba. Este enfoque ofrece un camino prometedor para preservar y compartir el patrimonio, siempre que el papel humano pase de escribir código a probar y validar rigurosamente las historias que el software cuenta.