Building a cross-platform WebXR heritage application from a drone survey using a language model

Preservar o passado sempre foi uma corrida contra o tempo e a decadência. Durante séculos, historiadores e arquitetos confiaram em desenhos, fotografias e registros escritos para capturar como os edifícios eram antes de desmoronarem ou mudarem. Hoje, a tecnologia adicionou uma nova e poderosa ferramenta a esse esforço: o escaneamento de alta resolução. Ao tirar milhares de fotografias sobrepostas de drones ou usar lasers do solo, especialistas agora podem construir modelos tridimensionais incrivelmente detalhados de sítios antigos. Esses gêmeos digitais são precisos o suficiente para mostrar a textura de uma parede de tijolos de barro ou a curva de um arco de pedra. No entanto, uma lacuna significativa permanece entre a criação desses modelos estáticos e a transformação deles em experiências vivas e interativas que o público possa explorar. Tradicionalmente, preencher essa lacuna exigia uma equipe de engenheiros de software para escrever códigos complexos, um conjunto de habilidades que a maioria das organizações de patrimônio não possui. Isso deixa muitos sítios capturados sentados como arquivos de dados, invisíveis para as pessoas que eles deveriam proteger.

Uma nova abordagem sugere que a barreira de entrada pode ser menor do que se pensava anteriormente. Em vez de escrever código linha por linha, um especialista pode agora descrever o que deseja que um aplicativo faça em linguagem comum, pedindo a uma inteligência artificial para construir o software para ele. Este método, frequentemente chamado de "vibe coding", desloca o foco da sintaxe técnica para o resultado desejado. A questão é se uma pessoa sem formação em programação pode usar essa ferramenta para criar uma aplicação confiável e multiplataforma para um sítio histórico real, e o que acontece quando o software é testado em dispositivos reais.

Em um estudo recente, pesquisadores documentaram como um especialista em patrimônio, sem experiência em programação de jogos, criou uma aplicação totalmente interativa para a aldeia histórica de Sadous, na Arábia Saudita. A aldeia, localizada a cerca de 70 quilômetros a noroeste de Riade, é um assentamento murado construído com tijolos de barro secos ao sol, um estilo tradicional conhecido como arquitetura Najdi. O sítio existe em dois estados: uma seção ocidental onde telhados e paredes foram restaurados, e uma seção oriental de ruínas sem cobertura. O pesquisador começou voando um drone sobre a aldeia, capturando 10.213 imagens para criar um mapa 3D preciso da área. Este modelo digital cobria 0,160 quilômetros quadrados com um nível de detalhe onde cada pixel representava menos de um centímetro no solo.

Com o modelo 3D pronto, o pesquisador recorreu a um modelo de linguagem, um tipo de inteligência artificial capaz de gerar código de computador. O pesquisador não escreveu uma única linha de código. Em vez disso, atuou como um diretor, descrevendo o comportamento desejado da aplicação em linguagem natural. Ele disse à IA o que o usuário deveria ver, como deveria se mover pela aldeia e quais interações deveriam ocorrer. Por exemplo, o pesquisador descreveu uma mecânica de jogo onde um jogador escaneia um edifício em ruínas para acionar uma reconstrução holográfica, mostrando o edifício como era quando restaurado. Essa escolha de design não foi apenas um truque visual; permitiu que os jogadores alternassem entre o estado atual de ruína e o estado hipotético restaurado, tornando visível a diferença entre fato e interpretação. A IA gerou toda a aplicação, incluindo a lógica para movimentação de personagens, a física para subir escadas e o diálogo para uma cerimônia de café tradicional, tudo baseado nessas instruções faladas.

O resultado final foi um arquivo único, de aproximadamente 34 megabytes, que poderia rodar em um computador desktop, um telefone Android, um iPhone e um headset de realidade virtual sem a necessidade de instalação ou configuração de servidor. A aplicação guiava os jogadores através de uma série de tarefas: chegar ao portão da aldeia, caminhar pelos telhados, documentar estruturas e participar de um ritual cultural envolvendo a torra e o serviço de café. A sequência do café foi particularmente notável porque exigia que o jogador seguisse regras sociais específicas, como servir com a mão direita e encher a xícara apenas um quarto, ensinando o costume através da ação, em vez de texto.

No entanto, o processo não foi isento de desafios significativos. Embora a IA pudesse gerar o código, ela nem sempre conseguia prever como esse código se comportaria em diferentes dispositivos físicos. Os pesquisadores registraram 27 problemas distintos que surgiram durante as fases de desenvolvimento e testes. Dez desses problemas só se tornaram visíveis quando a aplicação foi executada em um dispositivo físico, como um telefone móvel ou um headset de realidade virtual, e não puderam ser detectados pelo ambiente de computador onde a IA estava trabalhando. Por exemplo, em um headset de realidade virtual, a aplicação às vezes falhava em responder aos comandos do controle porque a IA havia assumido que o dispositivo funcionava como um navegador de computador padrão. Da mesma forma, outros cinco erros foram puramente culturais; a IA programou comportamentos que não correspondiam às tradições reais da região, como formas incorretas de servir café ou movimentos inadequados de personagens. Esses erros culturais só foram detectados quando um especialista humano com profundo conhecimento do patrimônio local revisou a aplicação.

O estudo destaca uma distinção crucial entre criar software e verificá-lo. A IA escreveu o código com sucesso, mas não conseguiu testar plenamente o próprio trabalho. Os testes automatizados que a IA escreveu passaram em todas as verificações, mas a aplicação ainda continha bugs que quebravam a experiência em dispositivos específicos. Isso sugere que, embora a inteligência artificial possa lidar com o trabalho pesado de escrever código, a responsabilidade pela validação permanece firmemente com o humano. Um especialista em patrimônio ainda deve possuir a habilidade de observar a aplicação de perto, executá-la em cada tipo de dispositivo para o qual ela se destina e julgar se os detalhes culturais e históricos são precisos.

Os pesquisadores descobriram que este novo método de desenvolvimento é possível, mas ele altera a natureza do trabalho em vez de remover a necessidade de especialização. O especialista não precisou aprender a programar, mas precisou se tornar um observador rigoroso, capaz de descrever exatamente o que deu errado para que a IA pudesse corrigir. O estudo também levantou preocupações sobre a preservação de longo prazo de tais aplicações. Como o código foi gerado por uma IA e não é compreendido pelos criadores humanos, atualizações ou reparos futuros dependeriam de ter acesso a um sistema de inteligência artificial semelhante. Além disso, a aplicação faz afirmações interpretativas sobre o passado, como a aparência de um edifício quando restaurado, e o estudo enfatiza que essas afirmações devem ser claramente distinguidas das evidências físicas para manter a integridade histórica.

Em última análise, este projeto demonstra que um profissional de patrimônio pode agora construir uma experiência interativa sofisticada para o público sem uma equipe de engenheiros de software. A aplicação rodou com sucesso em múltiplas plataformas, permitindo que os usuários explorem a aldeia de Sadous e se envolvam com sua história de uma nova maneira. No entanto, o caminho para este resultado foi pavimentado com uma cuidadosa supervisão humana. A IA forneceu as ferramentas, mas o humano forneceu o julgamento, o contexto cultural e o olhar crítico necessários para garantir que o produto final fosse funcional e fiel à história que representava. Esta abordagem oferece um caminho promissor para preservar e compartilhar o patrimônio, desde que o papel humano mude de escrever código para testar e validar rigorosamente as histórias que o software conta.