Building a cross-platform WebXR heritage application from a drone survey using a language model

과거를 보존하는 것은 언제나 시간 및 부패와의 싸움이었습니다. 수 세기 동안 역사학자와 건축가들은 건물이 무너지거나 변하기 전의 모습을 포착하기 위해 도면, 사진, 기록물에 의존해 왔습니다. 오늘날 기술은 이 노력에 강력한 새로운 도구를 더했습니다. 바로 고해한 스캐닝입니다. 드론을 통한 수천 장의 중첩된 사진이나 지상에서의 레이저를 활용함으로써, 전문가들은 이제 고대 유적지의 매우 상세한 3차원 모델을 구축할 수 있습니다. 이러한 '디지털 트윈'은 진흙 벽돌 벽의 질감이나 돌 아치의 곡선을 보여줄 수 있을 만큼 정교합니다. 그러나 정적인 모델을 만드는 것과 이를 대중이 탐험할 수 있는 살아있는 상호작용 경험으로 전환하는 것 사이에는 여전히 상당한 간극이 존재합니다. 전통적으로 그 간극을 메우기 위해서는 복잡한 코드를 작성할 수 있는 소프트웨어 엔지니어 팀이 필요했으나, 대부분의 유산 관련 기관은 이러한 기술력을 보유하고 있지 않습니다. 이로 인해 포착된 많은 유적지들이 보호되어야 할 사람들에게 보이지 않는 채 데이터 파일 상태로 남아 있게 됩니다.

새로운 접근 방식은 진입 장어벽이 생각보다 낮을 수 있음을 시사합니다. 코드를 한 줄씩 쓰는 대신, 전문가는 이제 인공지능에게 자신이 원하는 앱의 기능을 평어로 설명하여 소프트웨어를 구축하도록 요청할 수 있습니다. '바이브 코딩(vibe coding)'이라 불리는 이 방법은 기술적인 구문(syntax)에서 벗어나 원하는 결과물에 집중하게 합니다. 질문은 프로그래밍 배경이 없는 사람이 이 도구를 사용하여 실제 유산 현장을 위한 신뢰할 수 있는 크로스 플랫폼 애플리케이션을 만들 수 있는지, 그리고 그 소프트웨어가 실제 기기에서 테스트될 때 어떤 일이 발생하는가 하는 점입니다.

최근 한 연구에서 연구자들은 게임 프로그래밍 경험이 없는 유산 전문가가 어떻게 사우디아라비아의 사두스(Sadous) 유산 마을을 위한 완전한 상호작용 애플리케이션을 제작했는지 기록했습니다. 리야드에서 북서쪽으로 약 70km 떨어진 이 마을은 나즈디(Najdi) 건축 양식으로 알려진 전통적인 흙벽돌 구조의 성곽 마을입니다. 이 유적지는 지붕과 벽이 복원된 서쪽 구역과 지붕이 없는 폐허 상태인 동쪽 구역, 두 가지 상태로 존재합니다. 연구자는 드론을 띄워 마을 위를 비행하며 10,213장의 이미지를 포착하여 정밀한 3D 지도를 제작했습니다. 이 디지털 모델은 0.160 제곱킬로미터를 커버하며, 각 픽셀이 지면의 1센티미터 미만을 나타낼 정도의 정밀도를 가졌습니다.

3D 모델이 준비되자 연구자는 코드를 생성할 수 있는 인공지능의 일종인 언어 모델로 눈을 돌렸습니다. 연구자는 단 한 줄의 코드도 직접 쓰지 않았습니다. 대신 감독관 역할을 하며 자연어로 애플리케이션의 원하는 동작을 설명했습니다. 연구자는 사용자가 무엇을 보아야 하는지, 마을을 어떻게 이동해야 하는지, 그리고 어떤 상호작용이 일어나야 하는지를 AI에게 전달했습니다. 예를 들어, 연구자는 플레이어가 폐허가 된 건물을 스캔하면 홀로그램 재구성이 트리거되어 건물이 복원되었을 당시의 모습을 보여주는 게임플레이 메커니즘을 설명했습니다. 이러한 디자인 선택은 단순한 시각적 효과가 아니었습니다. 이는 플레이어가 현재의 폐허 상태와 가설상의 복원 상태를 전환하며 볼 수 있게 함으로써, 사실과 해석 사이의 차이를 가시화했습니다. AI는 이러한 구두 지침을 바탕으로 캐릭터의 이동 로직, 계단을 오르는 물리 법칙, 전통 커피 의식에 대한 대사 등 전체 애플리케이션을 생성했습니다.

최종 결과물은 약 34메가바이트 크기의 단일 파일로, 별도의 설치나 서버 설정 없이 데스크톱 컴퓨터, 안드로이드 폰, 아이폰, 그리고 가상 현실(VR) 헤드셋에서 실행될 수 있었습니다. 애플리케이션은 플레이어를 마을 문에 도착하고, 지붕 위를 걷고, 구조물을 기록하며, 커피를 볶고 서빙하는 문화적 의례에 참여하는 일련의 과업으로 안내했습니다. 특히 커피 시퀀스는 플레이어가 오른손으로 따르거나 컵을 4분의 1만 채우는 것과 같은 특정 사회적 규칙을 따라야 했기에 주목할 만했는데, 이는 텍스트가 아닌 행동을 통해 관습을 가르쳤습니다.

그러나 이 과정이 순탄하기만 했던 것은 아닙니다. AI가 코드를 생성할 수는 있었지만, 그 코드가 서로 다른 물리적 기기에서 어떻게 작동할지는 항상 예측할 수 없었습니다. 연구자들은 개발 및 테스트 단계에서 발생한 27가지의 뚜렷한 문제점을 기록했습니다. 이 중 10가지 문제는 AI가 작업하던 컴퓨터 환경에서는 감지되지 않았으며, 모바일 폰이나 VR 헤드셋과 같은 실제 기기에서 실행했을 때만 나타난 문제였습니다. 예를 들어, VR 헤드셋에서 애플리케이션이 표준 웹 브라우저처럼 작동할 것이라고 AI가 가정했기 때문에 컨트롤러 입력에 반응하지 않는 경우가 있었습니다. 마찬가지로, 5개의 오류는 순수하게 문화적인 문제였습니다. AI가 지역의 실제 전통과 맞지 않는 행동을 프로그래밍했는데, 예를 들어 커피를 잘못 서빙하거나 부적절한 캐릭터 움직임 등이 있었습니다. 이러한 문화적 실수는 지역 유산에 대한 깊은 지식을 가진 인간 전문가가 애플리케이션을 검토했을 때 비로소 발견되었습니다.

이 연구는 소프트웨어를 만드는 것과 그것을 검증하는 것 사이의 결정적인 차이를 강조합니다. AI는 코드를 성공적으로 작성했지만, 자신의 작업물을 완전히 테스트할 수는 없었습니다. AI가 작성한 자동 테스트는 모든 검사를 통과했음에도 불구하고, 애플리케이션에는 특정 기기에서 실행을 방해하는 버그가 여전히 존재했습니다. 이는 인공지능이 코드 작성이라는 힘든 작업을 처리할 수는 있지만, 검증의 책임은 여전히 인간에게 있음을 시사합니다. 유산 전문가는 여전히 애플리케이션을 면밀히 관찰하고, 대상이 되는 모든 유형의 기기에서 실행해 보며, 문화적 및 역사적 세부 사항이 정확한지 판단할 수 있는 기술을 갖추어야 합니다.

연구자들은 이 새로운 개발 방식이 가능하지만, 이는 전문성을 제거하는 것이 아니라 업무의 성격을 변화시키는 것이라고 결見지었습니다. 전문가는 프로그래밍을 배울 필요는 없었지만, 무엇이 잘못되었는지 정확하게 설명하여 AI가 수정할 수 있도록 하는 엄격한 관찰자가 되어야 했습니다. 또한 연구는 이러한 애플리케이션의 장기적 보존에 대한 우려도 제기했습니다. 코드가 AI에 의해 생성되었고 인간 창작자가 이해하지 못하기 때문에, 향후 업데이트나 수리는 유사한 인공지능 시스템에 의존해야 하기 때문입니다. 더욱이, 애플리�이션은 과거에 대한 해석적 주장(예: 건물이 복원되었을 때의 모습)을 담고 있으며, 연구는 역사적 무결성을 유지하기 위해 이러한 주장이 물리적 증거와 명확히 구분되어야 함을 강조합니다.

궁극적으로 이 프로젝트는 유산 전문가가 소프트웨어 엔지니어 팀 없이도 대중을 위한 정교하고 상호작용적인 경험을 구축할 수 있음을 보여줍니다. 애플리케이션은 여러 플랫폼에서 성공적으로 실행되어 사용자들이 사두스 마을을 탐험하고 역사를 새로운 방식으로 접할 수 있게 했습니다. 그러나 이 결과로 가는 길은 세심한 인간의 감독으로 닦여졌습니다. AI는 도구를 제공했지만, 인간은 최종 제품이 기능적이고 역사를 충실히 반영하도록 만드는 판단력과 문화적 맥락, 그리고 비판적인 시각을 제공했습니다. 이 접근 방식은 인간의 역할이 코드를 쓰는 것에서 소프트웨어가 들려주는 이야기를 엄격하게 테스트하고 검증하는 것으로 전환된다면, 유산을 보존하고 공유하는 데 있어 유망한 경로를 제시합니다.