Architectural Heritage Recognition with Deep Learning: An ANN and CNN Approach

역사는 흔히 돌에 새겨진다고 하지만, 수 세기 동안 그 돌에 새겨진 이야기를 이해하는 일은 인간의 눈이 수행하는 느리고 신중한 작업에 의존해 왔습니다. 역사학자나 건축가가 먼 과거의 건물을 바라볼 때, 그 건물이 시대 속에서 차지하는 위치를 이해하기 위해서는 그것이 고딕 시대의 높게 솟은 아치인지, 혹은 고대 페르시아의 복잡한 기둥인지를 식별해야 합니다. 이러한 수동 과정은 시간이 많이 걸릴 뿐만 아니라, 기록 보관소 곳에 흩어져 있는 수천 개의 이미지를 다룰 때 규모를 키우기도 어렵습니다. 독특한 질감, 형태, 재료를 가진 이 구조물들의 시각적 복잡성은 이들을 체계적으로 정리하는 것을 어렵게 만듭니다. 최근 몇 년 동안, 딥러닝이라 알려진 컴퓨터 과학의 한 분야는 이 문제를 해결할 새로운 방법을 제시했습니다. 이러한 시스템은 인간의 뇌가 경험으로부터 배우는 것과 매우 유사하게 데이터로부터 학습하도록 설계되었으며, 이를 통해 사람이 효율적으로 분류하기에는 너무 미묘하거나 수가 너무 많은 이미지 속 패턴을 인식할 수 있습니다. 컴퓨터에게 건물의 시대를 정의하는 특정 세부 사항을 보는 법을 가르침으로써, 연구자들은 우리의 공유된 건축 유산을 자동으로 목록화하고 보존할 수 있는 도구를 만들기를 희고 있습니다.

최근 연구에서 매니지먼트 앤 테크놀로지 대학교(University of Management and Technology)의 마직 알리 베이그(Majid Ali Baig)와 사라 아바스(Sarah Abbas)는 그러한 도구를 구축하고자 했습니다. 그들은 역사적 건물의 이미지를 올바른 건축 양식으로 자동 분류하는 과제에 집중했습니다. 이를 위해 그들은 합성곱 신경망(convolutional neural network)이라 불리는 인공지능의 한 유형을 기반으로 한 컴퓨터 프로그램을 개발했습니다. 이 네트워크를 단순한 선과 모양에서 시작하여 특정 양식을 정의하는 복잡한 패턴으로 점진적으로 구축해 나가는, 이미지를 보고 특징의 층(layers)으로 분해하는 디지털 시스템이라고 생각하면 됩니다. 연구팀은 온라인에서 구할 수 있는 방대한 양의 역사적 건물 사진 모음을 시작점으로 삼았으며, 여기에는 25가지의 서로 다른 건축 양식을 나타내는 이미지들이 포함되어 있었습니다. 초기 실험을 위해 그들은 시스템을 테스트할 네 가지의 뚜렷한 양식을 선택했습니다: 고대 아케메네스 양식, 중세 고딕 양식, 현대 해체주의 양식, 그리고 화려한 아르누보 양식입니다.

연구진은 먼저 컴퓨터가 읽을 수 있도록 이미지를 준비했습니다. 그들은 순수하게 형태와 구조에 집중하기 위해 모든 사진을 흑백 이미지로 변환하여 색상을 제거했으며, 모든 이미지를 256 x 256 픽셀의 균일한 크기로 조정했습니다. 이러한 표준화는 컴퓨터가 서로 다른 이미지 크기나 색상 변화로 인해 혼란을 겪지 않고, '사과와 사과를 비교하는 것(apples to apples)'처럼 동일한 기준으로 비교할 수 있도록 보장했습니다. 그 후 이 가공된 이미지들을 그들이 직접 만든 신경망에 입력했습니다. 이 시스템은 각 사진에서 가장 중요한 세부 사항을 추출하기 위해 함께 작동하는 여러 층으로 설계되었습니다. 시스템은 수학적 기법을 사용하여 다양한 특징의 중요도를 조정함으로써, 노이즈나 무관한 세부 사항에 의해 혼동되지 않고 올바른 패턴을 학습하도록 했습니다. 시스템을 최대한 효과적으로 만들기 위해, 연구진은 수천 개의 서로 다른 설정값을 테스트하는 자동화된 도구를 사용하여, 컴퓨터가 가장 빠르고 정확하게 학습할 수 있는 완벽한 매개변수 조합을 찾아냈습니다.

결과는 컴퓨터가 이러한 복잡한 건축 양식을 구별하는 법을 실제로 배울 수 있음을 보여주었습니다. 데이터로 학습을 마친 후, 시스템은 높은 수준의 정확도를 달察했으며, 훈련 단계 동안 대다수의 경우에서 건물의 양식을 정확하게 식별해 냈습니다. 이전에 본 적 없는 새로운 이미지로 테스트했을 때도, 시스템은 약 85%의 사례에서 건축 양식을 정확하게 분류하며 강력한 성능을 유지했습니다. 연구진은 또한 얼마나 자주 맞혔는지와 얼마나 자주 올로 식별을 놓쳤는지를 모두 살펴보는 특정 지표를 사용하여 시스템의 성능을 측정했습니다. 시스템은 너무 많은 실수를 저지르지 않으면서도 올바른 양식을 찾아내는 균형 잡힌 능력을 보여주었으며, 양식 간의 시각적 차이에 대한 탄탄한 이해를 반영하는 점수를 기록했습니다. 그러나 이 연구는 시스템이 완벽하지 않다는 점도 밝혀냈습니다. 시스템이 가끔 고딕 양식을 로마네스크 양식과 혼동했는데, 이는 일부 건축적 특징들이 너무 유사하여 첨단 컴퓨터 모델조차도 이를 구별하는 데 어려움을 겪을 수 있음을 시사합니다.

이 작업은 딥러닝이 역사학자와 보존 전문가들에게 강력한 조력자가 될 수 있음을 입증합니다. 수천 개의 건물 이미지를 분류하는 작업을 자동화함으로써, 이 시스템은 방대한 건축 기록 컬렉션을 인간보다 훨씬 빠르게 정리하는 데 도움을 줄 수 있습니다. 연구진은 그들의 접근 방식이 확장 가능하다는 점에 주목했는데, 이는 테스트한 네 가지 양식뿐만 아니라 데이터셋에 있는 25가지 전체 양식을 다룰 수 있도록 확장될 수 있음을 의미합니다. 현재의 모델은 중요한 진전이지만, 저자들은 여전히 할 일이 남아 있음을 인정합니다. 향후 노력은 더 많은 양식을 다루고 매우 유사한 건축 시기를 구별하는 능력을 개선하는 방향에 집중될 것입니다. 현재로서, 이 연구는 컴퓨터가 역사의 시각적 언어를 인식하도록 학습될 수 있음을 증명하며, 우리를 둘러싼 건축 유산을 기록하고 이해하는 새로운 방법을 제시하고 있습니다.