Loggia dei Lanzi: AI Thermography Enhancement Comparisons through 3D Photogrammetry

당신은 오래된 두꺼운 돌벽 속에 숨겨진 미스터리를 풀려는 탐정이라고 상상해 보세요. 벽 안에 무엇이 있는지 보기 위해 단순히 벽을 부술 수는 없습니다. 그것은 역사를 파괴하는 일이니까요. 대신, 당신은 벽의 어느 부분이 따뜻하거나 차가운지를 보여주는 특수한 "열화상 카메라"를 사용합니다. 이것은 온도에 따라 보이는 나이트 비전 고글과 같습니다. 만약 벽 뒤에 숨겨진 문이나 다른 종류의 벽돌이 있다면, 그것은 나머지 부분과 열을 다르게 보유하고 있을 것이고, 화면 위에 유령 같은 형상으로 나타날 것입니다. 이것을 **열화상 촬영(thermography)**이라고 부릅니다.

하지만 까다로운 점이 있습니다. 이 열화상 카메라들은 보통 90년대 저해상도 비디오 게임처럼 약간 흐릿한 사진을 찍는다는 것입니다. 사진을 더 선명하게 만들기 위해 과학자들은 두 가지 주요 기술을 사용합니다. 첫 번째는 **마이크로스캐닝(microscanning)**이라는 하드웨어 기술입니다. 카메라가 아주 미세하게 떨리면서 여러 장의 빠른 스냅샷을 찍어 이를 하나로 합쳐 더 선명한 이미지를 만드는 방식입니다(마치 손떨림과 같습니다). 두 번째는 더 새로운 기술인 **인공지능(AI)**입니다. 이것은 마치 매우 똑똑한 컴퓨터 프로그램이 흐릿한 사진을 보고 빠진 세부 사항이 어떻게 생겼어야 하는지 추측하여, 고화질처럼 보이도록 새로운 픽셀을 "환각(hallucinating)"해내는 것과 같습니다.

큰 질문은 이것입니다. 사진을 더 선명하게 만드는 것이 실제로 숨겨진 비밀을 찾는 데 도움이 될까요? 아니면 AI가 멋져 보이지만 실제로는 존재하지 않는 가짜 디테일을 만들어내는 것일까요? 만약 컴퓨터가 가짜 벽돌 패턴을 발명해낸다면, 우리가 만들고자 하는 3D 지도에 혼란을 주어 건물의 역사에 대해 잘못된 결론을 내리게 할 수도 있습니다. 이 논문은 바로 그 질문, 즉 이러한 첨단 기술 업그레이드가 마법 지팡이인지 아니면 그저 화려한 필터인지에 대해 조사합니다.

---

로지아의 이야기와 열화상 카메라

이 이야기는 수 세기 전에 지어진 이탈리아 피렌체의 유명한 야외 갤러리인 **로지아 데이 란치(Loggia dei Lanzi)**에서 펼쳐집니다. 이곳은 거대한 석조 아치와 돔형 천장을 가진 거대한 구조물이며, 매년 수백만 명의 사람들이 방문합니다. 매우 오래되었기 때문에 여러 번 개조되었습니다. 석고 층 아래에는 숨겨진 문, 막힌 창문, 또는 다른 종류의 돌들이 묻혀 있을 가능성이 큽니다. 연구원들은 벽을 건드리지 않고 이 비밀들을 찾아내기 위해 열화상 카메라를 사용하고자 했습니다.

2025년 12월, 과학자 팀은 로지아에 장비를 설치했습니다. 그들은 고성능 열화상 카메라(FLIR T1020 HD)를 사용하여 뒷벽의 사진 161장을 촬영했습니다. 날씨는 이 작업에 완벽했습니다. 외부 기온은 약 11°C로 낮았지만, 건물 내부는 더 따뜻했습니다. 이 온도 차이는 숨겨진 특징들을 마치 추운 겨울날 뜨거운 코코아에서 올라오는 김처럼 열화상 카메라 위에 뚜렷하게 드러나게 해주었습니다.

위대한 해상도 경주

연구팀은 단순히 사진을 찍고 멈추지 않았습니다. 그들은 세 가지 방법을 사용하여 이미지를 개선할 수 있는지 확인하고, 어떤 방법이 벽의 3D 지도를 만드는 데 가장 도움이 되는지 확인하고 싶었습니다. 그들은 이미지를 여섯 명의 서로 다른 주자로 구성된 경주처럼 취급했습니다:

1. 네이티브 주자 (The Native Runner): 카메라에서 나온 편집되지 않은 원본 사진(1024 × 768 픽셀). 이것은 "대조군"입니다. 우리가 시작한 지점입니다.
2. 하드웨어 주자 (UltraMax): 카메라에 내장된 기술로, 미세한 떨림을 이용해 16개의 프레임을 하나의 더 선명한 이미지로 결합합니다(2048 × 1536 픽셀).
3. 수학 주자 (Bicubic): 실제 새로운 디테일을 추가하지 않고 단순히 이미지를 늘리는 고전적인 컴퓨터 기술입니다. 이것은 "될 때까지 속여보자" 식의 기준점입니다.
4. AI 주자 #1 (SwinIR): 일반적인 사진을 위해 훈련된 똑똑한 AI 모델로, 열화상 사진이 아닌 일반 사진을 바탕으로 디테일을 추측해 보는 실험입니다.
5. AI 주자 #2 (DifIISR): 열화상 이미지를 위해 특별히 설계된 "확산(diffusion)" 프로세스(노이즈로부터 사진을 서서히 드러내는 방식)를 사용하는 매우 진보된 AI입니다.
6. AI 주자 #3 (TongJi/DRCT): 열화상 이미지를 훨씬 더 선명하게 만드는 데 있어 최근 글로벌 대회에서 우승한 모델로, 이미지를 무려 8배나 확대합니다!

결정적인 테스트: "선명함"이 곧 "더 나음"을 의미하는가?

여기서 반전이 일어납니다. 보통 우리는 흐릿한 사진이 선명해지는 것을 볼 때 그것이 더 좋아졌다고 가정합니다. 하지만 연구원들은 단순히 사진을 보는 것에 그치지 않고, 그 사진들을 이용해 벽의 3D 모델을 만들었습니다. 그들은 모든 버전의 이미지를 사진 간의 점들을 매칭하여 벽의 형태를 파악하는 컴퓨터 프로그램에 입력했습니다.

이것은 퍼즐과 같습니다. 퍼즐 조각에 명확하고 실제적인 가장자리가 있다면 완벽한 성을 쌓을 수 있습니다. 하지만 퍼즐 조각에 컴퓨터가 그려 넣은 가짜 가장자리가 있다면, 정면에서 볼 때는 멋져 보일지 몰라도 옆에서 보면 모양이 이상하거나 무너져 내릴 것입니다.

결과:

• 네이티브 이미지 (원본): 놀랍게도, 편집되지 않은 원본 사진이 가장 정확하고 신뢰할 수 있는 3D 지도를 만들어냈습니다. 오류가 가장 적었고 가장 일관된 점들을 보여주었습니다.
• 하드웨어 주자 (UltraMax): 이 방식은 괜찮았습니다. 단순한 수학적 확대보다는 조금 더 나았지만, 엄청난 도약은 아니었습니다. 이는 원본 품질에 가장 가까웠으며, 3D 지도를 크게 망가뜨리지 않은 유일한 "개선된" 버전이었습니다.
• AI 주자들 ("마법" 같은 것들): 이것이 큰 놀라움입니다. 이미지를 가장 선명하게 혹은 가장 상세하게 만든 AI 모델들이 오히려 3D 지도를 더 나쁘게 만들었습니다.
  • AI 모델들은 많은 "노이즈"를 만들어냈습니다. 단일 사진에서는 아주 멋져 보이지만, 여러 각도에서 보았을 때 서로 일치하지 않는 가짜 질감과 디테일을 만들어냈습니다.
  • 컴퓨터가 이 AI 이미지들을 사용하여 3D 벽을 구축하려고 할 때, 컴퓨터는 혼란에 빠졌습니다. "가짜" 디테일들이 서로 맞지 않아 3D 모델이 흔들리고 부정확해졌습니다.
  • 가장 공격적인 AI(이미지를 8배 키운 모델)는 3D 지도에 수백만 개의 점을 채워 넣었지만, 이 점들은 모두 이상한 곳에 뭉쳐 있었고, 벽의 매끄러운 부분은 완전히 비어 있게 만들었습니다. 이는 마치 퍼즐의 모서리에만 수백만 개의 조각이 몰려 있고, 정작 가운데 부분은 텅 비어 있는 것과 같았습니다.

이것이 역사에 주는 의미

이 논문은 역사적 건물의 숨겨진 비밀을 찾기 위한 특정 작업에 있어서, 더 많은 픽셀이 곧 더 많은 진실을 의미하는 것은 아니다라고 결론짓습니다.

AI 모델은 박물관 포스터나 비디오 게임을 위해 사진을 예쁘게 만드는 데는 탁적입니다. AI는 어떤 질감이 그럴듯하게 보일지 추측할 수 있습니다. 하지만 벽을 정확하게 측정하여 숨겨진 문을 찾아야 할 때, 그러한 추측은 위험합니다. AI는 "환각(hallucinations)" 즉, 존재하지 않는 디테일을 도입하기 때문입니다.

연구원들은 만약 역사적 건물에서 숨겨진 특징을 찾고 싶다면, 카메라로 안정적인 사진을 찍고, 꼭 필요하다면 카메라의 내장 하드웨어 기술(UltraMax)을 사용하는 것이 낫다고 제안합니다. 하지만 이미지를 "수정"하기 위해 AI를 사용하는 것은 매우 주의해야 합니다. AI가 벽 위에 있는 실제 모습에 대해 거짓말을 하고 있을 수 있기 때문입니다.

요약하자면, 컴퓨터가 역사를 추측하게 두지 마세요. 비록 조금 흐릿해 보일지라도, 편집되지 않은 원래의 열화상 지도가 로지아 데이 란치의 가장 진실한 이야기를 들려줍니다. AI는 사진을 고화질 영화처럼 만들어 줄 수는 있지만, 미스터리를 풀려는 과학자에게는 낮은 해상도의 원본 사진이야말로 가짜 반전이 없는 유일한 진실입니다.