💻 computer science

Material-Segmented Per-Pixel Emissivity Correction for Thermographic Anomaly Detection in Cultural Heritage Digital Twins

본 논문은 개방형 어휘 기반의 RGB 세그멘테이션으로부터 픽셀당 방사율을 도출함으로써 문화유산 디지털 트윈의 열화상 온도 아티팩트를 교정하는 학습이 필요 없는 파이프라인을 제시하며, 이 방법이 저방사율 이상치에 대해서는 정확도를 크게 향상시키는 반면, 자연적으로 높고 균일한 방사율을 가진 일반적인 풍화된 문화유산 표면에 대한 영향은 제한적임을 밝힌다.

원저자: Jonathan Klingspon, Scott McAvoy, Maurizio Seracini, Falko Kuester

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jonathan Klingspon, Scott McAvoy, Maurizio Seracini, Falko Kuester

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀기 위해 특별한 "열 감지 안경"을 사용하는 탐정이라고 상상해 보세요. 이 안경은 일반 카메라처럼 색상을 보여주는 것이 아니라, 모든 것이 얼마나 뜨겁거나 차가운지를 보여줍니다. 이것을 열화상 촬영(thermal imaging)이라고 하며, 오래된 조각상의 숨겨진 균열을 찾거나, 벽 내부의 습기를 포착하거나, 손을 대지 않고도 그림의 표면 아래에서 어떤 일이 일어나고 있는지 알아내는 데 사용됩니다. 하지만 까다로운 점은, 이 안경이 온도를 직접 측정하는 것이 아니라는 사실입니다. 이 안경은 '복사휘도(radiance)'—즉, 얼마나 많은 적외선 빛이 물체에서 반사되거나 방출되는지를 측정합니다.

이 빛을 온도 수치로 바꾸기 위해, 탐정은 '방사율(emissivity)'이라고 불리는 무언가에 대해 추측을 해야 합니다. 방사율을 "빛나는 정도(glow factor)"라고 생각해 보세요. 반짝이고 매끄러운 금속 숟가락은 빛나는 정도가 낮습니다. 마치 거울처럼 주변 방의 열을 반사하기 때문입니다. 거칠고 오래된 벽돌 조각은 빛나는 정도가 높습니다. 스스로의 열을 내뿜으며 반사를 거의 하지 않기 때문입니다. 만약 당신의 열 감지 안경이 모든 것을 "빛나는 정도가 높은" 벽돌이라고 가정한다면(이것이 표준 설정입니다), 실제로는 반짝이는 금속 조각상을 보고 있을 때 안경은 혼란에 빠질 것입니다. 안경은 조각상이 차가운 하늘을 반사하고 있다고 판단하여 조각상이 매우 차갑다고 생각하겠지만, 실제로는 따뜻할 수도 있습니다. 이러한 혼란은 실제 손상이 아닌 것처럼 보이는 가짜 "냉점(cold spots)"을 만들어내거나, 실제로 존재하는 손상을 숨겨버립니다. 과학자들의 큰 과제는, 이 안경이 보고 있는 것이 정확히 어떤 재질인지 알 수 있도록 하여, 진짜 온도와 가짜 반사광을 구별할 수 있게 만드는 방법입니다.

이 논문은 이 열 감지 안경을 수정하는 아주 영리한 새로운 방법을 소개합니다. 특히 박물관이나 고대 유적지와 같은 소중한 문화유산을 관찰하기 위한 방법입니다. 조나단 클링스폰(Jonathan Klingspon)과 그의 팀이 이끄는 연구진은, 열 카메라가 혼란을 겪는 동안 일반 컬러 카메라(휴대전화에 있는 것과 같은)는 그렇지 않다는 사실을 깨달았습니다. 일반 카메라는 대리석 조각상, 유리창, 청동 문 사이의 차이를 쉽게 구분할 수 있습니다. 연구팀은 일반 사진을 통해 모든 재질을 식별하고, 재질 특성에 관한 거대한 참조 도감을 바탕으로 각 재질에 특정 "빛나는 정도"를 할당하는 스마트한 컴퓨터 프로그램(SAM 3.1이라 불리는)을 사용하는 "마법의 파이프라인"을 구축했습니다.

사진 전체를 한 종류의 재질이라고 가정하는 대신, 그들의 방식은 모든 픽셀이 자신이 무엇으로 만들어졌는지 정확히 알게 하는 맞춤형 지도를 만듭니다. 그런 다음 이 지도를 열 카메라의 수학 공식에 입력하여 실제 온도를 계산합니다. 이 방법이 효과가 있는지 테스트하기 위해, 그들은 실제 유적지를 사용할 수 없었습니다. 왜냐하면 그 오래된 돌들에 대한 "완벽한 진실"에 해당하는 온도는 존재하지 않기 때문입니다. 그래서 그들은 매우 정확한 컴퓨터 시뮬레이션—즉, 온도와 재질을 정확히 알고 있는 디지털 쌍둥이 장면—을 구축했습니다. 이 시뮬레이션에서, 장면 안에 다양한 재질(예: 반짝이는 금속 옆의 거친 돌)이 섞여 있고 온도 차이가 컸을 때(20 K), 그들의 새로운 방식은 오차를 거의 2도에서 1도 미만(구체적으로 1.97 K에서 0.91 K로)으로 대폭 줄였습니다. 이는 이미지 전체에 하나의 "최선의 추측" 숫자를 사용하는 것보다 훨씬 뛰어난 결과였습니다.

하지만 이 논문은 매우 중요한 현실적인 점검 사항도 전달합니다. 연구팀은 피렌체의 로지아 데이 란치(Loggia dei Lanzi)에 있는 청동 조각상들과 같은 실제 유적지에서도 이 방법을 테스트했습니다. 그들은 이 방법이 이론적으로나 복잡한 재질이 포함된 시뮬레이션에서는 훌륭하게 작동하지만, 실제 세상은 그만큼 극적이지 않다는 것을 발견했습니다. 대부분의 오래되고 풍화된 야외 조각상이나 건물들은 흙, 녹(patina), 세월의 흔적에 덮여 있어, 결과적으로 "빛나는 정도가 높은" 벽돌처럼 행동하게 됩니다. 이러한 일반적인 표면에서는 보정값이 매우 작아서(종종 0.1 K 미만), 기존의 추측치가 이미 꽤 근접해 있었습니다. 이 방법은 진정한 "빛나는 정도가 낮은" 예외 상황(예: 정말 매끄러운 금속 표면이나 유리창)이 존재하고, 애초에 강한 온도 차이가 있을 때만 큰 차이를 보였습니다.

연구진은 또한 이 방법을 사용해서는 안 되는 "위험 구역"도 발견했습니다. 만약 장면의 온도가 모두 같다면(예: 외풍이 없는 따뜻한 방), 수학적 계산이 무너져서 보정이 무용지물이 되거나 오히려 해로울 수 있습니다. 또한, 컴퓨터가 재질을 잘못 식별하여(예: 사진상으로 비슷해 보여서 나무를 금속으로 착각하는 경우), 온도 계산이 크게 틀어질 수 있습니다. 특히 반짝이는 재질의 경우 더욱 그렇습니다. 그들은 이 방법이 작동하기 위해서는 컬러 카메라와 열 카메라가 완벽하게 정렬되어야 하며, 재질 목록이 매우 정확해야 한다는 것을 보여주었습니다.

결론적으로, 이 논문은 모든 온도 미스터리를 해결했다고 주장하는 것이 아닙니다. 대신, 이 새로운 기술이 언제 작동하고 언제 작동하지 않는지에 대한 상세한 "사용 설명서"를 제공합니다. 이는 컬러 카메라를 사용하여 열 카메라를 안내하는 것이 강력한 도구이지만, 모든 것을 고쳐주는 마법 지팡이는 아니라는 점을 증명합니다. 이는 특정하고 까다로운 문제(예: 청동과 대리석이 섞인 곳의 숨겨진 균열 찾기)에 경이로운 효과를 발휘하는 특수 메스이지만, 균일하고 풍화된 돌 벽에는 별 도움이 되지 않는 전문적인 도구입니다. 저자들은 보존 전문가들이 이 방법을 사용하여 두 개의 별도 지도, 즉 교정된 온도 지도와 재질 지도를 만들어, 열과 "빛나는 정도"를 나란히 확인함으로써 실제 문제를 놓치거나 가짜 문제에 속지 않도록 하는 것이 최선의 접근법이라고 제안합니다.

기술 요약: 문화유산 디지털 트윈의 열화상 이상 탐지를 위한 재질 분할 기반 픽셀별 방사율 보정

문제 정의
정량적 장파 적외선(LWIR) 열화상은 물체의 온도를 추출하기 위해 역 플랑크 법칙(inverse-Planck law)에 의존한다. 이 과정에는 표면 방사율( $\varepsilon$ )과 반사된 겉보기 온도에 대한 지식이 필요하다. 실제 현장에서 운영자들은 일반적으로 전체 이미지에 단일한 전역 상수 방사율 값(통상 0.95)을 적용한다. 이러한 가정은 대리석, 부식된 청동, 유리, 금속 노출 등 방사율이 <0.1에서 >0.98까지 다양하게 존재하는 문화유산의 이질적인 표면에서는 실패한다. 가정된 값과 방사율이 다른 재료들은 편향된 온도를 할당받게 된다. 이러한 편향은 열적 특징이 아닌 재료 경계에 정렬된 공간적 불연속성으로 나타나며, 박리, 습기, 공동(void)과 같은 실제 내부 결함을 모사하거나 가리는 아티팩트를 생성한다. 단일 밴드 이미저의 경우, 단일 복사도 측정값만으로는 추가적인 제약 조건 없이 온도와 방사율을 동시에 해결할 수 없으므로 이 문제는 미결정(underdetermined) 상태가 된다.

방법론
저자들은 누락된 재질 정체성 제약 조건을 제공하기 위해 공-위치(co-located) 및 공-교정(co-calibrated)된 RGB 카메라를 활용하여 이 미결정 문제를 해결하는 훈련이 필요 없는 파이프라인을 제안한다. 워크플로우는 다음 네 단계로 구성된다:

개방형 어휘 세그멘테이션(Open-Vocabulary Segmentation): 자유 텍랑 프롬프트(예: "청동 조각상", "대리석 조각")를 사용하여 SAM 3.1(Segment Anything Model 3.1)을 RGB 이미지에 적용한다. 이는 작업 특화된 훈련 데이터 없이도 인스턴스 마스크를 생성한다.
방사율 매핑: 생성된 재질 세그먼트를 큐레이션된 LW-IR 방사율 룩업 테이블(LUT)에 매핑한다. 이 테이블은 일차 측정 문헌과 기술적 합의로부터 컴파일되었으며, 특히 풍화된 실외 문화유산 재료(예: 광택 나는 금속 대신 부식된 청동에 ~0.88, 풍화된 카라라 대리석에 ~0.96 할당)에 맞춤화되었다.
레지스트레이션(Registration): RGB 프레임에서 유도된 픽셀별 방사율 맵을 열화상 그리드로 전달한다. 강체로 공-위치된 센서(예: FLIR T1020)의 경우, 깊이 의존적 시차를 고려한 평면 유도 호모그래피(plane-induced homography)를 사용한다. 비강체 설정(예: FLFLIR One Pro)의 경우 전역 호모그래피를 적용한다.
역 플래크 복원(Inverse-Planck Retrieval): 픽셀별 방사율 필드를 원시 디지털 번호(DN) 역 플랑크 솔루션으로 전파한다. 복사 모델은 대기 투과율, 반사 복사, IR-윈도우 투과율(FLIR One Pro의 경우 중요)을 포함하며, 픽셀 단위로 물체 온도를 계산한다.

주요 기여

훈련이 필요 없는 파이프라인: 개방형 어휘 세그멘테이션, 큐레이션된 재질-방사율 테이블, 원시 복사 역전 과정을 결합한 완전한 엔드 투 엔드 파이프라인을 구현하였으며, 이를 로지아 데이 란치(Loggia dei Lanzi)에서 현장 검증하였다.
물리 기반 합성 벤치마크: 실제 재질 배치와 센서 교정 상수를 사용하는 정확히 역전 가능한 합성 벤치마크를 구축하였다. 이를 통해 원시 복사 데이터, 독립적인 온도 참조, 공-위치된 RGB 데이터를 포함하는 공개 데이터셋의 부재 문제를 해결하고, 알려진 지면 진실(ground truth)에 대비한 정확도 개선을 측정할 수 있다.
정량화된 운용 영역 맵: 보정이 유익한, 무효한, 또는 해로운 특정 조건들을 특성화한다. 이 맵은 열적 대비, 방사율 다양성, 룩업 테이블 정확도, 레지스트레이션 정밀도 사이의 트레이드오프를 정의한다.
측정 기반 문화유산 감사: 풍화된 실외 문화유산 표면(청동, 대리석, 회반죽, 나무)이 기존 기본값인 0.95 근처에 밀집되어 있다는 결과를 도출했다. 결과적으로 보정 크기는 일반적인 표면에서는 작으며, 낮은 방사율의 예외적인 경우에만 집중된다.

결과

합성 벤치마크: 20 K 열적 대비를 가진 다양한 팔레트에서, 본 방법은 평균 절대 오차(MAE)를 전역 상수 기준(B0)의 1.97 K에서 오라클 성능(00.90 K)에 근접한 0.91 K로 감소시켰다. 이는 정확한 테이블을 가진 20 K 대비에서의 최적 적합 전역 스칼라(B1)와 비교했을 때 +0.87 K의 차이를 보이며, 기준(B0) 대비 +1.06 K의 유의미한 개선을 보였다. 그러나 10 K 대비에서는 B1 대비 개선 폭이 +0.17 K에 불과하여 통계적으로 유의미하지 않았다. 또한, 룩업 테이블 오차가 0.05로 증가했을 때 B1과의 격차는 +0.14 K로 줄어들었으며, 95% 신뢰 구간이 [−0.40, 0.69]로 나타나 기준선으로부터의 분리가 통계적으로 zero와 구별되지 않음을 보여주었다. 문화유산 현실적 팔레트(방사율 0.88–0.95)에서는 잘 선택된 전역 상수를 능가하지 못했다.
민감도 분석: 방법의 효능은 테이블 정확도와 레지스트레이션에 매우 민감하다. 20 K 대비에서 룩업 테이블 오차 0.05는 개선 폭을 감소시켰고, 오차 0.10은 순손실(net harm)을 초래했다. 레지스트레이션 오차가 약 8 열 픽셀을 초과하면 이점이 사라졌다.
실제 환경 배치:
- 로지아 데이 란치(Loggia dei Lanzi): 보정 효과는 작았으며(95 백분위수 ~0.1 K), 페르세우스의 청동 조각상(보정 ~0.7 K)에 집중되었다. 주변의 고방사율 건축물은 거의 변화가 없었다. 저자들은 반사 온도와 재질 방사율의 불확실성으로 인해 청동 보정의 통계적 근거가 약하다고 언급했다.
- Pulpit 데이터셋(근-등온 상태): 열적 대비 부족으로 인해 보정이 무효(0.033 K)하거나 노이즈로 인해 해로울 수 있는 "무효 영역(null regime)"을 확인했다.
- ULB17-VT(고대비): 보정 크기가 재질 방사율의 기본값으로부터의 편차와 상관관계가 있음을 보여주었다. 그러나 세그멘테이션 오류(예: 풍화된 나무를 맨 금속으로 오분류)는 $1/\varepsilon$ 민감도에 의해 증폭된 큰 허위 보정을 유발했다.

의의 및 주장
본 논문은 보편적인 해결책이라기보다 제한적(bounded) 기여를 주장한다. 주요 의의는 추가적인 RGB 채널을 획득할 가치가 있는 시점을 명시하는 정량화된 운용 영역 맵에 있다. 저자들은 다음과 같이 주장한다:

본 방법은 장면이 충분한 열적 대비를 가지고, 기본값에서 크게 벗어나는 방사율을 가진 재료를 포함하며, 잘 등록되고 교정되었을 때만 추출 정확도를 향상시킨다.
이 범위를 벗어난 경우(예: 등온 장면 또는 균일한 고방사율 표면), 보정은 기껏해야 무효하며 노이즈 유발 오류를 일으킬 수 있다.
풍화된 문화유산 표면은 주로 고방사율이며, 따라서 보정은 일반적인 보존 시나리오에서 완만하고 주로 낮은 방사율의 예외를 대상으로 한다.
본 방법은 "블랙박스" 식의 해결책이 아니다. 외관이 아닌 재질에 부합하는 세그멘테이션 실패(segmentation failures)와, 특히 오차가 크게 증폭되는 저방사율 재료에서의 불확실성 전파를 주의 깊게 다뤄야 한다.

저자들은 본 파이프라인이 문화유산 디지털 트윈에서 픽셀별 방사율 보정의 타당성을 입증하지만, 절대 정확도에 대한 확고한 주장을 위해서는 접촉 기반의 지면 진실을 포함한 표준 기반의 실험실 캡처가 즉각적인 경로임을 결론짓는다.

유사한 논문