Dual Band Thermal Videography: Separating Time-Varying Reflection and Emission Near Ambient Conditions

1. 문제 정의 (Problem Statement)

열화상 카메라 (LWIR, 8-14 µm) 가 포착하는 신호는 두 가지 주요 성분으로 구성됩니다.

1. 방출 (Emission): 물체의 온도와 방사율 (emissivity) 에 의해 결정되는 물체 자체의 열 복사.
2. 반사 (Reflection): 주변 환경에서 발생한 복사가 물체 표면에 반사되어 카메라에 도달하는 성분.

주요 난제:

• 불완전한 문제 (Under-determined Problem): 방사율을 사전에 알지 못하면 반사 성분과 방출 성분을 분리하는 것이 수학적으로 불가능합니다.
• 주변 조건 (Near Ambient Conditions): 산업용 고온 환경 (용접 등) 과 달리, 주변 온도와 유사한 조건에서는 방출 신호와 반사 신호의 크기가 비슷하여 분리가 매우 어렵습니다.
• 동적 변화: 기존 연구들은 정적인 배경이나 일정한 물체 온도를 가정했으나, 실제 컴퓨터 비전 응용에서는 배경과 물체 모두 시간에 따라 변화합니다.

2. 방법론 (Methodology)

저자들은 이중 대역 (Dual-band) 열 영상 데이터를 활용하여 반사와 방출을 분리하는 프레임워크를 제안합니다. 이는 두 가지 핵심 통찰에 기반합니다.

A. 핵심 아이디어

1. 스펙트럼 단서 (Spectral Cues): 물체의 방사율은 파장에 따라 다르지만 (회색체 가정이 아님), 특정 대역 간 비율은 고정되어 있습니다.
2. 시간적 단서 (Temporal Cues): 물체 내부의 열 이동 (방출) 은 시간에 따라 부드럽게 (smoothly) 변하는 반면, 배경 반사 신호는 급격하게 (abruptly) 변하거나 물체와 상관관계가 없습니다.

B. 이미지 형성 모델 (Image Formation Model)

열화상 카메라의 픽셀 강도 $I_m(t)$는 두 대역 ($m=1, 2$) 에서 다음과 같이 모델링됩니다.
$$I_m(t) = \epsilon_m U_m(T_o(t)) + (1 - \epsilon_m) U_m(T_b(t))$$

• $\epsilon_m$: 대역별 방사율
• $T_o(t)$: 시간 변화하는 물체 온도
• $T_b(t)$: 유효 배경 온도
• $U_m(T)$: 흑체 온도를 픽셀 강도로 변환하는 함수 (Sakuma-Hattori 모델 근사)

C. 해결 접근법

1. 보정된 경우 (Calibrated Case):

   • 열전대 (thermocouple) 와 흑체를 사용하여 특정 물체의 방사율 ($\epsilon_m$) 을 사전에 측정 (보정) 합니다.
   • 알려진 방사율을 대입하여 폐쇄형 해 (closed-form solution) 로 물체 온도 $T_o$와 배경 온도 $T_b$를 직접 계산합니다.

2. 미보정 경우 (Uncalibrated Case):

   • 방사율을 알 수 없는 경우, 문제를 풀기 위해 최적화 (Optimization) 프레임워크를 도입합니다.
   • 제약 조건:
     • 물체 온도: 열 전달 방정식에 따라 온도가 부드럽게 변함 (2 차 미분 prior).
     • 배경 변화: 배경 반사 변화가 물체 방출과 비연관적이며, 특정 픽셀에서는 배경 변화가 무시할 수 있거나 ($\partial T_b \approx 0$), 반대로 배경 변화가 우세할 때 두 대역의 변화율 비율이 일정함을 이용합니다.
   • 손실 함수 (Loss Function):
     • $L_{smooth}$: 시간적 부드러움 (물체 방출 신호).
     • $L_{Huber}$: 측정값과 추정값의 일관성 (급격한 배경 변화에 강건함).
     • $L_{MSE}$: 재구성 오차 최소화.
     • $L_{noise}$: 잡음 모델링.
   • 이 손실 함수들을 최소화하여 방사율 $\epsilon_m$, 물체 온도 $T_o(t)$, 배경 온도 $T_b(t)$를 동시에 추정합니다.

3. 주요 기여 (Key Contributions)

1. 동적 환경에서의 분리: 주변 온도 조건에서 시간 변화하는 반사와 방출 성분을 분리하는 최초의 체계적인 프레임워크 제안.
2. 이중 대역 활용: 단일 대역의 한계를 극복하고, 방사율의 파장 의존성과 시간적 변화 특성을 결합하여 문제를 해결.
3. 보정 및 미보정 알고리즘:
   • 보정: 열전대 측정을 통해 정확한 방사율 추정 및 온도 분리.
   • 미보정: 사전 정보 없이도 최적화를 통해 방사율과 온도를 동시에 복원.
4. 실제 검증: 커피포트, 유리판 위의 지문, 거울에 비친 사람 등 다양한 일상적인 시나리오에서 성공적인 분리 및 온도 복원 증명.

4. 실험 결과 (Results)

• 시뮬레이션: 다양한 재료와 잡음 조건에서 기존 방법 (BCP, 이중 파장 열온도계, 단순 최소제곱법) 보다 우수한 성능을 보임. 특히 중간~높은 잡음 수준에서 온도 추정 오차가 크게 감소.
• 방사율 보정 정확도: FLIR Systems 의 반사체 방법 (Reflector method) 과 비교하여, 특히 낮은 방사율을 가진 재료 (예: 크롬 볼, 알루미늄 컵) 에서 더 정확한 방사율 값을 추정.
• 실제 실험:
  • 커피포트: 뜨거운 액체로 인한 서서히 변하는 방출과 주변을 이동하는 사람의 반사를 성공적으로 분리.
  • 유리판: 뜨거운 공기로 가열된 유리판의 방출 증가와 차가운 젖은 손가락으로 쓴 글씨의 반사를 분리.
  • 손바닥 지문: 차가운 전구 위에 남은 지문의 열 방출과 사람의 반사를 분리.
• 정량적 평가: 미보정 방법도 열전대 측정값과 비교해 와인잔 (1.72% 오차) 과 커피포트 (5.34% 오차) 에서 상대적으로 낮은 온도 오차를 기록.

5. 의의 및 결론 (Significance)

• 열영상의 새로운 해석: 열화상 카메라가 단순히 온도 분포를 보여주는 것을 넘어, 빛의 수송 (반사) 과 열의 수송 (방출) 을 분리함으로써 가시광선 카메라로는 볼 수 없는 풍부한 장면 정보를 추출 가능하게 함.
• 응용 가능성: 투명/반사성 물체의 3D 형상 복원, 열적 특성이 다른 물체 식별, 정밀한 비접촉 온도 측정 등 컴퓨터 비전 및 로봇 공학 분야에서 중요한 기술적 기반을 제공.
• 한계: 배경 변화가 물체 신호와 상관관계를 가지는 경우 (예: 균일하게 따뜻해지는 방) 에는 성능이 저하될 수 있으며, 저가형 센서의 낮은 신호대잡음비 (SNR) 는 저방사율 물체 감지에 어려움을 줌.

이 논문은 열영상 처리 분야에서 오랫동안 해결되지 않았던 "반사 vs 방출" 분리 문제를 물리 기반 모델과 시간적/스펙트럼 제약을 결합하여 효과적으로 해결한 획기적인 연구로 평가됩니다.