TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation

이 논문은 열적 물리를 고려한 시각 - 언어 프롬프트와 잠재 확산 모델을 결합하여, 시간대나 날씨 등 다양한 조건에서 현실적이고 제어 가능한 가상의 열적외선 이미지를 생성하는 'TherA' 프레임워크를 제안합니다.

핵심

이 논문은 **"TherA"**라는 새로운 인공지능 기술을 소개합니다. 쉽게 말해, 일상적인 사진 (RGB) 을 열화상 카메라로 찍은 것처럼 바꾸어주는 '마법 지팡이' 같은 기술입니다.

하지만 기존 기술들과는 결정적으로 다른 점이 있습니다. 기존 기술들은 단순히 "사진을 붉게 칠하면 열화상이지!"라고 생각해서, 뜨거운 자동차 배기통이 차가운 주차된 차보다 더 뜨겁게 그려지는 등 물리적으로 말이 안 되는 결과를 내놓곤 했습니다.

TherA 는 이런 문제를 해결하기 위해 세 가지 핵심 아이디어를 사용합니다.

1. "열물리학자"가 된 AI 비서 (TherA-VLM)

기존 AI 는 사진을 볼 때 "차가 있네, 나무 있네"라고만 봤다면, TherA 는 사진을 보는 순간 "열물리학자"로 변신합니다.

• 비유: 마치 사진 속 장면을 보고 "저 차는 엔진이 켜져서 뜨거울 거야", "저 차는 주차되어서 식었을 거야", "비가 오면 도로가 차가워지겠지"라고 물리 법칙을 계산하는 전문 컨설턴트가 옆에 붙은 것과 같습니다.
• 이 컨설턴트 (TherA-VLM) 가 사진의 상황 (날씨, 시간, 물체 상태) 을 분석해서 "이곳은 뜨겁고, 저곳은 차갑다"는 **열적 지도 (Embedding)**를 만들어냅니다.

2. 그림을 그리는 화가 (Diffusion Model)

이제 이 열적 지도를 받아서 실제 그림을 그리는 화가 (Diffusion 모델) 가 나옵니다.

• 비유: 화가는 컨설턴트에게 "이 차는 엔진이 돌아가서 뜨겁게 그려줘", "저 차는 주차되어서 차갑게 그려줘"라는 지시를 받습니다.
• 덕분에 TherA 가 만든 열화상 사진은 실제 열화상 카메라로 찍은 것처럼 자연스럽습니다. 뜨거운 배기통은 밝게, 차가운 바퀴는 어둡게 표현되는 등 물리적으로 정확한 열 분포를 보여줍니다.

3. 원하는 대로 조종하기 (Controllability)

이 기술의 가장 놀라운 점은 사용자가 원하는 대로 열화상을 조작할 수 있다는 것입니다.

• 텍스트로 조종: "이 사진을 비 오는 날로 바꿔줘"라고 말하면, AI 는 비가 오면 도로가 어떻게 식는지, 공기가 어떻게 변하는지 계산해서 열화상을 다시 그립니다.
• 참고 사진으로 조종: "이 주차된 차처럼 차갑게 그려줘"라고 다른 사진을 보여주면, TherA 는 그 차의 열 상태를 그대로 옮겨서 새로운 사진에 적용합니다.
• 비유: 마치 열화상 사진 편집기를 쓰는 것처럼, "이건 뜨겁게, 저건 차갑게, 날씨는 비가 오게"라고 지시하면 AI 가 그 지시에 맞춰 물리 법칙을 지키면서 사진을 바꿔줍니다.

왜 이 기술이 중요한가요?

1. 데이터의 부족 해결: 열화상 카메라는 비싸고, 열화상 사진을 찍어标注 (라벨링) 하는 것은 매우 어렵습니다. TherA 는 값싼 일반 카메라 사진만으로도 수천 장의 고품질 열화상 데이터를 만들어낼 수 있게 해줍니다.
2. 안전한 자율주행: 밤이나 안개 낀 날처럼 시야가 안 좋은 상황에서도 열화상 카메라는 물체를 잘 봅니다. TherA 를 통해 이런 상황을 미리 시뮬레이션하면, 자율주행차가 더 안전하게 운전할 수 있도록 훈련시킬 수 있습니다.
3. 현실적인 시뮬레이션: 기존 기술들은 단순히 색을 바꾸는 수준이었지만, TherA 는 실제 열의 흐름을 이해하므로, 실제 상황과 거의 똑같은 가상 데이터를 만들어냅니다.

요약하자면

TherA 는 **"사진을 열화상으로 바꾸는 기술"**이지만, 단순히 필터를 입히는 게 아니라 **"사진 속 사물들이 어떻게 열을 내는지 물리 법칙을 공부한 AI"**가 만들어낸 결과물입니다.

사용자는 "비가 오게 해줘", "이 차를 시동 걸리게 해줘"라고 말하기만 하면, AI 는 그 지시에 맞춰 현실적인 열화상 세계를 만들어냅니다. 이는 앞으로 자율주행, 감시 시스템, 의료 영상 등 다양한 분야에서 비싼 열화상 장비 없이도 고품질의 데이터를 확보할 수 있는 혁신적인 길이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

열적외선 (TIR) 이미징은 저조도 및 악천후 조건에서 강력한 인식 능력을 제공하지만, 대규모 데이터 수집과 주석 달기는 고가의 센서와 전문가의 노력이 필요하여 큰 병목 현상입니다. 이를 해결하기 위해 RGB 이미지를 TIR 이미지로 변환하는 (Synthesis) 방식이 대안으로 제시되었으나, 기존 방법들은 다음과 같은 한계가 있었습니다.

• 물리적 비현실성: 대부분의 기존 RGB-to-TIR 변환 모델은 RGB 중심의 스타일 전이 (Style Transfer) 에 의존합니다. 이는 열적 물리 (재료의 방사율, 활성 열원, 환경적 요인 등) 를 무시하여, 실제 열 분포와 모순되는 비현실적인 결과 (예: 주차된 차의 배기구가 뜨겁게 표현됨) 를 생성합니다.
• 불명확한 매핑 (Ill-posedness): 하나의 RGB 입력은 다양한 열적 조건 (시간, 날씨, 물체 상태) 에 따라 여러 개의 유효한 TIR 출력에 대응될 수 있습니다. 기존 모델들은 이를 단순한 픽셀 단위 매핑으로 처리하여 다양성과 제어 가능성을 잃었습니다.
• 제어 불가능성: 기존 모델들은 열적 특성을 사용자가 명시적으로 조절 (예: 날씨 변경, 물체의 활성/비활성 상태 전환) 할 수 있는 메커니즘이 부족했습니다.

2. 제안 방법론 (Methodology)

저자들은 TherA라는 새로운 프레임워크를 제안하며, 이는 **TherA-VLM(Thermal-Aware Vision-Language Model)**과 **잠재 확산 모델 (Latent Diffusion Model)**의 두 단계로 구성됩니다.

A. R2T2 데이터셋 구축

• 목적: 열적 특성을 이해하는 VLM 과 확산 모델을 훈련하기 위해 RGB-TIR-텍스트 3 중항 (Triplets) 데이터셋을 구축했습니다.
• 구성: 10 만 개의 정렬된 RGB-TIR 쌍과 구조화된 열적 설명 (Canonical Thermal Descriptions) 으로 구성됩니다.
• 생성 과정: 멀티모달 LLM(Gemini 2.5 Pro) 을 사용하여 RGB-TIR 쌍을 분석하고, 장면 (시간, 날씨), 물체, 재료, 열 방출 상태 (Active/Passive) 를 포함한 물리 기반의 구조화된 텍스트 (Schema) 를 생성했습니다. 이는 자유 형식의 캡션이 아닌, 열적 물리에 초점을 맞춘 정형화된 데이터입니다.

B. TherA-VLM (Thermal-Aware Vision-Language Model)

• 구조: LLaVA 1.5 를 베이스로 하여, LoRA(Low-Rank Adaptation) 를 통해 미세 조정 (Fine-tuning) 했습니다.
• 기능: 입력 RGB 이미지와 사용자 프롬프트를 분석하여 **구조화된 열적 스키마 (Scene, Objects, Materials, Heat Emission States)**를 생성합니다.
• 출력: 생성된 스키마의 최종 숨은 상태 (Hidden State) 를 **열적 임베딩 (Thermal Embedding, $h_N$)**으로 변환합니다. 이 임베딩은 확산 모델에 물리적으로 타당한 조건을 부여하는 핵심 신호입니다.

C. VLM 조건부 확산 모델 (VLM-Conditioned Diffusion)

• 아키텍처: Stable Diffusion 기반의 잠재 확산 모델을 사용합니다.
• 입력: 8 채널 입력을 사용하며, 4 채널은 노이즈가 추가된 TIR 잠재 공간 ($z_t$), 나머지 4 채널은 RGB 가이드 잠재 공간 ($z_{rgb}$) 입니다.
• TE-Adapter: TherA-VLM 의 고차원 임베딩 ($h_N$) 을 UNet 의 어텐션 차원에 맞도록 매핑하는 어댑터 모듈을 도입하여, VLM 의 물리 지식을 확산 과정에 주입합니다.
• 제어 메커니즘:
  • 텍스트 기반 제어: "흐린 날씨", "비 오는 날" 등의 프롬프트를 통해 전역적인 열적 특성 (날씨, 시간대) 을 변경합니다.
  • 참조 이미지 기반 제어: 다른 RGB 이미지를 참조하여 특정 물체 (예: 주차된 차 vs 주행 중인 차) 의 열적 상태를 구체적으로 제어합니다.
• 추론: 이미지 조건 ($c_V$) 과 VLM 조건 ($c_S$) 에 대한 이중 분류기 없는 가이드 (Dual Classifier-Free Guidance, CFG) 를 적용하여 물리적으로 일관된 결과를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 열 인식 VLM 조건부 생성: 확산 모델에 물리적으로 타당한 열적 임베딩을 주입하여, 단순한 스타일 전이가 아닌 물리 기반의 TIR 합성을 가능하게 했습니다.
2. 제어 가능한 열 변조: 텍스트 프롬프트나 참조 이미지를 통해 장면의 물리적 상태 (날씨, 시간) 와 물체의 열적 상태 (활성/비활성) 를 세밀하게 제어할 수 있는 최초의 프레임워크를 제안했습니다.
3. R2T2 데이터셋 공개: 열적 특성을 구조화하여 설명하는 10 만 쌍 규모의 대규모 RGB-TIR-텍스트 데이터셋을 공개합니다.
4. SOTA 성능 달성: FLIR 및 M3FD 벤치마크에서 기존 방법들을 압도하는 성능을 보였으며, 제로샷 (Zero-shot) 일반화 성능이 평균 33% 향상되었습니다.

4. 실험 결과 (Results)

• 정량적 평가: M3FD 와 FLIR 데이터셋에서 PSNR, SSIM, FID, LPIPS 등 모든 지표에서 기존 SOTA 모델 (DiffV2IR, F-ViTA, ThermalGen 등) 을 상회했습니다. 특히 제로샷 설정 (훈련 데이터와 완전히 다른 테스트 데이터) 에서도 뛰어난 성능을 유지하여 강력한 일반화 능력을 입증했습니다.
• 정성적 평가:
  • 물리적 일관성: 주행 중인 차량은 뜨겁게, 주차된 차량은 차갑게 표현되는 등 열적 물리 법칙을 정확히 반영했습니다.
  • 제어 가능성: 텍스트 프롬프트로 날씨를 변경하거나, 참조 이미지를 통해 특정 차량의 열 상태를 변경하는 등 세밀한 제어가 가능함을 시각적으로 증명했습니다.
  • 다운스트림 태스크: 생성된 가짜 TIR 데이터를 사용하여 열 분할 (Segmentation) 과 RGB-TIR 이미지 매칭 (Matching) 태스크를 수행했을 때, 기존 변환 모델보다 훨씬 높은 성능을 보여주어 실제 활용 가치를 입증했습니다.

5. 의의 및 결론 (Significance)

TherA 는 RGB-to-TIR 변환 문제를 단순한 이미지 스타일 전이가 아닌, 물리 법칙과 시맨틱 추론이 결합된 작업으로 재정의했습니다. 이를 통해 다음과 같은 의의를 가집니다:

• 데이터 부족 해결: 실제 TIR 데이터 수집의 어려움 없이, 물리적으로 타당하고 제어 가능한 대규모 TIR 데이터를 생성할 수 있게 되어 자율주행 및 로봇 비전 분야의 데이터 부족 문제를 해결합니다.
• 해석 가능한 제어: 사용자가 자연어나 참조 이미지를 통해 열적 특성을 명시적으로 조절할 수 있어, 다양한 시나리오 (야간, 악천후 등) 에 대한 시뮬레이션이 가능해졌습니다.
• 미래 방향: 현재는 상대적인 온도 분포에 기반하지만, 이 프레임워크는 절대적인 방사선 측정 (Radiometric) 데이터 생성 및 다중 스펙트럼 비전 연구의 새로운 방향성을 제시합니다.

요약하자면, TherA 는 열적 물리를 이해하는 비전 - 언어 모델을 확산 모델에 결합함으로써, 현실적이고 제어 가능한 열적외선 이미지 합성을 실현한 획기적인 연구입니다.