1. 연구 배경 및 문제 정의 (Problem)

• 현황: 기존의 비전 - 언어 모델 (VLMs) 은 RGB(가시광선) 이미지 기반의 벤치마크에서 뛰어난 성능을 보이지만, 열화상 (Thermal) 이미지에 대해서는 일반화되지 못합니다.
• 열화상의 특성: 열화상은 색상이나 질감 대신 물리적 온도를 인코딩합니다. 이는 가시광선이 없는 환경 (야간 감시, 구조 활동, 자율 주행, 의료 진단 등) 에서 필수적이지만, 기존 VLM 들이 학습한 RGB 중심의 시각적 단서 (색상, 질감) 와는 근본적으로 다릅니다.
• 핵심 문제: 현재 VLM 들이 열화상에서 온도 기반 추론 (temperature-grounded reasoning) 을 수행할 수 있는지, 그리고 RGB 데이터로만 훈련된 모델이 열 신호를 물리적 의미로 해석할 수 있는지에 대한 체계적인 평가 기준이 부재합니다.

2. 방법론 및 제안된 프레임워크 (Methodology)

저자들은 ThermEval이라는 평가 프레임워크를 제안하며, 이는 크게 두 가지 핵심 요소로 구성됩니다.

A. ThermEval-B (벤치마크)

열화상 이해를 위한 7 가지 단계별 태스크로 구성된 벤치마크입니다. 난이도가 점진적으로 증가하며, 열 신호에 대한 모델의 주의를 평가합니다.

1. T1 & T2 (모달리티 식별): RGB 와 열화상을 구분하는 능력 및 다양한 컬러맵 (Colormap) 변환 하에서의 강건성 평가.
2. T3 (인간 계수): 열화상 내 인간 수를 정확히 세는 능력.
3. T4 (컬러바 해석): 열화상의 색상 범위 (Colorbar) 를 감지하고, 위치를 파악하며, 최대/최소 온도를 추출하는 능력.
4. T5 (열적 추론): 두 사람 간의 신체 부위 온도 비교 또는 한 사람의 신체 부위 간 상대적 온도 순서 파악.
5. T6 (절대 온도 추정): 좌표, 화살표, 또는 의미 있는 영역 (머리, 가슴 등) 의 절대 온도를 수치로 추정.
6. T7 (거리별 온도 추정): 촬영 거리 (2ft, 6ft, 10ft) 가 변할 때의 온도 추정 강건성 평가.

B. ThermEval-D (데이터셋)

• 기존 공개 데이터셋 (FLIR, LLVIP 등) 은 픽셀 수준의 온도 정보가 부족하거나 얼굴 이미지에 국한된 경우가 많았습니다.
• ThermEval-D는 실내/실외 환경에서 수집된 1,000 개 이상의 열화상으로 구성되며, **픽셀 단위 밀집 온도 맵 (dense per-pixel temperature maps)**과 신체 부위 (이마, 가슴, 코 등) 에 대한 시맨틱 주석을 제공합니다.
• 이 데이터셋은 약 16,000 개의 열화상 VQA 쌍을 생성하는 데 사용되었습니다.

C. 평가 프로토콜

• 대상 모델: 오픈소스 및 클로즈드소스 VLM 25 개 (0.3B ~ 235B 파라미터 규모 포함, InternVL, Qwen, LLaVA, Gemini 등).
• 평가 방식: 제로샷 (Zero-shot) 프롬프팅, 컨텍스트 증강 프롬프팅, 그리고 대표 모델 (Qwen-VL 2.5) 에 대한 지도 미세 조정 (Supervised Fine-Tuning, SFT) 수행.
• 출력 파싱: 모델의 비정형 출력을 표준화하기 위해 LLM 기반 파서를 사용했습니다.

3. 주요 기여 (Key Contributions)

1. ThermEval-B 벤치마크: 약 55,000 개의 열화상 VQA 쌍을 포함하는 최초의 체계적인 평가 프레임워크를 제시하여, VLM 의 열 추론 능력을 진단합니다.
2. ThermEval-D 데이터셋: 다양한 환경에서 픽셀 단위 온도 맵과 신체 부위 주석이 포함된 새로운 대규모 데이터셋을 공개하여, 기존 데이터셋의 한계를 극복하고 더 정밀한 벤치마킹을 가능하게 합니다.
3. 심층 분석: 모델의 실패 원인이 단순히 모델 크기가 아닌, 크로스 모달 그라운딩 (Cross-modal grounding) 의 부재와 언어 사전 지식 (Language priors) 에 대한 과도한 의존에 있음을 규명했습니다.

4. 주요 결과 (Results)

• 모달리티 식별 (T1, T2): 대부분의 최신 VLM 은 RGB 와 열화상을 구분하는 것은 잘하지만, 컬러맵이 변경되면 성능이 급격히 저하됩니다. 이는 모델이 저수준 색상 통계에 의존하고 있음을 시사합니다.
• 추론 및 온도 추정 실패:
  • T3 (계수): 최신 모델은 성능이 개선되었으나, 여전히 많은 사람이 겹쳐 있거나 열 신호가 유사할 경우 오류가 발생합니다.
  • T4 (컬러바): 많은 모델이 컬러바의 숫자 (OCR) 를 읽지 못하거나, 소수점 위치를 잘못 파악하거나, 의미 없는 큰 수를 생성합니다.
  • T5, T6, T7 (추론 및 추정): 모델들은 열 신호를 기반으로 추론하기보다, **언어적 편향 (예: 인간 체온 36.8°C 로 고정 응답)**이나 고정된 숫자를 출력하는 경향이 강합니다. 모델 규모 (Parameter size) 가 커져도 이러한 실패 양상은 해결되지 않습니다.
• 프롬프트 엔지니어링의 한계: 컨텍스트가 포함된 상세한 프롬프트를 제공해도 모달리티 식별에는 도움이 되지만, 복잡한 온도 추론이나 추정 태스크에서는 성능 향상이 미미하거나 오히려 저하되기도 합니다.
• 지도 미세 조정 (SFT) 의 효과:
  • Qwen-VL 2.5 를 미세 조정하면 제로샷 모델들보다 성능이 크게 향상되어 인간 수준의 성능에 근접하거나 일부 태스크에서 인간을 능가합니다.
  • 그러나: 미세 조정 후에도 절대 온도 추정 오차 (MAE) 가 여전히 1~2°C 수준이며, 안전이 중요한 응용 (예: 발열 스크리닝) 에는 여전히 불충분합니다. 이는 VLM 이 열 데이터를 처리할 잠재력은 있으나, RGB 중심의 사전 훈련으로 인해 물리적 센서 신호에 대한 그라운딩이 부족함을 의미합니다.

5. 의의 및 결론 (Significance)

• 열적 이해의 개방적 과제: 현재 VLM 들은 열화상의 물리적 의미를 이해하는 데 근본적인 한계가 있으며, 이는 단순한 모델 규모 확장으로 해결되지 않는 문제임을 증명했습니다.
• 새로운 방향성 제시: 향후 VLM 개발은 RGB 이미지에 국한되지 않고, X-ray, CT, 열화상 등 물리적 센서 모달리티를 명시적으로 사전 훈련 (Pre-training) 에 포함해야 함을 강조합니다.
• 벤치마크의 필요성: ThermEval 은 열화상 기반 VLM 의 발전 방향을 제시하고, 안전 및 산업 응용 분야에서의 신뢰성 있는 평가를 위한 필수적인 도구로 자리 잡았습니다.

요약하자면, 이 논문은 기존 VLM 들이 열화상이라는 물리적 신호를 제대로 해석하지 못하며, 이는 훈련 데이터의 모달리티 편향 (RGB 중심) 에 기인한다는 사실을 체계적인 벤치마크와 데이터셋을 통해 입증하고, 향후 연구 방향을 물리적 센서 모달리티 통합으로 제시했습니다.