💻 computer science

Thermo-VL: Extending Vision-Language Models to Thermal Infrared Perception

Thermo-VL 은 동결된 Molmo-7B 백본에 학습 가능한 열적 인코더와 텍스트 기반 이중 어텐션 퓨전 모듈을 통합하여 저조도 인식을 향상시키고, 새로 도입된 RGB-열 데이터셋과 벤치마크를 통해 강력한 스펙트럼 간 추론을 가능하게 하는 새로운 비전 - 언어 모델입니다.

원저자: Rusiru Thushara, Yasiru Ranasinghe, Jay Paranjape, Vishal M. Patel

게시일 2026-05-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rusiru Thushara, Yasiru Ranasinghe, Jay Paranjape, Vishal M. Patel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. Molmo라는 이름의 매우 똑똑하고 독서광인 로봇 비서가 있다고 가정해 봅시다. 이 로봇은 일반적인 낮 시간대에 찍힌 사진 (RGB 이미지) 을 보고 이에 관한 질문에 답하는 데 능숙합니다. 개가 어떻게 생겼는지, 차가 어디에 주차되어 있는지 알고 있으며, 일몰을 아름답게 묘사할 수도 있습니다.

하지만 함정이 하나 있습니다: Molmo 는 어둠 속에서는 맹목입니다. 밤에 찍은 사진이나 짙은 안개, 혹은 연기를 통해 찍은 사진을 보여주면 혼란에 빠집니다. 그늘에 서 있는 사람이나 자동차의 따뜻한 엔진을 볼 수 없습니다. 이는 반사광에만 전적으로 의존하기 때문이며, 어둠 속에는 그런 빛이 없기 때문입니다.

Thermo-VL은 연구자들이 이 문제를 해결하기 위해 구축한 대안입니다. 그 작동 원리를 간단히 설명해 보겠습니다:

1. "야간 투시경" 업그레이드

처음부터 로봇 전체를 어둠 속에서 보도록 가르치는 것 (이는 느리고 낮에 보는 능력을 잊게 만들 수 있음) 대신, 연구자들은 Molmo 에게 특별한 야간 투시경 한 켤레를 제공했습니다.

투시경 (열적 인코더): 이 투시경은 빛 대신 "열"을 봅니다. 완전한 어둠 속에서도 따뜻한 인간이나 뜨거운 자동차를 찾아낼 수 있습니다.
전략: 연구자들은 원래의 "낮용 눈 (RGB 부분)"을 동결시켜 변경하지 않았습니다. 오직 새로운 "야간 투시" 부분만 훈련시켰습니다. 이렇게 하면 Molmo 는 햇빛 속에서 보는 능력을 잃지 않으면서도 어둠 속에서 볼 수 있는 능력을 얻게 됩니다.

2. "스마트 번역가" (퓨전 모듈)

단순히 야간 투시 이미지를 낮 이미지 위에 붙여 로봇이 이해하기를 바랄 수는 없습니다. 로봇은 언제 열 영상을 사용해야 하고 무엇을 찾아야 하는지 알아야 합니다.

여기서 **텍스트 유도 퓨전 (Text-Guided Fusion)**이 등장합니다. 이는 오케스트라의 스마트 번역가나 지휘자로 생각할 수 있습니다.

질문은 악보입니다: "길 위에 사람이 있나요?"라고 로봇에게 질문하면, 그 질문이 악보 역할을 합니다.
지휘자의 역할: 퓨전 모듈은 당신의 질문을 듣습니다. 만약 사람에 대해 묻는다면, "열 영상" 부분에 따뜻한 형태에 집중하라고 지시합니다. 차에 대해 묻는다면 엔진 열에 집중하도록 합니다.
게이트드 잔류 (Gated Residual): 번역가는 낮 이미지를 대체하지 않습니다. 대신 열 정보를 그 안에 주입합니다. 마치 수프에 소금 한 꼬집을 추가하는 것과 같습니다. 수프를 소금으로 대체하는 것이 아니라, 맛을 살리기 위해 필요한 만큼만 추가하는 것입니다. 로봇은 원래 장면을 보지만, 이제 질문이 요청한 정확한 위치에 "열 하이라이트"가 추가된 상태로 봅니다.

3. "훈련 체육관" (데이터셋)

이 새로운 시스템을 가르치기 위해 연구자들은 기존 사진만 사용할 수 없었습니다. 대부분의 사진에는 질문이 첨부되어 있지 않았기 때문입니다. 그들은 로봇을 위한 체육관을 만들었습니다:

운동: 그들은 동일한 장면의 일반 사진 한 장과 "열" 사진 한 장으로 이루어진 수천 개의 이미지 쌍을 만들었습니다.
코치: 그들은 AI 를 사용하여 "거기에 사람이 몇 명 있나요?"나 "도로가 비어 있나요?"와 같은 질문과 답변을 이 쌍들에 대해 생성했습니다.
시험 (Thermo-VL-Bench): 또한 엄격한 테스트도 구축했습니다. 로봇이 추측으로 속일 수 없도록 질문을 수동으로 점검했습니다. 이 테스트는 로봇이 어둠 속에서, 혹은 빛과 열이 모두 제공될 때 퍼즐을 해결할 수 있는지 구체적으로 확인합니다.

4. 결과: 왜 이것이 중요한가

Thermo-VL 을 시험해 본 결과:

낮 시간: 원래 로봇 (Molmo) 과 마찬가지로 잘 수행했습니다. 새로운 투시경 때문에 혼란을 겪지 않았습니다.
어둠 속: 원래 로봇이 놓쳤던 물체를 찾는 능력이 훨씬 향상되었습니다.
결합: 로봇이 낮 사진과 열 사진을 함께 사용할 수 있게 되었을 때, 그것은 슈퍼 탐정이 되었습니다. 이전에 전혀 처리하지 못했던 질문에 답할 수 있게 되었습니다.

결론

이 논문은 Thermo-VL이 기존 지능을 손상시키지 않고 낮 시간대만 보는 똑똑한 로봇에게 어둠 속에서 볼 수 있는 능력을 부여하는 방법이라고 주장합니다. 이는 사용자의 질문에 귀 기울이고 로봇에게 필요한 열 세부 정보만 보여줌으로써 로봇의 나머지 지식을 안전하게 유지하는 "열 감지" 뇌를 추가함으로써 이루어집니다.

논문에서의 중요 참고 사항: 저자들은 이것이 현재 연구용 프로토타입이라고 경고합니다. 이는 저조도 장면을 이해하기 위한 강력한 도구이지만, 쌍을 이루는 이미지에 의존하고 여전히 실수를 할 수 있기 때문에 자율 주행과 같은 중요한 안전 작업에 즉시 배포할 수 있는 완벽한 시스템은 아닙니다. 또한 훈련에 사용된 데이터의 일부는 다른 AI 에 의해 생성된 것이므로, 약간의 특이점이나 편향이 있을 수 있다고 지적합니다.

기술 요약: Thermo-VL

문제 제기

시각 - 언어 모델 (VLM) 은 대규모 RGB 데이터셋에 대한 지시 미세 조정 (instruction tuning) 을 통해 개방형 이미지 이해 및 시각적 질문 답변 (VQA) 에서 상당한 성과를 거두었습니다. 그러나 이러한 모델은 가시광선 감지의 실패 모드를 계승합니다. 낮은 조명, 반사광, 안개, 또는 연기와 같은 조건에서 RGB 이미지는 종종 중요한 장면 증거를 잃어, 야간 주행, 수색 및 구조, 저시야 검사 등 안전이 중요한 시나리오에서 표준 VLM 을 취약하게 만듭니다.

열적외선 (IR) 이미지는 가시광선 단서가 저하될 때 인간, 동물, 따뜻한 차량과 같은 보완적인 장면 구조를 보존하지만, 현재 열 데이터를 VLM 에 통합하는 접근 방식은 최적화되지 않았습니다. 일반적인 우회책은 열 이미지를 가상의 RGB 로 변환한 후 RGB 로 훈련된 VLM 에 입력하는 것입니다. 이러한 변환 기반 파이프라인은 생성 병목 현상을 도입하고, 가시광선 스타일의 세부 사항을 환각할 위험을 내포하며, RGB 공간에 자연스럽게 표현되지 않는 모달리티별 정보를 억제합니다. 또한, 기존 RGB-열 데이터셋 (예: KAIST, FLIR-ADAS) 은 주로 탐지 또는 추적을 위해 설계되었으며, 지시 미세 조정과 개방형 추론에 필요한 언어 감독 (language-supervised) 을 결여하고 있습니다.

방법론

저자들은 Molmo-7B-D 백본을 기반으로 구축된 파장 인식형 VLM 인 Thermo-VL을 제시합니다. 이 아키텍처는 사전 훈련된 RGB-언어 인터페이스를 불안정하게 하거나 전체 백본의 비용이 많이 드는 재훈련을 요구하지 않고 정렬된 RGB 및 열 입력을 통합하도록 설계되었습니다.

아키텍처

이중 시각 인코더:
- RGB 스트림: 고정된 (frozen) Molmo 사전 훈련 비전 타워 ( $\phi_R$ ) 를 사용합니다.
- 열 스트림: KAIST, FLIR-ADAS, OSU/OTCBVS, NIRSCENE 등 풀링된 멀티밴드 적외선 코퍼스에서 사전 훈련된 Masked Autoencoder (MAE) 에서 초기화된 ViT-L/14 인코더 ( $\phi_T$ ) 를 사용합니다. Molmo 의 3 채널 입력 기대치와의 호환성을 유지하기 위해 단일 채널 열 이미지는 세 개의 채널에 걸쳐 복제됩니다.
- 매개변수 효율성: 훈련 중 RGB 인코더와 언어 모델 (LLM) 은 고정된 상태로 유지됩니다. 오직 열 인코더의 마지막 $N_\ell=4$ 개 트랜스포머 블록, 열 LayerNorm, 그리고 퓨전 모듈만 업데이트됩니다.
텍스트 기반 이중 어텐션 퓨전 모듈:
핵심 혁신은 고정된 RGB 스트림에 주입하기 전에 언어 프롬프트와 RGB 컨텍스트 모두에 기반하여 열 특징을 조건화하는 퓨전 블록입니다.
- 입력: 정렬된 RGB 토큰 ( $R$ ), 열 토큰 ( $T$ ), 그리고 프롬프트 임베딩 ( $P$ ).
- 이중 어텐션: 열 토큰은 두 개의 병렬 어텐션 경로를 통해 정제됩니다:
  - 텍스트 기반 경로: $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
  - RGB 기반 경로: $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
- 정제: 이러한 경로는 원래 열 특징과 병합되어 정제된 표현 $\hat{T}$ 를 생성합니다.
- 게이트된 잔차 주입: RGB 토큰을 대체하는 대신, 모델은 $\hat{T}$ 에서 잔차 $\Delta R$ 을 예측하고 토큰별 게이트 $\alpha$ 로 이를 조절합니다. 최종 퓨전 토큰은 다음과 같이 계산됩니다:
  $R^\dagger = R + \alpha \odot \Delta R$
  이 설계는 퓨전이 쿼리 인식적임을 보장하며, 표적화된 열 증거 주입을 허용하면서 사전 훈련된 RGB-언어 인터페이스를 보존합니다.

훈련 목적 함수

모델은 복합 손실 함수를 사용하여 최적화됩니다:
$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$

$L_{LM}$ : 언어 모델링 작업을 위한 표준 자기회귀 교차 엔트로피 손실.
$L_{align}$ : 교차 모달 일관성을 강제하기 위한 RGB 및 열 특징 간의 토큰 수준 L2 정렬.
$L_{contr}$ : RGB, 열, 텍스트의 글로벌 의미 표현을 정렬하기 위한 대비 손실 (InfoNCE).
$L_{gate}$ : 게이트 포화 (즉, 모델이 한 모달리티를 완전히 무시하는 것) 를 방지하기 위한 게이트 메커니즘에 대한 엔트로피 정규화.
증강: 훈련 중 가시광선 스펙트럼에 대한 과도한 의존을 줄이기 위해 블록 단위 RGB 마스킹 전략이 사용되며, RGB 이미지 영역의 10% 를 무작위로 마스킹합니다.

주요 기여

파장 인식형 VLM: 토큰별 게이트된 잔차 주입을 갖춘 텍스트 기반 이중 어텐션 퓨전 모듈을 통해 쌍을 이룬 RGB 및 열 입력을 통합하는 Thermo-VL 도입. RGB 타워와 LLM 을 고정 상태로 유지.
매개변수 효율적 적응: 토큰 수준 정렬, 대비 감독, 게이트 엔트로피로 정규화된 열 인코더의 마지막 몇 개 블록과 퓨전 매개변수만 업데이트하는 미세 조정 전략.
통합 RGB-열 언어 감독:
- 데이터셋: 공개 데이터셋과 PixMo-cap-qa 데이터에 대한 F-ViTA 를 이용한 합성 열 증강으로 구성된 약 19,500 개의 이미지 쌍과 약 54K 개의 QA 쌍을 포함하는 픽셀 정렬 RGB-열 지시 미세 조정 데이터셋.
- 벤치마크: 저조도 및 교차 스펙트럼 추론을 위해 설계된 약 3,148 개의 이미지 쌍과 약 15K 개의 QA 쌍을 포함하는 수동으로 선별된 이진 VQA 벤치마크인 Thermo-VL-Bench.

실험 결과

실험은 Thermo-VL-Bench와 외부 RGB-Th Bench에서 수행되었습니다.

Thermo-VL-Bench:
- RGB+열: 두 모달리티가 모두 제공되었을 때 Thermo-VL 은 **88.96%**의 정확도를 달성하여 Molmo 기준 (75.79%) 보다 상당한 개선을 보였습니다.
- 열만: 81.20%(Molmo) 에서 **82.23%**로 향상되었습니다.
- RGB 만: 성능이 **88.67%**로 유지되어 기준과 일치했으며, 퓨전 메커니즘이 기존 RGB 능력을 저하시키지 않음을 입증했습니다.
- 전체: Thermo-VL 은 비교된 모든 모델 (InternVL, Qwen2.5-VL, LLaVA-Next 포함) 중에서 가장 높은 종합 점수 (86.37%) 를 달성했습니다.
RGB-Th Bench:
- Thermo-VL 은 RGB 만 텍스트 작업에서 Molmo 기준 (77.25%) 과 일치했으나, RGB-열 텍스트 작업에서 성능이 60.84% 에서 **69.15%**로 크게 향상되었습니다.
절대 실험 (Ablation Studies):
- 텍스트 기반 어텐션을 제거하면 가장 큰 성능 저하 (88.96% $\to$ 82.34%) 가 발생하여 질문 인식형 퓨전의 중요성이 확인되었습니다.
- 게이트된 잔차 또는 RGB 기반 어텐션을 제거해도 성능이 저하되어, 열 데이터 통합 시 RGB 인터페이스를 보존하는 설계의 역할을 검증했습니다.
- 보조 손실 ( $L_{contr}$ 및 $L_{gate}$ ) 은 교차 모달 일관성과 모달리티 붕괴 방지에 결정적인 것으로 나타났습니다.

중요성 및 주장

이 논문은 명시적이고 프롬프트 조건부 다중 스펙트럼 퓨전이 모델 내부에서 융합될 때 열 단서가 RGB 데이터를 효과적으로 보완할 수 있다고 주장합니다. 이는 입력 수준에서 추가되거나 가상의 RGB 로 변환되는 방식이 아닙니다. Thermo-VL 은 사전 훈련된 RGB-언어 인터페이스를 불안정하게 하지 않고 강력한 사전 훈련 VLM 을 열 감지로 확장할 수 있음을 보여줍니다.

저자들은 Thermo-VL 을 배포 준비가 된 시스템이 아닌 연구 프로토타입으로 위치시킵니다. 그들은 공간적으로 정렬된 입력에 대한 가정, 아티팩트를 도입할 수 있는 모델 생성 QA 감독의 사용, 그리고 Thermo-VL-Bench 가 완전히 인간이 작성한 것이 아니라 수동으로 선별된 모델 생성 벤치마크라는 사실 등 한계를 인정합니다. 이 작업은 안전이 중요한 의사결정의 독립적 기반이 되기보다는 저조도 조건에서의 다중 스펙트럼 시각 - 언어 학습 및 지시 미세 조정 연구를 지원하기 위한 것입니다.