Safe-Night VLA: Seeing the Unseen via Thermal-Perceptive Vision-Language-Action Models for Safety-Critical Manipulation

이 논문은 가시광선으로는 감지할 수 없는 열적 정보를 통합하고 제어 장벽 함수를 통해 안전성을 보장함으로써, 비정형 환경에서의 안전하고 견고한 로봇 조작을 가능하게 하는 멀티모달 프레임워크인 'Safe-Night VLA'를 제안하고 실증합니다.

핵심

1. 왜 이 기술이 필요한가요? (기존 로봇의 한계)

지금까지의 최신 로봇들은 마치 사람이 안경을 쓰고 책을 읽는 것처럼, 주로 'RGB(일반 색상) 카메라'와 '언어'를 통해 세상을 이해합니다.

• 문제 1 (보이지 않는 것): 하지만 일반 카메라는 '온도'를 볼 수 없습니다. 뜨거운 물병과 차가운 물병이 똑같이 생겼다면, 로봇은 둘을 구별할 수 없습니다. 또한, 유리창에 비친 거울 속의 물체는 '실제 물체'로 착각할 수 있습니다.
• 문제 2 (안전 사고): 로봇이 예상치 못한 상황을 만나면 (예: 훈련하지 않은 어두운 곳), 갑자기 엉뚱한 행동을 하거나 벽에 부딪히는 등 '안전장치가 없는 상태'에서 일을 합니다.

2. Safe-Night VLA 의 해결책: "열감지 안경"과 "안전 벨트"

이 연구팀은 로봇에게 두 가지 강력한 무기를 주었습니다.

① 열감지 안경 (적외선 카메라 + AI)

• 비유: 로봇이 **열화상 카메라 (열감지 안경)**를 끼고 세상을 보는 것입니다.
• 효과:
  • 뜨거운 것 vs 차가운 것: 똑같은 병이라도 뜨거운 물병은 열화상 카메라에 '빨간색 (뜨거움)'으로, 차가운 물병은 '파란색 (차갑음)'으로 보입니다. 로봇은 이제 "뜨거운 병을 줘"라는 명령을 듣고 정확히 골라냅니다.
  • 숨겨진 보물: 모래나 이불 속에 숨겨진 뜨거운 물체를 찾을 때, 일반 카메라는 아무것도 못 보지만 열화상 카메라는 모래 위로 올라온 '열기 (열꽃)'를 감지해 위치를 찾아냅니다.
  • 거울 속의 착각: 거울에 비친 물체는 일반 카메라엔 진짜로 보이지만, 열화상 카메라엔 거울이 차가운 유리일 뿐이라 '거울 속 물체'는 사라집니다. 로봇은 착각하지 않고 진짜 물체만 건드립니다.

② 안전 벨트 (CBF 안전 필터)

• 비유: 로봇이 무서운 장난을 치려 할 때, 자동으로 작동하는 안전 벨트가 끼는 것입니다.
• 효과: 로봇이 AI 의 판단으로 엉뚱한 방향으로 팔을 뻗어 벽에 부딪히려 하거나, 위험한 곳에 손을 넣으려 하면, 이 '안전 벨트 (수학적 안전 장치)'가 로봇의 명령을 가로채서 "안 돼, 거기 위험해!"라고 막아줍니다. 로봇이 실수를 하더라도 부상을 입거나 기계를 망가뜨리지 않게 막아줍니다.

3. 실제 실험 결과 (로봇이 무엇을 잘하게 되었나?)

연구팀은 프랑카 (Franka) 라는 로봇 팔을 이용해 세 가지 미션을 테스트했습니다.

1. 뜨거운 물병 찾기: 어두운 밤이나 안개 낀 상황에서도, 뜨거운 물병과 차가운 물병을 정확히 구별해냈습니다. (일반 카메라만 쓴 로봇은 0% 성공, 이 기술은 64% 성공)
2. 숨겨진 물건 파내기: 모래 속에 숨겨진 뜨거운 물체를 찾아냈습니다. (일반 카메라는 모래만 보고 당황했지만, 열감지 로봇은 정확한 위치를 파냈습니다.)
3. 거울 속의 속임수 깨기: 거울에 비친 가짜 물체를 진짜로 착각하지 않고, 진짜 물체만 건드렸습니다.

4. 핵심 요약: 이 기술의 의미

이 연구는 **"로봇이 단순히 눈 (카메라) 만 믿지 말고, 피부 (열감지) 로도 세상을 느끼고, 안전벨트 (안전 장치) 를 매야 한다"**는 것을 증명했습니다.

• 기존 방식: "눈만 믿고, 실수하면 부딪힌다."
• 새로운 방식 (Safe-Night VLA): "눈과 열감지 능력을 합쳐서 '보이지 않는 것'도 보고, 안전벨트로 '실수'를 막는다."

이 기술은 앞으로 로봇이 어두운 창고, 재해 현장, 혹은 복잡한 집안 환경에서도 사람처럼 안전하게, 그리고 똑똑하게 일할 수 있는 기반을 마련해 줍니다. 마치 어둠 속에서도 열기를 느끼고, 넘어지지 않도록 보호받으며 걷는 로봇을 상상하시면 됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 최첨단 비전 - 언어 - 행동 (VLA) 모델들은 주로 RGB(가시광선) 센서에 의존하여 작동합니다. 이로 인해 다음과 같은 두 가지 주요 한계에 직면해 있습니다.

• 지각적 한계 (Perceptual Blind Spots): RGB 센서는 물체의 표면 반사율만 포착할 뿐, 표면 온도나 지하 상태와 같은 본질적인 물리적 속성 (Intrinsic Physical Properties) 을 관측할 수 없습니다. 따라서 뜨거운 물체와 차가운 물체를 구별하거나, 모래나 이물질 아래에 숨겨진 대상을 찾는 등의 작업에서 실패합니다.
• 안전성 부재 (Lack of Safety Guarantees): 생성형 VLA 정책은 훈련 분포 (Training Distribution) 를 벗어난 상황 (OOD) 이나 예기치 않은 장애물을 마주할 때 예측 불가능한 행동을 하거나 '할루시네이션 (Hallucination)'을 일으켜 충돌과 같은 안전 사고를 유발할 수 있습니다.

2. 제안 방법론 (Methodology)

저자들은 Safe-Night VLA라는 새로운 멀티모달 조작 프레임워크를 제안하여 위 문제를 해결합니다. 이 프레임워크는 적외선 열화상 (Thermal) 지각과 안전성 필터 (Safety Filter) 를 통합합니다.

A. 시스템 아키텍처 및 적응 전략

• 기반 모델: GR00T-N1.5-3B 아키텍처를 기반으로 하며, EAGLE 2.5 (SigLIP-2 비전 인코더 + Qwen3-1.7B LLM) 를 핵심 지각 엔진으로 사용합니다.
• 파라미터 효율적 적응 (Parameter-Efficient Adaptation): 기존에 RGB 로 사전 훈련된 비전 - 언어 백본 (VLM Backbone) 을 동결 (Frozen) 시킵니다. 열화상 (Thermal) 과 깊이 (Depth) 데이터를 처리하기 위해 백본을 재학습하지 않고, 액션 헤드 (Action Head) 와 멀티모달 프로젝터만 학습시킵니다.
  • 열화상과 깊이 데이터는 3 채널 의사색 (Pseudo-color) 이미지로 변환되어 RGB 와 동일한 토큰 구조로 입력됩니다.
  • 이 접근법은 사전 훈련된 세계 지식 (Shape Bias 등) 을 유지하면서 열적 특성을 학습하게 합니다.

B. 멀티모달 입력 처리

시스템은 세 가지 동기화된 카메라 뷰를 처리합니다:

1. RGB: 전역적인 시각적 맥락 제공.
2. Thermal (LWIR): 온도 구배를 3 채널 색상 강도로 표현. 가시광선에서 보이지 않는 열적 특성을 포착.
3. Depth: 5 미터 범위 내의 깊이 맵을 Turbo 컬러맵으로 매핑하여 조명 무관한 기하학적 단서 제공.

• 데이터 증강: 훈련 중 RGB 뷰에만 심한 광학적 교란 (밝기 변화, 노이즈 등) 을 적용하여 모델이 열 및 기하학적 표현에 더 의존하도록 유도합니다.

C. 안전성 보장 (Safety Guarantee via CBF)

생성형 정책의 안전성을 보장하기 위해 제어 장벽 함수 (Control Barrier Functions, CBF) 를 런타임 안전 레이어로 통합합니다.

• 동작 분리: 그리퍼 작동과 공간적 운동을 분리합니다.
• QP 기반 안전 필터: VLA 가 예측한 6 자유도 (6-DoF) 공간적 의도 ($u_{vla}$) 를 입력받아, 제어 단계에서 2 차 계획 (Quadratic Program, QP) 을 통해 안전한 관절 변위 ($\Delta q_{safe}$) 를 계산합니다.
• 역학 제약: 충돌 회피 ($h_{col}$) 와 관절 한계를 제약 조건으로 포함하여, 정책이 예측한 경로가 물리적으로 안전하지 않을 경우 실시간으로 보정합니다.

3. 주요 기여 (Key Contributions)

1. Safe-Night VLA 프레임워크: 동결된 VLM 과 CBF 안전 필터를 결합하여, 자연어 명령을 열역학적 속성에 기반하여 해석하면서도 결정론적인 물리적 안전성을 보장하는 통합 파이프라인을 제시했습니다.
2. 새로운 물리 벤치마크: RGB 정책의 실패 모드를 드러내는 세 가지 시나리오를 포함한 평가 체계를 구축했습니다.
   • 온도 조건부 조작: 뜨겁고 차가운 물체 구분.
   • 지하 목표물 위치 확인: 입자 매체 아래 숨겨진 열원 탐지.
   • 광학적 환상 제거: 거울 반사로 인한 오인식 방지.
3. 메커니즘 분석: 어텐션 애블레이션 연구를 통해 정책이 데이터 편향이 아닌 열적 구배 (Thermal Gradients) 에 기반하여 의미적 토큰을 지상화 (Grounding) 함을 입증했습니다.

4. 실험 결과 (Results)

Franka Emika Panda 매니퓰레이터를 이용한 실제 실험에서 RGB-Only, RGB-D, RGB-T, Safe-Night VLA (RGB-T-D) 모델을 비교 평가했습니다.

• 성능 비교 (Table II):
  • 온도 조건부 조작 (Scenario I): 열화상 (Thermal) 이 포함된 모델 (RGB-T, Ours) 이 RGB-only 보다 훨씬 높은 성공률 (정상 조명 78% vs 32%) 을 보였습니다. 안전 필터 적용 시 성능이 더욱 향상되었습니다.
  • 지하 위치 확인 (Scenario II): 열화상이 모래 아래 열원을 탐지하는 데 결정적인 역할을 하여, RGB-only 모델이 실패하는 환경에서도 높은 성공률을 기록했습니다.
  • 광학적 환상 제거 (Scenario III): 거울 반사체를 실제 물체로 오인하는 문제를 열화상 센서가 효과적으로 해결했습니다 (거울은 LWIR 에 불투명함). 특히 어두운 환경 (Dim/Night) 에서 안전 필터가 없는 경우 OOD 동작으로 인한 충돌이 발생했으나, Safe-Night VLA 는 이를 성공적으로 방지했습니다.
• 조명 조건: 어두운 환경에서 RGB 기반 모델의 성능이 급격히 저하되는 반면, 열화상과 깊이를 활용한 Safe-Night VLA 는 강건한 성능을 유지했습니다.
• 어텐션 분석: 열 입력이 있을 때 정책의 어텐션이 뜨거운 물체 영역에 집중되며 (엔트로피 감소), 열 픽셀 강도와 의미적 토큰 간의 상관관계가 긍정적으로 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 지각의 확장: VLA 모델이 RGB 를 넘어 비가시적 물리 모드 (열, 깊이) 를 효과적으로 활용하여 "보이지 않는 것 (Unseen)"을 볼 수 있음을 입증했습니다.
• 안전한 자율성: 생성형 정책의 할루시네이션을 런타임에 제어하는 CBF 필터의 중요성을 강조하며, 고수준 의미적 의도와 저수준 기하학적 안전성을 분리하여 통합하는 새로운 패러다임을 제시했습니다.
• 향후 과제: 정적 기하학적 안전 장치를 실시간 열 점구름 (Point Cloud) 을 활용한 동적 장애물 회피로 확장하고, 더 대규모의 기반 모델로 스케일링하는 것이 향후 연구 방향입니다.

이 논문은 로봇이 열역학적 특성을 이해하고 안전 제약 하에서 복잡한 환경에서 조작 작업을 수행할 수 있는 새로운 가능성을 열었다는 점에서 의의가 큽니다.