ThermoAct:Thermal-Aware Vision-Language-Action Models for Robotic Perception and Decision-Making

1. 문제 정의 (Problem Statement)

• 기존 VLA 모델의 한계: 최근 등장한 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 시각 (RGB) 정보와 언어 명령을 기반으로 로봇 작업을 수행하지만, 물리적 속성 중 온도 (Temperature) 정보를 거의 고려하지 않습니다.
• 안전 및 효율성 부족: 뜨거운 헤어 스트레이트너, 활성 인덕션 쿡탑, 과열된 배터리 등 열적 위험 요소를 감지하지 못해 로봇이 안전 사고를 예방하거나 "차가운 콜라를 줘"와 같은 온도 기반 작업을 수행하는 데 실패합니다.
• 데이터 부족: 대규모 열화상 (Thermal) 데이터셋이 부족하여, 복잡한 추론이 필요한 온감 (Thermal-aware) 작업을 단일 엔드 - 투 - 엔드 VLA 모델로 학습시키는 것은 비효율적이고 불안정합니다.

2. 제안 방법론 (Methodology)

이 논문은 ThermoAct라는 새로운 프레임워크를 제안하며, 이는 계층적 (Hierarchical) 구조를 기반으로 합니다.

A. 아키텍처 (ThermoAct Architecture)

1. 고수준 계획자 (VLM Planner):
   • 역할: 사용자 명령과 환경 정보 (RGB + 열화상) 를 입력받아 복잡한 작업을 단순한 하위 작업 (Sub-tasks) 으로 분해합니다.
   • 모델: Google 의 Gemini 2.0 Flash를 사용합니다.
   • 입력: 사용자 명령, 열화상, RGB 이미지, 가이드라인 프롬프트.
   • 출력: 실행 가능한 하위 작업 시퀀스 및 자연어 설명.
2. 저수준 실행기 (VLA Executor):
   • 역할: VLM 이 생성한 하위 작업 지시를 받아 로봇의 실제 동작 (관절 각도, 그리퍼 제어 등) 을 실시간으로 예측합니다.
   • 모델: $\pi_0$ (Pi-zero) 기반의 VLA 모델을 LoRA(Fine-tuning) 를 통해 적응시켰습니다.
   • 입력:
     • 외부 카메라: 열화상 (256x256x3, INFERNO 팔레트 매핑)
     • 손목 카메라: RGB 이미지 (256x256x3)
     • 로봇 상태 벡터 (7 차원)
     • 자연어 작업 설명 (VLM 출력)
   • 출력: 6 개의 관절 각도, 그리퍼 제어 값, 작업 완료 플래그 (Done flag).

B. 데이터 처리 및 실험 설정

• 하드웨어: 7-DoF Kinova Gen3 Lite 로봇, Realsense D435/L515 (RGB-D), ThermoEye TMC256B (열화상).
• 데이터 전처리: 열화상 데이터 (256x192) 를 20~35°C 범위에서 정규화 후 8 비트 그레이스케일 및 INFERNO 팔레트 (저온: 짙은 보라색, 고온: 밝은 노란색/흰색) 로 변환하여 RGB 이미지 형태로 VLA 에 입력합니다.
• 데이터셋: 각 작업당 50 개의 데모 (Demonstration) 를 수집하여 LoRA 기반 파인튜닝을 수행했습니다.

3. 주요 기여 (Key Contributions)

1. 열감지 VLA 프레임워크 제안: 로봇이 열화상 정보를 통합하여 "따뜻한 물", "차가운 음료", "과열된 배터리" 등을 식별하고 안전한 결정을 내릴 수 있는 최초의 VLA 기반 접근법 중 하나입니다.
2. 계층적 아키텍처를 통한 데이터 효율성: 대규모 열 데이터셋이 부족한 상황에서, VLM 을 활용한 작업 분해 (Task Decomposition) 가 복잡한 추론을 단순화하고 소량의 데이터로도 안정적인 학습을 가능하게 함을 입증했습니다.
3. 안전성 및 추론 능력 향상: 단순한 물체 인식을 넘어, 환경의 열적 위험을 감지하고 (예: 헤어 스트레이트너 끄기) 상황에 맞는 적응형 전략 (예: 얼음 컵 준비) 을 수립하는 능력을 보여줍니다.

4. 실험 결과 (Results)

총 5 가지 작업 (일상 작업 3 개, 안전 관련 작업 2 개) 에 대해 평가进行了.

• 실험 1: 데이터 양에 따른 성능 (30, 50, 70 에피소드)

  • 제안된 모델 (RGB-T) 은 50 에피소드 학습 시 평균 성공률 **83.3%**로 수렴하며, 70 에피소드에서는 **86.7%**를 기록했습니다.
  • 온도 인식 작업 (따뜻한 컵 선택, 헤어 스트레이트너 끄기) 에서 초기 저성능 (30 에피소드 기준 30~50%) 을 보였으나, 데이터 증가와 함께 급격히 향상되었습니다.
  • 기존 RGB-RGB 모델과 비교하여 온도 관련 작업에서 월등히 높은 성능을 보였으며, 비온도 작업에서도 성능 저하가 없음을 확인했습니다.

• 실험 2: 입력 모달리티 비교 (RGB-RGB vs RGB-T)

  • 전체 평균 성공률: RGB-RGB (59.4%) 대비 **RGB-T (76.8%)**가 약 17% 포인트 향상되었습니다.
  • 온도 관련 하위 작업: RGB-T 모델은 **82%**의 성공률을 기록하여 RGB-RGB (42%) 대비 약 40% 포인트 개선되었습니다.
  • 동적 환경: 컨베이어 벨트 위에서 과열된 배터리를 찾는 동적 작업 (Task 4) 에서도 80% 의 성공률을 달성하여 열 정보 기반 추론의 유효성을 입증했습니다.

• 실험 3: 계층적 계획 (VLM) vs 평면 VLA (Flat VLA)

  • Flat VLA: 긴 시간의 작업을 엔드 - 투 - 엔드로 학습하려다 대부분의 경우 성공률이 **0%**에 가까웠습니다.
  • VLM 기반 계층적 접근: 작업을 하위 작업으로 분해하여 학습시킨 결과, 모든 작업에서 안정적인 실행이 가능했습니다. 이는 대규모 사전 학습 데이터가 없는 열 데이터의 특성상 작업 분해가 필수적임을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 로봇 안전성 혁신: 로봇이 시각 정보뿐만 아니라 열 정보를 통해 환경의 위험 (화재, 과열) 을 사전에 감지하고 대응할 수 있게 함으로써 인간 - 로봇 협업 환경의 안전성을 획기적으로 높였습니다.
• 소량 데이터 학습의 가능성: 대규모 열 데이터셋이 부재한 현실적인 제약 속에서, VLM 의 추론 능력과 VLA 의 실행 능력을 결합한 계층적 프레임워크가 데이터 효율적인 학습을 가능하게 한다는 점을 증명했습니다.
• 향후 과제: 열화상만으로는 깊이 (Depth) 정보나 시야각 제한으로 인한 grasping 실패가 발생할 수 있으므로, 깊이 센서와의 융합 전략 및 데이터셋의 확장 (다양한 물체 및 온도 조건) 이 필요함을 지적했습니다.

요약하자면, ThermoAct 는 로봇이 "눈" (시각) 과 "피부" (온도) 를 모두 사용하여 더 지능적이고 안전한 작업을 수행할 수 있도록 하는 새로운 패러다임을 제시한 연구입니다.