PRISM: Multimodal Terrain Mapping for Rover Navigation in Unstructured Environments

상상해 보세요. 한 로봇 탐사선이 도로도, 표지판도, 가이드 역할을 해줄 GPS 신호도 없는 거칠고 바위가 많은 황야를 가로질러 운전하려고 합니다. 이것은 화성이나 지구의 깊은 오지 같은 곳을 탐사하기 위해 보내진 로봇들이 매일 마주하는 도전입니다. 살아남기 위해서 이 로봇들은 '상황 인식(situational awareness)' 능력이 필요합니다. 이는 로봇이 자신의 바퀴 아래에 무엇이 있는지, 그리고 앞에 무엇이 놓여 있는지를 정확히 알아야 한다는 것을 의미하는 멋진 표현입니다. 만약 부드러운 모래 더미를 단단한 지면으로 착각한다면, 로봇은 빠져나오지 못하고 갇힐 수 있습니다. 만약 가파른 언덕을 평지로 생각한다면, 뒤집힐 수도 있습니다.

보통 로봇은 인간의 눈과 같은 가시광선을 보는 카메라와 박쥐의 초음파처럼 거리를 측정하는 깊이 센서에 의존합니다. 하지만 야생에서는 단순히 인간처럼 보는 것만으로는 충분하지 않을 때가 있습니다. 때로는 눈에는 똑같이 보이지만, 촉감이나 열에 의해 느껴지는 것은 완전히 다를 수 있습니다. 여기서 특별한 종류의 '슈퍼 비전(super-vision)'이 등장합니다. 바로 일반적인 시각 기능과 열화상 이미징을 결합하는 것입니다. 열화상 카메라는 열을 감지하여, 눈에는 똑같은 색으로 보이더라도 지면이 마른 모래인지 압축된 흙인지를 구별해 낼 수 있습니다. 일반 카메라는 둘 다 '갈색 흙'으로 보지만, 열화상 카메라는 온도 차이를 포착하여 로봇이 어떤 경로로 안전하게 주행할 수 있을지 알려줍니다. 과학자들이 던지는 핵심 질문은 이것입니다. "우리는 로봇이 이 서로 다른 감각들을 하나로 융합하여 가장 혼란스러운 환경에서도 더 안전하고 똑똑한 결정을 내리도록 가르칠 수 있을까?"

---

논문의 핵심 아이디어: 로봇에게 '열 감각'을 부여하다

이 논문에서 연구진은 PRISM(Perception for RGB, Infrared, and Spatial Mapping)이라 불리는 새로운 시스템을 소개합니다. PRISM을 로봇 탐사선을 위한 고성능 안경이라고 생각하면 됩니다. 이 안경은 로봇이 세상의 색상, 깊이, 그리고 열을 동시에 3차원으로 볼 수 있게 해줍니다.

오늘날 대부분의 로봇은 흑백이나 표준 컬러로만 볼 수 있는 눈가리개를 쓴 사람과 같습니다. 그들은 바위를 볼 수는 있지만, 단순히 보는 것만으로는 그것이 미끄럽고 매끄러운 돌인지 아니면 위험하고 울퉁불퉁한 거대한 바위인지 구분하지 못할 수 있습니다. PRISM은 여기에 열화상 카메라를 추가함으로써 게임의 판도를 바꿉니다. 이는 마치 로봇에게 체온까지 감지할 수 있는 야간 투시경을 쥐여주는 것과 같습니다. 이를 통해 로봇은 일반 카메라에는 동일하게 보이는 지형이라도 열적 특성이 다른 지형을 구별할 수 있게 됩니다. 예를 들어, 느슨한 모래 토양은 햇빛 아래에서 압축된 단단한 토양보다 더 빨리 가열될 수 있습니다. 일반 카메라는 둘 다 "갈색 흙"으로 보지만, 열화상 카메라는 온도의 차이를 포착하여 로봇이 어떤 경로가 안전한지 알 수 있게 도와줍니다.

작동 원리: 로봇의 뇌와 눈

연구진은 테스트용 로봇인 RAT(Rover Autonomy Testbed)를 위해 맞춤형 '센서 세트'를 구축했습니다. 이 설정에는 색상과 깊이를 보는 표준 3D 카메라와 열화상 카메라가 포함되어 있으며, 이들은 완벽하게 정렬된 상태를 유지하도록 특수 제작된 3D 프린팅 박스에 장착되어 있습니다.

마법은 소프트웨어, 구체적으로는 OmniUnet이라 불리는 새로운 AI 모델에서 일어납니다. OmniUnet을 국물 맛을 보는 아주 똑똑한 요리사라고 상상해 보세요. 요리사는 단순히 맛(색상)만 보는 것이 아니라, 동시에 온도(열)와 질감(깊이)을 모두 느끼며 국물을 맛봅니다. 이 세 가지 '재료'를 결합함으로써, AI는 지형의 상세한 지도를 만들 수 있습니다. AI는 단순히 "땅이 있다"라고 말하는 대신, "저 구역은 풀밭이다", "저 구역은 바위다", "저 구역은 위험한 덤불이다"라고 말합니다.

AI가 지형을 식별하면, 시스템은 **주행 가능 지도(Traversability Map)**를 생성합니다. 이것은 모든 칸에 '난이도 점수'가 할당되는 비디오 게임 지도와 같습니다.

• 장애물(Obstacles): 가파른 절벽이나 형체를 알 수 없는 물체 등은 "이곳으로 가지 마시오!"라고 알려주는 '무한 비용(infinite cost)' 점수를 받습니다.
• 주행 가능(Traversable): 안전한 경로는 낮은 점수를 받습니다.
• 반전: 이 시스템은 때때로 높은 풀이 3D 카메라에는 단단한 벽처럼 보일 수 있지만, AI는 그것이 그저 풀이라는 것을 알고 로봇이 통과할 수 있도록 허용할 만큼 똑똑합니다. 반대로, 작아 보이는 바위가 실제로는 넘기에는 너무 높다는 것을 포착하여 위험 요소로 표시하기도 합니다.

실제 환경 테스트: 야생에서의 주행

이것이 단순한 컴퓨터 시뮬레이션이 아님을 증명하기 위해, 팀은 로봇을 실제 세계로 데려갔습니다. 그들은 두 곳에서 테스트를 진행했습니다:

1. 바데나스 반사막(Bardenas Semi-Desert): 스페인에 위치한 건조하고 바위가 많은 지역으로, 화성 표면과 매우 흡사합니다.
2. LAENTIEC: 흙, 자갈, 풀이 있는 말라가 대학교의 테스트 경기장입니다.

그들은 단순히 컴퓨터에서 실행한 것이 아니라, 물리적인 로버에 탑재하여 자율 주행을 시켰습니다. 로봇은 지도를 업데이트하고 다음 움직임을 계획하기 위해 매 5미터마다 멈춰야 했으며, 이 모든 과정은 로봇에 장착 가능한 소형 저전력 컴퓨터(Jetson Orin Nano)에서 실행되었습니다.

연구 결과

결과는 유망했습니다. OmniUlet AI는 높은 정확도로 지형 유형을 올바르게 식별해 냈습니다.

• 바데나스 데이터셋(화성의 암석과 모래 같은 환경)에서, 시스템은 약 **80.37%**의 확률로 픽셀을 정확하게 분류했습니다. 특히 "압축된(compact)" 지면(가장 안전한 종류)을 **77.44%**의 정확도로 찾아내는 데 탁실했습니다.
• LAENTIEC 데이터셋(풀과 흙이 있는 지역)에서는 성능이 더욱 향상되어 **92.85%**의 정확도에 도달했습니다.

하지만 논문은 한계점에 대해서도 솔직하게 밝히고 있습니다. 시스템은 바위를 식별하는 데 다소 어려움을 겪었으며, 바데나스 테스트에서 단 **18.40%**의 정확도만을 기록했습니다. 저자들은 이것이 태양과 그림자에 따라 바위의 열 신호가 매우 다양하게 변할 수 있기 때문에, AI가 바위를 일관되게 포착하기 어렵기 때문이라고 설명합니다.

결론

PRISM은 모든 문제를 해결하는 마법 지팡이는 아니지만, 중요한 진전입니다. 저자들은 열화상 비전을 추가함으로써 로봇이 일반 카메라가 놓치는 안전한 경로와 숨겨진 위험을 구분하며, 이전보다 훨씬 더 명확하게 세상을 볼 수 있다는 것을 보여주었습니다. 그들은 이 복잡한 시스템이 소형 저전력 컴퓨터에서도 구동될 수 있음을 성공적으로 입증했으며, 이는 미래의 자율 주행 로버가 인간의 일일이 조종 없이도 화성이나 지구의 험난하고 구조화되지 않은 지형을 항해할 수 있음을 증명합니다. 그들이 사용한 코드와 데이터는 이제 누구나 연구할 수 있도록 공개되어 있으며, 이는 '열 감지 눈'을 가진 미래의 로봇들이 학습할 수 있는 길을 열어주고 있습니다.