UDAQ: Unified Dynamic and Adaptive Q-iteration for Unknown Environment Path Planning and Exploration

한 번도 본 적 없는 칠흑 같은 미로 속에 로봇 한 대가 떨어졌다고 상상해 보십시오. 이 로봇의 유일한 도구는 몇 걸음 앞을 볼 수 있는 한 쌍의 "눈"(센서)과, 두 가지를 동시에 해결해야 하는 "두뇌"뿐입니다. 하나는 "저기 저 특정 지점에 어떻게 도달할 것인가?"이고, 다른 하나는 "전체 공간을 어떻게 지도화하여 길을 잃지 않을 것인가?"입니다. 이것이 자율 주행 로봇의 일상, 즉 모바일 로보틱스라 불리는 과학 분야의 모습입니다. 로봇이 현실 세계에서 생존하기 위해서는 경로 계획(A 지점에서 B 지점까지 안전한 선을 그리는 것)과 탐사(미지의 영역을 체계적으로 확인하여 정신적 지도를 구축하는 것)가 필요합니다. 전통적으로 엔지니어들은 이 두 가지를 별개의 작업으로 취급하여, 어디로 갈지 결정하는 하나의 "프로그램"과 어떻게 그곳에 도로 갈지를 결정하는 또 다른 "프로그램"을 고용해 왔습니다. 하지만 바라보는 것에 따라 변화하는 세상에서, 이 두 작업을 분리해 두는 것은 마치 승객이 아직 지도를 읽으려고 애쓰고 있는데 운전자에게 목적지를 묻는 승객과 대화하는 운전자처럼 혼란을 초래할 수 있습니다.

여기 UDAQ(Unified Dynamic and Adaptive Q-iteration, 통합 동적 및 적응형 Q-반복)가 있습니다. 말리시아 페를리스 대학교와 외레브로 대학교의 나스 압달마난(Nasr Abdalmanan) 연구팀이 제안한 이 새로운 프레워크를 생각해 보십시오. UDAQ를 두 개의 별개 뇌를 가진 로봇이 아니라, "뜨겁다 차갑다" 게임을 통해 모든 것을 배우는 하나의 초적응형 내비게이터라고 생각하십시오. UDAQ는 여러 모드를 전환하는 대신, 단일한 규칙 세트(보상 시스템)를 사용하여 로봇이 어떻게 행동할지를 가르칩니다. 만약 로봇이 특정 문을 찾아야 한다면, "게임"은 그 문에 가까워질 때 보상을 줍니다. 만약 로봇이 건물 전체를 지도화해야 한다면, "게임"은 새로운 미탐사 구석을 발견할 때 보상을 줍니다. 이 시스템의 마법 같은 점은 로봇이 세상을 발견함에 따라 스스로 난이도 설정을 조정한다는 것입니다. 미로가 커지면 UDAQ는 로봇이 낙담하거나 혼란에 빠지지 않도록 보상을 확대합니다. 일련의 컴퓨터 시뮬레이션에서 이 접근 방식은 현재 업계에서 사용되는 표준 방식에 비해 로봇이 미지의 공간을 항해하는 데 더 빠르고, 부드럽고, 효율적인 방법임을 입증했습니다.

문제점: 로봇의 "이중 인격"

당신이 거대하고 어두운 동굴을 탐험하고 있다고 상상해 보십시오. 당신에게는 주변의 작은 원만을 비추는 손전등이 있습니다. 출구에 도달하려면 경로를 알아야 합니다. 지도를 만들려면 어둠 속으로 헤매어 들어가야 합니다. 기존의 로봇 항해 방식은 종종 이 작업들을 두 개의 별도 팀으로 나눕니다. 탐사자(Explorer) 팀은 "알려진 세계의 끝을 찾아라!"라고 말합니다. 다른 한 팀인 계획자(Planner) 팀은 "좋아, 이제 그 끝까지 가는 선을 그려봐"라고 말합니다.

문제는 이 두 팀이 서로 대화를 잘 하지 못한다는 점입니다. 탐사자는 가까워 보이는 목표를 선택했지만 실제로는 벽 뒤에 있을 수 있고, 그러면 계획자는 우회로를 찾느라 시간을 낭비하게 됩니다. 또는 계획자가 작업하는 동안 지도가 바뀌어 기존의 계획이 쓸모없게 될 수도 있습니다. 이는 마치 GPS와 스티어링 휠이 서로 목적지에 대해 논쟁하고 있는 두 명의 사람에 의해 제어되는 자동차를 운전하는 것과 같습니다.

해결책: 하나의 뇌, 다양한 기분

UDAQ를 개발한 연구진은 팀을 나누는 것을 그만두기로 했습니다. 그들은 로봇이 탐사와 계획을 모두 처리하는 하나의 뇌를 갖되, 당신이 원하는 것에 따라 "기분"을 바꾸는 시스템을 구축했습니다. 그들은 이를 통합 동적 및 적응형 Q-반복(Unified Dynamic and Adaptive Q-iteration) 프레임워크라고 부릅니다.

작동 방식은 다음과 같은 간단한 비유를 들어 설명할 수 있습니다.

"뜨겁다 차갑다" 게임
로봇이 움직임에 따라 점수(보상)를 얻는 비디오 게임을 하고 있다고 상상해 보십시오.

• 기분 1: 목표 추격자. 만약 당신이 로봇에게 "빨간 문으로 가"라고 말하면, 게임은 문에 가까워질 때 엄청난 양의 점수를 줍니다. 또한 제자리에서 뱅뱅 도는 것에 대해서는 작은 벌점을 부여합니다. 로봇은 문을 향해 돌진하는 법을 배우지만, 벽에 부딪히면 즉시 주변을 돌아가는 최선의 경로를 재계산합니다.
• 기분 2: 지도 제작자. 만약 당신이 로봇에게 "모든 곳을 탐사해"라고 말하면, 게임이 바뀝니다. 이제 로봇은 알려진 지도와 미지의 어둠이 만나는 경계선인 **프런티어(frontiers)**를 발견할 때 가장 큰 점수를 얻습니다. 로봇은 빨간 문을 무시하고 대신 가장 가까운 미탐사 구석으로 달려갑니다.
• 기분 3: 방향성 탐사자. 당신은 심지어 로봇에게 "탐사하되, 주로 북쪽으로 가"라고 말할 수도 있습니다. 로봇은 여전히 새로운 지역을 찾겠지만, 북쪽에 있는 지역을 우선시하여 특정한 탐사 패턴을 만들어낼 것입니다.

UDAQ의 천재적인 점은 기분을 바꾸기 위해 소프트웨어를 교체할 필요가 없다는 것입니다. 단지 동일한 뇌를 실행하면서 게임의 규칙(보상 구성)을 바꿀 뿐입니다.

핵심 비결: "신축성 있는" 보상

이러한 게임에는 까다로운 문제가 있습니다. 만약 로봇이 아주 작은 방에 있다면, "10점"이라는 보상은 매우 크게 느껴질 수 있습니다. 하지만 로봇이 갑자기 거대한 홀을 발견한다면, 똑같은 "10점"은 로봇이 홀 전체를 가로지르기에 너무 작게 느껴질 수 있습니다. 로봇은 혼란을 느껴 시도를 멈추거나, 수학적 계산이 맞지 않아 잘못된 결정을 내릴 수 있습니다.

UDAQ는 동적 및 적응형(Dynamic and Adaptive) 메커니즘을 통해 이 문제를 해결합니다. 이것은 마치 신축성 있는 자와 같습니다.

1. 로봇은 지금까지 발견한 공간의 크기를 지속적으로 측정합니다. 로봇은 알려진 지도 내에서 걸을 수 있는 가장 긴 경로(지오데식 직경, geodesic diameter)를 계산합니다.
2. 이 크기에 따라, 자동으로 **보상을 재조정(rescale)**합니다. 방이 거대하다면 점수의 가치는 더 높아집니다. 방이 작다면 점수의 가치는 더 낮아집니다.
3. 이를 통해 로봇은 환경이 변하더라도 항상 "뜨겁다 차갑다" 신호를 올바르게 느낄 수 있습니다. 이는 로봇이 단순히 환경이 변했다는 이유만으로 "갇히거나" 잘못된 선택을 하는 것을 방지합니다.

시뮬레이션 결과

연구진은 단순한 개방형 창고부터 좁은 복도와 많은 방이 있는 복잡한 건물에 이르기까지 세 가지 서로 다른 가상 세계에서 UDAQ를 테스트했습니다. 그들은 이를 업계에서 사용하는 표준 방식(ROS 2 NavFn 플래너 등) 및 기타 탐사 전략("벽 따라가기" 또는 "무작위 걷기")과 비교했습니다.

1. A 지점에서 B 지점으로 이동하기 (경로 계획)
미지 환경에서 로봇이 시작점에서 목표 지점까지 가야 할 때:

• UDAQ는 표준 플래너보다 8~12% 더 짧은 경로를 찾아냈습니다.
• 이동을 20~30% 더 빠르게 완료했습니다.
• 사전에 지도를 알지 못했음에도 불구하고, UDAQ의 경로는 사람이 처음부터 전체 지도를 알고 있을 때 그릴 수 있는 "완벽한" 경로와 거의 비슷했습니다.

2. 전체 공간 탐사하기 (탐사)
로봇이 전체 환경을 지도화해야 할 때:

• UDAQ는 확실한 승자였습니다. UDAQ는 현재 최고의 전통적 방식인 "프런티어 기반" 방식보다 이동 거리가 36~44% 짧았습니다.
• 탐사를 48~59% 더 빠르게 완료했습니다.
• 가장 복잡한 지도(Map C)에서 표준 "무작위 걷기" 방식은 좁은 복도에 갇혀 작업을 완료하지 못했지만, UDAQ는 매끄럽게 통과하여 작업을 완수했습니다.

3. "방향성" 테스트
한 실험에서 연구진은 로봇에게 특정 방향(예: "주로 남쪽")으로 편향되어 복잡한 건물을 탐사하도록 지시했습니다.

• 방향이 건물의 구조와 일치할 때(남쪽), 로봇은 매우 효율적이었으며 최단 경로를 택했습니다.
• 방향이 틀렸을 때(서쪽), 로봇은 더 길고 구불구불한 경로를 택했습니다.
• 이는 UDAQ가 특정 순서로 탐사하도록 "조종"될 수 있음을 증명했으며, 이는 특정 방이 더 중요하다고 판단되는 경우 유용할 수 있습니다.

한계: 여전히 시뮬레이션 단계

결과는 인상적이지만, 연구진은 이 모든 테스트가 컴퓨터 시뮬레이션에서 수행되었다는 점을 주의 깊게 언급했습니다. 이 로봇들은 센서 오류가 없고, 바퀴가 미끄러지지 않으며, 지도가 항상 정확한 완벽한 디지털 세계에서 살았습니다. 현실 세계에서 로봇은 조명 불량, 미끄러운 바닥, 노이즈가 섞인 센서와 같은 지저잡한 문제에 직면합니다. 논문은 UDAQ가 실제 사용을 위한 매우 강력한 후보이지만, 아직 물리적인 로봇에 테스트되지 않았음을 시사합니다. 저자들은 향ates 이 "신축성 있는 자"를 가진 뇌를 컴퓨터 밖으로 가지고 나와 실제 세계에서 테스트할 계획입니다.

요약

UDAQ는 로봇이 체크리스트를 따르는 경직된 기계가 아니라, 적응력 있는 탐험가가 되는 단계로 나아가는 과정입니다. 경로 계획과 탐사를 하나의 자기 조절 시스템으로 통합함으로써, 로봇이 기존의 분리된 시스템을 가진 로봇들이 겪는 어려움을 극-복하고 미지의 공간을 훨씬 더 효율적이고 부드럽게 항해할 수 있게 해줍니다. 이는 때때로 복잡한 문제를 해결하는 최선의 방법이 더 많은 도구를 만드는 것이 아니라, 가진 도구를 더 똑똑하게 사용하는 방법임을 상기시켜 줍니다.