A Model for Mediating Multi-Modal Human Intent into Safe Maneuvers for UAVs

당신이 작고 매우 똑똑한 드론의 선장이라고 상상해 보세요. 당신은 목소리, 손짓, 또는 화면의 버튼을 사용하여 드론에게 "왼쪽으로 가!" 또는 "위로 날아올라!"라고 말하고 싶습니다. 과거에 과학자들은 "좋아! 그냥 선장이 말하는 대로 그대로 실행하자"라고 생각했습니다. 하지만 이 논문은 이렇게 말합니다: 멈추세요! 그것은 위험한 게임입니다.

만약 당신이 언덕 위에 서서 "앞으로 가"라고 외쳤는데, 드론 바로 앞에 가파른 절벽이 있다면, 드론이 당신이 말한 대로 똑같이 행동하는 것은 추락을 의미할 것입니다. 혹은 당신이 손을 흔들어 "오른쪽으로 가"라고 신호를 보냈는데, 그 자리에 다른 드론이 떠 있다면 충돌을 일으킬 것입니다. 인간은 주의가 산만해지거나, 방향 감각을 잃거나, 실수를 할 수 있습니다. 이 논문은 우리가 드론의 명령을 즉각적으로 따라야 하는 직접적인 명령으로 취급해서는 안 된다고 주장합니다. 대신, 중간에 **안전 심판(safety referee)**이 필요합니다.

"제한된 요청(Bounded Request)" 아이디어

저자인 소피아 넬슨(Sofia Nelson)과 그녀의 팀은 드론과 대화하는 새로운 방법을 제안합니다. 그들은 이를 M3R 모델(Multi-Modal Maneuver Request, 다중 모드 기동 요청)이라고 부릅니다. 이렇게 생각해 보세요:

당신이 드론에게 "왼쪽으로 가"라고 말할 때, 당신은 '이동'에 대한 명령을 내리는 것이 아닙니다. 당신은 이동에 대한 요청을 하는 것이지만, 엄격한 제한을 두는 것입니다. 이는 마치 친구에게 "저 나무 쪽으로 걸어갈 수 있어?"라고 묻되, "하지만 돌에 걸려 넘어지거나 누군가와 부딪히지 않을 수 있을 때만 가자"라는 조건을 붙이는 것과 같습니다.

드론은 단순히 듣기만 하는 것이 아니라, 움직이기 전에 규칙을 확인합니다. 드론은 당신의 입력을 "제한된 기동 요청(bounded maneuver request)"으로 취급합니다. 이는 드론이 "알겠습니다, 왼쪽으로 가길 원하시는군요. 하지만 저는 왼쪽으로 1미터만 갈 수 있고, 특정 속도보다 빠르게 갈 수 없으며, 지면이 평평하고 다른 드론이 방해되지 않는지 확인해야 합니다"라고 말하는 것과 같습니다.

안전 심판의 체크리스트

드론이 실제로 움직이기 전에, 디지털 "안전 감독관(Safety Supervisor)"이 빠른 체크리스트를 실행합니다. 이 감독관은 네 가지 큰 요소를 살펴봅니다:

1. 지면: 길을 가로막는 절벽이나 나무가 있는가? 드론은 지면에 충돌하지 않도록 지형을 확인합니다.
2. 이웃: 근처에 다른 드론이 있는가? 다른 드론과 부딪히지 않도록 확인합니다.
3. 드론의 한계: 드론이 실제로 이 동작을 수행할 수 있는가? 이 움직임이 드론의 엔진이 안전하게 처리할 수 있는 속도나 거리인지 확인합니다.
4. 선장의 명확성: 드론이 당신의 말을 이해했는가? 만약 강한 바람 소리 때문에 소리를 질렀거나 어둠 속에서 손을 흔들었다면, 드론은 당신이 무엇을 의도했는지 100% 확신하지 못할 수 있습니다. 확신이 없다면 드론은 움직이지 않습니다.

만약 요청이 이 모든 검사를 통과하면, 드론은 당신이 요청한 것의 제한된(constrained) 버전을 수행합니다. 예를 들어, 당신이 5미터를 가라고 요청했는데 2미터 앞에 벽이 있다면, 드론은 2미터만 갈 것입니다. 만약 벽이 바로 앞에 있다면, 아예 움직이지 않을 것입니다. 심지어 "차단됨(Blocked!)"이라고 말하며 가만히 있을 수도 있습니다.

"앵커(Anchor)"와 "버블(Bubble)"

안전을 유지하기 위해, 드론은 당신의 말을 듣기 시작할 때 **앵커(Anchor)**라고 불리는 안전한 지점을 정합니다. 드론은 이 지점 주변의 5미터 버블(bubble) 안에서 머뭅니다. 당신이 새로운 명령을 내릴 때마다 드론은 앵커를 업데이트하지만, 결코 이 안전 구역을 벗어나지 않습니다. 이는 마치 드론이 자신과 함께 움직이는 거대한 투명한 놀이 울타리 안에서 놀고 있는 것과 같습니다.

어떻게 테스트했는가

팀은 이 아이디어가 작동하는지 확인하기 위해 프로토타입을 제작했습니다. 그들은 단순히 코드만 작성한 것이 아니라, 시뮬레이션된 드론을 사용하여 실험실에서 실제로 테스트했습니다. 그들은 드론과 소통하기 위해 세 가지 방법을 사용했습니다:

• 음성: VOSK라는 도구를 사용하여 "앞으로 가" 또는 "위로 날아올라"와 같은 단어를 듣습니다.
• 제스처: 카메라와 스마트 AI(GPT-5.o)를 사용하여 사람들이 손을 흔드는 것을 관찰합니다.
• 버튼: 각 움직임을 위한 버튼이 있는 간단한 화면을 사용합니다.

그들은 시스템이 이러한 입력들을 안정적으로 이해할 수 있으며, 더 중요한 것은, 안전하지 않을 경우 움직임을 멈추거나 축소할 수 있다는 것을 발견했습니다. 예를 들어, 사람이 시뮬레이션된 벽으로 드론을 날리라는 명령을 내리면, 시스템은 이를 차단하거나 드론을 멈추게 했습니다.

아직 해결하지 못한 점

이 논문이 무엇을 주장하는 것이 아닌지 아는 것도 중요합니다. 저자들은 자신들의 한계를 매우 솔직하게 밝히고 있습니다:

• 아직 실제 세계를 위한 완성된 제품이 아닙니다. 그들은 실험실의 시뮬레이션 환경에서 테스트했습니다. 바람이 불고 장애물이 많으며 다른 실제 드론들이 있는 야외 현장에서 이 시스템을 비행시킨 것은 아닙니다.
• "회전(Turn)" 문제는 까다롭습니다. 드론에게 "왼로 돌아"라고 말하는 것이 어렵다는 점을 인정하는데, 왜냐하면 드론이 회전하면 인간이 어느 쪽이 "왼쪽"인지 놓칠 수 있기 때문입니다. 현재 버전에서는 이 문제를 완전히 해결하지 못했습니다.
• "눈(Eyes)" 부분의 개선이 필요합니다. 제스처 부분의 경우, 실험실에서는 잘 작동하는 강력한 AI 모델을 사용했지만, 악천천후나 먼 거리에서도 잘 작동할지는 미지수입니다. 그들은 나중에 더 나은 모델을 훈련할 계획입니다.

핵심 요약

주요 결론은 안전이 인간의 완벽함에 의존해서는 안 된다는 것입니다. 인간은 실수를 하고, 주의가 산만해지거나, 불분명한 명령을 내릴 수 있습니다. 이 논문은 드론을 안전하게 제어하는 유일한 방법은 인간과 드론 사이에 스마트한 안전 필터를 두는 것이라고 제안합니다. 이 필터는 모든 "가!"라는 명령을 "가되, 안전할 때만 가!"로 바꿉니다.

저자들은 이 접근 방식이 미래를 위한 견고한 토대라고 제안합니다. 그들은 이것이 시뮬레이션과 실험실 테스트에서 작동함을 보여주었으며, 드론이 어떻게 행동해야 하는지에 대한 명확한 규칙(요구사항)을 가지고 있습니다. 하지만 이것은 단지 첫 단계일 뿐이라고 조심스럽게 말합니다. 바람, 비, 그리고 실제 교통량이 존재하는 야생에서 비행하는 진짜 시험은 여전히 남아 있습니다. 그들은 자동차를 고속도로에 내보내기 전에 도로의 규칙을 먼저 만들고 있는 것입니다.