🤖 machine learning

Diffusion Policy with Bayesian Expert Selection for Active Multi-Target Tracking

이 논문은 불확실성을 고려한 베이지안 프레임워크를 통해 확산 정책의 전문가 전략을 선택하는 방식을 제안함으로써, 미탐지 목표 탐색과 추적 중인 목표 활용 사이의 균형을 맞추는 능동적 다중 목표 추적 성능을 기존 방법보다 향상시켰습니다.

원저자: Haotian Xiang, Qin Lu, Yaakov Bar-Shalom

게시일 2026-04-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haotian Xiang, Qin Lu, Yaakov Bar-Shalom

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎯 핵심 아이디어: "현명한 지휘관과 다양한 전문가들"

상상해 보세요. 한 로봇이 어두운 방 안에 숨겨진 여러 개의 공 (목표) 을 찾아야 한다고 칩시다. 로봇은 두 가지 선택지 사이에서 고민해야 합니다.

탐색 (Exploration): 아직 찾지 못한 공이 있을 법한 낯선 구석으로 가서 찾아보기.
추적 (Exploitation): 이미 발견한 공을 놓치지 않게 계속 따라가기.

이 문제는 마치 복잡한 미로에서 길을 찾는 것과 같습니다. 로봇은 상황에 따라 "공을 찾아야 할지, 아니면 이미 찾은 공을 쫓아야 할지"를 매 순간 결정해야 합니다.

1. 기존 방식의 문제점: "주사위 던지기"

기존의 최신 로봇 기술 (확산 정책, Diffusion Policy) 은 여러 가지 행동 방식을 모두 배웠습니다. 하지만, **"지금 이 순간에는 어떤 방식을 써야 할까?"**를 결정하는 방식이 매우 단순했습니다. 마치 주사위를 굴려서 "오늘은 공을 찾아보자" 혹은 "오늘은 공을 쫓자"를 무작위로 정하는 것과 비슷했습니다.

물론 운이 좋으면 잘 되지만, 불확실한 상황 (예: 공이 어디에 있을지 전혀 모르는데) 에서도 무작위로 결정하면 로봇은 엉뚱한 곳으로 헤매게 됩니다.

2. 이 논문의 해결책: "불확실성을 아는 현명한 지휘관"

이 논문은 로봇에게 **주사위 대신 '현명한 지휘관'**을 붙여줍니다. 이 지휘관의 이름은 **베이지안 전문가 선택 (Bayesian Expert Selection)**입니다.

이 지휘관은 다음과 같은 두 가지 능력을 가집니다:

능력 1: 전문가들의 능력을 정확히 예측 (VBLL)
로봇에는 세 가지 '전문가'가 있습니다.
- 탐색가: 미지의 영역을 쑤셔보는 전문가.
- 추적자: 이미 발견한 공을 놓치지 않는 전문가.
- 혼합형: 상황에 따라 둘 다 하는 전문가.
지휘관은 로봇이 현재 보고 있는 상황 (데이터) 을 보고, **"지금 이 상황에서는 '탐색가'가 공을 찾을 확률이 높을까, 아니면 '추적자'가 공을 놓치지 않을 확률이 높을까?"**를 계산합니다.
능력 2: "모르겠으면 조심해" (LCB - 비관주의 원칙)
이것이 이 논문의 가장 멋진 부분입니다. 지휘관은 단순히 "누가 잘할 것 같아?"만 보는 게 아닙니다. **"내가 그 전문가에 대해 얼마나 확신하는가?"**도 봅니다.
- 상황: 로봇이 전혀 본 적 없는 낯선 곳에 왔습니다.
- 기존 방식: "아마 '탐색가'가 잘할 거야!"라고 무작정 믿고 보냅니다. (실패 확률 높음)
- 이 논문의 방식: "음, '탐색가'가 잘할 것 같긴 한데... 내가 이 상황에 대해 아는 게 너무 적어. 불확실성이 커. 그래서 일단 점수를 깎아줘. 대신 '혼합형' 전문가가 조금 덜 확신되더라도, 내가 더 잘 아는 그쪽으로 보내자."
이를 **LCB (Lower Confidence Bound, 하한 신뢰 구간)**라고 합니다. 쉽게 말해, **"모르는 건 과감히 피하고, 내가 확신하는 안전한 선택을 하라"**는 철학입니다.

🌟 비유로 정리하기

이 시스템을 비행기 조종에 비유해 볼까요?

기존 로봇 (확산 정책): 비행기가 다양한 착륙 기술을 배웠지만, 착륙할 때 주사위를 굴려서 "오늘은 비가 오니까 A 방식, 아니면 B 방식"을 정합니다. 운이 좋으면 안전하지만, 폭풍우 속에서도 주사위 운에 맡기는 셈입니다.
이 논문의 로봇: 비행기에는 **자동 조종 장치 (지휘관)**가 있습니다.
1. 먼저 날씨와 비행기 상태를 봅니다.
2. "A 조종사 (추적자) 는 폭풍우 때 실력이 좋지만, 내가 A 조종사의 폭풍우 데이터는 별로 없어. 불확실성이 커."
3. "B 조종사 (혼합형) 는 폭풍우 데이터가 충분해서 확신이 가. 비록 점수가 A 보다 약간 낮아도, 안전하게 B 조종사를 선택하자."
4. 이렇게 불확실성을 고려해서 가장 안전한 조종사를 선택합니다.

🚀 왜 이것이 중요한가요?

실험 결과, 이 방식을 쓴 로봇은 다음과 같은 성과를 냈습니다.

더 정확한 추적: 공을 놓치지 않고 더 정확하게 쫓아갑니다.
더 안전한 결정: 모르는 상황에서는 무작정 위험한 선택을 하지 않고, 확신 있는 선택을 합니다.
빠른 계산: 복잡한 계산을 여러 번 하는 대신, 한 번의 계산으로 불확실성을 파악할 수 있어 실시간으로 작동하기 좋습니다.

💡 결론

이 논문은 로봇에게 **"무작위성 (주사위)"을 버리고, "불확실성을 아는 지혜"**를 심어주었습니다. 로봇이 "내가 모르는 것은 과감히 피하고, 내가 아는 것을 믿고 행동하라"는 철학을 통해, 복잡한 환경에서도 훨씬 똑똑하고 안정적인 행동을 하도록 만든 것입니다.

마치 경험 많은 선장이 안개 낀 바다에서 "여기는 안개 때문에 시야가 안 좋아서, 내가 잘 아는 항로를 따라가자"라고 결정하는 것과 같은 원리입니다.

1. 연구 배경 및 문제 정의 (Problem)

활성 다중 표적 추적 (Active Multi-Target Tracking) 은 제한된 시야 (FoV) 를 가진 이동 로봇이 여러 움직이는 표적을 동시에 추적해야 하는 과제입니다. 이 문제의 핵심 난제는 탐색 (Exploration) 과 활용 (Exploitation) 의 딜레마입니다.

탐색: 미발견되거나 손실된 표적을 찾기 위해 미탐사 지역을 탐색해야 합니다.
활용: 현재 추적 중인 불확실한 표적의 상태 추정을 개선하기 위해 해당 표적을 따라가야 합니다.

기존의 확산 정책 (Diffusion Policy) 기반 접근법 (예: MATT-Diff) 은 다양한 행동 양식 (모드) 을 학습할 수 있지만, 어떤 상황에서 어떤 전략을 실행할지 결정하는 메커니즘이 부재했습니다. 기존 방법은 확산 과정의 무작위 노이즈에 의존하여 모드를 암시적으로 선택하거나, 확신도 (Uncertainty) 를 고려하지 않는 결정론적 게이트 (Softmax gating) 를 사용했습니다. 이는 불확실한 상태에서의 과신 (Overcommitment) 을 초래하거나, 최적의 전략을 선택하지 못하게 만드는 한계가 있었습니다.

2. 제안 방법론 (Methodology)

저자들은 전문가 선택 문제를 오프라인 컨텍스트 밴딧 (Offline Contextual Bandit) 문제로 재정의하고, 불확실성 인식 (Uncertainty-aware) 전략 선택을 위한 베이지안 프레임워크를 제안했습니다.

A. 시스템 아키텍처

다양한 전문가 플래너 (Expert Planners): 탐색, 불확실성 기반 하이브리드, 시간 기반 하이브리드 등 서로 다른 행동 전략을 가진 3 가지 전문가 플래너를 설계하여 데모 데이터를 생성합니다.
조건부 확산 정책 (Conditioned Diffusion Policy): 관찰 데이터 (지도, 표적 믿음) 를 인코딩하고, 선택된 '전문가 임베딩'을 조건으로 받아 행동 시퀀스를 생성하는 확산 모델을 사용합니다. 이는 행동 생성과 전략 선택을 분리합니다.
베이지안 전문가 선택기 (Bayesian Expert Selector): 현재 상태 (컨텍스트) 에서 각 전문가가 기대하는 추적 성능 (보상) 을 예측하고, 불확실성을 정량화하여 가장 안전한 전문가를 선택합니다.

B. 핵심 알고리즘: VBLL 및 LCB

다중 헤드 VBLL (Variational Bayesian Last Layer): 각 전문가에 대해 별도의 베이지안 회귀 헤드 (Last Layer) 를 학습합니다. 이는 단일 순전파 (Single forward pass) 로 예측값과 예측 분산 (Predictive Uncertainty) 을 동시에 제공합니다. (MC Dropout 등보다 계산 효율성이 높음)
LCB (Lower Confidence Bound) 기준: 오프라인 의사결정의 비관주의 원칙 (Pessimism Principle) 을 적용합니다.
- 선택 기준: $LCB_k = \hat{r}_k - \lambda \cdot \sigma_k$
- 여기서 $\hat{r}_k$ 는 예측 보상, $\sigma_k$ 는 예측 불확실성, $\lambda$ 는 비관주의 계수입니다.
- 원리: 예측 보상이 높더라도 불확실성 ( $\sigma_k$ ) 이 크면 LCB 점수가 낮아져 선택되지 않습니다. 이는 훈련 데이터가 부족한 영역에서 전문가를 과도하게 신뢰하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

확산 정책의 한계 극복: 기존 확산 정책이 무작위 샘플링에 의존하던 암시적 모드 선택을, 현재 믿음 상태 (Belief State) 에 기반한 불확실성 인식 명시적 선택으로 전환했습니다.
오프라인 밴딧 프레임워크 도입: 전문가 선택을 오프라인 컨텍스트 밴딧 문제로 공식화하여, 베이지안 추론과 확산 정책 문헌을 연결했습니다.
실용적인 알고리즘 개발: VBLL 을 통한 효율적인 불확실성 추정과 LCB 를 통한 비관적 선택을 결합한 알고리즘을 제안했습니다. 이는 실시간 로봇 제어에 적합한 단일 순전파 방식을 유지하면서도 신뢰할 수 없는 예측을 피합니다.

4. 실험 결과 (Results)

시뮬레이션된 실내 환경 (HouseExpo) 에서 3~6 개의 이동 표적을 추적하는 실험을 수행했습니다.

성능 향상: 제안된 방법 (VBLL) 은 기존 확산 정책 (MATT-Diff) 과 결정론적 게이트 (MoE, MLP Regression) 보다 RMSE(위치 오차), NLL(부정 로그 가능도), 엔트로피(불확실성) 모든 지표에서 우수한 성능을 보였습니다.
불확실성의 중요성: 불확실성을 고려하지 않은 Greedy 선택 (평균만 사용) 은 결정론적 회귀와 유사한 성능에 그쳤으나, LCB 를 적용한 VBLL 은 성능이 크게 향상되었습니다. 이는 예측 불확실성을 고려한 비관적 선택이 오프라인 설정에서 필수적임을 입증했습니다.
적응형 선택의 우위: 고정된 전문가나 무작위 선택보다 컨텍스트에 따라 적응적으로 전문가를 선택하는 방식이 모든 상황에서 우월했습니다.
계산 효율성: VBLL 은 MC Dropout(20 회 순전파) 과 비교하여 단일 순전파로 불확실성을 추정하므로, 실시간 제어에 필요한 지연 시간을 크게 줄이면서 성능을 개선했습니다.

5. 의의 및 결론 (Significance)

이 논문은 활성 다중 표적 추적 분야에서 확산 정책의 잠재력을 극대화하기 위해 전략 선택 (Strategy Selection) 과 행동 생성 (Action Generation) 을 분리하고, 베이지안 불확실성 정량화를 통해 전략 선택의 신뢰성을 높인 획기적인 접근법을 제시했습니다.

이론적 의의: 오프라인 학습된 전문가 집합을 실시간으로 선택할 때, 불확실성을 고려한 비관주의 (Pessimism) 가 과적합이나 잘못된 선택을 방지하는 핵심 요소임을 입증했습니다.
실용적 의의: 복잡한 온라인 재계획 (Re-planning) 비용 없이, 학습된 정책을 통해 효율적으로 탐색과 활용을 균형 있게 수행할 수 있는 방법을 제공하여, 실제 로봇 시스템에 적용 가능한 높은 수준의 자율성을 가능하게 합니다.

결론적으로, 이 연구는 확산 기반 로봇 제어 시스템이 불확실한 환경에서 더 안전하고 효율적으로 의사결정을 내릴 수 있도록 하는 새로운 패러다임을 제시합니다.