기술 요약: 확장 가능한 다중 에이전트 확산 정책으로 인한 커버리지 제어

문제 정의

본 논문은 제한된 센싱 범위와 제한된 통신 범위를 가진 환경에서 작동하는 대규모 로봇 군집을 위한 분산형 커버리지 제어의 과제를 다룹니다. 구체적인 작업은 **중요도 밀도 함수 (IDF)**로 정의된 커버리지 비용을 최소화하도록 홀로노믹 로봇 팀을 조정하는 것을 포함합니다.

이 분야의 주요 어려움은 다음과 같습니다:

• 확장성: 기존 분산형 정책은 팀 규모가 증가함에 따라 효과적으로 적응하지 못하는 경우가 많습니다.
• 다양성: 에이전트들은 단일 경직된 전략을 따르는 대신 특정 상황적 요구에 맞춰 행동을 적응해야 합니다.
• 부분 관측성: 로봇들은 국소 센서 데이터와 제한된 통신 반경만을 가지므로 글로벌 조정이 어렵습니다.
• 고차원성: 다중 에이전트 시스템의 행동 공간은 복잡하고 고차원적이며, 에이전트 간의 상호의존성을 포착합니다.

방법론: MADP

저자들은 **MADP(다중 에이전트 확산 정책)**를 제안합니다. 이는 **생성 확산 모델 (GDMs)**과 **공간 변환기 (Spatial Transformers)**를 결합하여 분산 추론을 가능하게 하는 새로운 프레임워크입니다.

1. 핵심 아키텍처

MADP는 학습된 지각 - 행동 - 통신 (LPAC) 루프 내에서 작동합니다. 시스템은 전체 상태에 접근할 수 있는 '전지전능한' 전문가 (전체 상태 접근을 가진 센트로이드 보로노이 테셀레이션) 로부터의 모방 학습을 통해 중앙 집중식으로 훈련되지만, 완전히 분산된 방식으로 실행됩니다.

• 지각 모듈: 각 로봇은 CNN(합성곱 신경망) 을 사용하여 국소 센서 데이터 (밀도 함수, 경계, 장애물, 이웃 위치) 를 압축된 특징 벡터로 인코딩합니다.
• 통신: 로봇들은 이러한 특징 임베딩을 통신 반경 내의 팀원들에게 브로드캐스트합니다.
• 공간 변환기 (ST): 정책의 핵심은 **회전 위치 임베딩 (RoPE)**으로 매개변수화된 인코더와 디코더 쌍인 공간 변환기입니다.
  • 인코더: 국소 관측치와 수신된 피어 임베딩을 융합합니다. 다양한 밀도 전반에 걸쳐 안정성을 보장하기 위해 통신 반경과 그래프 연결성을 결합한 주의 마스크 (attention mask) 를 활용합니다.
  • 디코더: 제어 명령을 생성하기 위해 노이즈 제거를 수행합니다. 융합된 표현에 기반하여 노이즈 제거 과정을 조건화하기 위해 자기 주의 (self-attention) 와 교차 주의 (cross-attention) 를 사용합니다.
  • 분산화: ST 아키텍처는 치환 및 시프트 등변성을 가지므로, 중앙 집중식으로 훈련된 모델을 재훈련 없이 임의의 수의 로봇에 로컬로 배포할 수 있습니다.

2. 확산 과정

정책은 확산 과정으로 행동 분포를 모델링합니다:

• 전진 과정: 전문가 행동은 가우시안 노이즈로 반복적으로 손상됩니다.
• 역과정 (추론): 모델은 각 단계에서 추가된 노이즈를 예측하여 순수한 노이즈에서 행동을 재구성하도록 학습합니다.
• 샘플링: 시스템은 결정론적이고 가속화된 샘플링 (50 단계) 을 위해 **노이즈 제거 확산 암시적 모델 (DDIM)**을 사용하여 로봇들이 유한 시간 지평선 궤적을 생성하도록 합니다.
• 조건부: 노이즈 제거 과정은 로봇 자신의 역사와 이웃의 지각 임베딩이 융합된 표현에 조건부입니다.

주요 기여

1. 새로운 제어 아키텍처: 분산 환경에서 고차원적 다중 모달 행동 분포를 처리하기 위해 확산 모델과 공간 변환기를 통합했습니다.
2. 확장 가능한 분산 추론: 중앙 집중식으로 훈련된 정책을 각 로봇이 로컬에서 실행할 수 있도록 하여, 중앙 궤적 생성 없이 다양한 팀 규모와 통신 토폴로지에 적응하는 방법입니다.
3. 확률적 탐색: 확산 모델의 고유한 확률성을 활용하여 다양한 궤적을 생성함으로써 복잡한 커버리지 작업에서의 탐색을 강화합니다.
4. 분포 이동에 대한 강건성: 정책이 훈련되지 않은 로봇 수, 특징 밀도, 특징 크기 (분포 외 시나리오) 에 대해 일반화됨을 입증했습니다.

실험 결과

저자들은 $1024 \times 1024$m 환경에서 $N=32$개의 로봇과 $F=32$개의 가우시안 특징을 가진 평면 커버리지 제어 작업에 MADP 를 평가했습니다.

• 베이스라인 비교: MADP 는 **분산형 CVT(DCVT)**와 LPAC-K3(이전 학습 기반 분산 방법) 를 포함한 최신 베이스라인을 일관되게 능가했습니다.
• 분포 내 성능: 표준 설정에서 MADP 는 베이스라인보다 낮은 정규화된 커버리지 비용을 달성했으며, 종종 최적 커버리지에 더 빠르게 (~100 단계 후) 수렴했습니다.
• 분포 외 일반화:
  • 특징 크기: 베이스라인이 어려움을 겪었던 더 작은 가우시안 특징을 가진 환경 (더 높은 고도나 다른 센서 규모를 시뮬레이션) 에서 MADP 는 효과적으로 적응했습니다.
  • 실제 시나리오: 50 개의 실제 도시 지도 (교통등 위치를 IDF 소스로 사용) 에서 테스트한 결과, MADP 는 50 개 도시 중 32 개에서 최고의 성능을 달성했으며 모든 도시에서 가장 낮은 평균 커버리지 비용을 기록했습니다.
  • 초기화 강건성: 정책은 다양한 초기 로봇 구성 (균일, 클러스터된 정사각형, 선형 밴드) 에서 우수한 성능을 유지했습니다.
• 확장성: 훈련 구성을 벗어난 다양한 수의 로봇 ($N$) 과 특징 ($F$) 으로 테스트했을 때, MADP 는 팀 규모가 증가함에 따라 베이스라인보다 명확한 이점을 보여주어 강력한 전이성을 입증했습니다.

중요성과 주장

본 논문은 확산 모델의 확장성과 표현력을 성공적으로 활용함으로써 분산형 다중 로봇 제어에서 중요한 진전을 이루었다고 주장합니다.

• 적응성: 저자들은 GDM 의 확률적 성격이 정책으로 하여금 다양한 솔루션을 탐색하게 하여, 관심 지역이 작거나 환경이 매우 역동적인 어려운 시나리오에서 특히 효과적이라고 봅니다.
• 확장성: 중앙 집중식으로 궤적을 생성하는 이전 확산 기반 접근법과 달리, MADP 는 완전한 분산 실행을 가능하게 하여 로봇 군집 확장의 중요한 병목 현상을 해결합니다.
• 미래 방향: 저자들은 MADP 가 생성하는 궤적의 다양성이 향후 작업에서 가이드 제어 또는 모델 예측 경로 적분 (MPPI) 제어를 사용하여 성능을 정제하는 데 더 활용될 수 있다고 제안합니다.

이 연구는 ARL DCIST CRA W911NF-17-2-0181 의 지원을 받았으며, 펜실베이니아 대학교와 IIT 봄베이 연구자들이 수행했습니다.