Flying by Inference: Active Inference World Models for Adaptive UAV Swarms

"추론을 통한 비행: 적응형 UAV 군집을 위한 능동 추론 세계 모델"에 대한 상세한 기술 요약입니다.

1. 문제 제기

본 논문은 동적이고 불확실한 환경에서 무인 항공기 (UAV) 군집의 적응형 궤적 계획이라는 과제를 다룹니다. 핵심 문제는 군집이 다음을 수행해야 하는 **다중 외판원 문제 (MTSP)**를 해결하는 것입니다:

1. 작업 할당: 여러 UAV 에게 일련의 목표 지점을 분배합니다.
2. 경로 순서 결정: 각 UAV 의 최적 방문 순서를 결정합니다.
3. 궤적 생성: 충돌이 없고 동역학적으로 실현 가능한 경로를 생성합니다.
4. 온라인 적응: 계산 비용이 많이 드는 전역 최적화를 다시 실행하지 않고도 실시간으로 환경 변화 (예: 새로운 목표, 장애물) 에 대응합니다.

기존 접근법의 한계:

• 결정론적/메타휴리스틱 최적화 (예: 유전 알고리즘): 고품질의 오프라인 솔루션을 제공하지만 실시간 적응성이 부족합니다. 환경 변화가 발생하면 전체 재최적화가 필요합니다.
• 심층 강화 학습 (DRL): 적응성을 제공하지만 높은 샘플 복잡성, 분포 외 (out-of-distribution) 시나리오에 대한 일반화 부족, 그리고 해석 불가능성이라는 단점이 있습니다.

2. 방법론

저자들은 조합 최적화 문제를 계층적 확률 추론 문제로 변환하는 전문가 유도형, 능동 추론에서 영감을 받은 프레임워크를 제안합니다. 방법론은 두 단계로 구성됩니다:

A. 오프라인 단계: 전문가 시연 및 세계 모델 학습

1. 전문가 생성: 반발력 기반 충돌 회피 기능을 갖춘 유전 알고리즘 (GA-RF) 이 다양한 미션 인스턴스에 대한 고품질 전문가 시연을 생성합니다.
2. 계층적 심볼 추상화: 연속적인 전문가 궤적을 세 가지 심볼 사전으로 분해합니다:
   • 미션 사전: UAV 간 글로벌 목표 집합이 어떻게 분할되는지 (작업 할당) 인코딩합니다.
   • 경로 사전: 각 UAV 의 방문 순서를 인코딩합니다 (경로 순서 결정).
   • 운동 사전: 물리적 퍼텐셜 필드 (인력/반발력) 에서 유도된 국소 운동 원시 (예: 목표 끌어당김, 장애물 회피) 를 인코딩합니다.
3. 확률적 세계 모델: 시스템은 이러한 심볼로부터 계층적 확률 모델을 학습합니다. 이는 다음을 추정합니다:
   • 미션 패턴에 대한 기준 분포.
   • 미션 $\to$ 경로 $\to$ 운동으로의 전이 확률.
   • 이 모델은 전문가 행동의 조건적 종속성을 포착합니다 (예: 특정 미션 할당이 어떻게 특정 경로 순서를 유도하는지).

B. 온라인 단계: 능동 추론 및 적응형 제어

MTSP 를 처음부터 해결하는 대신, UAV 군집은 "비정상성"을 최소화하는 행동을 선택하기 위해 온라인 추론을 수행합니다.

1. 비정상성 최소화: 주어진 관측에 대해 군집은 각 계층 수준에서 후보 행동을 평가합니다. 행동에 대한 **추론된 사후 믿음 (inferred posterior belief)**과 전문가 유도 기준 분포 간의 쿨백 - 라이블러 (KL) 발산을 계산합니다.
   • 낮은 KL 발산: 행동이 전문가 행동과 일치합니다.
   • 높은 KL 발산: 행동이 "비정상"이거나 불일치합니다.
2. 계층적 의사 결정: 군집은 총 가중치 비정상성을 최소화하는 행동 시퀀스 (미션, 경로, 운동) 를 선택합니다.
   • 적응: 새로운 목표가 나타날 때, 시스템은 전역 최적화를 다시 수행하지 않습니다. 대신, 어떤 UAV 가 새로운 목표를 가져야 하는지 (미션 수준) 그리고 경로의 어디에 삽입해야 비정상성을 최소화할 수 있는지 (경로 수준) 평가합니다.
3. 필터 보조 제어: 연속 상태 추정의 노이즈와 불확실성을 처리하기 위해 **베이지안 필터 (EKF 및 파티클 필터)**가 운동 수준에 통합됩니다. 이러한 필터는 연속 상태를 예측하고 운동 심볼의 가능성을 업데이트하여 부드러운 궤적 보정과 견고한 충돌 회피를 보장합니다.

3. 주요 기여

1. 계층적 심볼 세계 모델: 전문가 시연에서 학습된 3 단계 (미션, 경로, 운동) 심볼 모델의 구축으로, 복잡한 궤적을 재사용 가능한 확률적 패턴으로 추상화합니다.
2. KL 기반 능동 추론 메커니즘: 전체 자유 에너지 최소화를 KL 발산 기반 비정상성 지표로 대체하는 의사 결정 프레임워크입니다. 이는 군집을 전문가 일관 행동으로 유도하면서 전역 최적화의 계산 비용을 피합니다.
3. 통합 확률 - 심볼 아키텍처: 전문가 지식, 확률 추론, 계층적 심볼 제어를 결합하여 해석 가능성과 적응성을 모두 제공하는 시스템입니다.
4. 필터 보조 운동 보정: 노이즈가 있는 관측을 처리하고 안전하고 연속적인 궤적 실행을 보장하기 위해 심볼 추론과 EKF/파티클 필터를 통합합니다.

4. 결과 및 검증

본 프레임워크는 광범위한 시뮬레이션 및 실제 비행 실험을 통해 평가되었습니다:

• 시뮬레이션 결과:

  • 성능: 제안된 방법은 오프라인 GA-RF 전문가 플래너와 유사한 미션 완료 시간과 총 이동 거리를 달성했습니다.
  • 안정성: 수정된 Q-러닝 베이스라인과 비교하여 제안된 프레임워크는 덜 진동적인 행동을 보이는 더 부드럽고 안정적인 궤적을 생성했습니다.
  • 적응성: 시스템은 재학습이나 전역 최적화기 재실행 없이 보이지 않는 목표 배치와 동적 변화 (예: 새로운 목표 출현) 에 성공적으로 적응했습니다.
  • 구조 보존: 학습된 세계 모델은 강화 학습 베이스라인보다 전문가 계획의 구조적 규칙성 (작업 할당 및 경로 순서) 을 더 잘 보존했습니다.

• 실제 비행 검증 (실내):

  • 인간 조종사가 조종한 DJI Air 2S UAV 의 데이터를 사용하여 시스템은 센서 노이즈와 부드럽지 않은 인간 조종사 행동에 대한 견고성을 입증했습니다.
  • 믿음 보정: 베이지안 업데이트 메커니즘은 노이즈가 있는 관측으로 인한 심볼 예측 오류를 성공적으로 보정하여 예측 궤적을 관측된 현실과 일치시켰습니다.
  • 미션 성공: 노이즈로 인한 국소 운동 예측 오류에도 불구하고 미션 완료 성공률은 100% 로 유지되어 고수준 계층적 추론의 견고성을 입증했습니다.

5. 의의

본 논문은 UAV 군집 자율성을 반복적 최적화에서 구조화된 추론으로 전환하는 중요한 변화를 제시합니다.

• 계산 효율성: 검색 공간을 전문가 일관 심볼 후보로 제한함으로써 기존 MTSP 솔버로는 계산적으로 처리 불가능한 실시간 재계획을 가능하게 합니다.
• 해석 가능성: "블랙박스" 심층 학습 모델과 달리, 계층적 심볼 구조는 학습된 확률 전이에 기반하여 특정 미션 할당이나 경로가 선택된 이유를 엔지니어가 이해할 수 있게 합니다.
• 견고성: 능동 추론과 베이지안 상태 추정의 통합은 불확실하고 노이즈가 많으며 동적인 환경에서 작동할 수 있는 견고한 메커니즘을 제공하여 이론적 계획과 실제 실행 간의 격차를 해소합니다.

결론적으로, 이 프레임워크는 복잡한 다중 UAV 미션을 위한 확장 가능하고 해석 가능하며 적응적인 솔루션을 제공하며, 실시간 자율 의사 결정을 안내하기 위해 전문가 지식을 효과적으로 활용합니다.