기술 요약: CRONA - 다중 에이전트 강화 학습을 통한 교차 모달 내비게이션

문제 정의

강건한 구체적 내비게이션은 상호 보완적인 감각 단서 (예: RGB-D, 오디오, 언어) 에 의존합니다. 그러나 고품질의 잘 정렬된 다중 모달 데이터를 실제로 획득하는 것은 어렵습니다. 풍부한 다중 모달 입력을 처리하도록 단일 모델을 훈련시키는 것은 종종 복잡한 표현, 확장된 정책 공간, 그리고 정렬되지 않은 모달리티 (차원, 노이즈, 시간적 구조의 차이) 로 인한 불안정한 학습으로 이어집니다. 또한, 기존 다중 에이전트 협력 내비게이션 접근법은 주로 동일한 모달리티를 수신하는 동종 에이전트나 제한된 감각 구성에 초점을 맞추고 있어, 에이전트가 상호 보완적이고 전문화된 모달리티를 보유하는 이종 협력의 잠재력은 largely 미탐구 상태로 남아 있습니다.

저자들은 이 문제를 에이전트 간 통신 없이 완전히 분산된 협력 내비게이션 작업으로 정의하여 해결합니다. 이 설정은 에이전트가 특정 3D 환경에서 특정 물체를 찾기 위해 부분적 국소 관찰 (예: 소리를 듣는 오디오 에이전트, 시각적 표적을 보는 비전 에이전트) 에 기반하여 작업 할당을 추론하고 협력 정책을 학습해야 하는 분산 부분 관측 마르코프 의사결정 과정 (Dec-POMDP) 으로 모델링됩니다.

방법론: CRONA 프레임워크

본 논문은 교차 모달 협력을 위해 설계된 분산형 다중 에이전트 강화 학습 (MARL) 프레임워크인 CRONA(Multi-Agent Reinforcement Learning 을 통한 교차 모달 내비게이션) 를 제안합니다. 이 아키텍처는 중앙 집중식 훈련과 분산 실행 (CTDE) 패러다임을 따릅니다.

1. 보조 신념 예측기

CRONA 는 오디오 센서를 장착한 에이전트를 위해 원시 오디오 신호에 내재된 확률성과 노이즈를 완화하기 위해 보조 신념 예측기를 사용합니다.

• 기능: 이러한 예측기는 스펙트로그램 관찰로부터 제어 관련 신념을 추정하며, 구체적으로 표적 위치(에이전트 기준 상대적) 와 표적 카테고리를 예측합니다.
• 메커니즘: 합성곱 인코더가 음향 특징을 추출합니다. 위치 헤드는 전역 좌표계의 소리 소스 목표를 예측한 후 에이전트의 국소 좌표계로 변환합니다. 카테고리 헤드는 물체 카테고리에 대한 신념 분포를 예측합니다.
• 안정화: 예측은 분산을 줄이기 위해 지수 이동 평균을 사용하여 평활화됩니다. 이러한 신념은 국소 히스토리에서 추론되므로 실행 중 분산 정책에 사용 가능한 정보와 일관성을 보장합니다.

2. 어텐션 기반 히스토리 인코더

에이전트는 관찰과 행동의 단기 히스토리 캐시를 유지합니다.

• 인코딩: 시각 입력 (RGB-D) 과 오디오 입력 (스펙트로그램) 은 모달리티별 인코더 (비전은 ResNet-18, 오디오는 CNN) 에 의해 처리됩니다.
• 퓨전: 인코딩된 특징은 에이전트의 포즈와 자연어 지시문과 연결되어 잠재 관찰 임베딩을 형성합니다.
• 시간적 모델링: 트랜스포머 기반 아키텍처 (멀티헤드 어텐션) 는 캐시된 관찰 - 행동 임베딩 시퀀스를 처리하여 공간적 및 시간적 종속성을 포착하고, 정책 선택에 사용되는 컴팩트한 히스토리 표현을 생성합니다.

3. 중앙 집중식 다중 모달 크리틱

훈련 중 중앙 집중식 크리틱은 학습을 촉진하기 위해 결합 가치 함수를 추정합니다.

• 입력: 크리틱은 모든 에이전트의 결합 히스토리 임베딩, 보조 신념 (오디오 에이전트에서), 그리고 전역 상태(장면 레이아웃, 표적 위치, 에이전트 포즈, 작업 완료 상태) 를 활용합니다.
• 훈련 목적: 크리틱은 일반화 이점 추정 (GAE) 을 통해 계산된 반환 목표에 대해 클리핑된 대리 목적 함수를 최소화하도록 훈련됩니다. 각 분산 에이전트의 정책 업데이트는 크리틱에서 공유된 이점 추정을 사용하되, 국소 히스토리 및 보조 신념에만 조건부로 수행됩니다.
• 파라미터 공유: 인코더, 신념 예측기, 히스토리 트랜스포머는 표현 학습을 개선하고 훈련을 가속화하기 위해 분산 액터와 중앙 집중식 크리틱 간에 공유됩니다.

주요 기여

1. 벤치마크 구축: 저자들은 다중 모달 에이전트 (비전 및/또는 오디오) 가 표적을 찾기 위해 협력해야 하는 작업을 특징으로 하는 다양한 Matterport3D 장면을 사용하여 협력 내비게이션 벤치마크를 구축했습니다.
2. CRONA 프레임워크: 그들은 에이전트 간 통신 없이 효과적인 교차 모달 협력을 가능하게 하는 보조 신념 예측기와 중앙 집중식 다중 모달 크리틱을 활용하는 MARL 프레임워크를 제안했습니다.
3. 모달리티 우세 패턴: 광범위한 실험을 통해 저자는 다양한 시나리오에서 다섯 가지 뚜렷한 모달리티 우세 패턴을 식별하고 분석했습니다:
   • 명확한 우세 없음: 모달리티 혼합에 관계없이 협력이 단일 에이전트보다 우수한 성능을 발휘합니다.
   • 비전 우세: 시각적 단서가 우월하며 오디오 입력은 노이즈를 유발할 수 있습니다.
   • 오디오 우세: 음향적 단서가 결정적입니다 (예: 복도); 시각 입력은 불충분할 수 있습니다.
   • 교차 모달 우세: 이종 협력 (상호 보완적 모달리티) 은 특히 표적이 깨끗하고 모달리티별 단서를 가질 때 동종 팀보다 현저히 우수한 성능을 보입니다.
   • 다중 모달 우세: 매우 복잡한 환경에서는 최적의 성능을 위해 완전한 다중 모달 입력과 더 높은 모델 용량이 필요합니다.

실험 결과

실험은 다양한 복잡성과 표적 구성을 가진 다섯 개의 Matterport3D 장면 (Studio, Corridor, Apartment, Ranch, Maze) 에서 수행되었습니다.

• 성능 vs. 베이스라인: CRONA 는 대부분의 시나리오에서 성공률과 내비게이션 효율성 측면에서 단일 에이전트 베이스라인 및 동종 협력 베이스라인 (VLA-Collab, ALA-Collab, AVLA-Collab) 을 일관되게 능가했습니다.
• 교차 모달 효율성: 표적이 모달리티별 고유 단서 (사진을 위한 셔터 소리, 테이블을 위한 식기 떨어지는 소리) 를 가진 "Ranch" 장면에서 CRONA 는 **64.62%**의 성공률을 달성하여 동종 전체 모달리티 베이스라인 (AVLA-Collab, 18.93%) 을 크게 능가했습니다. 이는 제한된 용량을 가진 단일 모델보다 전문화된 에이전트의 효율성을 강조합니다.
• 복잡성 처리: 가장 복잡한 "Maze" 장면에서 동종 전체 모달리티 베이스라인 (AVLA-Collab) 이 가장 높은 성공률 (26.16%) 을 기록하여, 크고 복잡한 환경은 더 풍부한 다중 모달 입력과 더 높은 모델 용량의 혜택을 받는 것으로 나타났으나, CRONA 는 여전히 경쟁력 있는 성능을 보였습니다.
• 절대성 연구:
  • 모델 용량: 동종 다중 모달 에이전트는 임베딩 크기에 매우 민감한 반면, CRONA 는 다른 용량에서도 더 안정적이었습니다.
  • 신호 품질: CRONA 는 오디오 에이전트가 보상할 수 있기 때문에 비전 중심 베이스라인에 비해 저해상도 시각 입력에 대해 더 큰 견고성을 보여주었습니다.
  • 구성 요소: 보조 위치 신념과 전역 상태 정보가 결정적인 것으로 확인되었으며, 이를 제거하면 성능이 약 50% 하락했습니다.

중요성 및 주장

본 논문은 교차 모달 협력이 단일 모델 다중 모달 내비게이션에 대한 견고하고 확장 가능한 대안임을 주장합니다. 상호 보완적인 감각 모달리티를 전문화된 에이전트에 할당함으로써 CRONA 는 단일 모델 내에서 밀집되고 정렬된 다중 모달 표현을 학습하는 부담을 줄이면서도 각 모달리티의 강점을 유지합니다.

저자는 협력의 효과가 도메인에 의존한다고 강조합니다. 그들은 다음과 같이 주장합니다:

• 제한된 모달리티를 가진 동종 협력은 단거리 내비게이션에 충분합니다.
• 표적이 깨끗하고 모달리티별 단서를 가질 때 이종 협력은 일반적으로 효율적이고 효과적입니다.
• 크고 복잡한 환경은 더 풍부한 다중 모달 지각과 증가된 모델 용량이 모두 필요합니다.

이 연구는 전역 상태와 보조 신념을 활용하는 중앙 집중식 크리틱으로 훈련된다면, 명시적 통신 없이도 분산 에이전트가 효과적으로 조정할 수 있음을 보여줍니다. 이 접근법은 노이즈가 많고 정렬되지 않으며 비동기적인 실제 세계 감각 데이터의 과제를 해결하여 다양한 환경에서 견고한 구체적 내비게이션을 위한 실용적인 경로를 제공합니다.