기술 요약: 다중 에이전트 조정을 위한 폐루프 비전 - 언어 계획 (COMPASS)

문제 제기

협력적 다중 에이전트 강화학습 (MARL) 은 샘플 효율성, 해석 가능성, 그리고 일반화 측면에서 심각한 도전에 직면해 있으며, 특히 복잡하고 부분적으로 관측 가능한 환경에서 그렇습니다. 대규모 언어 모델 (LLM) 은 강력한 계획 능력을 입증해 왔지만, 다중 에이전트 시스템에 적용되는 것은 두 가지 주요 요인에 의해 제한되어 왔습니다:

1. 텍스트 전용 입력: 기존 LLM 기반 에이전트들은 종종 텍스트 관찰에만 의존하여 실시간 전술적 의사결정에 필수적인 다중 모달 (시각) 정보를 활용하지 못합니다.
2. 개방 루프 한계: 많은 접근 방식은 다중 에이전트 작업의 비마르코프적, 부분 관측 가능한 특성을 적절히 처리하지 못하는 개방 루프 계획을 사용합니다. 이러한 작업에서는 에이전트들이 확률적 환경과 불완전한 정보에 역동적으로 적응해야 합니다.

또한, 전통적인 MARL 방법은 통신 오버헤드로 인해 중앙 제어기가 불가능할 때 확장성에 어려움을 겪는 반면, 분산 접근 방식은 지역 관찰과 전역 상태 간의 불일치로 고통받습니다.

방법론: COMPASS 프레임워크

저자들은 견고한 다중 에이전트 조정을 가능하게 하는 비전 - 언어 모델 (VLM) 을 통합한 분산형 폐루프 프레임워크인 COMPASS를 소개합니다. 이 아키텍처는 세 가지 시너지 구성 요소로 이루어져 있습니다:

1. VLM 기반 폐루프 계획기

인지 아키텍처에서 영감을 받아, 계획기는 네 가지 전문화된 VLM 모듈을 사용하여 반복적으로 지각하고, 추론하며, 성찰하고, 행동합니다:

• 지각: 시각적 스크린샷과 텍스트 설명과 같은 다중 모달 입력을 처리하여 포괄적인 환경 이해를 구축합니다. 이는 직접 관찰 처리와 통신 프로토콜을 통한 협력적 정보 통합이라는 두 가지 수준에서 작동합니다.
• 작업 추론: 현재 환경 피드백과 팀 목표를 기반으로 고수준 목표 (예: "적 유닛 모두 격퇴") 를 구체적이고 실행 가능한 하위 작업으로 분해합니다.
• 자기 성찰: 실행된 기술의 품질과 작업 완료도를 지속적으로 평가하여 미래 의사결정을 정제하기 위한 언어적 피드백을 생성합니다.
• 액터 (Actor): 제안된 하위 작업과 성찰 피드백에 기반하여 동적 기술 라이브러리에서 가장 적절한 기술을 선택하고 실행합니다.

2. 적응형 기술 합성

COMPASS 는 전술적 행동을 나타내는 실행 가능한 Python 코드를 포함하는 동적 기술 라이브러리를 활용합니다. 이 라이브러리는 두 가지 메커니즘을 통해 진화합니다:

• 시연 부트스트래핑: 처음부터 비효율적인 탐색을 피하기 위해, 시스템은 MAPPO 를 통해 수집된 전문가 시연 비디오를 분석하여 기술 라이브러리를 초기화합니다. VLM 은 전략적 패턴을 추출하여 문서화된 Python 함수로 변환합니다.
• 점진적 합성: 작업 실행 중 기존 기술이 제안된 하위 작업에 불충분한 경우, VLM 은 새로운 Python 스크립트를 생성합니다. 이러한 스크립트는 동적 우선순위를 위한 score_target(unit)과 행동 조정을 위한 control_logic()을 갖춘 구조화된 인터페이스를 따릅니다. 시스템은 자기 성찰과 실행 결과에 기반하여 이러한 기술을 지속적으로 정제합니다.

3. 구조화된 통신 프로토콜

제약 없는 자연어 통신에서 흔히 발생하는 환각을 유발하지 않으면서 부분 관측 가능성을 해결하기 위해, COMPASS 는 구조화된 엔티티 기반 프로토콜을 구현합니다:

• 멀티홉 전파: 에이전트들은 글로벌 메모리를 통해 엔티티 (아군 및 적군) 의 지역 관찰 정보를 공유합니다. 정보는 중간 아군을 통해 전파 (멀티홉) 되어, 에이전트들이 직접 시야 밖의 엔티티 상태와 위치를 추론할 수 있게 합니다.
• 글로벌 메모리: 모든 에이전트가 접근할 수 있는 공유 저장소로, 분산 실행에도 불구하고 환경에 대한 일관되고 전체적인 이해를 구축할 수 있게 합니다.

주요 기여

1. 분산형 폐루프 계획: 중앙 집중식 계획이나 개방 루프 실행에 의존하는 기존 LLM 기반 다중 에이전트 작업과 달리, COMPASS 는 VLM 이 실시간 시각 및 텍스트 피드백에 기반하여 전략을 지속적으로 적응시키는 완전한 분산형 폐루프 시스템을 구현합니다.
2. 코드 기반 정책 및 동적 라이브러리: 이 프레임워크는 고정된 원시 동작을 넘어 실시간으로 실행 가능한 Python 코드 (기술) 를 생성하고 정제함으로써 그을 넘어섭니다. 이 접근 방식은 해석 가능성을 향상시키고 재사용 가능한 전술적 지식의 축적을 가능하게 합니다.
3. 구조화된 엔티티 기반 통신: 이 논문은 엔티티 정보의 구조화된 멀티홉 전파에 초점을 맞춤으로써 무의미한 잡담과 환각의 위험을 완화하는 통신 프로토콜을 제안하며, 부분 관측 가능성 문제를 효과적으로 해결합니다.
4. 전문가 데이터로부터의 부트스트래핑: 이 방법은 오프라인 전문가 시연에서 복잡한 기술 라이브러리를 초기화하는 방법을 보여주어, 실행 가능한 전략을 발견하는 데 필요한 샘플 복잡성을 크게 줄였습니다.

실험 결과

이 프레임워크는 원본 SMAC 에 비해 복잡성과 부분 관측 가능성이 증가한 SMACv2(StarCraft Multi-Agent Challenge v2) 벤치마크에서 평가되었습니다.

• 성능: COMPASS 는 대칭적인 프로토스 5 대 5 시나리오에서 QMIX, MAPPO, HAPPO, HASAC, MAT 을 포함한 최첨단 MARL 베이스라인을 크게 능가하여 QMIX 의 27% 대비 57% 승률을 기록했습니다 (30 퍼센트 포인트 우위).
• 견고성: 시스템은 테란 시나리오에서 적절한 성능을 유지했으며, 비대칭 (5 대 6) 설정을 효과적으로 처리하여 기술 라이브러리와 통신 프로토콜이 숫적 열세를 보상하는 데 유용함을 입증했습니다.
• 한계: 성능은 저그 시나리오 (16% 승률) 에서 제한적이었으며, 특히 바넬링과 저글링과 같은 스웜 유닛에 대항할 때 그랬습니다. 저자들은 이를 VLM 의 쿼리 빈도 (10~20 타임스텝마다) 와 근접전 스웜 조정에 필요한 1 초 미만의 전술적 시간 창 사이의 불일치로 돌립니다.
• 어블레이션 연구:
  • 통신: 멀티홉 통신을 제거하면 승률이 급격히 하락하여 (57% 에서 6% 로) 부분 관측 가능성에서의 핵심 역할을 강조했습니다.
  • 시각 입력: 이미지 입력을 생략하면 성능이 10% 하락하여 공간 이해를 위한 시각적 그라운딩의 필요성을 확인했습니다.
  • 자기 성찰: 자기 성찰 모듈을 제거하면 성능이 10% 감소했습니다.
  • 부트스트래핑: 점진적 합성 없이 초기화된 기술 라이브러리만 사용한 경우 유의미한 성능을 보였으나 전체 COMPASS 시스템보다 현저히 낮아, 동적 기술 진화의 필요성을 입증했습니다.

중요성 및 주장

이 논문은 COMPASS 가 부분 관측 가능성 하에서 협력적 다중 에이전트 제어를 위한 해석 가능한 전술적 행동을 생성하는 데 비전 - 언어 모델 (VLM) 을 사용하는 것이 타당함을 보여준다고 주장합니다. 이는 구조화된 통신과 폐루프 피드백과 통합될 때 VLM 이 코드 기반 전략을 효과적으로 합성하고 정제할 수 있음을 확립합니다.

그러나 저자들은 이러한 발견의 범위에 대해 겸손합니다. 그들은 현재 접근 방식이 VLM 의 추론 지연으로 인해 빠른 연속적 반응 제어 (예: 저그 스웜 메커니즘) 가 필요한 도메인에는 적합하지 않음을 명시적으로 인정합니다. 논문은 전략적 조정이 우세하고 행동이 여러 타임스텝에 걸쳐 유효한 시나리오에서 VLM 기반 계획이 가장 유리하다고 제시합니다. 향후 연구는 추론 지연을 줄이거나 고빈도 의사결정을 학습된 반응 정책에 위임하고 전략적 감독을 위해 VLM 을 보유하는 하이브리드 아키텍처 개발에 초점을 맞추는 것이 제안됩니다.