기술 요약: 스킬 분할 및 재사용을 통한 오프라인 다중 에이전트 지속적 협력 (COMAD)

1. 문제 정식화

본 논문은 **지속적 오프라인 다중 에이전트 강화학습(Continual Offline Multi-agent Reinforcement Learning, MARL)**의 과제를 다룹니다. 이 설정에서 에이전트는 분산형 부분 관측 가능 마르코프 결정 과정(Dec-POMDP)으로 모델링된 서로 다른 태스크에 해당하는 순차적인 오프라인 데이터 스트림으로부터 학습해야 합니다.

핵심적인 어려움은 조정 스킬 공간의 기하급수적인 성장에 있습니다. 기존의 오프라인 스킬 발견 방법들은 일반적으로 고정된 크기의 휴리스틱하게 설계된 스킬 라이브러리에 의존합니다. 태스크가 순차적으로 도착하는 개방형 환경에서 이러한 고정된 라이브러리는 다음과 같은 문제로 어려움을 겪습니다:

• 분포 변화(Distributional Shift): 학습된 정책과 행동 정책 간의 불일치는 에이전트 수가 증가함에 따라 결합 상태-행동 공간이 커짐으로써 더욱 악화됩니다.
• 파괴적 망각(Catastrophic Forgetting): 에이전트가 새로운 태스크에 적응할 때 이전에 습득한 스킬을 상실합니다.
• 가소성 상실(Plasticity Loss): 에이전트가 새롭게 나타나는 스킬이나 새로운 조정 패턴을 수용하지 못합니다.
• 간섭(Interference): 스킬 표현을 직접 미세 조정(fine-tuning)하면 종종 상충하는 그래디언트가 발생하여, 정책이 이질적인 조정 패턴을 구분하지 못하는 하위 최적의 "결합된 솔루션(coupled solution)"으로 붕괴됩니다.

목표는 에이전트가 오프라인 데이터로부터 새로운 조정 스킬을 지속적으로 발견하는 동시에, 이전 태스크의 태스크 불변 패턴을 선택적으로 재사용하여 과거 태스크의 성능을 저하시키지 않으면서 현재 태스크의 성능을 극대화할 수 있는 확장 가능한 스킬 라이브러리를 구축하는 것입니다.

2. 방법론: COMAD 프레임워크

저자들은 스킬을 분할하고 그 재사용성을 추정하도록 설계된 프레임워크인 COMAD(Continual Offline Multi-agent Skill Discovery via Skill Partition and Reuse)를 제안합니다. 각 유입되는 태스크에 대한 학습 사이클은 두 단계로 구성됩니다:

A. 오프라인 데이터로부터의 스킬 발견

혼합된 다중 에이전트 행동 데이터에서 스킬을 추출하기 위해, COMAD는 변이형 오토인코더(Variational Auto-Encoder, VAE) 구조를 활용합니다:

• 글로벌 인코더(Global Encoder): 글로벌 조정 패턴을 기반으로 글로벌 상태-행동 쌍을 스킬 표현($z_m^i$)으로 인코딩합니다.
• 로컬 인코더(Local Encoder): 분산 환경에서의 실행 가능성을 보장하기 위해 로컬 에이전트 정보(이력 궤적 $\tau^i$)만을 사용하여 스킬을 추론합니다.
• 액션 디코더(Action Decoder): 스킬 임베딩을 행동으로 디코딩하여 스킬 조건부 정책을 형성합니다.
• 인구 불변 네트워크(Population-Invariant Networks): 다양한 에이전트 수를 처리하기 위해, 프레임워크는 트랜스포머 기반의 셀프 어텐션 메커니즘을 채택하여 가변 길이의 입력을 고정 길이의 표현으로 처리합니다.

B. 스킬 분할 및 재사용성 추정

확장되는 스킬 공간을 관리하고 모드 붕괴(modal collapse)를 방지하기 위해, COMAD는 멀티 헤드(Multi-Head, MH) 구조를 사용합니다:

• 멀티 헤드 정책(Multi-Head Policy): 단일 스킬 인코더 대신, 액터는 서로 다른 태스크 또는 스킬 클러스터에 대응하는 여러 헤드($G_k^\pi, G_k^p$)를 사용합니다. 공유된 특징 추출기($F$)가 입력을 처리하는 동안, 특정 헤드들이 할당되거나 재사용됩니다.
• 재사용성 추정기(Reusability Estimator): 밀도 기반 추정기(노이즈 대조 추정, NCE 사용)를 사용하여 이전 태스크의 상태 밀도 $d_k(s)$를 근사합니다.
• 스킬 증강 목적 함수(Skill-Augmented Objective): 어드밴티지 함수는 이전 스킬들의 액션 로짓(logit) 가중 합으로 증강됩니다. 가중치 또는 재사용성 점수($\Delta_m^k(s)$)는 이전 태스크 대비 현재 태스크의 추정 상태 밀도를 기반으로 계산됩니다. 이는 정책이 관련 있는 과거 스킬을 활용하면서도 간섭를 피하도록 유도합니다.
• 정규화(Regularization): 첫 번째 태스크에서 학습된 기본 표현의 파괴적 망각을 방지하기 위해 새로운 태스크의 특징 추출기에 L2 정규화가 적용됩니다.

C. 이론적 토대

본 논문은 지속적 학습 문제를 제약 최적화 태스크로 정식화합니다. 이론적 분석(정리 4.1)은 최적의 지속적 정책이 단일 태스크 최적 정책들의 **기하학적 혼합(geometric mixture)**임을 입증합니다. COMAD의 재사용성 점수는 이 최적화 과정에서의 라그랑주 승수(Lagrange multipliers)를 근사하는 역할을 하며, 유용한 스킬을 선택하고 제약 충돌을 일으키는 스킬을 필터링하는 게이팅 메커니즘 역할을 수행합니다.

3. 주요 기여

1. 문제 정식화: 본 논문은 오프린 환경에서 고정된 크기의 스킬 라이브러리가 갖는 한계를 강조하며, 다중 에이전트 시스템에서의 지속적 오프라인 스킬 발견 문제를 정의합니다.
2. COMAD 프레임워크: 스킬 분할(멀티 헤드 구조를 통해)과 선택적 재사용(밀도 기반 재사용성 추정을 통해)을 결려 확장되는 스킬 공간을 관리하는 원칙적인 프레임워크를 제안합니다.
3. 이론적 분석: 저자들은 스킬 재사용이 재사용성 추정을 통해 최적화될 수 있음을 보여주는 이론적 증명을 제공하며, 재사용성 점수를 성능 제약과 스킬 전이 사이의 균형을 맞추는 메커니즘으로 프레이밍합니다.
4. 실험적 검증: 다섯 가지 다양한 환경(Level-based Foraging, Cooperative Navigation, SMAC, SMACv2, Multi-agent MuJoCo)에 걸친 광범위한 실험을 통해 프레임워크의 효과를 입증합니다.

4. 실험 결과

저자들은 COMAD를 세 가지 범주의 베이스라인과 비교 평가합니다: 오프라인 스킬 발견 방법(ODIS, HiSSD), 지속적 학습 방법(EWC, OWL, Rehearsal), 그리고 일반적인 단일 헤드 방법(Multi-task, Fine-tune, From Scratch).

• 전반적인 성능: COMAD는 9개의 태스크 스트림에 대해 평균 성능(64.34)에서 우수한 성과를 거두며, 모든 베이스라인을 크게 앞질렀습니다.
• 순방향 전이(Forward Transfer): COMAD는 과거의 스킬을 활용하여 새로운 태스크에 대한 학습을 가속화함으로써 강력한 순방향 전이를 보여주며, 가소성 상실을 겪는 방법들(예: ODIS, HiSSD)보다 뛰어난 성능을 보였습니다.
• 역방향 전이(Backward Transfer): 스킬을 분할하고 공유 특징을 미세 조정함으로써, 이전 태스크에 대한 성능을 유지하거나 향상시킵니다(양의 역방향 전이). 이는 Fine-tune(FT) 및 EWC 방법에서 나타나는 파괴적 망각을 방지합니다.
• 이질성 처리: SMAC(대칭 및 비대칭 태스크 혼합) 및 SMACv2(확률성 및 대규모 팀 규모)와 같은 복잡한 시나리오에서, COMAD는 이질적인 행동을 성공적으로 분할하면서 공통의 조정 패턴을 재사용하는 반면, 베이스라인들은 실행 가능한 정책을 학습하는 데 실패하거나 심각한 간섭을 겪습니다.
• 절제 연구(Ablation Studies): 스킬 인코더 또는 재사용성 추정 메커니즘을 제거하면 성능이 크게 저하되며, 이는 스킬 분할과 게이팅 메커니즘 모두의 필요성을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 COMAD가 오프라인 환경에서 안정성(기존 스킬 보존)과 가소성(새로운 스킬 학습) 사이의 트레이드오프를 효과적으로 해결하는 다중 에이전트 지속적 학습을 위한 새로운 정식화를 제공한다고 주장합니다.

• 원칙적인 접근법: 휴리스틱한 접근 방식과 달리, COMAD는 스킬 재사용이 재사용성 추정을 통해 최적화될 수 있다는 이론적 분석에 근거합니다.
• 확장성: 상태 밀도에 기반하여 스킬 라이브러리를 동적으로 확장함으로써, 고정 크기 라이브러리의 병목 현상을 피하며 새로운 태스크와 스킬이 지속적으로 등장하는 개방형 환경에 적합합니다.
• 효율성: 조정 스킬을 추출하고 재사용함으로써 샘플 효율성을 개선하며, 이는 온라인 상호작용이 금지된 오프라인 MARL에서 매우 중요합니다.

저자들은 현재의 재사용성 점수가 상태 밀도에 의존하고 있어, 미세한 의미론적 이해가 필요한 복잡한 실제 시나리오에는 불충분할 수 있다는 한계를 인정합니다. 이들은 향-후 연구에서 LLM(대규모 언어 모델)이나 인간의 피드백을 통합하여 스킬 게이팅 메커니즘을 정교화할 수 있다고 제안합니다. 그러나 제시된 실험 범위 내에서, COMAD는 견고하고 효과적인 솔루션으로 제시됩니다.