🤖 AI

MEAL: A Benchmark for Continual Multi-Agent Reinforcement Learning

이 논문은 JAX와 GPU 가속을 활용하여 100개의 태스크로 구성된 긴 시퀀스에서 효율적으로 학습함으로써 기존의 짧은 연구들에서는 보이지 않던 실패 모드들을 밝혀내는, 연속적 다중 에이전트 강화 학습을 위한 최초의 벤치마크인 MEAL을 소개한다.

원저자: Tristan Tomilin, Luka van den Boogaard, Samuel Garcin, Constantin Ruhdorfer, Bram Grooten, Fabrice Kusters, Yali Du, Andreas Bulling, Mykola Pechenizkiy, Meng Fang

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tristan Tomilin, Luka van den Boogaard, Samuel Garcin, Constantin Ruhdorfer, Bram Grooten, Fabrice Kusters, Yali Du, Andreas Bulling, Mykola Pechenizkiy, Meng Fang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇들에게 바쁜 주방을 운영하는 법을 가르치려 한다고 상상해 보세요. 로봇들은 양파를 다지고, 수프를 끓이고, 고객에게 서빙하는 법을 배워야 합니다. 이제, 몇 분마다 주방의 구조가 완전히 바뀐다고 상상해 보세요: 가스레인지가 이동하고, 벽이 움직이며, 고객의 주문도 바뀝니다.

이것이 바로 MEAL이라는 논문이 다루는 문제입니다. 이 논문은 로봇 팀들이 이전의 요리법을 잊지 않으면서 어떻게 새로운 주방 구조에 계속 적응하며 배울 수 있는지 확인하기 위한 새로운 "훈련장"(벤치마크)을 소개합니다.

다음은 이 논문의 내용을 쉬운 용어로 풀어서 설명한 것입니다:

1. 문제점: AI의 "짧은 기억력"

현재 대부분의 "평생 학습(lifelong learning, 영구적으로 학습하는 것)"에 관한 AI 연구는 마치 학생이 연속으로 서너 번의 수학 시험만 치르는 것과 같습니다. 이러한 테스트를 실행하는 컴퓨터들은 느리기 때문에(오래된 CPU처럼), 연구자들은 학생들이 연속으로 100번의 시험을 치르게 할 여유가 없습니다.

이 때문에, AI가 아주 긴 순서의 과업들을 학습해야 할 때 어떤 일이 벌어지는지 우리는 알지 못합니다. AI가 지치게 될까요? 열 번째 과업을 배울 때 첫 번째 과업을 하는 법을 잊어버리기 시작할까요?

게다가, 현재 대부분의 연구는 단 한 명의 로봇이 혼자 학습하는 것을 살펴봅니다. 하지만 현실 세계에서 로봇들은 종종 팀으로 일합니다. 함께 일할 때 상황은 엉망이 됩니다. 만약 로봇 A가 양파 써는 법을 잊어버리면, 로봇 B는 그들을 기다리느라 멈춰 서게 되고, 결국 팀 전체가 실패하게 됩니다.

2. 해결책: MEAL (초고속 주방 시뮬레이터)

저자들은 MEAL(Multi-agent Environments for Adaptive Learning)을 구축했습니다. 이것을 로봇 주방을 위한 "비디오 게임 엔진"이라고 생각하세요. 이 엔진은 느린 프로세서 대신 초고속 그래픽 카드(GPU)에서 실행됩니다.

속도의 비결: 저자들은 JAX라는 특별한 도구를 사용했기 때문에, 수천 개의 주방을 동시에 시뮬레이션할 수 있습니다. 즉, 단 한 대의 컴퓨터로 단 몇 시간 만에 100개의 서로 다른 주방 구조를 학습시킬 수 있습니다. 과거에는 이 작업에 몇 주가 걸렸거나 거대한 슈퍼컴퓨터가 필요했을 것입니다.
무한한 주방: 100개의 주방을 일일이 손으로 설계하는 대신, 그들은 즉석에서 주방을 만들어내는 프로그램을 작성했습니다. 이는 마치 벽의 위치나 장애물이 다른 새로운 주방을 즉각적으로 만들어내는 셰프와 같아서, 로봇들이 지루해하거나 같은 지도에 갇히지 않도록 보장합니다.

3. 실험: 로봇들을 테스트했을 때 어떤 일이 일어났나?

연구진은 다양한 "학습 전략"(로봇이 기억하도록 돕는 방법)을 이 100개의 과업 순서에 대해 테스트했습니다. 결과는 다음과 같습니다:

"짧은 순서"의 함정: 만약 로봇을 10개의 과업에 대해서만 테스트했다면, 많은 전략이 훌륭해 보였을 것입니다. 하지만 이 순서를 100개로 늘렸을 때, 결과는 완전히 바뀌었습니다. 짧은 테스트에서는 좋아 보였던 전략들이 긴 테스트에서는 처참하게 실패했습니다. 이는 마치 쪽지 시험은 통과하지만, 장기적인 내용을 공부하지 못해 기말고사에서 낙제하는 학생과 같습니다.
팀워크의 고충: 주방에 로봇을 더 많이 추가할수록 상황은 더 어려워졌습니다.
- 로봇 1대일 때는 그냥 개인 플레이입니다.
- 로봇 2대일 때는 업무를 나눌 수 있어(한 명은 다지고, 한 명은 요리함) 성능이 올라갑니다.
- 로봇 3대 또는 4대가 되면 혼란스러워집니다. 서로 부딪히고, 가스레인지를 가로막고, 누가 무엇을 해야 하는지 잊어버립니다. 논문은 에이전트(로봇)를 더 많이 추가하는 것이 오히려 팀의 협동 기억력을 어렵게 만든다는 것을 발견했습니다.
"망각" vs "학습"의 트레이드오프:
- 어떤 방법들은 예전 과업을 기억하는 데는 뛰어났지만, 새로운 것을 배우는 데는 형편없었습니다(과거에 갇혀 버림).
- 또 다른 방법들은 새로운 것을 배우는 데는 뛰어났지만, 어제 배웠던 모든 것을 잊어버렸습니다.
- 가장 성적이 좋았던 방법은 PackNet이라는 방식이었는데, 이는 로봇에게 각 특정 주방에 맞는 특화된 도구 세트를 주는 것과 같아서 지침이 뒤섞이지 않게 했습니다.

4. "파트너"라는 반전

연구진은 로봇들이 매번 다른 파트너와 일해야 하는 경우도 테스트했습니다. 당신이 셰프인데, 매일 완전히 다른 스타일을 가진 부주방장과 일해야 한다고 상상해 보세요.

로봇들은 "무작위" 파트너, "플래너(설계자)" 파트너, 그리고 "인간 같은" 파트너에 적응하는 법을 배워야 했습니다.
연구 결과, 로봇들이 새로운 파트너에게 빠르게 적응할 수는 있었지만, 종종 예전 파트너와 일하는 법을 잊어버린다는 것을 발견했습니다. "팀워크(케미스트리)"가 가장 먼저 깨지는 부분이었습니다.

5. 핵심 결론

이 논문의 주요 메시지는 다음과 같습니다: 짧은 테스트를 믿지 마세요.

AI를 단 몇 개의 과업으로만 테스트한다면, 당신은 그 AI가 평생 학습에 천재적이라고 생각할 수도 있습니다. 하지만 100개의 과업이라는 마라톤에 투입한다면, 그 AI가 무너지는 모습을 보게 될 것입니다. 이 논문은 AI가 평생 동안 어떻게 학습하는지 진정으로 이해하려면, 이러한 길고 빠른 다중 에이전트 시뮬레이션을 실행해야 한다고 주장합니다.

요약하자면: MEAL은 빠르고 유연한 주방 시뮬레이터로, 팀으로서 오랫동안 협력하며 학습하는 것이 얼마나 어려운지, 그리고 우리가 현실 세계에서 AI를 신뢰하기 전에 이를 테스트할 더 나은 도구가 왜 필요한지를 증명합니다.

기술 요약: MEAL: 지속적 다중 에이전트 강화 학습을 위한 벤치마크

문제 정의

지속적 강화 학습(Continual Reinforcement Learning, CRL) 연구는 현재 계산적 제한으로 인해 제약을 받고 있다. 기존의 대부분의 벤치마크는 실험 범위를 짧은 태스크 시퀀스(통상적으로 3~10개 태스크)로 제한하는데, 이는 CPU 기반 환경에서 긴 시퀀스를 학습시키는 것이 비효적이기 때문이다. 이러한 제한은 규모가 커짐에 따라 나타나는 실패 모드(failure modes)와 같은 장기적 학습 역학(long-horizon learning dynamics)을 가린다. 또한, CRL은 단일 에이전트 설정에서는 진전이 있었으나, 지속적 다중 에이전트 강화 학습(Continual Multi-Agent Reinforcement Learning, CMARL)은 여전히 거의 탐구되지 않은 상태이다. 협력적 다중 에이전트 환경에서 에이전트들은 협력을 위해 암묵적인 관습(conventions)을 구축해야 한다. 태스크 분포나 파트너가 변함에 따라 이러한 관습이 무너질 수 있으며, 이는 개별적인 망각을 팀 수준의 실패로 증폭시킨다. 현재의 벤치마크는 이러한 현상을 대규모로 연구하는 데 필요한 긴 태스크 시퀀스와 효율적인 평가 능력이 부족하다.

방법론

이러한 격차를 해소하기 위해 저자들은 지속적 다중 에이전트 RL을 위해 특별히 설계된 최초의 벤치마크인 **MEAL (Multi-agent Environments for Adaptive Learning)**을 소개한다.

핵심 아키텍처 및 구현

JAX 기반 파이프라인: MEAL은 JAX를 기반으로 구축되었으며, JAX의 Just-In-Time(JIT) 컴파일, 벡터화 및 GPU 실행 능력을 활용한다. 이를 통해 고처리량 시뮬레이션과 학습이 가능하며, 단일 GPU 내에서 몇 시간 만에 100개 태스크 시퀀스를 실행할 수 있다. 이는 CPU 기반 환경에서는 이전에 계산적으로 불가능했던 성과이다.
절차적 생성 (Procedural Generation): 수동 설계의 병목 현상 없이 긴 시퀀스를 용이하게 하기 위해, MEAL은 Overcooked(협력형 그리드 기반 요리 환경)를 위한 절차적 생성기를 사용한다. 생성기는 다양한 그리드 크기와 장애물 밀도를 가진 주방을 생성하며, 내장된 검증기(validator)를 통해 에이전트가 최소 한 번의 요리-배달 사이클을 완료할 수 있음을 확인하여 해결 가능성을 보장한다.
확장 가능한 난이도: MEAL은 그리드 크기(6~~11 타일)와 장애물 밀도(15%~~35%)를 변화시켜 세 가지 난이도(Easy, Medium, Hard)를 정의한다. 높은 단계로 갈수록 더 긴 경로, 좁은 병목 구간, 더 큰 구조적 가변성이 도입되어 더욱 정교한 협력을 강요한다.
태스크 시퀀스: MEAL은 세 가지 체제(regime)를 지원하는 이산적 태스크 시퀀스를 지원한다:
1. 고정 레벨 (Fixed-level): 단일 난이도 생성기에서 i.i.d. 방식으로 샘플링된 태스크들.
2. 커리큘럼 (Curriculum): 쉬운 것에서 어려운 것으로 순서가 정해진 태스크들.
3. 반복 (Repetition): 가소성 상실(plasticity loss)을 연구하기 위해 기본 시퀀스를 반복함.
파트너 적응: 레이아웃 변화 외에도, MEAL은 변화하는 협력 파트너를 통해 비정상성(non-stationarity)을 도입한다. 파트너에는 하드코딩된 전략, 계획 기반 에이전트, 그리고 최적 대응 다양성(Best-Response Diversity, BRDiv)으로 학습된 인구 집단이 포함된다.

평가 지표

논문은 다중 에이전트 설정에 맞게 조정된 세 가지 핵심 지표를 제안한다:

평균 수프 배달량 ( $S$ ): 학습 종료 시 모든 태스크에 대한 평균 정규화된 성능으로, 안정성과 가소성의 균형을 맞춘다.
망각 (Forgetting, $F$ ): 새로운 태스크의 간섭으로 인한 과거 태스크의 성능 저하를 정량화하며, 초기 망각에 더 강한 페널티를 주기 위해 지수적으로 감소하는 가중치를 사용한다.
순방향 전이 (Forward Transfer, $FT$): 단일 태스크 베이스라인과 비교하여 이전 경험이 새로운 태스크 학습을 얼마나 가속화하는지 AUC(Area Under the Curve)를 통해 측정한다.

협력 지표: 저자들은 역할 특화(Role Specialization)를 분석하기 위한 **이질성 지수(Heterogeneity Index)**와, 협력 전략이 원시 성능 점수보다 더 빠르게 저하되는지를 측정하는 협력 망각(Coordination Forgetting) 지표를 도입한다.

주요 기여

최초의 CMARL 벤치마크: MEAL은 지속적 학습과 다중 에이전트 강화 학습을 통합한 최초의 벤치마크로, 협력 환경에서의 망각, 전이 및 파트너 적응을 연구하도록 특별히 설계되었다.
하드웨어 가속 실행: 하드웨어 가속(GPU) 실행을 활용한 최초의 CRL 벤치마크로, 일반적인 하드웨어에서도 기존 벤치마크보다 훨씬 긴 태스크 시퀀스(최대 100개 태스크)에 대한 학습을 확장할 수 있다.
절차적 태스크 생성: 제어 가능한 난이도를 갖춘 확장 가능한 절차적 생성 환경 제품군을 제공하여, 방법론이 발전함에 따라 벤치마크가 계속 유효할 수 있도록 한다.
경험적 통찰: 저자들은 태스크 시퀀스가 길어짐에 따라 실험적 결론이 크게 달라질 수 있음을 입증하며, 짧은 시퀀스 평가에서는 보이지 않는 실패 모드(예: 포화, 드리프트)를 밝혀낸다.

실험 결과

저자들은 표준적인 CRL 방법들(FT, EWC, Online EWC, MAS, Online MAS, AGEM, ER-ACE, PackNet)을 MARL 알고리즘(IPPO, MAPPO, HAPPO)과 결합하여 MEAL의 난이도별로 평가하였다.

방법론 성능:
- PackNet은 모든 난이도 수준에서 가장 높은 평균 점수를 기록하면서도 망각이 거의 없는 수준을 유지하여, 안정성과 가소성 사이의 최적의 균형을 달성했다.
- Online EWC와 Online MAS는 특히 긴 시퀀스에서 강력한 유지력과 안정성을 보여주었으며, 과잉 정규화(over-regularization) 문제를 겪은 누적형 모델(EWC, MAS)보다 우수한 성능을 보였다.
- AGEM은 최고의 순방향 전이(forward transfer)를 달성했으나, 높은 망각을 대가로 치렀다.
- **미세 조정 (Fine-Tuning, FT)**은 파괴적 망각(catastrophic forgetting)을 보였으며, 이전 태스크에 대한 성능을 즉각적으로 상실했다.
시퀀스 길이의 영향: 짧은 시퀀스(10개 태스크)에서는 EWC와 Online EWC 같은 방법들이 유사하게 안정적인 것처럼 보였다. 그러나 100개 태스크 시퀀스에서는 표준 EWC가 심각한 과잉 정규화와 조기 포화 현상을 겪은 반면, Online EWC는 감소하는 중요도 가중치를 통해 가소성을 유지했다.
에이전트 수 스케일링: 성능은 일반적으로 에이전트가 2~~3명일 때 정점에 도달하며, 팀 규모가 커질수록(4~~5명) 감소한다. 더 큰 팀은 비정상성과 신용 할당(credit assignment) 문제를 악화시켜, 지속적인 협력을 학습하고 유지하는 것을 훨씬 더 어렵게 만든다.
부분 관측성 (Partial Observability): 부분 관측성(제한된 시야)을 도입하면 성능이 저하된다. 그러나 MLP에서 CNN 인코더로 전환하면 이 손실을 상당 부분 회복할 수 있는데, 이는 CNN이 자기중심적 뷰(egocentric views)로부터 공간적 구조를 추출하는 데 더 적합함을 시사한다.
협력 역학: 연구 결과, 에이전트들이 높은 수프 배달 점수를 유지하면서도 그 기저에 있는 협력 전략(역할 특화)은 저하될 수 있음이 드러났다. 표준 성능 지표는 종종 이러한 "협력 망각"을 은폐하며, 이는 정규화 기반 방법론에서 더 두드하게 나타난다.

의의 및 주장

본 논문은 MEAL이 계산적 제약으로 인해 CRL 연구의 핵심적인 병목 현상인 '장기 호라이즌 시퀀스 테스트 불가능성'을 해결한다고 주장한다. GPU 가속 학습을 통해 100개 태스크 시퀀스를 가능하게 함으로써 MEAL은 다음을 밝혀낸다:

짧은 시퀀스는 오해의 소지가 있다: 5~15개 태스크 시퀀스에서 도출된 많은 방법론의 순위와 결론은 시퀀스를 100개까지 확장했을 때 유지되지 않는다.
지속적 협력은 독특하다: 협력 행동을 유지하는 것은 파트너 및 환경 수준의 비정상성을 모두 처리해야 하는 고유한 과제이며, 이는 에이전트 수가 많아지고, 태스크가 어려워지고, 파트너가 바뀔 때 더욱 심화된다.
향-후 방향: 이 벤치마크는 파트너 및 환경 수준의 비정상성을 동시에 처리하고, 부분 관측성 하에서 신용 할당을 안정화하며, 구조화된 탐색을 촉진할 수 있는 CMARL 전용 방법론의 필요성을 강조한다.

저자들은 MEAL을 이러한 도전 과제들을 대규모로 연구하기 위한 실질적인 토대로 위치시키며, 실험의 에너지 발자국을 줄이고 대규모 컴퓨팅 클러스터가 없는 연구자들의 접근성을 높인다고 설명한다.