💻 computer science

Expected Return Symmetries

이 논문은 전통적인 환경 대칭을 포괄하며, 에이전트가 실제 정답 대칭에 대한 사전 지식 없이도 우수한 제로샷 협업을 달성할 수 있도록 하는 더 넓은 범주의 대칭인 "기대 수익 대칭(expected return symmetries)"을 소개한다.

원저자: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "왼손잡이" vs "오른손잡이"의 딜레마

두 대의 로봇이 협력 게임(자신의 카드를 볼 수 없는 카드 게임인 하나비나, 혼란스러운 요리 시뮬레이션인 오버쿡드의 고난도 버전 같은 게임)을 하도록 각각 따로 훈련받았다고 상상해 보세요. 두 로봇 모두 혼자서 훈련할 때는 게임을 아주 잘 해냅니다.

하지만 로봇 A와 로봇 B를 처음으로 짝지어 놓았을 때, 그들은 처참하게 실패합니다. 왜 그럴까요?

그 이유는 로로봇들이 혼자 훈련하는 동안, 실수로 자신들만의 비밀 언어를 만들어 버렸기 때문입니다.

로봇 A는 상대방이 카드를 내려놓으면 그것이 "나는 행복하다"라는 뜻이라고 배웠습니다.
로봇 B는 똑같은 행동이 "나는 화가 났다"라는 뜻이라고 배웠습니다.

논문에서는 이를 **상호 불일치하는 대칭성 깨짐(mutually incompatible symmetry breaking)**이라고 부릅니다. 로봇들은 각자에게는 맞는 해결책을 찾아냈지만, 어떤 버전의 해결책을 사용할지에 대해 합의하지 못했기 때문에, 마치 한 명은 왼손을 내밀고 다른 한 명은 오른손을 내밀며 악수를 시도하는 상황과 같습니다. 둘 다 자기 생각에는 "정답"이지만, 서로 조율할 수 없는 상태인 것입니다.

기존의 해결책: "아더 플레이(Other-Play)" (규칙 기반 접근법)

이전에는 연구자들이 로봇들에게 **환경의 대칭성(environment's symmetries)**을 존중하도록 가르쳐 이 문제를 해결하려 했습니다.

게임 환경을 네 개의 똑같은 문이 있는 방이라고 생각해 보세요. 북쪽 문으로 걸어가면 보상을 얻습니다. 남쪽 문으로 걸어가도 정확히 똑같은 보상을 얻습니다. 이 방은 "대칭적"입니다.

기존 방식: 연구자들은 로봇들에게 이렇게 말했습니다. "북쪽과 남쪽은 같아. 그냥 '북쪽이 좋다'라고 외우지 말고, '북쪽과 닮은 어떤 문이든 좋다'라고 기억해."
한계점: 이 방식은 색상이나 방향처럼 명확한 것에는 잘 작동합니다. 하지만 "동일함"이 방의 구조에 관한 것이 아니라 전략 자체에 관한 것일 때는 실패합니다. 이는 로봇들에게 "빨간 모자를 쓰든 파란 모자를 쓰든 상관없어"라고 말하면서도, 때로는 특정 종류의 모자를 쓰는 것이 파트너에게 "나는 요리할 준비가 되었다"라고 신호를 보내는 유일한 방법이라는 사실을 깨닫지 못하는 것과 같습니다.

새로운 해결책: "기대 수익 대칭성(Expected Return Symmetries)" ("결과 중심" 접근법)

이 논문의 저자들은 이러한 숨겨진 연결 고리를 찾는 더 똑똑한 방법을 제 제안합니다. 환경의 규칙을 보는 대신, 결과(보상)를 봅니다.

그들은 **기대 수익 대칭성(Expected Return Symmetries)**이라는 개념을 도입합니다.

비유: "마법 거울"
당신에게 마법 거울이 있다고 상상해 보세요. 당신이 거울 앞에서 특정 춤 동작을 하면 금색 별을 받게 됩니다.

기존 관점: 거울은 오직 똑같이 생긴 것만을 반영합니다 (예: 당신이 왼손을 들면, 거울 속의 모습은 오른손을 듭니다).
새로운 관점 (기대 수익): 거울은 더 똑똑합니다. 거울은 이렇게 묻습니다. "만약 당신의 춤 동작을 완전히 다른 것으로 바꾼다면, 그래도 여전히 금색 별을 받을 수 있습니까?"

만약 대답이 **"예"**라면, 그 두 가지 서로 다른 춤 동작은 이 논문의 관점에서 "대칭적"입니다. 모양은 완전히 다를지라도, 둘 다 성공으로 이어진다면 말이죠.

이 논문은 로봇들이 이러한 "결과 기반" 대칭성을 인식하도록 훈련함으로써 훨씬 더 유연해질 수 있다고 주장합니다. 로봇들은 "행동 X"와 "행동 Y"가 비록 게임 규칙에서 명시적으로 같다고 말하지 않더라도, 둘 다 행복한 결과를 가져오기 때문에 서로 대체 가능하다는 것을 배우게 됩니다.

어떻게 구현했는가 ( "시행착오" 기계)

이 논문은 단순히 대칭성을 추측하는 것이 아니라, 이를 자동으로 찾는 방법을 구축했습니다.

전문가 집단: 먼저 셀프 플레이(Self-Play) 방식을 사용하여 여러 로봇을 게임의 전문가로 훈련시켰습니다.
셔플링 게임: 그런 다음 이 전문가 로봇들을 가져와서 행동을 바꾸거나, 관찰 값을 변경하거나, 전략을 뒤섞는 등 "셔플링(shuffling)"을 시작했습니다.
점수 기록원: 그들은 질문했습니다. "만약 로봇 A의 전략을 로봇 B의 전략과 바꾼다면, 여전히 높은 점수를 얻을 수 있는가?"
- 만약 점수가 높게 유지된다면, 그 교체는 유효한 "기대 수익 대칭성"입니다.
- 만약 점수가 폭락한다면, 그 교체는 잘못된 것입니다.
결과: 그들은 성공적인 게임을 유지하는 "마법의 교체(magic swaps)" 세트를 찾아냈습니다. 그리고 새로운 로봇들이 훈련 중에 이 교체법을 사용하도록 가르쳤습니다.

결과: 왜 중요한가

논문은 이 실험을 세 가지 시나리오에서 테스트했습니다:

단순 레버 게임: 기본적인 협동 과제.
오버쿡드 V2: 타이밍과 의사소통이 핵심인 복잡한 요리 게임.
하나비: 숨겨진 정보가 있는 매우 어려운 카드 게임.

연구 결과:

이 새로운 "기대 수익" 방식으로 훈련된 로봇들은 기존의 "환경 대칭성" 방식으로 훈련된 로봇들보다 낯선 이와 훨씬 더 잘 협력했습니다.
오버쿡드 게임에서, 이 새로운 방식은 "자기 자신과 플레이할 때"와 "낯선 이와 플레이할 때" 사이의 격차를 엄청난 폭으로 줄였습니다.
AI가 협력하기로 악명 높은 하나비에서도, 이 새로운 방식은 게임의 규칙(예: 빨간색과 파란색이 단순히 색상 교체라는 점 등)에 대한 "치트 시트"를 가지고 있지 않았음에도 불구하고 기존의 최첨단 방식들을 능가했습니다.

핵심 요약

이 논문은 AI 에이전트들이 사전 협력 없이도 함께 잘 작동하게 만들려면, 단순히 게임의 규칙을 가르치는 것이 아니라, 어떤 서로 다른 행동들이 동일한 성공으로 이어지는지를 인식하도록 가르쳐야 한다고 주장합니다.

입력값(환경의 레이아웃)보다는 **결과(기대 수익)**에 집중함으로써, 로봇들은 더 넓고 유연한 "비밀 악수(secret handshakes)"를 배우게 됩니다. 이를 통해 로봇들은 새로운 파트너에게 훨씬 더 빠르고 효과적으로 적응할 수 있으며, 수년간 멀티 에이전트 AI를 괴롭혀 온 "왼손 vs 오른손" 문제를 해결합니다.

기술 요약: 기대 보상 대칭성 (Expected Return Symmetries)

문제 정의
협력 다중 에이전트 강화학습(MARL)에서 근본적인 과제는 **제로샷 코디네이션(Zero-Shot Coordination, ZSC)**입니다. 이는 에이전트들이 테스트 시점에 사전 통신 없이도 새로운 파트너와 효과적으로 협력할 수 있는 능력입니다. ZSC의 주요 실패 모드는 **상호 불일치하는 대칭성 깨기(mutually incompatible symmetry breaking)**입니다. 에이전트들이 독립적으로 학습할 때, 이들은 동등하지만 서로 호환되지 않는 정책으로 수렴할 수 있습니다 (예: 한 팀은 파란색으로 "플레이" 신호를 보내기로 합의한 반면, 다른 팀은 빨간색을 사용함).

**Other-Play (OP)**와 같은 기존 솔루션은 Dec-POMDP 대칭성(전이 및 보상 함수를 불변하게 만드는 상태, 행동, 관측의 재라벨링) 하에서 동등한 정책들 간의 호환성을 강제함으로써 이를 해결합니다. 그러나 이 접근 방식에는 두 가지 한계가 있습니다:

코디네이션 실패 모드: 환경적 대칭성 깨기는 코디네이션 실패의 한 유형일 뿐입니다. 에이전트들은 비자명한 Dec-POMDP 대칭성이 없는 상황에서도 지나치게 구체적인 관습을 형성함으로써 과잉 코디네이션(over-coordinate)을 할 수 있습니다.
대칭성의 접근성: 현재의 방법들은 환경의 대칭성에 대한 사전 지식을 요구합니다. 대규모 Dec-POMDP에서 이러한 대칭성을 자동으로 발견하는 것은 계산적으로 불가능한 경우가 많으며, 많은 방법들이 실제 환경에서는 사용할 수 없는 특권 정보(예: 정답 역학 또는 대칭군)에 의존합니다.

방법론
본 논문은 Dec-POMDP 대칭성을 부분 집합으로 포함하는 더 넓은 범주의 대칭성인 기대 보상(Expected Return, ER) 대칭성을 소개합니다.

정의: 변환 $\phi$ 가 자기 재생 최적 볼츠만 탐색 정책(self-play optimal Boltzmann-exploratory policies, $\Pi^*_\alpha$ )의 집합을 보존한다면 이는 ER 대칭성입니다. 즉, $\Phi_{ER} = \{ \phi \in \Psi \mid \forall \pi \in \Pi^*_\alpha: \phi(\pi) \in \Pi^*_\alpha \}$ 입니다. 전이 및 보상 함수의 불변성을 요구하는 Dec-POMDP 대칭성과 달리, ER 대칭성은 변환이 최적 정책을 다른 최적 정책으로 매핑(기대 보상을 보존)하기만을 요구합니다.
이론적 특성: 저자들은 $\Phi_{ER}$ 가 함수 합성 하에서 군(group)을 형성함을 증명합니다. 결정적으로, $\Phi_{ER}$ 는 많은 경우 Dec-POMDP 대칭성의 엄격한 상위 집합이며, 단순한 라벨 치환을 넘어 전략에 기반한 코디네이션 차이를 포착합니다.
학습 알고리즘: $\Phi_{ER}$ $Φ_{E R}$ 는 사전에 알려져 있지 않으므로, 본 논문은 환경의 정답 대칭성이나 역학에 대한 지식 없이도 **경사 기반 최적화(gradient-based optimization)**를 사용하여 근사적인 ER 대칭성을 학습하는 확장 가능한 방법을 제안합니다.
- 목표 1 (보상 보존): 변환된 정책들의 기대 보상을 최대화합니다: $\max_\theta \mathbb{E}_{\pi \sim \Pi'} [J(\phi_\theta(\pi))]$ , 여기서 $\Pi'$ 는 자기 재생 최적 정책의 풀(pool)입니다.
- 목표 2 (결합성 및 가역성): 학습된 변환이 군을 형성하도록(폐쇄성 및 가역성 강제) 정규화된 목적 함수를 도입합니다. 이는 이중 적용 후 항등 함수로부터의 편차를 페널티로 부여하고, 결합된 변환 하에서의 보상을 최대화합니다.
- 목표 3 (크로스 플레이 최대화): 또 다른 접근법으로는 정책 쌍 간의 크로스 플레이 성능을 직접 최적화하는 방식이 있습니다.
- 이 방법은 최소한의 구조를 가정합니다: 상태 변환은 항등 함수로 고정하고, 관측 및 행동 변환을 학습합니다 (주로 행동 순열에 대한 탐색과 신경망을 통해 관측을 학습).

주요 기여

ER 대칭성의 정의: 최적 정책의 기대 보존을 기반으로 하는 새로운 대칭군을 정의하였으며, 이는 전통적인 Dec-POMDP 대칭성을 포괄합니다.
모델 프리 발견(Model-Free Discovery): 환경의 구조나 역학에 대한 특권 정보를 요구하지 않고, 에이전트-환경 상호작용만을 통해 이러한 대칭성을 학습하는 알고리즘을 도입했습니다.
개선된 ZSC 성능: 학습된 ER 대칭성을 OP 학습 규칙과 결려 사용하는 것이 과잉 코디네이션을 방지하는 데 있어 표준 셀프 플레이 및 Dec-POMDP 대칭성을 사용하는 OP보다 크게 우수함을 입증했습니다.
도전적인 환경에서의 견고성: 본 방법은 기존의 **Off-Belief Learning (OBL)**이나 Cognitive Hierarchies가 실패하는 환경(예: 특정 레버 게임 및 Overcooked V2)에서도 성공함을 보여주었습니다.

실험 결과
저자들은 네 가지 환경에서 방법을 평가합니다:

Iterated Three-Lever Game: 이 설정에서 ER 대칭성은 Dec-POMDP 대칭성과 일치하며, 방법은 최적의 ZSC 정책을 성공적으로 회복합니다.
Toy Coordination Game: 방법은 Dec-POMDP 대칭성이 아닌 비자명한 ER 대칭성(행동 스왑)을 성공적으로 회복하여, 전통적인 군 외부의 대칭성을 발견하는 능력을 입증했습니다.
Overcooked V2: 이 비대칭적이고 확률적인 벤치마크에서, 학습된 ER 대칭성을 사용한 에이전트는 평균 크로스 플레이(XP) 점수 15.8을 기록하여, 셀프 플레이 베이스라인(6.74)을 크게 앞질렀으며 코디네이션 결과의 분산을 줄였습니다.
Hanabi: 이 복잡한 카드 게임에서, 11개의 학습된 ER 대칭성을 사용한 에이전트는 평균 XP 점수 21.64를 달성하여, 표준 IPPO 베이스라인(4.02)과 120개의 알려진 모든 Dec-POMDP 대칭성에 의해 제약된 IPPO 베이스라인(8.61)을 모두 능가했습니다. 이 결과는 ER 대칭성이 최적성을 더 잘 보존하면서도 호환성을 강제함을 나타냅니다.

의의 및 주장
본 논문은 Expected Return Symmetries가 다음과 같은 이유로 ZSC의 중요한 진전이라고 주장합니다:

대칭성의 일반화: 경직된 환경적 불변성을 넘어, 최적 전략의 다양성을 더 잘 다룰 수 있는 유연하고 정책 중심적인 대칭성 정의로 나아갔습니다.
특권 정보 제거: 대칭성이나 역학에 대한 사전 지식 없이 ZSC를 개선한 첫 번째 대칭성 기반 방법으로서, 이러한 정보를 사용할 수 없는 설정에도 적용 가능합니다.
코디네이션 실패 해결: 기존의 대칭성 기반 또는 다양성 기반 방법(OBL 등)이 실패하는 환경에서도 효과적인 과잉 코디네션 해결책을 제공합니다.

저자들은 탐색 공간의 표현력(행동/관측 공간에 대한 전단사 함수로 제한됨)이 모든 환경(예: 두 개의 레버 게임 변형)에 충분하지 않을 수 있으며, 방법의 성공 여부가 대칭성을 학습하는 데 사용되는 정책의 품질에 달려 있다는 점을 언급하며 한계를 인정합니다.