Learning When to Cooperate Under Heterogeneous Goals

이 논문은 이질적인 목표를 가진 에이전트들이 협력할지 말지 결정하는 메타 수준 문제를 해결하기 위해 모방 학습과 강화 학습을 계층적으로 결합한 새로운 접근법을 제안하고, 팀메이트의 행동을 예측하는 보조 구성 요소가 관측 가능한 목표 정보의 양에 반비례하여 성능에 영향을 미친다는 것을 보여줍니다.

핵심

🍎 1. 문제 상황: "친구와 갈라지는 길"

우리가 살아가다 보면 친구와 함께 여행을 갈 때가 있습니다.

• 상황 A: 친구가 "서울로 가자"고 하고, 우리도 "서울로 가자"고 하면? 👉 함께 차를 타고 가는 게 이득입니다. (협력)
• 상황 B: 친구는 "제주도"로 가고, 우리는 "부산"으로 가야 한다면? 👉 함께 가면 서로를 방해할 뿐입니다. 각자 갈라져서 가는 게 낫습니다. (독립)

기존의 AI 연구 (Ad Hoc Teamwork) 는 대부분 **"친구가 어디로 가든 무조건 함께 가자"**는 전제하에 이루어졌습니다. 하지만 현실은 그렇지 않죠. 이 논문은 **"친구의 목표가 우리와 다를 때, 언제 함께하고 언제 혼자 해야 할지 판단하는 AI"**를 만들려고 했습니다.

🤖 2. 해결책: 'GRILL'이라는 새로운 방법

저자들은 GRILL이라는 새로운 AI 학습 방법을 개발했습니다. 이름은 "Goal selection by RL with Imitation for Low-Level control"의 약자지만, 쉽게 비유하자면 **"현명한 지휘관과 숙련된 군인"**의 조합입니다.

이 방법은 두 단계로 나뉩니다:

1. 현명한 지휘관 (고수준 정책):

   • "지금 상황을 봐. 친구가 우리와 같은 길을 가고 있으니 함께 가자!" 혹은 "친구는 반대 방향으로 가니 혼자 가자!"라고 목표 (Goal) 를 선택합니다.
   • 이 부분은 **강화학습 (RL)**을 통해 스스로 경험을 쌓으며 배웁니다. (시행착오를 통해 "어떤 선택이 이득인지" 학습)

2. 숙련된 군인 (저수준 정책):

   • 지휘관이 "함께 가자"고 명령하면, "어떻게 움직여야 친구와 만나서 과일을 따겠지?"라고 구체적인 행동을 실행합니다.
   • 이 부분은 **모방학습 (Imitation Learning)**을 통해, 이미 잘하는 다른 AI 들의 행동을 흉내 내며 빠르게 익힙니다.

💡 핵심 아이디어:
"무엇을 할지 (목표)"는 상황에 따라 달라져야 하지만, "어떻게 할지 (행동)"는 어떤 상황에서도 비슷할 수 있다는 점을利用了한 것입니다. 마치 요리사에게 "오늘 메뉴는 뭐로 할까?" (지휘관) 는 질문은 상황에 따라 바뀌지만, "칼질하는 법" (군인) 은 항상 비슷해야 하는 것과 같습니다.

🎮 3. 실험: 두 가지 게임으로 검증

이 방법이 잘 작동하는지 확인하기 위해 두 가지 게임을 만들었습니다.

• 게임 1: 협력해서 도착하기 (Cooperative Reaching)

  • 두 명이 서로 다른 구석으로 가야 할 수도 있고, 같은 구석으로 가야 할 수도 있습니다.
  • 결과: 기존 AI 들은 친구가 반대 방향으로 가도 무조건 따라가서 실패하거나, 혼자 가야 할 때 혼자 가지 못했습니다. 하지만 GRILL은 친구의 방향을 보고 "아, 이 친구는 나와 반대 방향이네? 그럼 혼자 가자!"라고 정확히 판단했습니다.

• 게임 2: 과일 따기 (Level-based Foraging)

  • 사과, 오렌지, 자두 등 다양한 과일이 있고, 친구가 원하는 과일이 다를 수 있습니다.
  • 결과: GRILL 은 친구가 원하는 과일이 우리와 같을 때만 함께 따고, 다를 때는 우리가 원하는 과일을 혼자 따는 등 유연하게 대처했습니다.

🔍 4. 흥미로운 발견: "친구의 마음을 읽을 필요는 언제일까?"

연구진은 AI 가 친구의 행동을 예측하는 추가 기능 (GRILL-M) 을 넣었을 때, 어떤 효과가 있는지 확인했습니다.

• 친구의 행동이 명확할 때 (예: 친구가 사과를 향해 뚜벅뚜벅 걸어갈 때):
  • 친구의 행동을 보면 목표가 뻔히 보이니까, 굳이 친구의 마음을 추측할 필요 없이 행동만 보면 됩니다. 이때는 추가 기능이 큰 도움이 안 됩니다.
• 친구의 행동이 복잡하거나 불분명할 때 (예: 과일 따기 게임처럼 선택지가 많을 때):
  • 친구가 무엇을 원하는지 행동만으로는 알기 어렵습니다. 이때는 친구의 목표 (과일 종류) 를 미리 추측하는 추가 기능이 큰 도움이 됩니다.

📊 결론:
친구의 목표에 대한 정보가 명확하지 않을수록, AI 가 친구의 행동을 미리 예측하는 기능이 성능을 크게 향상시킵니다.

🌟 5. 요약: 왜 이 연구가 중요한가?

이 논문은 AI 에게 **"무조건 협력하는 것"이 아니라 "협력할 가치가 있을 때만 협력하는 지혜"**를 가르쳤습니다.

• 기존 AI: "친구가 뭐 하든 같이 하자!" (비효율적일 수 있음)
• 새로운 AI (GRILL): "친구와 목표가 같으면 같이 하고, 다르면 혼자 하자!" (현실적이고 효율적)

이처럼 AI 가 인간처럼 **"상황을 읽고, 언제 함께할지 판단하는 능력"**을 갖추는 것은, 앞으로 우리가 AI 와 함께 살아가는 데 매우 중요한 첫걸음이 될 것입니다. 마치 여행할 때 친구와 갈라지는 길을 잘 선택하는 것처럼 말이죠! 🚶‍♂️🤝🚶‍♀️

기술 요약

1. 문제 정의 (Problem Setting)

• 핵심 문제: 기존 AHT 연구는 에이전트들이 동일한 보상 함수를 공유한다고 가정하는 경우가 많습니다. 그러나 실제 세계에서는 에이전트들이 고수준의 공통 목표 (예: 과일 수집) 는 공유하더라도, 구체적인 하위 목표 (예: 사과 vs 오렌지 수집) 가 다를 수 있으며, 때로는 협력보다 독립적인 행동이 더 유리할 수 있습니다.
• 수학적 형식화:
  • 환경: 부분 관측 확률적 게임 (POSG) 프레임워크를 사용.
  • 목표 공간 ($G$): 가능한 목표들의 집합. 각 목표는 보상 ($r_g$) 과 전이 조건 ($\Omega_g$) 으로 정의됨.
  • 목표 이질성: 각 에이전트 $i$ 는 목표 집합 $G$ 에 대한 이진 마스크를 가지며, 특정 목표 $g \in G_i$ 를 달성했을 때만 보상을 받음.
  • 협력 기회 시나리오:
    1. 전체 중첩 (Full-overlap): 자기 에이전트의 모든 목표가 팀메이트와 공유됨.
    2. 부분 중첩 (Partial-overlap): 일부 목표만 공유됨.
    3. 중첩 없음 (No-overlap): 공유되는 목표가 전혀 없음.
  • 합리적 행동: 에이전트는 보상 가능하고 달성 가능한 목표 집합 ($G^*$) 을 식별하여, 협력 목표와 독립 목표를 상황에 맞게 선택해야 함.

2. 제안된 방법론: GRILL (Goal selection by RL with Imitation for Low-Level control)

저자는 계층적 강화학습 (Hierarchical RL) 과 모방 학습 (Imitation Learning) 을 결합한 새로운 방법론인 GRILL을 제안합니다. 핵심 아이디어는 '어떤 목표를 추구할지 (High-level)'와 '목표를 달성하기 위해 어떤 행동을 할지 (Low-level)'를 분리하여 학습하는 것입니다.

• 계층적 구조:

  • 저수준 정책 ($\pi_{action}$): 특정 목표 하에서 행동을 선택하는 정책. 모든 에이전트에게 보편적으로 유효함.
  • 고수준 정책 ($\pi_{goal}$): 현재 관측치에 기반하여 추구할 구체적인 목표를 선택하는 정책. 에이전트와 팀메이트의 목표에 따라 달라짐.

• 학습 단계:

  1. 1 단계 (오프라인 모방 학습):
     • 무작위 휴리스틱 에이전트들의 행동 데이터 ($D$) 를 수집.
     • 인코더 - 디코더 모델을 학습하여 행동과 관측치를 재구성.
     • 목적: 행동 디코더를 저수준 정책 ($\pi_{action}$) 으로 활용. 이 정책은 목표 조건부 (Goal-conditioned) 로 학습됨.
  2. 2 단계 (온라인 강화 학습):
     • PPO(Proximal Policy Optimization) 를 사용하여 고수준 정책 ($\pi_{goal}$) 을 학습.
     • 고수준 정책의 출력 (목표) 이 저수준 정책을 조건부로 실행하도록 함.

• GRILL-M (변형):

  • 팀메이트 모델링 (Teammate Modelling) 구성 요소를 추가.
  • 팀메이트의 행동을 예측하는 보조 목적 함수 (Auxiliary Objective) 를 통해 팀메이트의 숨겨진 목표를 추론하는 잠재 표현 (Latent Representation) 을 학습.
  • 이는 팀메이트의 관측 목표 정보가 노이즈가 많을 때 유용함.

3. 실험 환경 및 베이스라인

• 확장된 환경: 기존 AHT 연구에서 널리 쓰이는 두 가지 환경을 목표 이질성을 반영하도록 수정.
  1. 협력 도달 (Cooperative Reaching): 격자 세계에서 두 에이전트가 특정 코너에 동시에 도달해야 보상을 받거나, 중앙의 독립 목표 타일에 도달할 수 있음.
  2. 레벨 기반 포경 (Level-based Foraging, LBF): 에이전트와 아이템의 레벨 합이 일정 수준 이상이어야 아이템을 수집 가능. 사과, 오렌지, 자두 등 서로 다른 과일 (목표) 유형을 도입.
• 베이스라인 비교:
  • PPO: 일반적인 강화학습 알고리즘 (협력에 특화되지 않음).
  • LIAM: 팀메이트 모델링을 통한 AHT 방법.
  • OMG: 조건부 VAE 를 활용한 팀메이트 서브목표 모델링.
  • Oracle: 모든 에이전트의 목표와 보상을 완벽히 아는 최적 정책 (상한선).

4. 주요 결과 (Results)

• 성능 우위:
  • GRILL 및 GRILL-M 은 두 환경 (Cooperative Reaching, LBF) 의 모든 시나리오 (전체/부분/중첩 없음) 에서 PPO, LIAM, OMG 보다 높은 평균 보상을 기록.
  • 특히 복잡한 환경인 LBF 에서 기존 방법론들과의 성능 격차가 두드러짐.
• 목표 선택의 유연성:
  • 실패 모드 분석: 에이전트가 보상이 없는 목표를 추구하거나 (1 차), 협력 불가능한 목표를 추구하거나 (2 차), 협력 가능한 목표를 놓치는 (3 차) 실패를 분석.
  • GRILL 은 보상이 없는 목표를 추구하는 실패를 거의 완전히 피하고, 협력 불가능한 목표를 추구하는 실패도 크게 줄임.
  • 협력성 차이 ($\Delta_{coop}$): 중첩 없음 (No-overlap) 과 전체 중첩 (Full-overlap) 시나리오 간에 추구하는 협력 목표의 비율 차이를 측정. GRILL 이 가장 큰 차이를 보여, 상황에 따라 협력 여부를 유연하게 판단함을 입증.
• GRILL-M 의 효과:
  • 팀메이트의 관측 목표 정보 ($\phi$) 에 노이즈가 증가할수록 GRILL-M 의 성능 이점이 커짐.
  • 노이즈가 심하거나 정보가 아예 없을 때, 팀메이트 행동 예측을 통한 잠재 표현 학습이 성능 향상에 결정적 역할을 함.

5. 기여 및 의의 (Contributions & Significance)

1. 새로운 문제 설정의 정립: AHT 연구에서 간과되었던 '이질적인 목표'와 '협력 여부 판단'을 포함한 새로운 문제 설정을 공식화하고 두 가지 표준 환경을 확장했습니다.
2. GRILL 알고리즘 제안: 모방 학습 (저수준) 과 강화학습 (고수준) 을 계층적으로 결합하여, 에이전트가 목표 선택의 유연성을 갖추도록 한 새로운 아키텍처를 제시했습니다.
3. 실제 협력 시나리오의 모방: 에이전트가 무조건 협력하는 것이 아니라, 팀메이트의 목표와 상황을 분석하여 협력할 가치가 있을 때만 협력하고, 그렇지 않을 때는 독립적으로 행동하는 인간과 유사한 행동을 학습할 수 있음을 입증했습니다.
4. 일반화 가능성: 제안된 계층적 접근법은 협력뿐만 아니라 경쟁이 공존하는 다중 에이전트 환경에서도 고수준 전략 선택을 위해 적용 가능할 것으로 기대됩니다.

결론적으로, 이 논문은 기계가 협력의 기회를 식별하고 적응하는 '메타 레벨 (Meta-level)' 문제를 해결하기 위한 중요한 진전을 이루었으며, 개방적이고 이질적인 환경에서의 성공적인 협력을 위한 새로운 방향성을 제시합니다.