여러 친구가 함께 거대한 퍼즐을 풀려고 노력하는 세상을 상상해 보세요. 인공지능의 세계에서 이것은 다중 에이전트 강화 학습(Multi-Agent Reinforcement Learning, MARL)이라고 불립니다. 로봇 군단에게 축구를 가르치거나, 디지털 캐릭터 팀에게 드래곤과 싸우는 법을 가르치는 것과 비슷합니다. 까다로운 점은 그들에게 어떻게 "피드백"을 주느냐 하는 것입니다. 옛날 방식에서는, 팀이 승리하면 실제로 공을 찼는지 아니면 그냥 가만히 서 있었는지와 상관없이 모두에게 금메달을 주었습니다. 이것을 "공유 보상(shared reward)"이라고 합니다. 하지만 만약 골을 넣은 로봇에게만 금메달을 준다면 어떨까요? 그것이 바로 "개별 보상(individual reward)"입니다.

과학자들은 오랫동안 궁금해했습니다. 우리가 이 금메달을 어떻게 나누어 주느냐가 중요할까요? 모두에게 똑같은 보상을 주는 것이 로봇의 뇌(그들의 내부 "표상(representations)")를 모두가 똑같이 생각하는 지루하고 동일한 덩어리로 만들까요? 아니면 개별적인 크레딧을 주는 것이 그들의 뇌를 독특하고 전문화된 상태로 유지하게 만들까요? 이 논문은 이 질문에 파고들어, 팀에게 주는 보상 방식이 AI 뇌의 구조에 눈에 보이는 지문을 남기는지, 아니면 단지 그들이 어떻게 행동하는지만을 바꾸는지 묻습니다.

위대한 보상 실험

연구진은 SMACv2라는 비디오 게임 속 AI 전사 팀을 대상으로 탐정 놀이를 하기로 했습니다. 다섯 명의 아군 유닛(이들을 "프로토스"라고 부릅시다)이 다섯 명의 적과 싸우는 전장을 상상해 보세요. 각 아군 유닛은 특정 직업을 가지고 있습니다: 어떤 유닛은 빠른 정찰병이고, 어떤 유닛은 강력한 타격가이며, 어떤 유닛은 거대한 탱크입니다. 게임 속에서 AI는 자신이 어떤 종류의 유닛인지 정확히 알 수 있습니다.

연구진은 MAPPO라는 스마트한 학습 알고리즘을 사용하여 이 AI 에이전트들을 훈련시켰습니다. 그들은 두 가지 주요 실험을 진행했습니다:

1. "팀 플레이어" 모드: 각 에이전트가 무엇을 했는지와 상관없이, 팀이 이겼는지 졌는지에 따라 모든 에이전트가 정확히 똑같은 보상을 받습니다.
2. "스타 플레이어" 모드: 각 에이전트는 오직 자신이 개인적으로 입힌 피해량에 기반하여 보상을 받습니다.

핵심 질문은 이것입니다: 만약 "스타 플레이어"에서 "팀 플레이어"로 전환한다면, AI의 내부 뇌 지도가 붕괴될까요? 모두가 똑같은 쿠키를 받기 때문에 정찰병의 뇌가 탱크의 뇌와 똑같이 변해버릴까요?

놀라운 결과: 뇌 지도는 변하지 않았다

여기 연구진이 발견한 반전이 있습니다. 연구진은 "팀 플레이어" 모드가 AI의 뇌를 뭉글뭉글하고 동일하게 만들 것이라고 예상했습니다. 하지만 그들은 틀렸습니다.

연구진은 EffRank/n이라는 정교한 수학 도구(이는 기본적으로 뇌가 얼마나 다양한 방향으로 생각하는지를 체크합니다)와 프로브(probe)(뇌 활동만 보고 유닛의 직업을 맞출 수 있는지 확인하는 간단한 테스트)를 사용하여 AI의 뇌 "모양"을 측정했습니다.

결과는 놀라웠습니다:

• 개별 보상을 사용할 때: AI의 뇌는 뚜렷했습니다. 정찰병, 탱크, 타격가들은 뇌 지도 내에서 서로 다른 "이웃 동네"에 살고 있었습니다. 프로브는 유닛의 직업을 약 **73%**의 확률로 정확히 맞혔습니다(무작위로 추측할 확률인 33%보다 훨씬 높습니다).
• 공유 보상을 사용할 것 때: AI의 뇌는 거의 똑같아 보였습니다. 프로브는 여전히 유닛의 직업을 **75%**의 확률로 정확히 맞혔습니다. "모양"은 전혀 붕괴되지 않았습니다.

즉, 금메달을 나누어 주는 방식이 AI의 뇌 구조를 바꾸지는 않았습니다. 기하학적 구조는 그대로 유지되었습니다.

진짜 범인: 그들이 볼 수 있었던 것

보상이 뇌의 모양을 바꾸지 않았다면, 무엇이 바꾼 것일까요? 연구진은 답이 눈앞에 숨어 있다는 것을 깨달았습니다: 바로 **관측(observation)**이었습니다.

게임에서 모든 AI 에이전트는 시작부터 "당신은 정찰병입니다" 또는 "당신은 탱크입니다"라는 말을 들었습니다. 그것은 마치 자신의 직업이 적힌 유니폼을 입고 있는 것과 같았습니다. AI는 자신의 역할을 직접 볼 수 있었기 때문에, 모두가 같은 보상을 받더라도 자연스럽게 그 특정 직업을 처리하도록 뇌를 조직화했습니다.

이를 증명하기 위해 연구진은 트릭을 썼습니다. 그들은 관측을 "마스킹(masking)"했습니다. 즉, AI에게 "당신은 정찰병입니다"라고 말은 해주되, AI가 자신이 어떤 종류의 유닛인지 보여주는 화면 부분을 가려버린 것입니다. AI에게 자신이 무엇인지 알려주지 않고, 전투의 혼란 속에서 스스로 알아내도록 내버려 두었습니다.

결과는 극적이었습니다.

• 유닛 유형을 숨기자, 프로브의 정확도가 **~74%**에서 49%(무작위 추측보다 겨우 나은 수준)로 떨어졌습니다.
• 뇌 지도 속의 뚜렷했던 "이웃 동네"들은 하나의 엉망진창인 덩어리로 붕괴되었습니다.
• 이는 "팀 플레이어" 그룹과 "스타 플레이어" 그룹 모두에게서 일어난 현상이었습니다.

이것은 뚜렷하고 조직적인 뇌 구조가 보상 시스템 때문이 아니라는 것을 증명했습니다. 그것은 AI가 자신의 역할을 볼 수 있었기 때문에 생긴 결과였습니다. 그 시각적 단서를 제거하자, 보상 시스템은 스스로 전문화된 뇌를 만들어낼 수 없었습니다.

행동 vs 뇌 구조

그렇다면 보상 시스템은 아무것도 하지 않은 걸까요? 꼭 그렇지는 않습니다. 뇌 구조는 그대로였지만, 행동은 변했습니다.

에이전트들이 개별 보상을 받았을 때("스타 플레이어" 모드), 그들은 서로 더 다르게 행동했습니다. 연구진은 이를 Dact라는 지표(에이전트들의 움직임이 얼마나 다른지 체크함)로 측정했습니다.

• 개별 보상: 에이전트들의 행동이 더 다양했습니다 (Dact 척도에서 1.23).
• 공유 보상: 에이전트들의 행동이 조금 더 유사했습니다 (Dact 척도에서 1.07).

요약하자면, 개별 보상을 주는 것은 에이전트들이 더 창의적이고 다르게 플레이하도록 만들었지만, 그들의 뇌를 새로운 모양으로 재구성하도록 강제하지는 않았습니다. 뇌의 모양은 이미 그들이 무엇인지 보고 있었기 때문에 결정되어 있었습니다.

시사점

이 논문은 만약 당신이 AI 팀이 진정으로 전문화되고 있는지 알고 싶다면, 그들이 "유니폼"을 입고 있을 때(자신의 역할을 보고 있을 때) 그들의 뇌가 어떻게 조직되어 있는지만 봐서는 안 된다고 결론짓습니다. 그 조직화는 그들이 무엇을 보느냐를 반영하는 것일 뿐, 어떻게 보상을 받느냐를 반영하는 것이 아닐 수 있습니다.

전문적인 역할을 만드는 것이 보상 시스템인지 정말로 테스트하려면, 시각적 단서를 제거해야 합니다. 이 특정 게임에서, 보상 시스템은 팀이 어떻게 플레이하는지(행동)는 바꾸었지만, 그들의 마음의 구조는 그들에게 주어진 정보에 의해 결정되었습니다. 연구진은 미래의 테스트가 보상이 밑바닥부터 전문화된 뇌를 구축할 수 있는지 진정으로 확인하기 위해서는 "숨겨진 역할(hidden roles)"—즉, AI가 자신의 직업을 모르는 상태—을 사용해야 한다고 제안합니다.

그들은 또한 48명의 에이전트가 있는 더 큰 게임인 "트라이벌 빌리지(Tribal Village)"에서도 이를 테스트했으며, 유사한 결과를 얻었습니다: 지표들은 에이전트들의 역량을 측정할 수는 있었지만, 보상 유형이 뇌의 기하학적 구조를 명확하게 변화시키지는 못했습니다. 그들이 만든 도구들(EffRank/n 및 Dact)은 빠르고 사용하기 쉬우며, 추가 작업량이 5% 미만이라 AI 팀이 실제로 협력하는 법을 배우고 있는지, 아니면 단지 유니폼을 외우고 있는 것인지를 확인하는 데 매우 유용합니다.