인공지능의 세계에는 단일한 천재적 지능과 조율된 팀 사이에는 뚜렷한 차이가 존재한다. 수십 년 동안 연구자들은 체스의 그랜드마스터가 되거나 미로를 탐색하는 로봇처럼, 한 대의 컴퓨터가 특정 문제를 해결하도록 가르치는 데 집중해 왔다. 이러한 시스템들은 보상이나 벌칙을 바탕으로 자신의 행동을 조정하며 시행착오를 통해 학습하여 특정 과업을 숙달했다. 그러나 현실 세계는 단일한 행위자가 고립되어 해결할 수 있는 문제들을 제시하는 경우가 드물다. 교통 흐름, 구조 임무, 공장 바닥은 각자가 서로에게 영향을 미치는 결정을 내리며 동시에 움직이는 수많은 독립적인 행위자들을 포함한다. 이것이 바로 다중 에이전트 시스템(multi-agent systems)의 영역이며, 여기서 목표는 단순히 개별적인 지능이 아니라 집단적인 협력이다. 과제는 환경이 혼란스럽고, 규칙이 불분명하며, 이해관계가 높을 때, 중앙 통제관이 모든 움직임을 지시하지 않고도 이 독립적인 엔티티들이 어떻게 함께 협력하게 만들 것인가에 있다.

연구자 위창 진(Weiqiang Jin), 홍양 두(Hongyang Du), 시샹 탕(Shixiang Tang), 비아오 자오(Biao Zhao), 광 양(Guang Yang)이 작성한 새로운 종합 조사 보고서는 이 복잡한 분야의 현재 지형을 그려낸다. 저자들은 엄격한 규칙 책에서부터 유연한 학습 기반 전략에 이르기까지, 인공 에이전트 그룹이 협력하는 방법을 가르치는 데 사용되는 주요 방법론들을 수집하고 분석했다. 그들의 작업은 비디오 게임 시뮬레이션부터 자율 주행 및 재난 대응과 같은 실제 응용 분야에 이르기까지, 과학자들이 이러한 아이디어를 테스트하기 위해 사용하는 다양한 도구와 환경을 안내하는 가이드 역할을 한다. 이 조사는 이러한 시스템이 구축되는 방식의 중대한 변화를 강조한다. 과거의 방법들이 미리 프로그래밍된 지침이나 경쟁의 수학적 모델에 의존했다면, 가장 유망한 접근 방식은 이제 경험으로부터 학습하고, 더 최근에는 인간처럼 추론하고 소통하는 고급 언어 모델을 사용하는 에이전트를 포함한다.

연구자들은 먼저 이러한 시스템이 설계되는 다양한 방식들을 분류하는 것부터 시작했다. 그들은 의사결정의 다섯 가지 주요 범주를 식별했다. 첫 번째는 고정된 규칙에 의존하는 것으로, 에이전트가 마치 타이머에 따라 색이 변하는 신호등처럼 엄격한 지침 세트를 따르는 방식이다. 두 번째는 게임 이론을 사용하여, 상호작용을 에이전트들이 안정적인 결과를 얻기 위해 서로를 이기거나 협력하려는 전략적 움직임으로 취급한다. 세 번째 범주는 많은 전략의 변형을 테스트하고 가장 잘 작동하는 것을 남기는 자연 선택을 모방하는 진화 알고리즘을 채택한다. 이러한 전통적인 방법들이 유용하기는 하지만, 조사는 환경이 급격히 변하거나 에이전트의 수가 매우 많아질 때 이들이 종종 어려움을 겪는다는 점을 발견했다. 이들은 배우가 대사를 잊어버리거나 무대가 예상치 못하게 바뀌었을 때 적응할 수 없는 경직된 대본과 같다.

대조적으로, 이 조사는 두 가지 더 역동적인 최신 접근 방식인 다중 에이전트 강화 학습(Multi-Agent Reinforcement Learning)과 대규모 언어 모델(Large Language Models)에 가장 큰 비중을 둔다. 다중 에이전트 강화 학습에서 에이전트는 서로 및 환경과 상호작용하며 학습한다. 그들은 매뉴얼을 가지고 시작하는 것이 아니라, 자신의 행동이 그룹의 성공에 도움이 되었는지에 대한 피드백을 받으며 반복적인 시도를 통해 효과적인 전략을 발견한다. 저자들은 이러한 시스템이 어떻게 훈련되는지 상세히 설명하는데, 종종 에이전트들이 중앙 허브에서 함께 연습하여 최선의 전략을 배우지만, 실제 세계에서는 오직 자신이 보고 들을 수 있는 것에만 의존하여 독립적으로 작동하는 방식을 사용한다. 이를 통해 그들은 중앙의 뇌와 지속적인 연결 없이도 협력할 수 있다.

두 번째 주요 초점은 현대 챗봇의 기반이 되는 기술인 대규모 언어 모델로 구동되는 시스템이다. 이 에이전트들은 자연어를 사용하여 과업을 이해하고, 단계를 계획하며, 팀원들과 대화한다. 즉각적인 보상에 반응하는 대신, 이들은 복잡한 지시 사항을 읽고, 이를 작은 목표들로 나누며, 어떻게 진행할지에 대해 팀원들과 논의할 수 있다. 조사는 이 접근 방식이 구조물을 짓기 위해 협력하는 로봇 팀이나 사회적 시나리오를 연기하는 가상 캐릭터 그룹과 같이 추론이나 문맥 이해가 필요한 과업을 처리하는 데 특히 뛰어나다고 언급한다. 그러나 저자들은 또한 이러한 언어 기반 시스템이 여전히 발전 단계에 있으며, 혼란에 빠지거나 비효율적이 되지 않고 대규모 그룹으로 확장하는 데 어려움이 있다고 지적한다.

이러한 아이디어를 테스트하기 위해 연구자들은 디지털 훈련장 역할을 하는 시뮬레이션 환경에 크게 의존한다. 조사는 화면에서 점들이 움직이는 단순한 입자 시뮬레이션부터 군사 스타일의 협업을 테스트하기 위해 사용되는 실시간 전략 게임인 스타크래프트 II와 같은 복잡하고 현실적인 환경에 이르기까지, 가장 인기 있는 플랫폼들을 검토한다. 이러한 환경을 통해 과학자들은 실제 세계에서 테스트하기에는 너무 위험하거나 비용이 많이 들거나 시간이 오래 걸리는 시나리오를 생성할 수 있다. 저자들은 시뮬레이션의 선택이 결정적이라고 강조한다. 단순하고 통제된 게임에서 잘 작동하는 시스템이 무질서하고 예측 불가능한 실제 상황에서는 완전히 실패할 수도 있기 때문이다. 또한 그들은 물리적 움직임보다 의사소통과 사회적 상호작용에 초점을 맞춘, 언어 기반 에이전트를 위해 특별히 설계된 새로운 플랫폼들을 강조한다.

논문은 이어 이러한 이론들이 실제 문제에 어떻게 적용되는지를 보여주는 실질적인 응용 분야로 넘어간다. 자율 주행에서 다중 에이전트 시스템은 다른 차량의 행동을 예측함으로써 자동차가 교차로를 통과하고 고속도로에 합류하도록 돕는다. 재난 구조에서 드론 팀은 생존자를 찾기 위해 넓은 지역을 수색하도록 협력하며, 단일 드론이 할 수 있는 것보다 더 효율적으로 지면을 확보하기 위해 정보를 공유한다. 농업에서는 로봇들이 함께 협력하여 작물을 모니터링하고 자원을 관리할 수 있다. 조사는 또한 이러한 시스템이 게임 및 사회적 시뮬레이션에서 어떻게 사용되는지 살펴보는데, 여기서는 가상 캐릭터들이 자연스럽고 반응성 있게 서로 및 인간 플레이어와 상호작용한다.

이러한 발전에도 불구하고, 연구자들은 여전히 중요한 장애물들이 존재함을 확인했다. 한 가지 주요 과제는 다중 에이전트 환경의 "비정상성(non-stationary)" 특성이다. 모든 에이전트가 동시에 학습하고 행동을 바꾸고 있기 때문에 환경은 끊임없이 변화하며, 이는 단일 에이전트가 다음에 무슨 일이 일어날지 예측하는 것을 어렵게 만든다. 이는 마치 모든 파트너가 즉석에서 새로운 스텝을 만들어내는 춤 동작을 배우는 것과 같다. 또 다른 문제는 "신용 할당(credit assignment)" 문제이다. 팀이 성공하거나 실패했을 때, 어떤 특정 에이전트가 결과에 가장 많이 기여했는지 판단하기 어렵다. 이는 어떤 행동을 장려하고 어떤 행동을 억제해야 할지 알기 어렵게 만든다. 더욱이, 에이전트의 수가 늘어남에 따라 이들을 조율하는 복잡성은 기하급수적으로 증가하며, 종종 현재의 컴퓨팅 자원을 압도한다.

조사는 또한 새로운 언어 기반 접근 방식의 한계점을 다룬다. 이 에이전트들은 추론과 의사소통에는 뛰어나지만, 때때로 "환각(hallucinate)"을 일으켜 잘못된 정보를 생성하고 이것이 그룹 전체로 퍼져 좋지 않은 결정을 내리게 할 수 있다. 또한 이들은 정밀한 공간 인지나 빠른 물리적 반응을 요구하는 과업에서 어려움을 겪는데, 이는 전통적인 학습 방법이 여전히 우수한 분야이다. 저자들은 미래가 이러한 서로 다른 강점들을 결합하는 데 있다고 제안한다. 언어 모델의 추론 능력과 강화 학습의 적응력을 통합함으로써, 연구자들은 스마트하면서도 견고한 시스템을 만들기를 희망한다.

앞으로를 내다보며, 저자들은 몇 가지 유망한 연구 방향을 제시한다. 그들은 차세대 다중 에이전트 시스템이 아마도 서로 다른 기술들을 혼합할 것이라고 제안하는데, 언어 모델을 사용하여 에이전트가 복잡한 지시를 이해하고 장기적인 목표를 계획하도록 돕는 한편, 강화 학습을 사용하여 그 계획을 효율적으로 실행하도록 하는 방식이다. 또한 그들은 단순한 성공률을 넘어 에이전트가 얼마나 잘 협력하고, 소통하며, 새로운 상황에 적응하는지를 측정하는 더 나은 평가 방식이 필요하다고 본다. 마지막으로, 그들은 이러한 시스템이 사회에 더 통합됨에 따라, 이들을 스마트하게 만드는 것만큼이나 안전하고 투명하며 공정하게 만드는 것이 중요함을 언급하며 윤리적 고려 사항을 다룬다.

이 조사는 다중 에이전트 협력의 문제를 해결했다고 주장하는 것이 아니다. 대신, 이 분야가 현재 어디에 와 있는지에 대한 명확하고 상세한 지도를 제공한다. 이는 우리가 기계가 서로 협력하도록 가르치는 데 놀라운 진전을 이루었지만, 인간 세계의 무질서한 현실 속에서 어떻게 신뢰할 수 있고, 확장 가능하며, 효과적인 팀을 만들 것인가에 대해 여전히 배울 것이 많다는 것을 보여준다. 최신 방법론, 환경, 그리고 응용 분야를 하나로 모음으로써, 저자들은 연구자들이 인공 에이전트가 우리 시대의 복잡한 과제들을 해결하기 위해 원활하게 협력할 수 있는 미래로 나아갈 수 있도록 돕는 토대를 제공한다.