인공지능의 광활한 풍경 속에는 기계들이 서로 상호작용하는 법을 가르치는 데 전념하는 특정 영역이 있습니다. 멀티 에이전트 강화 학습(multi-agent reinforcement learning)이라고 알려진 이 분야는 단순하지만 심오한 질문을 던집니다. 어떻게 하면 여러 지능형 시스템이 서로를 미치게 만들지 않으면서 함께 학습하게 할 수 있을 것인가? 모든 학생이 다른 학생들의 행동에 따라 매 초마다 자신의 전략을 바꾸는 교실을 상상해 보십시오. 만약 그렇다면 그 교실은 혼란스러운 움직이는 표적이 될 것입니다. 누구도 안정적인 답에 도달할 수 없는데, 왜냐하면 발밑의 지면이 끊임없이 변하기 때문입니다. 게임 이론의 세계에서 목표는 어떤 플레이어도 자신의 수를 바꿀 동기가 없는 균형 상태에 도달하는 것이며, 이를 나쉬 균형(Nash equilibrium)이라고 합니다. 그러나 이러한 플레이어들이 선택할 수 있는 행동이 몇 가지 단순한 선택지가 아니라, 정확히 얼마만큼 생산할지 또는 얼마만큼의 돈을 쓸지와 같은 연속적인 가능성의 흐름일 때, 수학적 난이도는 믿기 힘들 정도로 높아집니다. 표준적인 방법들은 여기서 종종 실패하며, 에이전트들이 격렬하게 진동하거나 루프에 갇혀 결코 합의된 안정점에 도달하지 못하게 만듭니다.

도르트문트 기술 대학교의 마빈 봉조비(Marvin Bongiovi)라는 연구자는 이 혼돈을 헤쳐 나갈 새로운 방법을 제안했습니다. 2026년 말 발표된 연구에서 그는 딥 리그렛 액터 크리틱(Deep Regret Actor-Critic), 즉 DRAC이라 불리는 알고리즘을 소개합니다. 각 에이전트의 즉각적인 보상을 극대화하려고 노력하는 대신, 이 새로운 방법은 에이전트들에게 자신의 '후회(regret)'를 최소화하도록 가르칩니다. 쉬운 말로, 후회란 다른 행동을 선택했더라면 더 나은 결과를 얻었을지도 모른다는 아쉬움을 의미합니다. 시스템이 어떤 플레이어도 혼자서 마음을 바꿈으로써 유의미하게 더 나은 결과를 얻을 수 없도록 훈련함으로써, 이 알고리즘은 집단을 안정적이고 착취 불가능한 균형으로 인도합니다. 결과는 놀랍습니다. 연속적인 의사결정이 포함된 복잡한 경제 시뮬레이션에서, 이 새로운 접근 방식은 기존 방법들이 고전했던 정확한 수학적 해답을 일관되게 찾아냈으며, 이는 무엇을 얻었는지에 집중하는 것보다 무엇을 놓쳤는지에 집중하는 것이 합의에 도는 더 신뢰할 수 있는 경로임을 증명했습니다.

이것이 왜 중요한지 이해하려면, 먼저 에이전트들이 직면한 문제의 본질을 파악해야 합니다. 시장에서부터 경합에 이르기까지 많은 현실 세계의 시나리오에서 플레이어들은 순차적으로 결정을 내리며, 최선의 수는 전적으로 타인이 무엇을 하느냐에 달려 있습니다. 만약 에이전트가 단순히 현재의 보상에 반응하여 학습하려고 한다면, 이는 표적이 자신을 피하려고 노력하는 동안 그 표적을 맞추려는 것과 같습니다. 환경은 비정상성(non-stationary)을 띠는데, 즉 학습자들이 변화함에 따라 환경도 변한다는 의미입니다. 전통적인 알고리즘들은 다른 플레이어들을 정적인 환경의 일부로 취급하기 때문에 실패하곤 하며, 그 플레이어들이 전략을 업데이트할 때 뒤통수를 맞게 됩니다. 이는 아무도 정착하지 못하는 적응의 순환을 초래합니다. 이전의 일부 방법들은 전체 게임 트리를 살펴보거나 복잡한 포텐셜 함수를 사용하여 이를 해결하려 했지만, 연속적인 행동의 규모 문제로 어려움을 겪거나 확장이 어려운 특수한 훈련을 요구하곤 했습니다.

봉조비의 솔루션인 DRAC은 다른 구조적 접근 방식을 취합니다. 이 방식은 에이전트들이 중앙 집중식으로 함께 훈련되지만 여전히 독립적으로 행동할 수 있는 프레임워크 하에서 작동합니다. 핵심 혁신은 성공을 평가하는 방식에 있습니다. 시스템은 "내가 높은 점수를 얻었는가?"라고 묻는 대신, "다른 모든 사람이 정확히 똑같이 행동했을 때, 내가 다르게 선택했다면 더 잘할 수 있었을까?"라고 묻습니다. 이를 위해 알고리즘은 영리한 기법을 사용합니다. 다른 모든 플레이어의 행동을 고정시킨 다음, 해당 단일 에이전트에 대해 광범위한 대안적 움직임을 샘플링합니다. 그리고 그 가상의 대안들에 대해 보상이 어떠했을지를 계산합니다. 실제 결과와 이 샘플들로부터 얻은 최선의 결과를 비교함으로써, 시스템은 정밀한 후회 척도를 산출합니다. 이 과정은 학습 알고리즘이 목표로 삼을 수 있는 안정적인 타겟을 만들어내는데, 왜냐냐 하면 '최선의 결과'가 고정된 상대방의 행동에 대해 계산되기 때문에 움직이는 표적 문제를 제거하기 때문입니다.

알고리즘은 이 과업을 수행하기 위해 듀얼 헤드 신경망을 사용합니다. 네트워크의 한 부분은 고정된 타인의 행동에 맞서 에이전트가 달성할 수 있는 최선의 효용을 예측하고, 다른 부분은 취한 행동의 실제 효용을 예측합니다. 이 두 예측 사이의 차이가 바로 후회입니다. 시스템은 이 차이를 최소화하도록 에이전트의 전략을 조정합니다. 만약 후회가 높다면, 그것은 에이전트가 더 나은 기회를 놓쳤음을 의미하며, 다음에는 그러한 실수를 피하도록 전략이 수정됩니다. 만약 후회가 0이라면, 그것은 에이전트가 다른 모든 이들이 하는 방식에 맞춰 최적으로 플레이하고 있음을 의미합니다. 모든 에이전트에 걸쳐 이 후회를 동시에 최소화함으로써, 시스템은 자연스럽게 누구도 자신의 전략을 바꿀 의도가 없는 상태, 즉 나쉬 균형의 정의를 향해 수렴합니다.

이 아이디어를 테스트하기 위해 연구자는 두 가지 뚜렷한 시뮬레이션을 실행했습니다. 첫 번째는 여러 기업이 제품 생산량을 결정하며 경쟁하는 고전적인 경제 모델인 순차적 쿠르노 과점(Cournot oligopoly) 모델이었습니다. 이 시나리오에서 시장 가격은 모든 기업의 총 생산량에 따라 달라집 most. 연구진은 세 기업이 다섯 라운드 동안 연속적인 범위 내에서 생산량을 조절하며 경쟁하는 시장을 설정했습니다. 연구진은 새로운 DRAC 알고리즘을 널리 알려진 방법인 MADDPG와 비교했습니다. 결과는 DRAC이 훨씬 우수함을 보여주었습니다. 200,000회의 훈련 사이클 후, DRAC 알고리즘의 전략은 완벽한 이론적 해답에서 약 1.1%만 벗어났습니다. 반면, 기존 방법은 거의 2%에 가까운 편차를 보였습니다. 더 중요한 것은, '착취 가능성(exploitability)'—즉, 플레이어가 전략을 바꿈으로써 얻을 수 있는 이득—의 척도가 DRAC의 경우 0.000137 수준으로 훨씬 낮았던 반면, 기존 방법은 0.000427이었습니다. 이는 새로운 알고리즘이 정답을 찾았을 뿐만 아니라 훨씬 더 높은 안정성을 가지고 찾아냈음을 나타냅-니다.

두 번째 실험은 동적인 자원 배분 문제인 순차적 비례 상금 경합(proportional prize contest)을 포함했습니다. 여기서는 두 명의 플레이어가 상금을 얻기 위해 여러 라운드에 걸쳐 경쟁하지만, 상금을 얻기 위해 예산의 일부를 지출해야 합니다. 상금은 각 플레이어가 지출한 금액의 상대적 비율에 따라 나누어집니다. 이 설정은 플레이어들이 현재 얼마나 지출할지와 나중 라운드를 위해 얼마나 남겨둘지를 저울질하며 앞을 내다볼 것을 요구합니다. 연구진은 예산이 고갈되는 특정 규칙과 함께 5단계에 걸친 경합을 시뮬레이션했습니다. 다시 한번, DRAC 알고리즘은 표준적인 방법과 맞붙었습니다. 결과는 첫 번째 실험과 일치했습니다. DRAC은 이론적인 완벽한 전략으로부터 단 3.0%의 편차만을 기록한 반면, 표준 방법은 6.3%로 뒤처졌습니다. DRAC의 착취 가능성 또한 0.000745로 훨씬 낮아, 경쟁자의 0.00248과 대비되었습니다. 이 수치들은 플레이어가 미래를 계획해야 하는 역동적인 다단계 게임에서도 후회 최소화 접근 방식이 효과적임을 확인해 줍니다.

이 접근 방식의 성공은 다음과 같은 구체적인 통찰력에 기반합니다. 보상을 극대화하는 것에서 후회를 최소화하는 것으로 초점을 전환함으로써, 알고리즘은 다른 방법들을 괴롭히는 불안정성을 회피합니다. 표준적인 멀티 에이전트 학습에서는 한 에이전트가 실수를 하면 다른 모든 이들의 학습을 흐트러뜨려 오류의 연쇄를 만들 수 있습니다. DRAC은 고정된 상대방의 행동에 대한 "만약 그랬다면" 시나리오를 계산함으로써 이를 피합니다. 이는 평가를 다른 플레이어들의 혼란스러운 업데이트로부터 분리하여, 학습 과정을 위한 차분하고 정적인 풍경을 만들어냅니다. 알고리즘은 본질적으로 "지금 다른 사람들이 무엇을 하고 있는지는 무시하라. 대신 당신이 그들의 행동에 대해 어떻게 더 잘할 수 있었을지를 보라"고 말합니다. 이 단순한 전환은 시스템이 전체적인 균형을 해치는 방식으로 실수로 협력하는 법을 배우는 '공모(collusion)'의 함정에 빠지지 않고 업데이트를 조율할 수 있게 합니다.

결과가 인상적이긴 하지만, 논문은 몇 가지 한계점도 인정하고 있습니다. 이 방법은 최선의 대안 행동을 찾기 위해 샘플링에 의존합니다. 쿠르노 시장이나 상금 경합처럼 매끄럽고 예측 가능한 환경에서는 이것이 완벽하게 작동했습니다. 그러나 매우 복잡하거나 들쭉날쭉한 보상 지형을 가진 게임에서는 샘생플링이 진정한 최선의 움직임을 놓칠 수도 있습니다. 또한, 알고리즘은 이러한 가상의 결과를 시뮬레이션하기 위해 환경 모델이 필요합니다. 비디오 게임이나 시뮬레이션에서는 이것이 쉽지만, 규칙을 알 수 없는 현실 세계의 "블랙박스" 상황에서는 시스템이 아직 수행하지 않은 행동의 결과를 예측할 방법이 필요합니다. 이러한 제약에도 불구하고, 이 연구는 중요한 진전을 보여줍니다. 이는 연속적인 멀티 에이전트 게임이, 에이전트들에게 잠재적 이득을 향해 전진하기보다 놓친 기회를 되돌아보도록 가르침으로써 높은 정밀도로 해결될 수 있음을 입증합니다.

이 작업의 함의는 테스트된 특정 게임들을 넘어 확장됩니다. 연속적인 공간에서 서브게임 완전 나쉬 균형(Subgame-Perfect Nash Equilibrium)—즉, 플레이어가 게임의 시작뿐만 아니라 모든 단계에서 최적의 결정을 내리는 상태—을 근사할 수 있는 능력은 인공지능의 주요 난제입니다. 후회 최소화가 학습을 안정화할 수 있음을 증명함으로써, 이 연구는 경제학, 교통 관리, 자원 배분 분야에서 더욱 견고한 멀티 에이전트 시스템을 위한 길을 열어줍니다. 저자는 이 프레임워크가 결국 플레이어가 세상의 상태에 대해 모든 것을 알지 못하는 불완전 정보 게임과, 플레이어가 별개의 선택지 중에서 선택하는 이산적 게임에도 적응될 수 있을 것이라고 제안합니다. 현재로서는, 이 연구는 때때로 앞으로 나아가는 가장 좋은 방법은 당신이 다르게 행동했을 수도 있었던 상황을 신중하게 분석하는 것임을 보여주는 명확한 사례로 남아 있습니다.