🤖 machine learning

Strategy, Not Payoffs: A Behavioural Embedding of Normal-Form Games

이 논문은 특정 표준형 게임에 대한 미세 조정이 대규모 언어 모델의 보이지 않는 게임으로 전략적 능력을 어떻게 전이시키는지 성공적으로 예측하기 위해 내쉬 균형 엔트로피와 반응 민감도에 기반한 경량화된 행동 임베딩을 제 제안하며, 이는 단순히 게임의 정체성을 암기하는 기존의 구조적 임베딩보다 뛰어난 성능을 보여준다.

원저자: Joshua Caiata, Sreepriya Pulyassary, Xiang Li, Kate Larson

게시일 2026-07-31

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Joshua Caiata, Sreepriya Pulyassary, Xiang Li, Kate Larson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 비디오 게임 하는 법을 가르치고 있다고 상상해 보세요. 만약 당신이 로봇에게 체스의 달인이 되도록 가르친다면, 체스가 전략을 다루기 때문에 로bot이 자동으로 체커도 더 잘하게 될 것이라고 생각할 수도 있습니다. 하지만 만약 체스를 가르치는 것이 오히려 로봇을 체커에 더 못하게 만든다면 어떨까요? 이것이 바로 과학자들이 인공지능(AI)을 통해 해결하려고 노력 중인 퍼즐입니다. 구체적으로, 그들은 '대규모 언어 모델(LLM)'—챗봇의 뒤에 있는 초지능적인 컴퓨터 뇌—에 주목하고 있습니다. 이 모델들은 전략적 플레이어로서 협상하고, 협력하고, 경쟁하도록 훈련되고 있습니다. 핵심 질문은 이것입니다: 하나의 게임을 배우는 것이 완전히 다른 게임을 플레이하는 능력에 도움을 줄까요, 아니면 방해가 될까요?

이를 이해하려면 몇 가지를 알아야 합니다. 먼저, 게임 이론에서 '정규형 게임(Normal-Form Game)'이란 두 사람이 동시에 선택을 내리고, 그 결과가 두 사람의 선택 모두에 달려 있는 상황(예: 가위바위보)을 설명하는 멋진 표현입니다. 둘째, '내쉬 균형(Nash Equilibrium)'이라는 개념이 있는데, 이는 상대방이 무엇을 하는지 알더라도 누구도 자신의 수를 바꾸고 싶어 하지 않는 '완벽한 플레이' 전략을 의미합니다. 마지막으로, '미세 조정(Fine-tuning)'은 일반적인 AI를 가져와 특정 작업에 대해 집중 훈련을 시키는 과정입니다. 연구자들은 AI가 게임을 플레이하는 법을 배우는 것인지, 아니면 게임의 '형태'(규칙과 보상)가 중요한 것인지 알고 싶어 했습니다.

전략, 점수판이 아닌 것

이 연구에서 워털루 대학교의 연구진은 이 AI 모델들을 매우 엄격한 학교의 학생처럼 다루기로 했습니다. 그들은 49개의 서로 다른 작은 AI 모델을 가져와서 유명한 "죄수의 딜레마"부터 "가위바위보"에 이르기까지 15가지 고전 게임에 대한 집중 훈련을 시켰습니다. 목표는 단순히 AI가 게임을 할 수 있는지 보는 것이 아니라, 게임 A를 배우는 것이 AI를 게임 B에 더 능숙하게 만드는지, 혹은 더 못하게 만드는지를 확인하는 것이었습니다.

연구진은 이러한 '전이(transfer)'를 예측하는 기존 방식들이 핵심을 놓치고 있다고 의심했습니다. 예를 들어, 수학을 잘하는 학생이 물리학도 잘할지 예측하려고 한다고 가정해 봅시다. 단순한 방법은 "오, 둘 다 과학 수업이니까 그렇겠지!"라고 말할 수 있습니다. 하지만 그것은 너무 모호합니다. 연구진은 더 나은 지도를 제안했습니다. 그들은 게임을 단 두 개의 간단한 숫자로 설명하는 새로운 방식을 제 제안했는데, 이를 ENT-SW라고 불렀습니다.

ENT(엔트로피)를 혼란의 척도로 생각하십시오.

만약 게임에 명확하고 뻔한 최선의 수가 있다면(예: 죄수의 딜레마에서 항상 "배반"을 선택하는 경우), "혼란"은 낮습니다. 전략이 견고하고 안정적입니다.
만약 게임이 예측 불가능함을 유지하기 위해 움직임을 무작위로 섞어야 한다면(예: 가위바위보), "혼란"은 높습니다. 전략이 유동적이고 변화무쌍합니다.

SW(스위칭)를 반응성의 척도로 생각하십시오.

어떤 게임에서는 상대방이 무엇을 하든 당신의 최선의 수가 동일합니다. 당신은 반응할 필요 없이 그냥 계획을 고수하면 됩니다.
다른 게임에서는 당신의 최선의 수가 상대방이 무엇을 하느냐에 따라 완전히 바뀝니다. 상대가 바위를 내면 당신은 보를 내야 하고, 가위를 내면 당신은 바위를 내야 합니다. 당신은 끊임없이 전략을 바꾸는 카멜레온이 되어야 합니다.

연구팀은 모든 게임이 이 두 숫자에 기반한 하나의 점으로 표시되는 간단한 지도를 만들었습니다: 즉, 전략이 얼마나 혼란스러운지, 그리고 얼마나 많이 움직임을 바꿔야 하는지입니다.

거대한 실험

이 지도가 작동하는지 테스트하기 위해, 연구진은 대규모 시뮬레이션을 실행했습니다. 그들은 49개의 AI 모델을 가져와 각 모델을 특정 게임(소스)에 대해 훈련시켰습니다. 그런 다음, 훈련된 동일한 모델을 다른 모든 게임(타겟)에서 테스트했습니다. 그들은 모델이 얼마나 개선되었는지 또는 악화되었는지를 측정했습니다.

그들은 자신들의 새로운 ENT-SW 지도를 두 가지 다른 예측 방식과 비교했습니다:

"정체성(Identity)" 베이스라인: 이것은 "우리는 게임 A와 게임 B가 정확히 무엇인지 알고 있으므로, 그들이 어떻게 상호작용하는지에 대한 역사를 그냥 암기하자"라고 말하는 것과 같습니다. 이는 당신이 이전에 모든 가능한 쌍을 보았다고 가정하는 치트키입니다.
기존 게임 이론 지도: 이것은 과학자들이 수년간 사용해 온 게임에 대한 복잡한 수학적 설명들입니다.

여기 반전이 있습니다. 연구진은 "게임 하나 제외(Leave-One-Game-Out)"라는 매우 엄격한 테스트를 사용했습니다. 즉, 모델을 14개의 게임으로 훈련시킨 후, 모델이 한 번도 본 적 없는 15번째 게임에서 어떤 일이 일어날지 예측하도록 한 것입니다. 이것은 마치 학생에게 14개의 과목을 가르친 다음, 정답지를 훔쳐보지 못하게 한 상태에서 완전히 새로운 과목을 테스트하는 것과 같습니다.

놀라운 결과

결과는 명확했고 꽤 놀라웠습니다.

1. 오래된 지도들의 실패: 게임의 원시적인 보상 수치를 살펴보는 복잡하고 전통적인 수학적 지도들은, AI가 본 적 없는 게임에 대해 테스트했을 때 처참하게 실패했습니다. 그들은 단순히 추측하는 것과 비슷하거나 때로는 더 나빴습니다. 그들은 게임의 근본적인 논리를 이해하는 대신 게임의 이름 자체를 암기하고 있었던 것처럼 보였습니다.

2. "정체성" 치트 코드: 예상대로, 만약 당신이 특정 게임의 쌍(예: "죄수의 딜레마에서 사슴 사냥으로")을 단순히 암기했다면, 결과를 매우 잘 예측할 수 있었습니다. 하지만 이것은 새로운 게임에는 도움이 되지 않습니다.

3. ENT-SW의 승리: 단순한 두 숫자 지도(혼란 + 반응성)만이 완전히 새로운, 본 적 없는 게임에서 AI가 어떻게 수행될지를 성공적으로 예측할 수 있는 유일한 방법이었습니다. 이 방식은 "정체성" 베이스라인보다 뛰어난 성능을 보였습니다.

연구진은 특정 게임 쌍이 가장 중요하다는 것을 발견했습니다. 사실, 게임 쌍의 구조가 결과의 **77.1%**를 설명한 반면, 사용된 특정 AI 모델은 단 **2.8%**만을 설명했습니다. 이는 당신이 어떤 AI를 사용하느냐는 중요하지 않으며, 중요한 것은 게임이 요구하는 전략의 "모양"이라는 것을 의미합니다.

"조화"의 함정

지도에서 흥미로운 함정 하나를 발견했습니다. 연구진은 "조화(Harmony)" 게임과 "죄수의 딜레마"가 ENT-SW 지도상에서 거의 동일하게 보인다는 것을 발견했습니다. 두 게임 모두 혼란이 낮고(명확한 최선의 수), 스위칭이 낮았습니다(상대방에게 반응할 필요가 없음).

하지만 이들은 행동적으로는 정반대였습니다!

조화에서 최선의 수는 협력하는 것입니다.
죄수의 딜레마에서 최선의 수는 이기적으로 배반하는 것입니다.

만약 당신이 죄수의 딜레마를 통해 AI를 "이기적인 배반자"로 훈련시켰다면, 그 AI는 조화 게임을 요청받았을 때 처참하게 실패할 것입니다. 지도는 결정의 모양(직선이며, 스위칭이 없음)은 포착했지만, 그 선이 어느 방향(친절함인가 이기심인가)을 향하고 있는지는 보지 못했습니다. 이러한 한계에도 불구하고, ENT-SW 지도는 여의히 연구진이 찾은 가장 좋은 예측 도구였으며, 이는 결정 과정의 구조가 점수판의 원시적인 숫자보다 더 중요하다는 것을 입증했습니다.

이것이 의미하는 바

이 연구는 AI가 게임을 배울 때, 단순히 규칙이나 점수를 암기하는 것이 아님을 시사합니다. AI는 상황의 행동적 요구 사항을 배우고 있는 것입니다. 상황이 안정적이고 확신을 가져야 하는 상황인가요? 아니면 반응적이고 유연해야 하는 상황인가요?

연구진은 우리가 더 똑똑한 AI, 즉 한 작업에서 다른 작업으로 기술을 전이할 수 있는 AI를 구축하고 싶다면, 단순히 게임의 규칙이나 보상을 보는 것이 아니라, 요구되는 전략의 "성격"을 이해해야 한다고 제안합니다. "혼란"과 "스위칭"이라는 두 가지 특징의 단순한 지도를 사용함으로써, 우리는 AI가 해당 도전을 본 적이 없더라도 그 도전에 어떻게 대처할지를 예측할 수 있습니다.

비록 이 연구가 15개의 게임과 작은 AI 모델로 제한되었지만, 그 결과는 우리가 기계가 학습하는 방식에 대한 새로운 관점을 제공합니다. 전략의 세계에서는 점수가 중요한 것이 아니라, 게임의 모양이 중요하다는 것이 밝혀졌습니다.

기술 요약: 보상(Payoffs)이 아닌 전략: 정규형 게임의 행동적 임베딩

문제 정의

대규모 언어 모델(LLM)은 협상, 협력, 경쟁을 수행할 수 있는 전략적 에이전트로 점점 더 많이 배치되고 있습니다. 미세 조정(fine-tuning)은 이러한 모델을 특정 역할에 적응시키지만, 한 전략적 과업에 대한 학습이 다른 과업에 대한 성능에 어떤 영향을 미치는지 이해하는 것은 여전히 중요한 과제로 남아 있습니다. 구체적으로, 소스 게임(source game)에 대한 미세 조정은 타겟 게임(target game)에서의 추론 능력을 향상시키거나 저하시킬 수 있습니다.

이러한 "전략적 역량의 전이(transfer of strategic capabilities)"를 예측하려는 기존의 접근 방식들은 비전 또는 NLP 도메인에서 유래한 태스크 임베딩에 의존하거나, (예를 들어, 점수 산정에 사용된 데이터와 동일한 데이터를 사용하여 분류 체계를 복구하거나 전이 행렬을 피팅하는 등) 동일 데이터 내에서만 검증된 구조적 게임 표현에 의존합니다. 근본적인 간극이 존재합니다: 즉, 게임의 구조가 단순히 게임의 정체성을 암기하는 단순한 베이스라인보다, 진정으로 홀드아웃된 게임(학습 중에 본 적이 없는 게임)에 대한 행동적 전이를 더 잘 예측할 수 있는지 여부는 알려져 있지 않습니다. 기존의 구조적 임베딩은 종종 학습되거나 평가된 특정 게임들을 넘어 일반화되는 데 실패합니다.

방법론

1. ENT-SW 임베딩

저자들은 게임의 가공되지 않은 보상 기하학(payoff geometry)보다는 게임의 근본적인 행동 요구 사항을 포착하도록 설계된, ENT-SW라 불리는 가벼운 두 가지 특징의 행동적 임베딩을 제안합니다. 이 임베딩은 오직 게임 인스턴스의 보상 테이블로부터 계산됩니다:

평형 엔트로피 (Equilibrium Entropy, ENT): 내쉬 평형(Nash equilibrium)의 모호성을 측정합니다. 순수 전략이 안정적인 게임에서는 0에 가깝고, 혼합 전략을 요구하는 게임에서는 1에 가깝습니다.
최적 대응 전환 (Best-Response Switching, SW): 상대방의 행동에 따른 최적 대응의 민감도를 포착합니다. 이는 지배적인 행동이 존재하는 게임(낮은 전환)과 조정, 반-조정, 또는 순환형 게임(높아지는 전환)을 구분합니다.

각 게임에 대해, 저자들은 이러한 인스턴스 수준의 특징들을 샘플링된 인스턴스와 플레이어 역할을 평균하여 단일 벡터로 집계합니다. 소스 게임 $G_i$ 와 타겟 게임 $G_j$ 사이의 전이를 예측하기 위해, 그들은 개별 게임 벡터, 그 차이, 그리고 요소별 곱을 결합한 쌍 표현(pair representation) $\phi(i, j)$ 를 구축합니다.

2. 실험 프로토콜

본 연구는 다양한 아키텍처 패밀리(예: Pythia, Llama, GPT-Neo, Qwen)에 걸친 49개의 소규모 오픈 웨이트 LLM(200M 미만에서 3B 파라미터 범위)을 사용하는 엄격한 일반화 프로토콜을 채택합니다.

게임 스위트: 15개의 고전적인 정규형 게임(예: 죄수의 딜레마, 사슴 사냥, 가위바위보)이 사용됩니다.
학습: 각 LLM은 단일 소스 게임으로부터 생성된 데이터셋에 대해 개별적으로 미세 조정됩니다. 학습 목표는 해당 게임 인스턴스의 내쉬 평형 분포입니다. 프롬프트에는 고정된 의미론에 의존하는 것을 방지하기 위해 무작위화된 액션 라벨과 함께 보상 결과만을 포함합니다.
평가: 미세 조정된 모델은 홀드아웃된 타겟 게임들에 대해 평가됩니다. 성능은 모델이 유도한 액션 분포와 타겟 내쉬 평형 사이의 평균 제곱 오차(MSE)로 측정됩니다.
전이 메트릭: 행동적 전이는 미세 조정된 모델과 "콜드(cold)"(미세 조정 전의) 베이스 모델 사이의 로그 상대적 개선율로 정량화됩니다.
교차 검증 체제:
- Leave-One-Game-Out (LOGO): 타겟 게임이 학습 과정에서 완전히 제외됩니다(소스로서도, 쌍으로서도 등장하지 않음). 이는 진정한 일반화를 테스트합니다.
- Leave-One-Pair-Out (LOPO): 특정 쌍 $(G_i, G_j)$ 은 제외되지만, 두 게임 모두 다른 쌍에는 등장할 수 있습니다. 이는 보간(interpolation)을 테스트합니다.

3. 베이스라인 및 비교

ENT-SW 임베딩은 다음 항목들과 벤치마킹됩니다:

게임 정체성 베이스라인 (Game Identity Baseline): 소스와 타겟 게임에 대한 원-핫 인디케이터(one-hot indicators).
문헌의 구조적 임베딩: 잠재-조화 분해(potential-harmonic decompositions, PHD), 반응 그래프 통계(response-graph statistics, RG), 그리고 평형 불변 표현(equilibrium-invariant representations; EI-diff, EIE cloud, BRI cloud)을 포함합니다.
원시 보상 베이스라인 (Raw Payoff Baseline, RSTP): 원시 보상 벡터를 직접 사용합니다.

주요 결과

예측 성능

정체성 대비 우월성: 엄격한 LOGO 조건 하에서, ENT-SW는 게임 정체성 베이스라인보다 상당한 차이(홀드아웃 제곱 오차 감소 측면에서 0.360의 개선)로 우수한 성능을 보입니다. 또한 LOPO 하에서도 정체성보다 우수한 성능을 보입니다.
일반화 대 암기: 기존 문헌의 구조적 임베딩(예: PHD, RG 통계, EI-diff)은 LOPO(보간) 하에서는 잘 작동하지만, LOGO 하에서는 실패하며 종종 정체성 베이스라인보다 성능이 낮거나 비슷하게 나타납니다. 이는 이들이 일반적인 구조적 특성을 포착하기보다는 쌍의 규칙성을 암기하는 데 의존함을 시사합니다.
강건성: ENT-SW는 정체성 베이스라인이 해당 게임에 대한 전체 크레딧을 부여받는 상황에서도 LOGO 체제에서 예측 가치를 유지하는 유일하게 테스트된 표현입니다.

분산 분해 (Variance Decomposition)

전이 분산에 대한 분해 결과는 다음과 같습니다:

게임-쌍 구조 (Game-Pair Structure): 전이 점수 분산의 **77.1%**를 설명합니다.
LLM 정체성 (LLM Identity): 단 **2.8%**만을 설명합니다.
상호작용: 특정 소스 게임과 타겟 게임 사이의 상호작용이 개별 기여도를 압도하며, 이는 전이가 개별 모델이나 게임 자체의 특성이 아니라 게임 쌍의 호환성 속성임을 확인시켜 줍니다.

케이스 스터디: "하모니(Harmony)" 아웃라이어

임베딩은 행동적 클러스터를 성공적으로 식별합니다(예: 죄수의 딜레마, 데드락, 컴프로마이즈는 매우 호환적인 클러스터를 형성함). 그러나 논문은 한계점을 언급합니다: 하모니는 죄수의 딜레마 클러스터와 동일한 ENT 및 SW 값(0, 0)을 공유하지만, 이들과는 호환되지 않는 방식으로 행동합니다. 이는 ENT-SW가 평형의 형태(지배적 전략, 전환 없음)는 포착하지만, 방향(협력적 vs 자기 이익적)은 포착하지 못하기 때문입니다. 그럼에도 불구하고, ENT-SW는 비교 대상 중 가장 좋은 예측 도구로 남습니다.

주요 기여

행동적 임베딩 제안: 게임의 보상 기하학이 아닌, 게임이 요구하는 전략적 "지형"(모호성과 반응성)을 포착하는 두 가지 특징의 가벼운 임베딩인 ENT-SW를 도입했습니다.
엄격한 평가 프레임워크 구축: 전략적 전이를 평가하기 위해, 단순한 인-샘플 검증을 넘어 진정으로 보지 못한 게임에 대한 일반화를 테스트하는 엄격한 LOGO 프로토콜을 확립했습니다.
구조가 정체성보다 중요하다는 실증적 증거: 전략적 전이를 예측하려면 근본적인 결정 행동을 표현해야 하며, 구조적 임베딩이 새로운 게임에 대해 일반화되는 데 실패할 경우 단순한 정체성 베이스라인보다 성능이 떨어질 수 있음을 입증했습니다.
분산 귀속: 전이 가능성이 특정 LLM 아키텍처(2.8%)보다는 소스-타겟 게임 쌍의 구조(77.1%)에 의해 주로 결정된다는 정량적 증거를 제시했습니다.

의의 및 주장

본 논문은 LLM에서의 전략적 역량 전이가 게임의 보상 기하학에 의해 결정되는 것이 아니라, 의사결정 행동의 근본적인 구조에 의해 결정된다고 주장합니다.

저자들은 ENT-SW가 게임 정체성의 압축적이고 일반화 가능한 대용물(stand-in)을 제공하여, 모델이 접해보지 못한 게임에 대한 전이를 예측할 수 있게 한다고 주장합니다. 이는 복잡하고 학습된 고차원적 구조 표현이 전략적 전이에 반드시 필요하다는 통념에 도전합니다. 대신, 평형의 형태(엔트로피와 전환)를 설명하는 단순하고 해석 가능한 특징만으로도 다양한 LLM 아키텍처 전반에 걸쳐 행동적 전이를 설명하고 예측하기에 충분하다는 것입니다.

본 논문은 연구의 범용성에 대해 겸허한 입장을 취하며, 본 연구가 15개의 2-액션 및 3-액션 게임으로 제한되어 있고, 특정 특징(ENT 및 SW)이 유일한 해답은 아닐 수 있으나, 행동적 형태를 포착하는 일련의 평형 기반 특징들을 대표하는 것임을 명시합니다. 향후 연구로는 더 큰 액션 공간, 다중 플레이어 설정, 그리고 순차적 게임으로의 확장이 제안되었습니다.