기술 요약: 대규모 언어 모델의 행동 이식성(Behavior Portability) 측정

문제 정의

대규모 언어 모델(LLM)은 입력값을 행동에 대한 분포으로 매핑하는 자율적 의사결정자로서 점점 더 많이 배치되고 있습니다. 이러한 모델을 평가하는 데 있어 핵심적인 과제는 **행동 이식성(behavioral portability)**입니다. 즉, 동일한 근본적 인센티브 구조(보상 관련 특징)를 유지하면서도 표면적 제시 방식(보상 무관 프레이밍)이 다른 환경으로 학습된 행동 매핑이 얼마나 잘 전이되는가의 문제입니다.

현재의 평가 관행은 유한한 프롬프트 세트에 의존하며, 일단 작업이 고정되면 모델이 유도하는 행동 분포가 보상 무관한 재구성(reframing) 하에서도 안정적으로 유지될 것이라고 암묵적으로 가정합니다. 그러나 이 가정은 검증되지 않았으며 잠entially 취약할 수 있습니다. 만약 LLM의 행동이 보상 무관한 특징(예: 서사적 어조, 특정 라벨 또는 프레이밍)에 의존한다면, 유한한 평가는 실세계의 개방형 배포 시나리오(본인과 대리인 사이의 '계약'이 불완전한 상황)에서 성능을 신뢰성 있게 인증할 수 없습니다. 본 논문은 모델이 진정으로 평가자의 목표에 정렬(aligned)되어 있다면, 모델의 행동은 오직 보상 관련 변수($x$)에만 의od해야 하며 보상 무관 변수($z$)에는 불변(invariant)해야 한다고 상정합니다.

방법론

개념적 프레임워크

저자들은 의사결정 환경을 $e = (x, z)$로 공식화합니다. 여기서 $x$는 보상 관련 특징을, $z$는 보상 무관 특징을 나타냅니다.

• 정렬(Alignment): 정책 $\pi$는 주어진 $x$에 대해 효용을 극대화하는 행동 분포를 선택하며, $z$에 관계없이 작동할 때 정렬되었다고 합니다.
• 이식성(Portability): 정책이 $T$-이식성을 갖는다는 것은 행동 요약 $T$(예: 행동 분포)가 $x$에만 의존함을 의미합니다.
• 이론적 함의: 평가자의 최적해에 대한 유일성 조건(uniqueness condition) 하에서, 정렬은 이식성을 함의합니다. 결과적으로, $x$만을 사용하여 소스 환경(source environments)으로부터 피팅된 행동 모델은 (동일한 $x$ 분포를 가진) 홀드아웃 타겟 환경에서의 행동을 직접 타겟 데이터에 피팅된 모델만큼 정확하게 예측해야 합니다.

경험적 프로토콜

저자들은 이식성을 측정하기 위해 환경 학습-타 환경 테스트(train-on-environments, test-on-another) 프로토콜을 도입합니다.

1. 작업 선택: 독재자(Dictator), 최후통첩(Ultimatum), 신뢰(Trust), 공공재(Public Goods), 미인 대회(Beauty Contest), 로또 선택(Lottery Choice), 정규형 게임(Normal Form games) 등 7가지 전형적인 경제적 의사결정 문제를 사용합니다. 이 작업들은 투명하고 저차원적인 보상 구조를 제공합니다.
2. 환경 생성: 각 작업에 대해 40개의 서로 다른 텍스트 환경($z$)을 생성합니다. 이는 보상 파라미터($x$)와 행동 공간은 동일하게 유지하면서 서사적 프레이밍, 은유, 스타일을 변화시킵니다.
3. 데이터 수집: 다양한 보상 파라미터를 가진 이러한 환경들에 대해 LLM에 질의합니다. 행동을 추출하고 파싱합니다.
4. 모델 피팅:
   • 소스 학습형(Source-trained): 부분적인 소스 환경들로부터 풀링된 데이터에 적합하도록 해석 가능한 행동 모델(최소제곱 회귀, OLS)을 피팅하여 $x$에서 예측 행동으로 매핑합니다.
   • 타겟 학습형(Target-trained): 동일한 모델 아키텍처를 홀드아웃된 타겟 환경의 데이터에 직접 피팅합니다.
5. 평가: 두 모델을 홀드아웃된 타겟 테스트 세트에서 평가합니다.
6. 지표: 주 지표는 (예측 행동, 실제 행동)의 결합 분포에 의해 유도된, 소스 학습 모델과 타겟 학습 모델 간의 **전변동 거리(Total Variation distance, TV distance)**입니다.
   • 이 지표는 **손실 불가지론적(loss-agnostic)**입니다. TV 거리가 $\epsilon$이라는 것은, 예측-실제 쌍에 대해 정의된 임의의 유계된(bounded) 평가 기준에 대해, 두 모델 간의 기대 성능 차이가 최대 $\epsilon$임을 의미합니다.

모델 및 조건

본 연구는 GPT-4.1-nano, Gemma-3-12B, Llama-3.1-8B, Llama-3.1-70B, 그리고 DeepSeek-R1 모델을 평가합니다. 실험은 두 가지 프롬프팅 체제 하에서 수행됩니다:

• Non-CoT: 직접적인 답변 생성.
• Chain-of-Thought (CoT): 단계별 추론 후 답변 생성.

주요 결과

1. 상당한 이식성 손실

연구 결과, 테스트된 모든 모델에서 행동 이식성이 불완전함이 발견되었습니다.

• 규모: 모델과 게임 전체의 평균 TV 거리는 0.349로, 상당한 괴리를 나타냅니다. 이는 한 가지 문구로 학습된 행동 매핑이 보상적으로 동등한 대안적 문구에서의 행동을 예측하는 데 자주 실패함을 의미합니다.
• 작업별 편차: 이식성은 작업 유형에 따라 다릅니다.
  • 높은 이식성: 로또 선택(TV $\approx$ 0.052)과 같이 결정이 명시적으로 정량적인 경우.
  • 낮은 이식성: 독재자(TV $\approx$ 0.525), 신뢰(TV $\approx$ 0.525), 최후통첩(TV $\approx$ 0.480)과 같은 사회적/전략적 작업. 공정성, 협력 또는 호혜성을 포함하는 이러한 작업들은 프레이밍에 대한 가장 큰 민감도를 보였습니다.

2. 사고 사슬(Chain-of-Thought, CoT)의 영향

CoT 프롬프팅은 평균적으로 이식성을 개선하지만, 단조적이거나 균일하게 작용하지는 않습니다.

• 평균 개선: CoT는 Non-CoT에 비해 평균 TV 거리를 0.047(12.6%) 감소시킵니다.
• 이질성: CoT의 효과는 모델, 특정 게임, 그리고 프레이밍 간의 상호작용에 따라 달라집니다.
  • 정규형(Normal Form) 게임에서 CoT는 이식성 손실을 급격히 줄입니다(예: GPT-4.1-nano의 경우 -79.7%). 이는 추론을 명시적인 보상 행렬에 고정(anchoring)시키기 때문인 것으로 보입니다.
  • 최후통첩 및 독재자 게임에서 CoT는 때때로 이식성 손실을 오히려 증가시킵니다(예: GPT-4.1-nano의 최후통절 게임에서 +21.3%). 이는 추론 과정이 추상화하기보다는 공정성 서사나 특정 문구에 대한 민감도를 증폭시킬 수 있음을 시사합니다.
• 진단: 예측 모델에 환경 지표(environment indicators)를 추가하면 CoT 환경에서 $R^2$가 더 많이 증가하는데, 이는 CoT가 보상 무관한 프레이밍에 대한 잔여 의존성을 줄이지만 완전히 제거하지는 못함을 확인시켜 줍니다.

3. 추론 모델

추론에 특화된 모델인 DeepSeek-R1은 테스트된 작업(로또 선택, 미인 대회, 정규형 게임)에서 우수한 이식성을 보여주었습니다.

• 이 모델은 일관되게 관찰된 최상의 이식성 경계선 근처에 위치합니다.
• 메커니즘: DeepSeek-R1은 높은 "수치적 접지력(numerical grounding)"을 보이며, 거의 100%의 응답에서 보상 관련 파라미터를 언급합니다. 이 모델의 추론 모티프는 프레임 특정적 서사가 아닌 공식적인 작업 구조(예: 기댓값, 내쉬 균형)를 중심으로 구성됩니다.
• 내쉬 지원: 정규형 게임에서 DeepSeek-R1은 99.5%의 사례에서 내쉬 균형에 의해 지지되는 행동을 선택하며, 다른 모델들을 크게 압도합니다.

의의 및 주장

본 논문은 하나의 의사결정 환경에서 얻은 LLM의 행동 특성이 구조적으로 동등한 대안적 환경으로 신뢰성 있게 전이될 것이라고 가정할 수 없다는 것을 형식적 프레임워크와 경험적 증거를 통해 주장합니다.

• 평가에 대한 시사점: 이 결과는 유한한 프롬프트 세트의 성능을 보이지 않는 텍스트 변형으로 확장하는 표준 관행에 도전합니다. 이식성이 낮다면, 모델의 테스트 세트에서의 행동은 근본적인 인센티브가 동일하더라도 실제 배포 시의 행동을 반영하지 못할 수 있습니다.
• 정렬(Alignment): 본 연구 결과는 현재의 LLM이 보상 무관한 특징에 불변하는 의미에서의 "정렬"이 완전히 이루어지지 않았음을 시사합니다. 이들의 의사결정 과정은 프롬프트의 표면 형태라는 "계약"에 민감합니다.
• 강건성(Robustness): CoT와 추론 특화 모델(DeepSeek-R1 등)이 보상 관련 구조를 복구함으로써 이식성을 개선할 수는 있지만, 이를 보장하지는 못합니다. 프레이밍에 대한 민감도는 테스트된 모델들의 근본적인 속성으로 남아 있습니다.

본 연구는 결론적으로, 이식성은 유한한 세트에 의해 인증될 수 있는 속성이 아니라 측정되어야 하는 경험적 대상이며, LLM에서 진정한 행동 이식성을 달성하는 것은 여전히 중대한 과제임을 밝히고 있습니다.