Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy

기술 요약: 정책 선택으로서의 모델 선택

문제 제기
대규모 언어 모델(LLM)은 정책 분석, 전략 계획 및 의사결정 지원 분야에 점점 더 통합되고 있다. 그러나 응용 연구에서는 개별 모델을 교체 가능한 도구로 취급하는 경향이 있으며, 이러한 가정은 실증적으로 거의 검증되지 않았다. 본 논문은 이러한 가정이 결함이 있다고 주장한다. 과업과 프롬프트가 일정할 때도, LLM은 경제적 및 제도적 딜레마를 프레이밍하는 방식에서 체계적으로 다를 수 있다. 이러한 차이는 단순한 디코딩 노이즈가 아니라, 학습 데이터, 아키텍처, 그리고 정렬(alignment) 목표에 내재된 안정적인 지향점을 반영한다. 결과적으로, 정책 맥락에서 특정 모델을 선택하는 것은 중립적인 기술적 세부 사항이 아니라, 서사와 규범적 강조점, 그리고 정책 제안에서 전면에 드러나는 트레이드오프(trade-offs)에 영향을 미치는 실질적인 거버넌스 결정이다.

연구 방법론
본 연구는 Ollama를 통해 로컬에서 실행되는 40개의 오픈 웨이트(open-weight) LLM의 행동적 규칙성을 매핑하기 위해 통제되고 재현 가능한 실험 설계를 채택하였다.

• 데이터 생성: 고정된 다중 선택 설문지가 모든 모델에 실시되었다. 이 도구는 거시 재정적 트레이드오프, 규제 딜레마, 국제 기구, 공직자에 대한 인식, 그리고 정치 경제적 해석 프레임워크를 포괄한다.
• 실험 프로토콜:
  • 재현(Replication): 각 모델은 두 가지 샘플링 온도($T=0.2$와 $T=0.8$)에서 전체 설문지에 100번씩 응답하게 하여, 안정적인 지향점과 확률적 노이즈를 구분하였다.
  • 채점: 각 항목에 대해 모델은 네 가지로 정의된 답변 프레임(A–D)에 점수(0–100)를 부여하였다.
  • 정규화(Normalization): 수준 효과(level effects)를 제거하기 위해 응답을 질문 내 평균을 기준으로 중심화하였으며, 이를 통해 상대적인 선호 순위에 집중하였다.
• 분석 파이프라인:
  1. 분산 분해(Variance Decomposition): 옵션 지지도의 총 분산을 모델 간 분산, 온도 효과, 그리고 복제 노이로 분해하였다.
  2. 차원 축소(Dimensionality Reduction): 모델별로 풀링된(pooled-by-model) 응답 프로필에 가중 주성분 분석(Weighted PCA)을 적용하여 잠재적인 변이 축을 식별하였다.
  3. 클러스터링(Clustering): PCA 점수 공간(첫 16개 성분 사용)에서 모델들을 클러스터링하여, 이산적인 모델 "유형(types)"을 도출하였다.
  4. 타당성 검증(Validation): 데이터 기반 PCA 축을 독립적으로 핸드 코딩된 이데올로기 축(예: 제도적 신뢰, 경제 국가-시장)과 대조하여 구성 타당성을 확보하였다.
  5. 주제별 분해(Topical Decomposition): 모델의 "편향(leans)"이 특정 주제 영역에서 어디에 집중되는지 비교하여 이질성을 국지화하였다.

주요 결과

• 신호 대 노이즈(Signal vs. Noise): 모델 정체성은 옵션 지지도 변동의 **57%**를 설명하는 반면, 샘플링 온도는 2% 미만을 설명한다. 나머지 변동은 복제 노이즈이며, 이는 모델마다 크게 달랐다(3%에서 79% 사이). 모델 내 응답 프로필은 온도 변화에도 매우 안정적이었으며(중앙 상관계수 $r=0.99$), 이는 차이가 디코딩 아티팩트가 아닌 안정적인 지향점임을 확인시켜 준다.
• 잠재 차원(Latent Dimensions): PCA를 통해 두 개의 지배적이고 해석 가능한 축을 회복하였다:
  1. 제도적 신뢰 차원(PC1): 제도적, 조정적, 기술 관료적 프레이밍(양의 극)과 주권 우선, 집행 중심, 또는 임시방편적 협상 프레이밍(음의 극)을 대조한다. 이 축은 핸드 코딩된 제도적 신뢰와 강한 상관관계($r=0.92$)를 보인다.
  2. 경제-환경 차원(PC2): 시장 성장/효율성 우선 프레이밍과 규제된 녹색/재분배적 지속가능성 프레이밍을 대조한다. 이 축은 경제 국가-시장 축($r=0.48$) 및 기후 야심($|r|=0.60$)과 상관관계가 있다.
• 유형론(Typology): 클러스터링을 통해 "리터럴리스트 예측(literalist forecasting)", "실용적 개입주의(pragmatic-interventionist)", "리스크 및 주권 강조(risk-and-sovereignty salient)", "양극화된 국가 편향(polarized, state-leaning)" 등을 포함한 8가지의 뚜렷한 모델 유형을 도출하였다.
• 주제별 이질성:
  • 합의(Consensus): 모델들은 제도적 신뢰, 개방성, 기후 프레이밍에 대해 만장일치에 가까운 모습을 보였다(예: 기후 야심과 제도적 신뢰에 대해 98%의 편향을 보임).
  • 분기(Divergence): 모델들은 경제적 질문에서 극명하게 갈렸다. 단일 스태그플레이션 항목에 대해, 일부 모델 그룹에서는 네 가지 정책 프레임 모두가 최상위 선택지가 되었다. 경제 국가-시장 축에서 "시장" 쪽으로 기우는 모델은 약 5분의 1에 불계하였고, 나머지는 "국가" 쪽으로 기울었다.
  • 안정성(Stability): 경제적 지향성은 고정된 글로벌 특성이 아니다. 한 경제 질문에 대한 모델의 입장은 다른 경제 질문에 대한 입장과 낮은 상관관계를 보였다(Cronbach's $\alpha = 0.58$).
• 신뢰도와 규모: 자기 보고된 신상 확신(confidence)은 질문의 난이도나 경합도가 아니라, 주로 모델의 고정된 속성(변동성 55%)이었다. 더 큰 모델 규모는 높은 일관성(낮은 노이즈)을 예측하지만, 특정 정치적 성향이나 정책 선호도를 예측하지는 않았다.

주요 기여

1. 비교 불가능성에 대한 실증적 증거: 본 연구는 오픈 웨이트 LLM이 정책 맥락에서 서로 교체 가능하지 않다는 강력한 증거를 제공한다. 이들의 차이는 구조적이고 안정적이며, 정책 권고와 그 정당화 과정을 바꿀 만큼 유의미하다.
2. 방법론적 프레임워크: 지속적인 지향점과 샘플링 노이즈를 분리하고, 모델을 해석 가능한 이데올로기 차원으로 매핑하는 재현 가능한 감사(audit) 파이프라인을 도입하였다.
3. 모델 행동의 유형론: 응답 프로필을 바탕으로 8가지의 압축된 모델 "유형"을 구축하여, 단순한 성능 벤치마크가 아닌 모델의 기저에 깔린 정책 논리에 따라 모델을 분류하는 방법을 제시하였다.
4. 모델 선택의 재정의: 본 논문은 모델 선택이 거버넌스 관련 설계 결정임을 주장한다. 저자들은 모델에 내재된 "가치"가 측정 가능하고 논쟁 가능하다는 것을 입증함으로써, 모델을 중립적인 정보 검색 시스템으로 보는 관점에 도전한다.

의의 및 주장
본 논문은 모델 선택의 사회적 이해관계가 모델의 기술적 비교만큼이나 핵심적이라고 주장한다. 모델들이 제도적 및 코즈모폴리턴적 프레이밍에는 수렴하지만, 경제 및 분배 문제에서는 분기한다는 점을 보여줌으로써, 저자들은 모델 선택이 권고되는 정책 프레임과 그 정당화 방식을 결정한다고 주장한다.

그 의의는 관점을 "올바른 모델을 찾는 것"에서 "모델의 지향점을 가시화하는 것"으로 전환하는 데 있다. 저자들은 모델을 중립적인 정보 검색 시스템으로 취급하는 것이 정책 자동화에 내재된 가치 선택을 은폐한다고 주장한다. 대신 다음과 같은 방안을 제안한다:

• 모델 선택은 경험 경제학의 강건성 검사(robustness checks)와 마찬가지로 거버넌스 결정으로 취급되어야 한다.
• 잠재적인 프레이밍 경향성에 대한 결론의 민감도를 드러내기 위해 **다중 모델 스트레스 테스트(multi-model stress-testing)**가 필요하다.
• 모델에 내재된 가치를 가시화하고 논쟁 가능하게 만드는 것은 정책 업무에서 모델을 책임감 있게 사용하기 위한 전제 조건이다.

본 연구는 모델이 중립적이지는 않지만, 그 구체적인 지향점이 임의적인 것도 아니라고 결론짓는다. 오히려 그것들은 구조화되어 있고, 측정 가능하며, 결과적이다. 따라서, 사회가 이러한 시스템에 의해 조용히 형성되는 것이 아니라 사회가 이 시스템을 형성할 수 있도록 하기 위해서는, 도구의 선택이 의도적이고 책임 있는 행위로 남아야 한다.