Ideological Bias in LLMs' Economic Causal Reasoning

논문 개요

본 연구는 대규모 언어 모델 (LLM) 이 경제적 인과 효과를 추론할 때 체계적인 이념적 편향 (ideological bias) 을 보이는지, 그리고 그 편향이 정책 분석과 같은 고위험 (high-stakes) 환경에서 어떻게 작용하는지를 규명합니다. 특히, 시장 지향적 (pro-market) 관점과 개입 지향적 (pro-government/intervention-oriented) 관점이 상반된 인과 방향을 예측하는 '이념적 논쟁 사례'를 중심으로 LLM 의 추론 능력을 평가했습니다.

1. 연구 문제 (Problem)

• 배경: LLM 이 경제 리포트, 정책 평가, 기업 의사결정 지원 등에 광범위하게 활용되면서, 인과 관계의 방향 (양 (+) 또는 음 (-)) 을 정확히 예측하는 것이 필수적입니다.
• 문제 제기: 많은 경제 정책 (예: 최저임금 인상) 은 관점에 따라 서로 다른 인과 효과를 예측합니다.
  • 시장 지향적 관점: 노동 비용 증가로 고용 감소.
  • 개입 지향적 관점: 소비자 지출 증가로 고용 유지 또는 증가.
• 핵심 질문: LLM 은 이러한 논쟁적 상황에서 특정 이념적 사전 지식 (prior) 을 편향적으로 반영하여, 한쪽 방향의 추론을 다른 쪽보다 더 신뢰성 있게 수행하는가? 기존 편향 연구는 주로 의견 조사 (opinion polls) 에 의존했으나, 실증적 근거 (ground truth) 가 존재하는 인과 추론에서의 편향은 연구되지 않았습니다.

2. 방법론 (Methodology)

가. 데이터셋 구축: EconCausal 확장

• 기반 데이터: 최상위 경제/금융 저널의 실증 연구에서 추출된 10,490 개의 인과 삼중항 (Treatment, Outcome, Sign) 으로 구성된 'EconCausal' 벤치마크 사용.
• 이념적 논쟁 사례 식별:
  • 4 개의 LLM(GPT, Claude, Qwen, Grok) 을 활용하여 각 삼중항에 대해 '개입 지향적 기대'와 '시장 지향적 기대'를 부여하도록 프롬프트.
  • 두 관점의 기대가 상반되는 경우를 '이념적 논쟁 사례 (Ideology-contested instances)'로 정의.
  • 결과: 전체 10,490 개 중 1,056 개 (10.1%) 가 논쟁 사례로 선정됨.
  • Ground Truth 분류:
    • Intervention-truth: 실증 결과가 개입 지향적 기대와 일치 (436 개, 58.1%).
    • Market-truth: 실증 결과가 시장 지향적 기대와 일치 (315 개, 41.9%).
• 검증: 경제학 교수 2 인이 표본을 독립적으로 검토하여 라벨링의 안정성 (상호 일치도 93.33%) 을 확인.

나. 평가 모델 및 설정

• 모델: OpenAI, Anthropic, Google, xAI, Meta, Alibaba 등 20 개의 최신 LLM(폐쇄형 및 오픈소스) 평가.
• 평가 지표:
  • 정확도 (Accuracy): 논쟁/비논쟁 사례별, 그리고 Intervention-truth/Market-truth 별 정확도.
  • 방향성 편향 점수 ($B_{dir}$): 모델이 틀렸을 때, 개입 지향적 오답과 시장 지향적 오답의 비율 차이를 측정.
  • 맥락 학습 (In-Context Learning) 실험: 개입/시장 지향적 예시 (Example) 를 프롬프트에 포함시켜 편향을 교정할 수 있는지 검증.

3. 주요 결과 (Key Results)

가. 논쟁적 사례의 어려움

• 모든 모델에서 논쟁적 사례 (Ideology-contested) 의 정확도는 비논쟁적 사례보다 현저히 낮았습니다.
  • 폐쇄형 모델: 논쟁 (61.3%) vs 비논쟁 (74.5%), 차이 13.2%p.
  • 오픈소스 모델: 논쟁 (52.5%) vs 비논쟁 (63.8%), 차이 11.3%p.

나. 비대칭적 정확도 (Asymmetric Accuracy)

• 개입 지향적 편향: 20 개 모델 중 18 개가 Intervention-truth (실증 결과가 개입 지향적 기대와 일치하는 경우) 에서 Market-truth보다 높은 정확도를 보였습니다.
  • 평균 정확도 차이 ($\Delta acc$): 폐쇄형 모델 +9.7%p, 오픈소스 모델 +15.1%p.
  • 예외: Claude(Sonnet 4.6, Opus 4.6) 는 약간의 시장 지향적 우세를 보였습니다.

다. 체계적인 방향성 오답 (Directional Error Bias)

• 모델이 틀릴 때, 그 오답이 무작위가 아닌 **개입 지향적 (Intervention-oriented)**으로 치우치는 경향이 뚜렷했습니다.
  • 편향 점수 ($B_{dir}$) 가 양수인 모델이 15 개 이상이며, Llama 3.3-70B 와 Qwen 3-8B 등에서 편향이 극심했습니다.
  • 이는 모델이 단순히 정확도가 낮은 것이 아니라, 특정 이념적 방향 (개입) 으로 체계적으로 왜곡된 추론을 수행함을 의미합니다.

라. 하위 분야별 이질성

• 편향은 모든 경제 분야에서 균일하지 않았습니다.
  • 가장 큰 편향: 의료 (Healthcare) 및 복지/재분배 (Welfare/Redistribution) 분야 (개입 지향적 정확도 우세).
  • 예외: 조세 (Taxation) 분야는 오히려 시장 지향적 우세 또는 역전 경향을 보였습니다.

마. 맥락 학습 (ICL) 의 한계

• 개입 또는 시장 지향적인 예시 (One-shot prompting) 를 제공하더라도 편향을 효과적으로 교정하거나 역전시키지 못했습니다.
  • 오히려 특정 예시가 모델의 확신 (confidence) 을 높여 정확도를 떨어뜨리는 '잘못된 보정 (miscalibration)' 현상이 관찰되었습니다.
  • 편향은 프롬프트의 일시적 효과가 아니라 모델 내부에 내재된 경향성임을 시사합니다.

4. 주요 기여 (Contributions)

1. 새로운 분석 프레임워크: LLM 의 인과 추론을 단순히 문맥 의존성 (context dependence) 이 아닌, '이념적 논쟁 (ideologically contested)'이라는 렌즈를 통해 분석하는 새로운 접근법 제시.
2. 레이블링된 데이터셋 구축: EconCausal 벤치마크에서 논쟁적/비논쟁적 삼중항을 구분하고, Ground Truth 와 이념적 기대를 매칭한 하위 집합을 구축.
3. 체계적 실증 분석: LLM 이 논쟁적 경제 질문에서 정확도가 낮을 뿐만 아니라, 한 이념적 방향 (개입) 으로 체계적으로 편향되어 있음을 입증.
4. 방향성 편향 지표 개발: 단순 정확도 외에 $\Delta acc$(정확도 차이) 와 $B_{dir}$(방향성 편향 점수) 를 정의하여, 표준 벤치마크에서는 감지되지 않는 방향성 오류를 진단할 수 있는 도구를 제공.

5. 의의 및 시사점 (Significance)

• 정책 리스크: LLM 이 정책 분석이나 경제 리포트에 사용될 때, 사용자는 모델의 답변을 실증적 사실로 오인할 수 있습니다. 그러나 모델은 특정 이념 (주로 개입주의) 에 편향된 추론을 수행하므로, 이는 보이지 않는 정책 왜곡으로 이어질 수 있습니다.
• 평가 기준의 전환: LLM 평가는 단순히 '평균 정확도'를 보는 것을 넘어, **이념적 논쟁이 존재하는 상황에서의 방향성 신뢰도 (direction-aware reliability)**를 반드시 검증해야 함을 강조합니다.
• 편향의 원인: 편향은 프롬프트의 산물이 아니라, 사전 학습 (pretraining) 데이터의 편향과 사후 정렬 (alignment) 과정의 상호작용에서 비롯된 것으로 보이며, 모델의 세대와 파이프라인에 따라 진화하고 있음을 발견했습니다.

결론적으로, 본 연구는 LLM 이 경제적 인과 추론에서 단순히 '잘못'을 저지르는 것을 넘어, 특정 이념적 관점 (주로 정부 개입) 으로 체계적으로 치우친 추론을 수행함을 밝히며, 고위험 의사결정 환경에서의 LLM 활용 시 방향성 편향에 대한 엄격한 검증이 필요함을 주장합니다.