기술 요약: 대규모 언어 모델(LLM)이 전 세계 기후 행동에 대한 대중의 인식 지지도를 정확하게 예측하다

문제 정의

기후 변화에 대응하기 위해서는 개인의 행동 변화와 체계적인 정책 변화가 조율되어야 한다. 글로벌 여론 조사에 따르면 기후 행동에 대한 광범위한 지지(예: 소득의 1%를 기여할 용의가 있다는 응답 69%)가 나타나지만, 실제 완화 노력은 여전히 불충분하다. 다학제적 연구에서 확인된 주요 장벽은 **다원적 무지(pluralistic ignorance)**이다. 이는 개인이 자신의 동료들이 가진 지지 수준과 행동 의지를 체계적으로 과소평가하는 현상을 의미한다. 이러한 오해(2차 신념)는 조건부 협력 메커니즘을 통해 표출된 지지와 행동을 억제하며, 스스로 지속되는 불이행의 악순환을 만든다.

이러한 격차를 교정하려면 인지적 격차에 대한 시의적절하고 전 지구적인 지도가 필요하다. 그러나 다양한 국가의 대표 표본으로부터 개인적 태도와 인지된 태도를 쌍으로 측정해야 하므로, 이러한 데이터를 생성하는 것은 물류적으로 매우 어렵고 비용이 많이 든다. 본 연구는 **대규모 언어 모델(LLM)**이 전 세계적인 인식 격차를 매핑하기 위한 확장 가능하고 비용 효율적인 대안 또는 보완재 역할을 할 수 있는지 조사한다.

연구 방법론

데이터 및 정답(Ground Truth)

본 연구는 약 129,902명의 응답자를 포함하는 125개국의 글로벌 기후 변화 조사(Gallup World Poll 2021/22의 일부) 데이터를 활용한다.

• 결과 변수: "인식 격차"로 정의되며, 이는 특정 국가의 개인적 기후 행동에 대한 재정적 기여 의사(1차 신념)와 타인의 기여 의사에 대해 인지된 평균값(2차 신념) 사이의 차이이다.
• 공변량: 세계은행(World Bank) 및 Gallup 데이터를 통해 집계된 국가 수준의 사회인구학적(연령, 교육, 종교성), 거시경제적(1인당 GDP, 불평등, 인간개발지수(HDI)), 기후 관련(평균 기온) 지표들을 사용하였다.

실험 설계

저자들은 네 가지 최첨단 LLM을 통계적 베이스라인과 비교하는 사전 등록된 실험(OSF: ez4ur)을 수행하였다.

1. 평가된 모델: GPT-4o mini, Claude 3.5 Haiku, Gemini 2.5 Flash, Llama 4 Maverick (17B).
2. 프롬프팅 프로토콜: 모델들은 여덟 단계의 순차적 정보 단계(단계 1부터 단계 8까지)에 따라 질의되었으며, 단계는 국가명만 제공하는 것부터 전체 사회인구학적, 경제적, 기후 및 1차 의사 데이터를 제공하는 것까지 다양했다.
3. 과업: 모델들은 제공된 맥락적 데이터를 엄격히 근거로 하여, 특정 국가의 응답자들이 타인이 기후 행동을 위해 소득의 1%를 기여할 용의가 있다고 믿는 비율을 추정하도록 지시받았다.
4. 벤치마크: LLM의 성능은 다음 항목과 비교되었다:
   • 정답(Ground Truth): 실제 설문 조사에서 도출된 인식 격차.
   • 통계 모델: 80%의 국가를 학습시키고 20%의 홀드아웃 세트에서 평가된 최소제곱회귀(OLS) 및 라쏘(Lasso) 회귀 분석.

진단 및 메커니즘 테스트

**구조적 추론(structured inference)**과 **암기(memorization)**를 구분하기 위해 저자들은 다음과 같은 여러 진단 테스트를 채택했다:

• 특성 제거(Feature Ablation): 특정 입력 변수(예: 개인적 의사, GDP 또는 인구 통계 데이터 제거)를 체계적으로 제거하여 예측 오차에 미치는 영향을 측정함.
• 역사실적 섭동(Counterfactual Perturbations):
  • 의사 반전(Willingness Flip): 국가 간의 고/저 개인적 의사 값을 서로 바꿈.
  • 이름 불일치(Name Mismatch): 특정 국가의 데이터를 다른 국가의 이름에 할당함.
  • GDP 반전(GDP Flip): 국가 간의 GDP 값을 역전시킴.
• 강건성 검사: 프롬프트 형식(불렛 포인트 vs 문장)에 따른 테스트 및 24개의 대안적인 미국 기후 정책 인식 격차에 대한 일반화 테스트.

주요 결과

예측 정확도

• 최고 성과 모델: Claude 3.5 Haiku와 Llama 4 Maverick이 가장 높은 정확도를 보였다.
  • Claude: 평균 절대 오차(MAE) **4.60 퍼센트 포인트(p.p.)**와 정답과의 상관계수($r$) 0.77을 달성하였으며, 이는 OLS(MAE 4.79) 및 Lasso(MAE 4.66) 모델과 유사한 성능을 보인다.
  • Llama: MAE 7.00 p.p. 및 $r = 0.67$로 유사한 성능을 보였다.
• 저조한 성과 모델: GPT-4o mini와 Gemini 2.5 Flash는 유의미하게 높은 오차(각각 MAE > 13 p.p. 및 14 p.p.)와 낮은 상관관계를 보였다. Gemini의 성능은 특히 저조했으며($r = 0.15$), 이는 안전 필터링이나 모델 특유의 제한 때문인 것으로 보인다.
• 글로벌 패턴: 모든 모델은 인식 격차의 광범위한 공간적 구조를 포착하였는데, 라틴 아메리카, 서아프리카, 남아시아에서 과소평가가 가장 심하게 나타났고, 서유럽에서는 상대적으로 작게 나타났다.

정확도의 구조적 예측 요인

예측 정확도는 균일하지 않았으며, 정보 가용성의 구조적 지표와 강하게 상관되었다:

• 인터넷 보급률 및 GDP: 모델들은 인터넷 보급률과 1인당 GDP가 높은 국가에서 유의미하게 더 나은 성능을 보였다 ($R^2$ 범위 0.08–0.27).
• 편향: 이는 LLM이 자원이 풍부하고 디지털 연결성이 높은 국가의 데이터에 더 치우쳐 학습되었음을 시사하며, 이로 인해 저소득 또는 연결성이 낮은 환경에서는 정확도가 떨어진다는 것을 의미한다.

메커니즘적 통찰

• 사회적 투영(Social Projection): 가장 우수한 성능을 보인 모델들(Claude, Llama)은 개인적 의사(1차 신념)를 인지된 의사(2차 신념)의 가장 강력한 예측 변수로 정확히 식별하였으며, 이는 인간의 심리적 과정인 사회적 투영을 반영한다.
• 추론 vs 암기:
  • 특성 제거: 개인적 의사 데이터를 제거했을 때 Claude와 Llama의 오차가 약 1.5~2.2 p.p. 증가하였으며, 이는 해당 특성에 대한 의존성을 확인시켜 준다.
  • 역사실적 검사: 국가 이름을 바꾸거나 GDP 값을 바꾸는 것이 상위 모델들에게는 미미한 영향을 미쳤으며, 이는 모델들이 단순히 암기된 국가별 통계치를 인출하는 것이 아니라 제공된 특성들의 구조적 추론에 의존하고 있음을 나타낸다.
  • 학습 데이터 노출: 일부 모델은 설문 데이터 발표 이후에 학습되었음에도 불구하고, 오차의 패턴이 (정보 환경에 따라 변하며 균일하지 않음) 단순 암기가 아닌 구조적 추론임을 시사한다. 또한 가장 최근에 학습된 모델인 Gemini가 가장 우수한 성능을 보이지 못했다는 점도 이를 뒷받침한다.

의의 및 주장

본 논문은 LLM, 특히 Claude와 Llama가 기후 행동에 대한 글로벌 인식 격차를 평가하는 신속하고 비용 효율적인 도구를 제공한다고 주장한다. 연구 결과의 의의는 다음과 같이 구성된다:

1. 확장성: LLM은 전통적인 통계 모델과 대등한 정확도로 125개국의 인식 격차를 매핑할 수 있어, 비용이 많이 들고 물류적으로 어려운 대규모 설문 조사의 실행 가능한 대안을 제공한다.
2. 표적 개입: LLM은 인식 격차가 가장 큰 지역(예: 아프리카 및 아시아의 특정 지역)을 식별함으로써, 정부와 NGO가 인식 교정 노력이 가장 시급하고 효과적일 곳을 우선순위에 두도록 도울 수 있다.
3. 보완적 역할: 저자들은 LLM을 설문 조사의 완전한 대체재가 아닌 보완적 메커니즘으로 겸허히 위치시킨다. LLM은 정보가 풍부한 환경에서 비용 효율적인 추적을 가능하게 하고, 자원이 부족한 환경에서는 예비적 신호를 제공하여 직접적인 측정 자원이 어디에 배치되어야 하는지 안내할 수 있다.
4. 메커니즘적 타당성: 본 연구는 LLM이 복잡한 2차 추론("나는 당신이 ~라고 생각한다고 생각한다")에 참여할 수 있으며, 체계적인 하향 편향과 함께 사회적 투영이라는 심리적 메커니즘을 포착할 수 있음을 입증한다. 단, 이는 적절한 구조적 및 태도적 데이터가 조건화되었을 때 가능하다.

저자들은 하위 국가 단위의 세밀함이나 연결성이 낮은 지역에서의 성능에 한계가 존재하지만, LLM 기반의 인식 매핑이 기후 정책 설계를 위한 계산 사회과학 분야의 중요한 진전이라고 결론짓는다.