기술 요약: 신호인가, 허위 단서인가? LLM 사회적 추론 내 설문-국가 메타데이터에 대한 무작위 감사

문제 정의

대규모 언어 모델(LLM)은 그룹 메타데이터(예: 설문 조사 국가 레이블)가 실제 인구 통계 정보를 담고 있을 때 개별 응답 예측을 개선하기 위해 이를 활용한다. 그러나 동일한 메타데이터 단서는 해당 정보의 출처와 상관없이 임의로 할당되었을 때 예측을 왜곡하여 편향이나 허위 상관관계를 유발할 수 있다. 이 논문이 다루는 핵심 과제는 정보(예측을 개선하는 유효한 인구 신호)와 단서 기반 이동(레이블의 기원과 관계없이 레이블의 존재만으로 발생하는 예측 변화)을 구분하는 것이다.

기존의 평가 방법들—그룹 의견 분포와 모델 출력을 비교하거나 페르소나 프롬프트를 테스트하는 방식—은 집단 간 격차나 프롬프트 민감도는 확인하지만, 특정 그룹 레이블의 출처 타당성이 변할 때 해당 레이벨이 미치는 영향이 달라지는지를 분리하여 규명하지는 못한다. 본 연구는 국가 레이블이 무작위이며 레코드와 독립적이라는 사실을 명시적으로 공개하는 것이, 모델이 해당 레이블을 사회적 추론을 위한 유효한 신호로 취급하는 경향을 줄이는지 조사한다.

방법론

실험 설계

본 연구는 5개의 고정된 API 모델(DeepSeek-V4-Pro, Gemini-3.6-Flash, Mistral-Medium-3.5, GPT-5.4, Qwen3.7-Max-2026-06-08), 6개 국가(중국, 프랑스, 영국, 이탈리아, 요르단, 미국), 7개의 개발 선택된 타겟을 대상으로 하는 내적 레코드 감사(within-record audit) 설계를 채택하였다.

데이터 소스는 공통 항목 커버리지를 보장하기 위해 특정 파동(waves)으로 제한된 Joint EVS/WLS 2017–2022 데이터셋이다. 데이터셋은 참조(reference), 개발(development), 파일럿(pilot), 평가(evaluation) 세트로 분할되었다.

• 태스크: 모델은 익명의 레코드로부터 10개의 관찰된 답변을 받고, 마스킹된 타겟 질문에 대한 답변을 예측해야 한다.
• 메타데이터 정책: 네 가지 조건이 테스트되었다:
  • M0 (Baseline): 국가 필드 없음.
  • MO (Opaque Random): 6개의 후보 중 균등하게 추출된 국가 레이블 $T$를 표시하되, 그 기원을 공개하지 않음.
  • MR (Disclosed Random): 동일한 레이블 $T$를 표시하되, "각 후보는 소스 설문 레코드와 독립적으로 동일한 확률로 선택되었습니다"라고 명시함.
  • MV (Verified): 소스 레코드의 실제 조사 국가를 표시하며, 이를 수집 위치로 식별함.

평가 지표

본 연구는 방향(이동)과 결과(예측 효용)를 분리한다:

1. 국가 지향적 이동 ($\beta$): 메타데이터 조건에 의해 유도된 예측 변화가 독립적인 인간 기록에서 관찰된 해당 국가의 실제 인구 대비(population contrast)와 일치하는지 측정한다. 양(+)의 $\beta$ 값은 모델의 예측이 표시된 국가의 실제 분포 방향으로 이동했음을 나타낸다.
2. 보류된 결과 (Brier Loss): 변경된 예측이 마스킹된 인간의 답변을 얼마나 더 잘 예측하는지 측정한다.
   • 검증된 효용 ($U_V$): 검증된 메타데이터($MV$)를 사용할 때가 메타데이터가 없을 때($M0$)보다 Brier loss가 감소하는 정도.
   • **무작위 레이블 후회 ($R_X$): 불투명한($MO$) 또는 공개된($MR$) 무작위 레이블을 사용할 때가 메타데이터가 없을 때보다 Brier loss가 증가하는 정도.

패널

• 기본 패널 (별도 72-레코드): 교정된 프로토콜에 따라 7개의 타겟을 모두 포함하는 72개의 고유한 레코드를 포함한다.
• 보조 패널 (504-레코드): 504개의 고유한 레코드를 포함하며 타겟별 유효 커버리지를 적용한다. 즉, 표현 방식에 영향을 받지 않는 두 개의 타겟에는 504개 레코드를 모두 사용하고, 표현 방식에 영향을 받는 다섯 개의 타겟에는 동일한 504개 레코드 중 균형 잡힌 72개 레코드의 교정된 예측치를 사용한다.

주요 결과

1. 공개가 무작위 레이블 수용을 억제하지 못함

레이블의 투명성이 단서 의존성을 줄일 것이라는 가설과 달리, 국가 레이블이 무작위임을 공개하는 것은 모델이 해당 국가의 방향으로 예측을 이동시키는 경향을 유의미하게 줄이지 못했다.

• 이동: 기본 패널(별도 72-레코드)에서 불투명한($MO$) 및 공개된 무작위($MR$) 레이블 모두 유의미한 국가 지향적 이동을 생성했다 ($\beta_O = 0.214, \beta_R = 0.214$). 보조 패널(504-레코드)에서의 값은$\beta_O = 0.261, \beta_R = 0.218$이었다.
• 감쇄: 불투명한 경우와 공개된 무작위 경우의 이동 차이($A = \beta_O - \beta_R$)는 기본 패널에서 사실상 제로였다 ($\beta_O - \beta_R = 0.0003$, 95% 신뢰 구간 $[-0.0157, 0.0166]$). 본 연구는 공개가 수용(uptake)에 효과가 없다는 귀무가설을 기각하는 데 실패했다.

2. 검증된 메타데이터는 예측 정확도를 향상시킴

국가 레이블이 검증되었을 때(실제 설문 국가), 이는 진정한 예측 가치를 제공했다.

• 효용: 검증된 국가 정책($MV$)은 기본 패널에서 기준점 대비 Brier loss를 $0.040$ 감소시켰다 (95% CI $[0.024, 0.056]$). 이 결과는 통계적으로 유의미했다 ($p < 0.001$).
• 후회: 무작위 레이블(불투명 및 공개 모두)은 일반적으로 유의미한 평균적 예측 손해(후회 구간이 0을 포함함)를 입히지 않았으나, Qwen 모델은 불투명 조건에서 유의미한 후회를 보였다.

3. 방향과 결과의 괴리

본 연구는 행동적 비대칭성을 관찰했다: 표시된 국가의 인구 대비 방향으로 예측이 이동함에도 불구하고(레이블이 무작위이고 공개되었을 때조차), 반드시 감지 가능한 평균적 예측 손해를 입히지는 않았다. 이는 "단서 수용"(방향성 이동)과 "예측 효용"(정확도)이 서로 다른 현상이며 항상 상관관관계를 갖는 것은 아님을 시사한다.

주요 기여

1. 출처 대비(Provenance Contrast): 표시되는 국가 레이블은 고정하되 공개된 출처(불투명 vs 명시적 무작위 vs 검증됨)를 변화시켜 출처의 타당성 효과를 분리해내는 새로운 실험 설계.
2. 분리된 지표: 방향성 이동(외부 인구 앵커와의 정렬)과 예측 결과(보류된 인간 답변에 대한 Brier loss)를 분리하여, 편향과 부정확성을 혼동하지 않는 평가 프레임워크.
3. PROV-FORECAST 코퍼스: 교정된 패널을 통해 5개 모델과 4개 메타데이터 조건에 걸쳐 정렬된 14,400개의 쌍을 이룬 아이템 수준 확률 분포를 포함하는 출처 구조 코퍼스 공개.
4. 공개에 대한 실증적 증거: 테스트된 프로토콜 하에서, 레이블이 무작위이며 독립적이라는 명시적 공개가 사회적 추론을 위한 신호로 해당 레이블을 사용하려는 모델의 경향을 신뢰할 수 있게 억제하지 못한다는 증거 제시.

의의 및 주장

본 논문은 LLM이 사회적 추론 작업에서 메타데이터 출처를 어떻게 처리하는지에 대해 더 "좁지만" 엄격한 진단을 제공한다고 주장한다. 저자들은 모델이 일반적인 출처 추론을 이해하지 못한다고 주장하거나, 일반적인 출처 추론 이론을 제시하는 것이 아니다. 대신 다음을 입증한다:

• 검증된 메타데이터는 유용하다: 국가 필드가 참일 때, 이는 증가적인 국가 가치를 가진 타겟에 대한 예측을 개선한다.
• 공개는 불충분하다: 레이블이 무작위이며 독립적이라고 명시하는 것만으로는 모델이 해당 레이블을 표시된 인구 분포 방향으로 예측을 이동시키도록 만드는 것을 확실히 막을 수 없다.
• 방향 $\neq$ 해악: 모델은 (잠재적으로 고정관념이나 단서 의존성을 나타낼 수 있는) 강한 국가 지향적 이동을 보이면서도, 보류된 데이터에 대해 측정 가능한 예측 정확도 저하를 겪지 않을 수 있다.

저자들은 이러한 결과가 고정된 추출 계약(고정된 영어 표현, 5개 질문 배치, 확률 예측)과 높은 국가 가치를 가진 타겟에 특화된 결과임을 강조한다. 이 결과들을 모든 사회적 추론 작업에 일반화하거나, 이것이 내부적 문화적 신념이 아닌 출력 분포를 반영한다고 가정하는 것에 대해 주의를 요한다. 본 연구는 인과적 공정성 평가라기보다는 특정 메타데이터 프로토콜에 대한 행동적 감사 역할을 수행한다.