A Japanese Benchmark for Evaluating Social Bias in Reasoning Based on Attribution Theory

1. 연구 배경 및 문제 정의 (Problem)

• 문화적 맥락의 부재: 기존 일본어 LLM(대형 언어 모델) 편향 평가 벤치마크 (JBNLI, JBBQ 등) 는 대부분 영어 데이터를 번역하여 제작되었습니다. 이는 서구 중심의 문화적 규범을 반영하여, 일본 특유의 문화적 맥락과 고정관념을 적절히 평가하지 못한다는 한계가 있습니다.
• 추론 과정의 간과: 기존 벤치마크는 모델의 결론 (Conclusion) 에만 초점을 맞추어 편향을 평가합니다. 그러나 최근 연구에 따르면, 정렬 (Alignment) 된 모델은 결론은 중립적으로 내놓지만, 그 추론 과정 (Reasoning) 에 사회적 편향이 잠재해 있는 경우가 많습니다.
• 변수 통제 부족: 결론과 추론이 동시에 변할 경우, 모델의 행동 변화가 결론의 유용성 차이인지 추론의 편향 차이인지 구분하기 어렵습니다.

2. 방법론 (Methodology)

이 연구는 사회심리학의 귀인 이론 (Attribution Theory), 특히 페티그루 (Pettigrew) 의 '최종 귀인 오류 (Ultimate Attribution Error)'를 기반으로 새로운 벤치마크 JUBAKU-v2를 구축했습니다.

• 편향 정의:
  • 내적 귀인 편향: 외부 집단의 부정적 행동을 상황적 요인 (외적 귀인) 이 아닌 개인의 내적 특성 (성격, 능력 등) 으로 과도하게 귀인하는 경우.
  • 외적 귀인 편향: 개인의 성취를 상황적 요인으로만 돌리고 능력을 과소평가하는 경우.
• 데이터 구성 프로세스:
  1. 혼란 변수 제거: 기존 JUBAKU 데이터셋을 시드로 사용하여, GPT-5.1 로 자연스러운 대화로 재작성했습니다. 이때 결론 (제안) 은 두 옵션 (편향적 vs 중립적) 에서 동일하게 고정하고, 추론 근거만 편향 유무에 따라 다르게 구성했습니다.
  2. 편향 유발 사례 선별: GPT-4o 를 통해 편향된 옵션을 선택하는 사례를 선별하여 '편향 유발 사례'로 확정했습니다.
  3. 인간 검증: 10 개 문화 카테고리 (성별, 종교, 국적, 교육 등) 에 해당하는 30 개 사례를 생성 후, 6 명의 일본어 원어민이 중립적 응답을 선택하는지 평가했습니다. 6 명 중 3 명 이상이 일치하는 27 개 사례를 최종 데이터셋으로 확정했습니다.
• 데이터셋 규모: 27 개 기본 사례에 대해 2 가지 응답 순서와 4 가지 프롬프트 템플릿을 조합하여 총 216 개 평가 사례를 구성했습니다.

3. 주요 기여 (Key Contributions)

1. JUBAKU-v2 구축: 일본 문화에 특화되고 귀인 이론에 기반한 사회적 편향 평가 데이터셋을 최초로 제안했습니다.
2. 고성능 모델 간 차별화 검증: 기존 벤치마크에서는 성능이 포화 상태 (Saturation) 에 도달하여 구분이 어렵던 GPT-4o, GPT-5.2, Claude 4 Sonnet 등의 고성능 모델 간 편향 인식 능력 차이를 통계적으로 유의미하게 포착했습니다.
3. 강건성 (Robustness) 평가: 프롬프트 변형에 따른 모델 판단의 일관성을 평가할 수 있는 설계를 통해, 모델이 편향에 얼마나 민감하게 반응하는지 측정할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 모델별 성능 차이 (Discriminability):
  • JUBAKU-v2는 모델 간 분산 (Variance) 이 0.0278 로, 기존 벤치마크 (JBNLI: 0.0137, JBBQ: 0.0008 등) 보다 훨씬 높았습니다. 이는 JUBAKU-v2 가 모델 간의 미세한 성능 차이를 더 민감하게 포착함을 의미합니다.
  • GPT-4o는 81.9% 정확도를 보였으나, Claude 4 Sonnet (99.1%) 및 GPT-5.2 (98.1%) 에 비해 유의미하게 낮은 성능을 보였습니다.
  • Qwen3-30B-Instruct는 48.1% 로 우연 수준 (50%) 이하의 성능을 보이며 편향을 심하게 반영했습니다.
• 강건성 (Robustness):
  • 프롬프트 변형에 따른 답변 변동률 (Fluctuation Rate) 을 측정한 결과, GPT-4o (81.5%) 와 Qwen3-30B-Instruct (88.9%) 는 매우 높은 변동성을 보였습니다.
  • 반면, GPT-5.2, Claude 4 Sonnet, GPT-OSS-120B는 7.4% 로 매우 낮은 변동성을 보여 프롬프트 변화에 일관된 판단을 내렸습니다.
• 사고 과정 (Thinking Process) 의 영향:
  • Qwen3-30B-Instruct(직관적 생성) 는 48.1% 정확도였으나, Qwen3-30B-Thinking(사고 과정 포함) 은 95.8% 정확도를 기록했습니다. 이는 LLM 이 추론 과정을 거칠 때 편향을 스스로 교정하여 공정한 판단을 내릴 가능성이 높음을 시사합니다.

5. 의의 및 결론 (Significance)

• 문화적 적합성: 일본어 LLM 의 사회적 편향을 평가할 때, 단순 번역이 아닌 일본 문화적 맥락과 귀인 이론을 반영한 데이터셋의 필요성을 강조했습니다.
• 추론 과정의 중요성: 결론뿐만 아니라 추론 과정까지 평가해야만 모델의 잠재적 편향을 정확히 파악할 수 있음을 입증했습니다.
• 향후 방향: 사고 과정 (Thinking) 을 가진 모델이 편향을 줄이는 데 효과적이라는 발견은, 향후 LLM 정렬 (Alignment) 전략에 '사고 단계'를 포함시키는 것이 편향 완화에 핵심임을 시사합니다. 또한, 향후 데이터셋을 확장하고 다른 언어로 적용할 계획입니다.

이 논문은 기존 벤치마크의 한계를 극복하고, 고성능 LLM 간의 미세한 편향 차이를 포착할 수 있는 새로운 평가 기준을 제시했다는 점에서 의의가 큽니다.