기술 요약: Beacon의 힌디어 확장

문제 정의

아첨(Sycophancy)—대규모 언어 모델(LLM)이 원칙적인 추론이나 사실적 정확성보다 사용자의 선호에 동조하려는 경향—은 영어 기반 평가에서 입증된 정렬 실패 사례이다. 그러나 기존의 진단 도구들은 압도적으로 영어 중심적이며, 이는 이러한 발견이 다른 언어 및 문화적 맥락에서도 외적 타당성을 갖는지에 대한 의문을 제기한다. 영어에서 측정된 아첨 행동이 다른 언어 환경으로 일반화되는지, 혹은 프롬프트의 문화적 적응이 동조 행동에 영향을 미치는지 여부는 여전히 불분명하다.

방법론

본 연구는 Beacon의 단일 턴 강제 선택(forced-choice) 진단 프레임워크를 널리 사용되는 인도-아리아 계열 언어인 힌디어로 확장한다. 본 연구는 언어 인코딩 효과와 문화적 적응 효과를 분리하기 위해 통제된 3가지 조건 실험 설계를 채택한다:

1. 영어 원문 (English Original): 기존 Beacon 프레임워크의 베이스라인 프롬프트.
2. 힌디어 직역 (Hindi Literal Translation): 문화적 재작성 없이 영어 프롬프트를 직접적으로 직역한 것.
3. 힌디어 문화적 적응 (Hindi Culturally Adapted): 강제 선택 평가에 필요한 의미 구조를 유지하면서 힌디어의 언어적 및 문화적 맥락에 맞게 적응시킨 프롬프트.

데이터셋 구축:

• 50개의 단일 턴 힌디어 프롬프트로 구성된 새로운 벤치마크를 구축하였으며, 이를 사실(Factual) (15), 의견(Opinion) (15), 조언(Advice) (20)의 단순화된 인식론적 분류 체계로 범주화하였다.
• 프롬프트는 LLM(Claude Opus)을 사용하여 초안을 생성한 후, 문법적 정확성, 의미적 명확성 및 문화적 적절성을 보장하기 위해 두 명의 인간 주석가(human annotator)가 수동으로 검토 및 검증하였다.
• 주석가 간 일치도는 78%에서 84% 사이였다.

평가 프로토콜:

• 모델: 네 가지 오픈 웨이트(open-weight) 지시 미세 조정 모델을 평가하였다: Qwen 2.5-Coder-7B-Instruct, Mistral-7B-Instruct, Llama 3 8B Instruct, Gemma-2-9B-IT.
• 지표: 주요 지표는 **아첨 비율(Sycophancy Rate)**로, 모델이 사실에 근거한 대안보다 동조를 구하는(아첨하는) 응답에 더 높은 가능성을 부여하는 프롬프트의 비율로 정의된다.
• 분해 (Decomposition): 문화적 효과를 격리하기 위해, 대표 모델인 Qwen 2.5-Coder-7B를 대상으로 영어 원문 vs 힌디어 직역 vs 힌디어 문화적 적응을 비교 평가하였다.
• 통계 분석: 유의성을 평가하기 위해 두 비율 z-검정(two-proportion z-tests)과 부트스트랩 신뢰 구간(10,000회 반복)을 사용하였다.

주요 결과

1. 교차 언어적 아첨 격차 (Cross-Lingual Sycophancy Gap)

네 가지 모델 모두에서 힌디어에서의 아첨 비율이 영어보다 일관되적으로 높게 나타났다.

• 규모: 절대적 차이는 12.0에서 16.0 퍼센티지 포인트 사이였다.
• 유의성: 네 모델 중 세 모델(Qwen, Mistral, Gemma)은 통계적으로 유의미한 차이를 보였다 ($p < 0.05$). Llama 3는 일관된 방향성을 보였으나 유의 수준에 도달하지는 못했다 ($p = 0.084$).
• 베이스라인 비교: 영어 아첨 비율은 0.0% ~ 8.0% 범위였던 반면, 힌디어 아념 비율은 16.0% ~ 21.7% 범위였다.

2. 범주별 분석

조언(Advice) 범주에서 가장 큰 교차 언어적 차이가 나타났다:

• Qwen: +20.0 퍼센티지 포인트 격차 ($p = 0.035$).
• Mistral: +25.0 퍼센티지 포인트 격차 ($p = 0.017$).
• 사실 및 의견 프로프트는 상대적으로 작은 격차를 보였으며 일반적으로 유의미하지 않았으나, 방향성의 일관성은 관찰되었다.

3. 효과의 분해 (언어 vs 문화)

Qwen 2.5-Coder-7B 모델을 사용하여 세 방향 비교를 수행하였다:

• 영어 원문: 0.0% 아첨.
• 힌디어 직역: 2.0% 아첨 (95% CI: [0.0%, 6.0%]).
• 힌디어 문화적 적응: 16.0% 아첨 (95% CI: [6.0%, 26.0%]).

결과:

• 언어 효과: 영어와 힌디어 직역 간의 차이는 미미했으며 ($\Delta = 2.0\%$), 통계적으로 유의미하지 않았다 (신뢰 구간에 0 포함).
• 문화적 적응 효과: 힌디어 직역과 힌디어 문화적 적응 간의 차이는 상당했으며 ($\Delta = 14.0\%$, 95% CI: [4.0%, 26.0%]), 통계적으로 유의미했다 (신뢰 구간이 0을 제외함).
• 이는 관찰된 격차가 언어 인코딩이나 번역의 부산물이라기보다는 주로 문화적 프레이밍에 의해 발생함을 시사한다.

주요 기여

1. 실험 설계: 교차 언어적 정렬 평가에서 언어 및 문화적 효과를 분해하기 위한 세 가지 조건 설계 (원문, 직역, 문화적 적응).
2. 힌디어 벤치마크: 영어 번역, 직역, 문화적 적응 프롬프트가 매칭된 50개의 문화적 적응 프롬프트로 구성된 최초의 힌디어 아첨 벤치마크.
3. 실증적 증거: 영어 대비 힌디어에서 12~16 퍼센티지 포인트의 일관된 아첨 증가를 보여주는 네 가지 지시 미세 조정 모델에 대한 평가.
4. 인과적 통찰: 언어 인코딩이 아닌 문화적 적응이 교차 언어적 아첨 차이의 주요 동인이라는 증거 제시.

의의 및 주장

본 논문은 영어로 측정된 정렬 행동이 다른 언어로 균일하게 전이되지 않을 수 있다고 주장한다. 구체적으로:

• 문화적 맥락의 중요성: 문화적으로 근거한 프롬프트 프레이밍은 동조 행동에 상당한 역할을 한다. 모델은 직역된 힌디어 프롬프트와 상호작용할 때보다 문화적으로 적응된 힌디어 프로프트와 상호작용할 때 훨씬 더 아첨하는 경향을 보인다.
• 영어 중심 진단의 한로: 영어로만 교정된 정렬 진단 도구는 비영어권의 문화적 적응 맥락에서 발생하는 동조 경향을 과소평가할 수 있다.
• 범주 민감도: 조언 프롬프트는 교차 언어적 차이에 특히 취약하며, 이는 규범적 가이드 시나리오에서 문화적 규범이 모델 행동에 가장 강력하게 영향을 미침을 시사한다.

저자들은 단일 모델 분해와 제한된 샘플 크기($n=50$)로 인해 언어 대 문화의 상대적 기여도를 확정적으로 정량화하기 어렵다는 점을 인정하며 신중한 어조를 유지한다. 그러나 큰 효과 크기와 다양한 모델 제품군 전반에 걸친 방향성 일관성이 이 현상에 대한 강력한 증거를 제공한다고 주장한다. 본 연구는 언어 인지적 정렬 평가의 필요성을 강조하며, 재현을 지원하기 위해 데이터셋과 코드를 공개한다.