기술 요약: CCBENCH: 건강 관련 질의를 통한 암시적 신호 규범을 활용한 LLM의 문화적 역량 평가

문제 정의

대규모 언어 모델(LLM)은 현재 글로벌 정보 중개자로서 기능하고 있으나, 빈번하게 "WEIRD"(서구적, 교육 수준이 높고, 산업화되었으며, 부유하고, 민주적인) 가치 체계로 회귀하여 지속적인 문화적 편향을 초래한다. 인공지능이 정적인 인구통계학적 특성에 의존하는 대신, 사용자의 암시적으로 신호된 문화적 가치를 추론하고 적응하는 능력인 **문화적 역량(cultural competence)**을 평가하는 데 있어 중요한 격차가 존재한다.

기존의 벤치마크는 문화적 정체성을 이분법적 속성(소속됨 대 소속되지 않음)으로 취급하여, 인간 정체성의 유동성과 문화 내 변이를 간과하는 경향이 있다. 이러한 환원주의적 접근은 특히 의사소통 방식이 신뢰와 건강 결과에 직접적인 영향을 미치는 의료와 같은 고위험 영역에서 불일치를 초기화하고 해로운 고정관념을 강화할 위험이 있다. 또한, 사용자들은 자신의 배경을 명시적으로 선언하기보다는 암시적인 서사, 의사소통 선호도, 사회적 단서를 통해 맥락을 신호하는 경우가 많다. 기존 모델들은 이러한 미묘한 신호를 인식하는 감수성이 부족하다.

방법론: CCBENCH 프레임워크

저자들은 암묵적 문화 역량을 평가하기 위해 설계된 도메인 불가지론적 프레임워크인 CCBENCH를 소개한다. 명시적인 자기 식별(예: "X 문화권의 사람으로서...")에 의존하는 전통적인 벤치마크와 달리, CCBENCH는 대화 이력에 내재된 행동적 단서를 통해 잠재적인 문화적 규범을 추론하는 모델의 능력을 측정한다.

1. 프레임워크 설계

본 프레임워크는 문화적 정체성을 암시적으로 드러나는 규범 준수 상태의 연속체로 구조화한다. 이는 추상적인 문화적 가치와 이를 구체화하는 행동적 규범을 구분하는 계층적 표현을 활용한다.

• 페르소나 구축: 핵심 문화 가치($V$)와 행동 규범($N$)을 기반으로 합성 페르소나($P_k$)를 생성한다.
• 준수 로직:
  • 가치 준수: 각 페르소나에는 특정 문화적 가치에 대한 이진 준수 상태($+1$은 준수, $-1$은 비준수)가 할당된다.
  • 규범 도출: 페르소나의 특정 규범 준수는 관련 가치 점수의 평균으로 계산된다.
  • 삼진 상태: 최종 규범 준수 상태($C_k$)는 준수(Follow, $\mu > 0$), 회피(Avoid, $\mu < 0$), 또는 중립(Neutral, $\mu = 0$)의 세 가지 상태로 분류된다. 이를 통해 일부 규범은 따르되 다른 규범은 피하는 뉘앙스 있는 페르소나 생성이 가능하다.

2. CCBENCH-Health 벤치마크 생성

프레임워크는 건강 관련 질의에 초점을 맞춘 CCBENCH-Health로 구체화된다.

• 데이터 소싱: 규범과 가치는 전문가들이 큐레이션한 교차 문화적 통찰력 지식 베이스인 Mosaica에 근거한다.
• 페르소나 시뮬레이션: 여섯 가지 문화(아프가니스탄, 버마, 중국, 마오리, 네팔, 베트남)에 걸쳐 이론적으로 근거가 확실한 60개의 페르소나를 생성했다. 각 페르소나는 18회의 현실적인 대화에 참여한다.
• 암묵적 근거화: 페르로사의 준수 함수 $C_k$에 의해 제약되는 다회차 대화 이력($H_k$)이 페르소나와 AI 어시스턴트 사이에 생성된다. 이 과정에서 페르소나는 지리적 또는 문화적 배경을 명시적으로 밝히지 않고도 언어적 스타일과 의사결정 패턴을 통해 가치를 드러낸다. 명시적인 정체성 진술은 필터링되지만, 문화적 유물(예: 인사말, 종교적 참조)은 암시적 단서로서 유지된다.
• 질의 큐레이션: 12개 건강 주제에 걸쳐 실사용자 포럼(eHealth, iCliniq)에서 추출한 52개의 실제 의료 질문을 선정했다.
• 평가 프로토콜:
  • 체크리스트 기반 평가: 각 상호작용에 대해 페르소나의 준수 상태를 바탕으로 규범별 체크리스트가 생성된다. 강력한 평가자 LLM이 모델의 응답($R_i^k$)이 충족된 체크리스트 항목의 비율을 점수화한다.
  • 지표:
    • 준수율(Follow Rate): 페르소나가 선호하는 규범에 적응하는 빈도.
    • 회피율(Avoid Rate): 문화적 규범의 회피(고정관념에 대한 저항)에 올바르게 적응하는 빈도.
    • 문화적 역량 점수(CCS): 준수율과 회피율의 조화 평균.

3. 실험 설정

다섯 가지 주요 LLM(GPT-5.2, Gemini-2.5-Pro, Claude-3.5-Sonnet, Llama-3.2-90B, Qwen-3.5-397B)을 네 가지 프롬프트 구성 하에 평가했다:

1. 컨텍스트 없음 (No Context): 건강 질의만 제공.
2. 대화 컨텍스트 포함 (With Conversation Context (Hist.)): 시뮬레이션된 배경 이력이 제공됨.
3. Culture-CoT: 모델이 답변하기 전 문화적 단서를 식별하도록 사고 사슬(Chain-of-Thought) 추론을 수행하도록 지시함.
4. 규범 컨텍스트 (Norm Context): 모델에게 이론적 상한선인 실제 규범 정의를 명시적으로 제공함.

주요 결과

벤치마킹 결과, 암시적 규범 노출에 대한 적응 능력에서 심각한 비대칭성을 특징으로 하는 보편적인 결핍이 드러났다.

• 제한된 전반적 역량: 가장 우수한 성능을 보이는 모델조차 규범 상태가 명시적으로 프롬프트 되었을 때 문화적으로 적절한 응답을 하는 비율(CCS로 측정)이 **20~30%**에 불과했다. 암시적 설정(대화 컨텍스트)에서는 성능이 현저히 떨어졌다.
• 비대칭성 (서구적 기본값): 모델은 페르소나가 문화적 규범을 피하기를 원할 때보다 따르기를 원할 때 훨씬 더 높은 성능을 보였다.
  • 예시: GPT-5.2는 대화 컨텍스트 하에서 51.7%의 회피율을 달성했으나, 6.5%의 준수율만을 기록했다.
  • 이는 모델이 "서구적 기본값"을 가지고 있음을 시사하며, 즉 비서구적 규범의 누락을 역량으로 오해하는 반면, 적극적인 문화적 수용은 약하다는 것이다.
• 명시적 단서의 영향: 모델에게 문화적 단서에 집중하도록 명시적으로 프롬프트하는 것(Culture-CoT)은 완만한 개선(평균 3~5% 이득)을 가져왔으나, 이는 추론 스캐폴드가 도움은 될 수 있어도 표적화된 문화적 적응을 대체할 수는 없음을 나타낸다.
• 문화적 격차:
  • 아프가니스탄 맥락: 모델이 가장 어려움을 겪는 부분으로, 평균 문화적 역량 점수가 0.088에 그쳤다. 문화적 단서가 적절한 의료 조언으로 이어지는 경우가 드물었다.
  • 마오리 맥락: 눈에 띄게 높은 회피율을 보였는데, 이는 모델이 탐지하고 억제하기 쉬운 독특한 언어적 표식 때문인 것으로 보인다.
• 스타일 대 실체: 모델은 명시적인 문화적 관습보다는 암시적인 의사소통 스타일(예: 망설임)에 더 쉽게 적응하는 경향이 있으나, 이는 문화마다 차이가 있었다.
• 규범 준수 상관관계: 페르소나의 문화적 몰입도(규범 준수)가 높아질수록 모델의 적응력은 급격히 감소한다. 모델은 높은 문화적 특수성을 이상 행동으로 취급하여 일반화된 응답으로 회귀한다.

의의 및 주장

본 논문은 CCBENCH가 이진적인 문화적 소속을 넘어 인간 가치의 유동성과 다중성을 평가하는 엄격한 방법을 제공한다고 주장한다.

본 연구의 주요 의의는 다음과 같은 **"역량 격차"**를 폭로하는 데 있다:

1. 저항 대 감수성: 현대의 LLM은 고정관념에 저항하는 것(사용자가 규범을 준수하지 않음을 올바르게 식별하는 것)에는 능숙하지만, 문화적 감수성(신호된 비서구적 가치를 적극적으로 통합하는 것)을 발휘하는 데는 지속적으로 어려움을 겪는다.
2. 현재 정렬의 불충분성: 이론적 상한선으로서 명시적인 규범 정의가 제공될 때조차 모델은 일관되게 적응하지 못하며, 이는 현재의 정렬 기술이 진정한 문화적 역량에는 불충분함을 시사한다.
3. 미묘한 케어에 대한 촉구: 연구 결과는 "일률적인(one-size-fits-all)" 권고에 반대한다. 저자들은 공평한 문화적 역량을 달성하기 위해서는 전 세계의 다양하고 역동적이며 종종 암시적인 정체성을 존중하는 더 풍부한 다문화 훈련 데이터와 기술이 필요하다고 주장한다.

저자들은 CCBENCH가 여섯 가지 문화로 제한되어 있고 시뮬레이션된 페르소나에 의존한다는 한계가 있지만, 고위험 영역에서 교차적이고 다면적인 문화적 맥락을 탐색하는 AI를 개발하기 위한 필수적인 토대 역할을 한다고 결론짓는다.