기술 요약: LLM은 문화적 맥락을 추론하지만 응답 시 이를 적용하는 데 실패한다

문제 정의

최근 연구에 따르면 대규모 언어 모델(LLM)은 지배적인 서구 중심 문화를 과잉 대표하고 다른 문화는 소외시키는 경향이 있다. 선행 연구를 통해 LLM이 문화적 지식을 보유하고 있음은 입증되었으나, 모델이 특정 사용자의 문화적 배경에 맞춰 응답을 조정하기 위해 이 지식을 효과적으로 적용할 수 있는지는 여전히 불분명하다. 구체적으로, 본 논문은 LLM이 단일한 글로벌 표준이나 모델 자체의 학습 사전 확률(priors)로 회귀하는 대신, 추론된 문화적 단서에 기반하여 사용자 이해를 극대화하도록 출력값(예: 측정 단위, 시간 표현, 수량사)을 맞춤화하는 "실용적 화자(pragmatic speakers)"(Frank and Goodman, 2012)로서 기능할 수 있는지 조사한다.

방법론

CAPRI 데이터셋

저자들은 문화적 배경을 추론하는 능력과 그 추론을 바탕으로 행동하는 능력을 분리하여 측정하도록 설계된 CAPRI(Cultural and Pragmatic Response Inference) 데이터셋을 소개한다.

• 구조: 이 데이터셋은 이미지에 기반한 4,992개의 대화(시각적 질의응답(VQA) 설정)로 구성된다. 각 대화에는 다양한 수준의 문화적 단서를 포함하는 대화 이력이 선행된 후, 사용자가 이미지에 대해 질문을 던지는 형태(예: "온도가 어떻게 되나요?")를 취한다.
• 문화적 단서: 데이터셋은 NULL(이력 없음)부터 EXPLICITFULL(사용자가 국가를 명시적으로 언급)에 이르기까지 6단계의 단서 강도를 특징으로 한다. 중간 단계에는 암묵적 단서(예: Fnac.com과 같은 특정 이커머스 플랫폼 언급 또는 06 12 34 56 78과 같은 전화번호 형식)와 중립적(문화 중립적 진술) 단계가 포함된다.
• 문화권: 10개 국가가 문화의 대리 지표로 표현된다: 브라질, 중국, 프랑스, 인도, 이란, 이스라엘, 일본, 한국, 영국, 미국.
• 과업 차원:
  1. 객관적 개념 (Type 1): 온도, 거리, 속도, 크기, 가격에 대한 측정 단위. 이들은 사용자의 국가에 따른 정답(ground-truth)을 가진다 (예: 프랑스의 경우 °C, 미국의 경우 °F).
  2. 주관적 개념 (Type 2): 시간 표현 (예: 오후 6시에 대해 "아침" vs "오후"), 수량사 (예: "적은" vs "약간의"). 이들은 정답이 존재하지 않지만 알려진 문화적 변이를 보인다.

실험 설정

본 연구는 최첨단 LLM(Qwen3-VL, Gemma-4, Llama-3.2, Gemini-3.1 포함)을 대상으로 두 가지 주요 과업을 평가한다:

1. 과업 1 (배경 추론 - BG): 대화 이력을 통해 사용자의 국가를 추론하도록 모델에게 명시적으로 요청한다.
2. 과업 2 (시각적 질의응답 - VQA): 모델에게 이미지에 대한 사용자의 질문에 답하도록 한다. 결정적으로, 여기서 모델은 배경을 추론하도록 명시적으로 프롬프트되지 않으며, 적절한 단위나 표현을 선택하기 위해 사용자의 문화를 암묵적으로 추론해야 한다.

저자들은 또한 연쇄 사고(Chain-of-Thought, CoT) 추론의 영향을 테스트하며, 특히 "Plain CoT"(기본 추론)와 "Pragmatic CoT"(배경을 먼저 추론하도록 명시적으로 지시하는 방식)를 비교한다.

주요 기여

1. CAPRI 데이터셋: 문화적 지식의 인출(retrieval)과 문화적 적응(adaptation)을 분리하여, 연구자들이 문화를 아는 것과 그 지식을 사용하는 것 사이의 간극을 측정할 수 있게 하는 새로운 자원을 제공한다.
2. 실용적 적응의 공식화: 본 논문은 합리적 발화(Rational Speech Act) 프레임워크의 관점에서 문제를 구조화하여, 모델이 추론된 배경을 바탕으로 가장 의사소통 효율적인 답변을 생성할 수 있는지 테스트한다.
3. 체계적 평가: 다양한 모델 제품군, 크기 및 추론 모드를 아우르며 객관적(단위) 및 주관적(시간/수량) 문화 차원을 다루는 포괄적인 벤치마크를 제시한다.

결과

1. 추론-적용 간극 (The Inference-Application Gap)

실험 결과, 모델의 문화적 배경을 추론하는 능력과 그 추론에 따라 답변을 적응시키는 능력 사이에 상당한 불일치가 있음이 드러났다.

• 추론: 모델은 단 1~2개의 암묵적 단서만 제공되어도 사용자의 배경을 거의 완벽하게 식별한다 (정확도가 0% 근처에서 ~80%로 급증).
• 적용: 높은 추론 정확도에도 불구하고, 모델은 추론된 문화에 맞춰 VQA 답변을 조정하는 데 자주 실패한다. 예를 들어, 모델은 사용자가 프랑스인임을 올바르게 식별했음에도 불구하고 온도 질문에 화씨(Fahrenheit)로 답할 수 있다.
• 명시적 프롬프팅: 모델이 단계별로 실용적 추론을 수행하도록 명시적으로 가이드할 때 이 간극이 크게 좁혀지며, 이는 해당 능력이 존재하지만 기본적으로 트리거되지 않음을 시사한다.

2. 스케일링 및 추론

• 스케일링: 더 큰 모델(예: Qwen-32B, Gemma-31B)은 일반적으로 작은 모델보다 추론과 적용 사이의 간극을 더 잘 메우지만, 명시적인 추론 가이드 없이는 대형 모델에서도 간극이 지속된다.
• 추론 깊이: "Pragmatic CoT"는 더 깊은 추론 흔적을 생성하며, 종종 인과적 접속사(예: "사용자는 X 출신이므로, 단위는 Y여야 한다")를 통해 추론된 정체성을 최종 답변과 명시적으로 연결한다.

3. 문화적 사전 확률 및 편향 (Cultural Priors and Biases)

• 기본 사전 확률: 단서가 없는 경우(NULL 조건), 모델은 비중립적인 사전 확률을 보인다. 모델은 사용자의 국가를 미국으로 예측하는 경향이 있으나, 단위의 경우 미국의 관습과 상충되는 **미터법(metric system)**을 기본값으로 선택한다.
• 기원 편향: 모델은 종종 자신의 개발 국가 쪽으로 기울어진다. 예를 들어, 중국 기업이 개발한 Qwen은 중국에 대한 강한 사전 확률을 보이는 반면, Gemini와 Llama는 미국에 대한 편향을 보인다.
• 주관적 적응: 주관적 개념의 경우, 문화적 단서가 축적됨에 따라 모델의 답변이 다양해지는 양상을 보인다. 그러나 이러한 변화는 문화적으로 특화되기보다는 모든 문화에 대해 균일하게 나타나는 경향이 있어, 모델이 단서에 반응하기는 하지만 고유한 문화적 해석을 완전히 내면화하지는 못함을 시사한다.

의의 및 주장

본 논문은 CAPRI가 문화적 지식과 문화적으로 적응 가능한 생성 사이의 간극을 좁히기 위한 결정적인 자원을 제공한다고 주장한다. 저자들은 현재의 LLM이 문화적 사실을 고립된 상태로 저장할 뿐, 생성 과정에서 이를 동적으로 연결하는 데 실패한다고 주장한다.

• 현재 모델의 한계: 본 연구는 단순히 문화적 지식을 보유하는 것만으로는 불충분하며, 사용자의 맥락에 맞춘 실용적 화자로서 행동하기 위해서는 명시적인 가이드나 개선된 구조적 추론이 필요함을 입증한다.
• 향-후 방향: 이 작업은 LLM이 정적인 문화 지식을 넘어 동적이고 맥락을 인식하는 적응력을 갖추도록, 자동적으로 이러한 실용적 추론을 수행할 수 있는 능력을 부여하는 연구를 촉구한다.
• 겸허한 태도: 저자들은 국가를 문화의 대리 지표로 사용하여 스테레오타입을 강화할 수 있다는 점과, 상호작용 언어로 영어를 사용하여 그 자체의 사전 확률을 도입했다는 점 등 한계를 인정한다. 그들은 CAPRI를 문화적으로 유능한 AI를 위한 완전한 해결책이라기보다 그를 향한 하나의 단계로 규정한다.