CrossCult-KIBench: A Benchmark for Cross-Cultural Knowledge Insertion in MLLMs

기술 요약: CrossCult-KIBench 및 MCKI

문제 제기
주로 영어 중심 데이터로 훈련된 멀티모달 대형 언어 모델 (MLLM) 은 비영어 문화적 맥락에 배포될 때 문화적으로 불일치하거나 부적절한 응답을 자주 생성합니다. 문화 인식 재훈련이나 파인튜닝과 같은 기존 적응 방법은 광범위한 불일치를 완화할 수 있지만, 상당량의 문화별 데이터가 필요하며 이러한 증거가 희소할 경우 종종 실패합니다. 반면, 표준 지식 편집 기술은 사실적 오류를 수정하거나 엔티티 중심 연관성을 업데이트하는 데 초점을 맞추지만, 다른 문화적 설정에서 모델의 행동을 변경하지 않고 누락된 문화 조건부 개념을 삽입할 수 있는 메커니즘이 부족합니다. 이 격차는 교차 문화 지식 삽입을 위한 정밀한 메커니즘을 필요로 합니다. 즉, 비대상 문화에서의 원래 행동을 유지하면서 대상 맥락에 대한 구체적인 문화적 지식으로 MLLM 을 보충할 수 있는 능력입니다.

방법론
이를 해결하기 위해 저자들은 지식 삽입의 효과성과 비대상 문화에 대한 의도치 않은 부작용을 모두 평가하도록 설계된 포괄적인 벤치마크인 CrossCult-KIBench를 소개합니다.

• 벤치마크 구축: CrossCult-KIBench 는 영어 (미국 맥락), 중국어 (중국 맥락), 아랍어 (아랍 지역 맥락) 의 세 가지 언어 - 문화 분할에 걸쳐 49 개의 문화 관련 시각 시나리오를 다룹니다. 시나리오는 세계 가치 조사 (World Values Survey) 에서 파생되었으며, 사회적 가치/태도 및 고정관념, 종교적 가치, 윤리적 가치/규범이라는 세 가지 주제 그룹으로 분류됩니다. 데이터셋은 각 사례가 시각적 입력과 분할별 질문 및 참조 답변을 짝지은 9,800 개의 이미지 기반 사례로 구성됩니다. 핵심적으로, 분할 간 답변은 번역이 아니라 동일한 시각적 상황에 대한 고유한 문화적 판단입니다.
• 평가 설정: 벤치마크는 두 가지 평가 모드를 지원합니다:
  1. 단일 삽입 (Single-Insert): 중국어 또는 아랍어와 같은 하나의 특정 분할에 대한 지식을 기본 모델에 삽입합니다.
  2. 순차 삽입 (Sequential-Insert): 동일한 모델 인스턴스에 영어, 중국어, 아랍어 등 세 분할에 대한 지식을 순차적으로 삽입하여 안정성과 공존성을 테스트합니다.
• 지표: 성능은 텍스트 중첩을 위한 ROUGE-L 과 의미적 일관성을 위한 LLM-as-Judge(gpt-5.4-mini) 를 사용하여 측정됩니다. 주요 지표로는 신뢰도(대상 삽입의 성공), 일반성(유사 시나리오로의 전이), 지역성(비대상 언어 및 관련 없는 시나리오에서의 행동 보존) 이 포함됩니다.
• 제안된 베이스라인 (MCKI): 저자들은 베이스라인 방법으로서 **메모리 조건부 지식 삽입 (MCKI)**을 제안합니다. MCKI 는 외부 메모리에 삽입 샘플을 저장합니다. 새로운 쿼리에 대해 고정된 MLLM 의 자체 표현을 사용하여 라우터 키를 생성합니다. 경량 라우터가 쿼리를 메모리와 매칭하며, 매칭이 보정된 임계값을 초과하면 해당 문화적 지식이 조건부 프롬프트로 선행됩니다. 그렇지 않으면 모델은 기본 상태를 사용하여 정상적으로 디코딩합니다. 라우터만 훈련되고 기본 MLLM 은 고정된 상태로 유지됩니다.

주요 기여

1. 작업 형식화: 이 논문은 일반적인 문화 적응이나 사실적 지식 편집과 구별되는 교차 문화 지식 삽입이라는 새로운 작업을 형식화합니다.
2. CrossCult-KIBench: 49 개의 시나리오와 9,800 개의 다국어 사례에 걸친 엄격하고 이미지 기반의 벤치마크를 도입하여 삽입 성공과 행동 보존 (지역성) 을 동시에 측정하도록 특별히 설계되었습니다.
3. MCKI 베이스라인: 전체 재훈련 없이 대상 문화 적응의 실현 가능성을 보여주는 메모리 기반 접근법인 MCKI 를 제안하여 향후 작업을 위한 성능 벤치마크를 확립합니다.

실험 결과
InternVL3.5-8B 와 Qwen3.5-9B 에 대한 광범위한 실험은 문화 적응과 행동 보존 사이의 균형을 맞추는 데 상당한 어려움이 있음을 드러냈습니다:

• 파인튜닝: 높은 신뢰도를 달성하지만 교차 언어 및 교차 시나리오 지역성을 심각하게 저하시켜, 매개변수 업데이트가 기존 문화적 행동을 덮어쓰는 것을 나타냅니다.
• 맥락 학습 (IKE): 지역성을 잘 보존하지만, 그 효과가 기본 모델의 맥락 내 데모 활용 능력에 크게 의존하기 때문에 신뢰도는 제한적입니다.
• 검색 기반 방법 (SERAC, MSCKE): 혼합된 결과를 보입니다. 신뢰도를 향상시키지만, 종종 "검색 혼란"으로 고통받는데, 이는 관련 없는 쿼리가 대체 경로를 활성화하여 지역성을 훼손합니다.
• MCKI 성능: MCKI 는 지표 전반에 걸쳐 우수한 균형을 보여줍니다. 경쟁력 있는 신뢰도와 일반성을 달성하면서도 특히 단일 삽입 설정에서 높은 지역성 점수를 유지합니다. 순차 삽입 작업에서 MCKI 는 매개변수 업데이트 방법보다 이전 삽입들의 더 강한 유지를 보여주지만, 여러 번의 순차 업데이트 후 삽입된 지식을 관련 예제로 전이하는 것 (일반성) 에는 여전히 어려움을 겪습니다.

의의 및 주장
이 논문은 CrossCult-KIBench 와 MCKI 가 더 문화적으로 적응적이고 책임 있는 MLLM 을 개발하기 위한 기초적인 프레임워크를 확립한다고 주장합니다. 저자들은 현재 접근 방식이 효과적인 문화 적응과 행동 보존을 동시에 달성하는 데 어려움을 겪고 있음을 강조하며, 기존 지식 편집 및 적응 전략의 중요한 한계를 지적합니다. 구조화된 평가 환경을 제공함으로써, 이 연구는 다른 맥락에서의 성능을 훼손하지 않고 누락된 문화 조건부 지식으로 모델을 보충할 수 있는 정밀한 메커니즘의 필요성을 강조합니다. 저자들은 겸손하게도 벤치마크가 문화적 설정을 위한 실용적 대리 변수로 언어 - 문화 분할을 사용하며 문화의 완전한 내부 다양성을 포착한다고 주장하지는 않지만, 삽입 메커니즘을 위한 운영 테스트베드로서 기능한다고 명시합니다.