DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 영어는 표준 미국 영어 (SAE) 와 영국 영어 외에도 아프리카계 미국인 영어 (AAE), 힌디어 영어 (InE), 싱가포르 영어 (SgE) 등 160 개 이상의 방언을 보유하고 있습니다. 그러나 현재 대규모 멀티모달 생성 모델 (이미지/비디오 생성) 의 사전 학습 데이터는 주로 SAE 와 표준 영국 영어에 치중되어 있어, 다른 방언을 사용하는 사용자들의 입력에 대한 성능이 저하될 우려가 있습니다.
• 문제: 기존 연구들은 텍스트 생성 (NLP) 에서의 방언 편향을 다루었으나, 텍스트 - 이미지 (Text-to-Image) 및 텍스트 - 비디오 (Text-to-Video) 생성 모델이 방언 입력에 얼마나 취약한지에 대한 체계적인 평가와 개선 방안은 부족했습니다.
• 관찰: 모델은 SAE 프롬프트에서는 정확한 콘텐츠를 생성하지만, 의미는 동일하지만 방언 단어가 포함된 프롬프트 (예: 'eggplant' 대신 'brinjal', 'car' 대신 'whip') 를 입력받으면 생성 실패나 잘못된 의미 해석을 보입니다. 특히 다의어 (Polysemy) 인 경우, 모델은 항상 SAE 의미로만 해석하여 문맥과 맞지 않는 결과를 생성합니다.

2. 제안된 방법론 (Methodology)

A. DialectGen 벤치마크 구축

• 데이터셋 구성: 6 가지 주요 영어 방언 (SAE, AAE, BrE, ChE, InE, SgE) 을 대상으로 한 대규모 벤치마크를 구축했습니다.
• 프롬프트 생성: SAE 단어와 방언 단어를 1:1 로 매칭하여 의미는 동일하지만 어휘만 다른 프롬프트 쌍을 생성했습니다.
  • 간결 프롬프트 (Concise): 6 단어 이하 (맥락 힌트가 적어 모델의 강건성을 엄격히 평가).
  • 상세 프롬프트 (Detailed): 9 단어 이상 (맥락 힌트가 많아 모델이 문맥을 추론할 수 있는 환경).
• 검증 프로세스: 해당 방언 화자 (Native Speakers) 를 통한 인간 검증 (Human Validation) 을 거쳐, 프롬프트가 (1) SAE 와 정확히 동의어인지, (2) 방언 문맥에서 유효한지, (3) 다의어로 인해 모호하지 않은지를 엄격히 필터링했습니다. 최종적으로 4,200 개의 검증된 프롬프트로 구성되었습니다.

B. 평가 지표

• 자동 평가: VQAScore 와 CLIPScore 를 사용하여 생성된 이미지/비디오가 SAE 프롬프트의 의미와 얼마나 일치하는지 점수화했습니다.
• 인간 평가: 생성 결과와 SAE 프롬프트의 일치도를 0~10 점으로 평가하여 자동 지표의 신뢰성을 검증했습니다.

C. 완화 전략 (Mitigation Strategy)

기존의 디코더 파인튜닝이나 프롬프트 재작성 (Rewriting) 방법의 한계를 극복하기 위해 텍스트 인코더 (Text Encoder) 기반의 새로운 학습 전략을 제안했습니다.

1. 방언 학습 (Dialect Learning Loss): 방언 프롬프트의 임베딩을 해당 SAE 프롬프트의 임베딩과 cosine 유사도를 최소화하도록 학습시켜, 모델이 방언 어휘를 인식하도록 합니다.
2. 다의어 제어 (Polysemy Control Loss): SAE 문맥에서 다의어인 경우, 모델이 원래의 SAE 의미를 유지하도록 하여 방언 학습이 SAE 성능을 해치지 않도록 제어합니다.
3. KL 정규화 (KL Regularization): 일반적인 SAE 프롬프트 (MSCOCO 데이터셋) 에 대한 출력 분포를 고정된 참조 모델과 일치시키도록 KL 발산 손실을 적용하여, SAE 성능 저하를 방지합니다.

3. 주요 실험 결과 (Results)

A. 벤치마크 평가 결과

• 성능 저하: 17 개의 최신 멀티모달 생성 모델 (Stable Diffusion 시리즈, DALL-E, Wan 2.1 등) 을 평가한 결과, 단일 방언 단어가 포함된 프롬프트에서 32.26% ~ 48.17% 의 성능 저하가 발생했습니다.
• 방언별 차이: ChE (치카노 영어) 와 InE (인도 영어) 입력에서 성능 저하가 가장 심각했으며, BrE (영국 영어) 는 상대적으로 높은 성능을 유지했습니다. 이는 훈련 데이터에서의 방언 노출 빈도 (PDS, DSR) 와 직접적인 상관관계가 있음을 확인했습니다.
• 간결 vs 상세: 간결한 프롬프트일수록 성능 저하가 더 컸으며, 이는 모델이 맥락 힌트가 부족할 때 방언 어휘를 해석하는 데 어려움을 겪음을 보여줍니다.

B. 완화 방법 비교

• 기존 방법의 한계:
  • 프롬프트 재작성 (Prompt Rewrite/Translate): SAE 성능은 유지되지만, 방언 성능 향상 폭이 미미했습니다 (< 7%). 오히려 LLM 이 방언을 오타로 간주하여 잘못 수정하거나, 중요한 어휘를 번역하지 않는 등의 문제가 발생했습니다.
  • 디코더 파인튜닝 (Decoder Fine-tuning): 방언 성능은 소폭 향상되었으나, SAE 일반 성능과 다의어 처리 능력이 크게 저하되는 부작용이 있었습니다.
• 제안 방법 (Encoder-based Mitigation) 의 성과:
  • 제안된 인코더 기반 방법은 5 개 방언의 성능을 SAE 수준으로 동등하게 끌어올렸습니다 (+34.4% 향상).
  • 동시에 SAE 성능 저하는 거의 0% (< 1%) 에 머물렀습니다.
  • Stable Diffusion 1.5, SDXL, Wan 2.1 등 다양한 모델에서 일관된 개선을 보였습니다.

4. 주요 기여 (Key Contributions)

1. DialectGen 벤치마크: 텍스트 - 이미지 및 텍스트 - 비디오 생성 모델의 방언 강건성을 평가하는 최초의 대규모 다방언 벤치마크를 구축했습니다.
2. 포괄적 평가: 17 개의 생성 모델과 5 가지 기존 완화 기법을 체계적으로 평가하여, 현재 모델들이 방언 입력에 얼마나 취약한지 실증했습니다.
3. 고성능 완화 기법: SAE 성능을 희생하지 않으면서 여러 방언의 이해도를 획기적으로 개선하는 인코더 기반 학습 전략을 제안했습니다.

5. 의의 및 시사점 (Significance)

• 형평성 증진: 방언 화자들이 생성형 AI 를 사용할 때 겪는 '할당적 해악 (Allocational Harms)'을 줄이고, 기술 접근성을 높이는 데 기여합니다.
• 모델 개선 방향: 기존 디코더 중심의 튜닝이 아닌, 텍스트 인코더의 표현 학습을 통해 언어적 다양성을 수용해야 함을 시사합니다.
• 향후 연구: 문화적 편향 (피부색, 배경 등) 분석, 문법적 방언 변이와의 결합 연구, 그리고 다중 어휘가 포함된 프롬프트에 대한 평가로 연구 영역을 확장할 수 있는 토대를 마련했습니다.

이 논문은 멀티모달 생성 모델이 언어적 다양성을 포용하기 위해서는 단순한 데이터 양의 증가를 넘어, 방언 어휘에 대한 체계적인 인식 학습이 필수적임을 강조합니다.