기술 요약: BLADE – 다국어 방글라어 생성에서의 경어 실패 수정

1. 문제 제기

다국어 대규모 언어 모델 (MLLMs) 의 발전에도 불구하고, 방글라어와 같은 저자원 언어에서는 여전히 중요한 "화용론적 격차"가 존재합니다. 모델들이 표면적인 유창성은 달성하는 경우가 많지만, 기능적 사용성을 위해 필요한 깊은 문화적 및 구조적 관습을 준수하지는 못합니다. 구체적으로 범용 모델들은 다음과 같은 문제점을 겪습니다:

• 경어 불일치: 방글라어는 문법적으로 사회적 관계를 두 단계의 경어 체계 (공식/존중을 위한 'Apni', 비공식을 위한 'Tumi') 로 인코딩합니다. 제로샷 (Zero-shot) 모델들은 종종 단일 문서 내에서 이러한 어조를 혼용합니다 (예: 학교 교장을 비공식 대명사로 호칭). 이로 인해 생성된 내용은 기관적으로 수용 불가능해집니다.
• 구조적 결함: 모델들은 종종 필수 문서 구성 요소 (날짜, 제목, 인사말, 서명) 를 생략하거나 잘못 배치하여 방글라어 기관 문서의 표준 순서를 따르지 못합니다.
• 어조 무감각성: 현재의 사전 학습 데이터는 웹 규모 코퍼스나 기계 번역된 지시문에서 파생된 경우가 많아, 형식에 민감하고 문화적으로 적절한 담화 표지어를 내면화하는 데 필요한 "어조 인식 감독"이 부족합니다.

저자들은 이것이 어휘 문제가 아니라, 기관 문서가 사회적 관계를 문법적으로 인코딩하는 모든 언어에 영향을 미치는 구조적 한계라고 주장합니다.

2. 방법론

BLADE 데이터셋

이러한 격차를 해소하기 위해 저자들은 BLADE(BangLa Applications and DialoguEs) 를 소개합니다. 이는 2,008 개의 고유 주제에 걸쳐 4,196 개의 고품질 프롬프트 - 응답 쌍으로 구성된 큐레이션된 지시 튜닝 데이터셋입니다. 이 데이터셋은 교육, 전문, 행정, 대화 영역을 포괄합니다.

데이터 수집 파이프라인 (3 단계):

1. 기관 교과서 (1,972 개 샘플): 표준 문서 형식을 위한 "골드 스탠다드"를 확립하기 위해 정부 승인 NCTB 교과서에서 추출했습니다.
2. 공개 웹 포털 (1,382 개 샘플): 검증된 방글라어 교육 포털에서 큐레이션되었으며, 약 23% 는 어조 불일치나 잘못된 구조로 인해 폐기되었습니다.
3. 저자 합성 예시 (842 개 샘플): 복잡한 과소 대표 시나리오 (예: 지속적인 경어 일치가 필요한 다턴 대화) 를 해결하기 위해 특별히 제작되었으며, 원어민 언어 전문가들에 의해 교차 검증되었습니다.

핵심 설계 원칙:

• 어조 인식: 인사말, 대명사, 동사 형태, 맺음말의 일관된 정렬을 강제합니다.
• 구조적 충실도: 표준 문서 순서 (날짜 → 수신자 → 주제 → 인사말 → 본문 → 맺음말 → 서명) 를 엄격히 준수합니다.
• 주제 다양성: 범용 웹 콘텐츠가 아닌 실제 기관 문서 작성에 초점을 맞춥니다.

실험 설정

• 제로샷 베이스라인: 지시 미세 조정이 없는 BLADE 에서 5 개의 최첨단 모델 (Gemini-2.5-Flash, LLaMA-4-Scout-17B, Kimi-K2-32B 포함) 을 평가했습니다.
• 지도 미세 조정 (SFT): 4 개의 아키텍처 (DeepSeek-8B, Qwen2-1.5B, LLaMA-3.2-3B, TigerLLM-1B) 를 **파라미터 효율적 미세 조정 (PEFT)**을 사용하여 미세 조정했습니다.
  • 기법: 순위 $r=16$, $\alpha=32$인 LoRA(저순위 적응).
  • 양자화: 4 비트 NormalFloat(NF4).
  • 하드웨어: 듀얼 NVIDIA Tesla T4 GPU(32 GB VRAM).
  • 구성: 2 에포크, 2048 토큰 시퀀스 길이 (슬라이딩 윈도우 패킹 포함), 코사인 학습률 감쇠 ($2\times10^{-5}$), 형식 인식 프롬프트 템플릿.

평가 지표

본 연구는 다면적 평가 프레임워크를 사용합니다:

1. 자동 지표: BLEU, chrF(문자 n-그램 F-점수), ROUGE-L, WER(단어 오류율), BERTScore.
2. LLM-as-Judge: GPT-4.1 이 구조적 정확성, 어조 일관성, 의미적 관련성에 기반하여 1~10 점 척도로 450 개 샘플을 평가했습니다.
3. 인간 평가: 3 명의 원어민 방글라어 문헌학 전문가가 구조적 무결성, 유창성, 문화적 정합성을 위해 5 점 리커트 척도로 100 개의 층화 샘플을 평가했습니다.

3. 주요 결과

제로샷 성능

가장 강력한 제로샷 베이스라인 (예: Gemini-2.5-Flash) 조차 기능적으로 사용 가능한 방글라어 문서를 생성하지 못했으며, 최대 BLEU 점수는 고작 7.88에 그쳤습니다.

• 실패 모드: 체계적인 구조적 이동 (날짜/주제 누락) 과 경어 불일치 (Apni와 Tumi 간 진동).
• 인간 점수: 제로샷 베이스라인은 구조적 무결성에서 평균 1.85/5점을 받았습니다.

미세 조정 성능

BLADE 에 대한 미세 조정은 모든 모델에서 상당한 개선을 보여주었으며, 저자원 화용론적 생성에서는 모델 규모보다 데이터 품질이 더 중요함을 입증했습니다.

• DeepSeek-8B: 가장 극적인 개선을 보였으며, BLEU 가 22 배 증가 (0.78 → 17.73) 하고 chrF 가 9.85 에서 45.87 로 상승했습니다. LLM 저자 점수는 3.8 에서 8.9로 급등했습니다.
• Qwen2-1.5B: 작은 크기에도 불구하고 SFT 후 가장 낮은 WER(0.84) 과 가장 높은 BERTScore(0.748) 를 달성하여, 이러한 지표에서 제로샷 Gemini-2.5-Flash 를 능가했습니다.
• 인간 평가: SFT 후 모델들은 모든 차원 (구조, 유창성, 문화적 정합성) 에서 평균 4.6/5점을 초과했습니다.
• 수렴: 자동 지표, LLM 저자 점수, 인간 전문가 평가가 수렴하여 표면적 지표 인플레이션이 아닌 기능적 사용성의 진정한 개선을 확인했습니다.

제거 연구

본 연구는 성공을 위한 몇 가지 결정적 요인을 확인했습니다:

• 컨텍스트 길이: 2048 토큰으로 확장 (512 대비) 하는 것이 장문 구조적 무결성을 유지하는 데 결정적이었습니다.
• 프롬프트 설계: 형식 인식 템플릿과 명시적 역할 태그는 WER 를 크게 줄이고 구조 점수를 향상시켰습니다.
• 어댑터 구성: 어텐션과 MLP 레이어 모두에 LoRA 를 적용하는 것이 어텐션 전용 적응보다 우수한 성능을 보였습니다.

4. 중요성과 주장

본 논문은 저자원 화용론적 생성에서 지시 튜닝 데이터의 문화적 특수성이 모델 규모보다 더 중요하다고 주장합니다.

• 규모보다 데이터: 큐레이션된 어조 인식 데이터로 미세 조정된 소형 모델 (Qwen2-1.5B) 이 수 배 더 큰 제로샷 최첨단 모델 (Gemini-2.5-Flash) 보다 우수한 성능을 발휘했습니다.
• 기능적 사용성: 주요 기여는 모델 출력을 "표면적 유창성"에서 "기관적으로 수용 가능한" 문서로 전환하는 것입니다. 저자들은 어조 인식 감독 없이는 범용 사전 학습이 방글라어와 같은 언어에서 필요한 특정 문화적 관습을 대체할 수 없다고 주장합니다.
• 벤치마킹: BLADE 는 저자원 고컨텍스트 환경에서 화용론적 격차를 측정하고 미세 조정 전략의 효율성을 평가하기 위한 엄격한 벤치마크 역할을 합니다.

저자들은 BLADE 가 다국어 텍스트 생성에서의 화용론적 불균형을 해소하는 길을 제시하며, 소외된 언어에서의 향후 진보는 단순히 파라미터 수를 늘리는 것이 아니라 고품질 도메인별 감독에 달려 있다고 결론지었습니다.