Conversational Domain Adaptation of IndicTrans2 across 21 Indic Languages via Experience Replay and Model Soups

당신에게 아주 똑똑하고 세계적인 수준의 번역가인 IndicTrans2가 있다고 상상해 보세요. 이 번역가는 매우 영리해서 격식 있는 뉴스 기사, 공식 문서, 백과사전 항목을 완벽하게 번데할 수 있습니다. 하지만 만약 당신이 일상적인 메시지, 영화 자막, 또는 짧은 음성 메모를 번역해 달라고 요청하면, 마치 법률 계약서를 읽는 로봇처럼 딱딱하고 기계적으로 들립니다.

이 논문의 저자는 이렇게 물었습니다: "이 번역가가 격식 있는 텍스트를 번역하는 능력을 잊어버리지 않으면서도, 더 자연스럽고 대화하듯 말하도록 가르칠 수 있을까?"

다음은 그들이 이론적으로는 효과적이었지만 몇 가지 놀라운 주의사항이 있었던 레시피를 사용하여 이를 어떻게 시도했는지에 대한 이야기입니다.

문제점: "로봇" 번역기

이 번역기는 "일반적인" 데이터(뉴스, 책)로 학습되었습니다. 단순히 새로운 예시들을 연습하게 함으로써 "대화체" 데이터(채팅, 자막)를 가르치려고 하면, 파괴적 망각(Catastrophic Forgetting) 현상이 발생합니다.

이것은 수학 시험을 위해 열심히 공부한 학생이 한 달 동안 시 쓰기 연습만 하는 것과 같습니다. 그 학생이 다시 수학 시험을 볼 때, 공식들을 잊어버리게 됩니다. 논문의 용어로 표현하자면, 번역기는 채팅은 더 잘하게 되었지만 격식 있는 번역 능력은 떨어지게 되었습니다.

해결책: 2단계 레시피

저자는 이 문제를 해결하기 위해 두 가지 기존 기술을 요리 레시피처럼 혼합하여 사용했습니다.

1. 경험 재현 (Experience Replay, "복습 세션"):
   번역기가 오직 일상적인 채팅만 연습하게 하는 대신, 저자는 번역기가 일상적인 채팅을 연습하면서 동시에 예전의 격식 있는 훈련 데이터도 함께 연습하도록 만들었습니다.

   • 비유: 요리사가 길거리 음식을 배우는 상황을 상상해 보세요. 길거리 음식만 만드는 대신, 기본 실력을 유지하기 위해 매일 클래식한 요리를 몇 가지씩 계속 만드는 것과 같습니다. 이는 기초를 잊어버리는 것을 방지합니다.

2. 모델 수프 (Model Soups, "블렌딩"):
   학습 후에 저자는 단순히 새로운 "길거리 음식" 버전만을 선택하지 않았습니다. 대신, 원래의 "격식 있는" 번역기와 새로운 "길거리 음식" 번역기를 가져와서 그들의 뇌를 함께 평균냈습니다.

   • 비유: 진한 블랙커피(격식 모델) 한 컵과 달콤한 밀크티(대화체 모델) 한 컵을 가져와서 섞는 것을 상상해 보세요. 결과물은 커피의 카페인을 가지면서도 밀크티의 부드러움을 가진 음료가 됩니다. 이것이 두 모델의 "수프"입니다.

결과: 지표의 승리, 그러나 현실 점검

저자는 이 새로운 "수프" 모델을 21개의 서로 다른 인도 언어로 테스트했습니다.

좋은 소식 (숫자):

• 대화체 점수: 새로운 모델은 얼마나 일상적이고 인간적인 텍스트를 잘 구현하는지 측정하는 테스트에서 유의미하게 높은 점수를 기록했습니다. 모든 21개 언어에서 평균 6.2점이 향상되었습니다.
• 격식 점수: 결정적으로, 격식 있는 텍text를 번역하는 능력을 잃지 않았습니다. 격식 테스트 점수는 거의 동일하게 유지되었습니다 (0.17점의 미세한 하락이 있었으나 통계적으로 무시할 수 있는 수준입니다).
• 결론: 수치상으로 이 레시피는 완벽하게 작동했습니다. 모델은 격식 있는 기술을 잃지 않으면서도 대화체 능력을 갖추게 되었습니다.

나쁜 소식 (현실 점검):
저자는 이 숫자들의 실제 의미에 대해 매우 솔직했습니다.

• "스타일"의 함정: 테스트 점수가 올라간 이유는 새 모델이 테스트 예시들(일상적인 자막)과 더 비슷하게 들리기 시작했기 때문입니다. 모델은 더 비격식적인 단어와 문장 구조를 사용했습니다.
• 인간 테스트: 저자는 인간과 다른 AI 모델들에게 품질을 판단해 달라고 요청했습니다. 그들은 번역이 "더 나아졌다"는 데 동의하지 않았습니다. 그들은 단지 번역이 더 일상적으로 들린다는 점을 알아차렸을 뿐입니다.
• 판결: 모델이 반드시 더 똑똑한 번역가가 된 것은 아닙니다. 단지 일상적인 스타일을 더 잘 흉내 내게 된 것입니다. 모델은 참조 텍스트의 "분위기"를 맞춤으로써 점수를 높였지만, 그것이 반드시 실제 의미나 품질을 개선했다는 뜻은 아닙니다.

한계

논문은 또한 이 레시피가 벽에 부딪히는 지점을 지적합니다:

• 저자원 언어: 산탈리(Santali)나 산스크리트어(Sanskrit)처럼 데이터가 매우 적은 언어의 경우, 모델이 크게 개선되지 못했습니다. 이는 마치 학생에게 가르칠 교과서가 충분히 없는 상태에서 새로운 기술을 가르치려는 것과 같습니다. "바닥"은 방법론이 아니라 데이터의 부족에 의해 결정되었습니다.
• 테스트 편향: 일부 언어는 훈련 데이터와 똑같이 생긴 "쉬운" 테스트를 가지고 있었으며, 이로 인해 점수가 크게 뛰어올랐습니다. 저자는 이러한 급격한 상승이 테스트가 너무 쉬웠기 때문에 오해의 소지가 있을 수 있다고 경고합니다.

요요약

저자는 21개 언어에 대해 기존 데이터의 복습과 모델 뇌의 블렌딩을 결디어 똑똑한 "대화형" 버전의 최상급 번역기를 성공적으로 만들어냈습니다.

• 성공했는가? 네, 컴퓨터의 점수(chrF) 기준으로는 훨씬 더 대화체로 변했으며 격식 있는 기술을 잃지 않았습니다.
• 더 좋아졌는가? 저자는 "확실히 알 수 없다"고 말합니다. 컴퓨터는 더 일상적으로 들리기 때문에 더 좋아졌다고 생각하지만, 인간 평가자들은 명확한 품질 향상을 느끼지 못했습니다.

이 논문은 정직함에 관한 연구입니다. 특정 스타일을 더 잘 보이게 하기 위해 지표를 속일 수는 있지만, 그것이 실제로 인간에게 도움이 된다는 것을 증명하려면 높은 점수 이상의 것이 필요하다는 점을 보여줍니다.