Conditioning LLMs to Generate Code-Switched Text

이 논문은 영어-스페인어 병렬 코퍼스 구축을 위한 역번역 기반 미세조정 방법론을 제안하여 LLM 이 유창한 코드스위칭 텍스트를 생성하도록 하고, 기존 자동 평가 지표보다 LLM 기반 판단이 인간 선호도와 더 잘 일치함을 입증했습니다.

핵심

이 논문은 **"두 가지 언어를 섞어 쓰는 말 (코드스위칭) 을 인공지능 (AI) 이 자연스럽게 만들어내는 방법"**에 대한 연구입니다.

비유하자면, 이 연구는 **"영어를 완벽하게 아는 AI 에게, 영어와 스페인어를 섞어서 자연스럽게 대화하는 법을 가르치는 과정"**을 보여줍니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

1. 문제점: AI 는 '혼합 요리'를 못 합니다

지금까지의 AI 는 주로 한 가지 언어 (예: 영어만, 혹은 스페인어만) 로만 학습되었습니다. 그래서 AI 에게 "영어로 된 문장을 스페인어와 섞어서 써줘"라고 하면, AI 는 당황합니다.

• 비유: 마치 "한국어와 영어를 섞어서 노래를 불러줘"라고 시켰는데, AI 가 "네, 알겠습니다!" 하고는 완전히 한국어로만 부르거나, 완전히 영어로만 부르는 경우입니다. 중간에 섞는 법을 모릅니다.
• 이유: AI 가 배울 수 있는 '두 언어가 섞인 자연스러운 대화 자료'가 너무 적기 때문입니다.

2. 해결책: 거꾸로 뒤집는 '역변환' 마법 (Back-Translation)

연구팀은 AI 가 '혼합 문장'을 만드는 건 어렵지만, '혼합 문장을 영어로만 정리하는 것'은 잘할 수 있다는 점을 이용했습니다.

• 단계 1 (재료 준비): 사람들이 실제로 쓰는 영어와 스페인어가 섞인 문장 (예: "Why make everybody sentarse atrás?") 을 모았습니다.
• 단계 2 (거꾸로 번역): 이 섞인 문장들을 AI 에게 "이걸 영어로만 정리해줘"라고 시켰습니다. AI 는 잘해서 "Why make everybody sit at the back?"이라는 순수 영어 문장을 만들어냈습니다.
• 단계 3 (새로운 교재 만들기): 이제 우리는 **[순수 영어 문장] ↔ [원래 섞인 문장]**이라는 짝을 갖게 되었습니다. 마치 요리 레시피와 완성된 요리의 관계를 만든 셈입니다.
• 단계 4 (AI 훈련): 이 새로운 교재로 AI 를 다시 훈련시켰습니다. "이 영어 문장을 다시 섞어서 만들어봐"라고 시키니, AI 는 이제 섞는 법을 배웠습니다.

3. 실험 결과: 훈련받은 AI 가 더 낫다

연구팀은 훈련시킨 AI 와 훈련받지 않은 AI 를 비교했습니다.

• 훈련받지 않은 AI (초보 요리사): "영어로만 말해"라고 시켰는데, 섞어서 말해야 할 때 여전히 영어로만 말하거나, 섞는 위치가 어색했습니다.
• 훈련받은 AI (숙련된 요리사): 영어 문장을 받아서 자연스럽게 스페인어 단어를 섞어 넣었습니다. 마치 현지인이 대화하듯 자연스럽게 들렸습니다.
• 결론: AI 에게 '혼합 언어'를 가르치려면, 단순히 큰 모델을 쓰는 것보다 적절한 자료로 훈련 (Fine-tuning) 시키는 것이 훨씬 중요하다는 것이 증명되었습니다.

4. 평가의 함정: 점수표는 거짓말을 합니다

연구팀은 AI 가 만든 문장이 좋은지 나쁜지 평가하는 방법도 문제 삼았습니다.

• 기존 점수표 (자동 평가): 컴퓨터가 문장을 비교해서 점수를 줍니다. 하지만 이 점수표는 "영어가 얼마나 잘 맞는지"만 봅니다. 그래서 아예 영어로만 쓴 문장도 점수가 높게 나옵니다. (비유: "혼합 요리를 만들어라"고 시켰는데, "한국 음식만 만들어"라고 해서 점수를 높게 주는 꼴입니다.)
• 새로운 평가 (AI 심판): 최신 AI 를 심판으로 세웠더니 기존 점수표보다는 나았지만, 여전히 인간이 느끼는 '자연스러움'과는 거리가 있었습니다.
• 결론: 아직까지 AI 가 만든 '혼합 언어'의 자연스러움을 완벽하게 측정할 수 있는 자동 도구는 없습니다. 결국 사람이 직접 눈으로 확인하고 평가해야 합니다.

요약

이 연구는 **"AI 가 두 언어를 섞어 쓰는 법을 배우게 하려면, 거꾸로 영어로 정리한 자료를 만들어 훈련시키는 것이 핵심"**임을 보여주었습니다. 또한, **"컴퓨터 점수표만 믿지 말고, 사람의 느낌을 중요하게 여겨야 한다"**는 교훈을 남겼습니다.

이 기술이 발전하면, AI 가 다국어 사용자의 일상적인 대화나 SNS 글을 훨씬 더 자연스럽게 이해하고 생성할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

• 코드스위칭의 부재: 다국어 환경에서 두 개 이상의 언어를 섞어 사용하는 코드스위칭 현상은 일상적이지만, NLP 연구와 모델 훈련에는 주로 단언어 데이터가 사용됩니다.
• 데이터 부족: 대규모의 다양하고 자연스러운 CS 데이터셋이 부족하여 모델의 훈련과 평가가 어렵습니다.
• 모델의 한계: 최신 다국어 LLM 들조차 CS 데이터를 처리하거나 생성하는 데 있어 단언어 데이터 대비 성능이 현저히 낮습니다.
• 평가 지표의 부적합: 기존 자동 생성 텍스트 평가 지표 (BLEU, BERTScore 등) 는 CS 텍스트의 뉘앙스 (자연스러움, 언어 전환의 적절성) 를 제대로 포착하지 못하며, 인간 평가와의 상관관계가 낮습니다.

2. 방법론 (Methodology)

저자들은 단언어 텍스트를 CS 텍스트로 변환하는 작업을 위해 다음과 같은 3 단계 프레임워크를 제안합니다.

A. 병렬 데이터셋 생성 (EN-CS Corpus Creation)

기존 CS 데이터가 부족하므로, LLM 을 활용하여 의사 병렬 (Pseudo-parallel) 데이터를 생성합니다.

1. 원천 데이터: LINCE 벤치마크 (영어 - 스페인어 CS 데이터) 를 기반으로 합니다.
2. 역번역 (Back-translation): 자연스러운 CS 문장을 LLM(Command R) 을 사용하여 단언어 (영어) 로 역번역합니다.
   • 핵심 통찰: LLM 은 단언어 문장에서 CS 를 생성하는 데는 서툴지만, CS 문장을 단언어로 변환하는 데는 상대적으로 능숙합니다.
3. 데이터 정제: 역번역된 영어 문장과 원본 CS 문장을 쌍 (Pair) 으로 구성하여 EN-CS라는 새로운 병렬 코퍼스 (Train: 10,703, Dev: 791, Test: 1,040) 를 구축했습니다.
   • Test 세트는 3 명의 전문가가 수동으로 수정 (Post-editing) 하여 골드 표준 (Gold Standard) 을 확보했습니다.

B. 모델 파인튜닝 (Fine-tuning)

생성된 EN-CS 데이터를 사용하여 LLM 을 파인튜닝합니다.

• 모델: Llama3 8B (Base) 와 Llama3 Instruct 8B.
• 학습 방식: QLoRA(Quantized Low-Rank Adaptation) 를 사용하여 효율적으로 학습.
• 입력 형식:
  • Base 모델: <English Sentence> = <CS Output> 형식.
  • Instruct 모델: 시스템 프롬프트와 사용자 질문 (영어) 을 입력받아 CS 텍스트를 생성.
• 출력 제어: 모델이 문장 끝까지 생성한 후 불필요한 내용을 덧붙이는 현상을 막기 위해, 원본 문장 길이에 가장 가까운 구두점까지 출력을 자르는 (Truncation) 휴리스틱을 적용했습니다.

C. 평가 (Evaluation)

• 비교 대상: 제로샷/퓨샷 LLM (GPT-4o, Llama3.3-70B), 전용 번역 모델 (NLLB).
• 평가 영역:
  • In-domain: LINCE 기반 테스트 세트.
  • Out-of-domain: Dwyer 의 창작 단편 (비소설) 데이터로 구성된 도메인 외 데이터.
• 평가 방법:
  1. 인간 선호도 평가 (Human Preference): 토너먼트 방식으로 모델 출력과 골드 표준을 비교.
  2. 정성적 오류 분석: CS 오류, 번역 오류, 포맷 오류로 분류.
  3. 자동 평가: BLEU, BERTScore, chrF 및 GPT-4o 를 판정자 (Judge) 로 활용.

3. 주요 결과 (Key Results)

A. 인간 선호도 평가

• 파인튜닝의 효과: 파인튜닝된 Llama3 (Base) 모델이 모든 자동 생성 모델 중 인간 평가에서 가장 높은 순위를 차지했습니다.
• 비교: 퓨샷 (Few-shot) 방식의 대형 모델 (GPT-4o, Llama3.3-70B) 은 자연스러움은 좋으나 CS 가 전혀 없는 단언어 출력을 생성하는 경우가 많아 하위 순위를 기록했습니다.
• 도메인 일반화: 파인튜닝된 모델은 도메인 외 (Out-of-domain) 데이터에서도 다른 모델들보다 우수한 일반화 능력을 보였습니다.

B. 오류 분석

• CS 오류 감소: 퓨샷 모델들은 90% 이상의 오류가 'CS 가 없는 단언어 출력'이었으나, 파인튜닝된 모델들은 CS 관련 오류가 전체 오류의 15% 미만이었습니다.
• 모델별 특징:
  • Base 모델: 포맷 오류 (이모지 추가, 사용자명 삭제 등) 가 많았음.
  • Instruct 모델: 의미 관련 오류 (번역 실수) 가 상대적으로 많음 (지시어 튜닝으로 인한 언어 능력 저하 가능성).

C. 자동 평가 지표의 한계

• 전통적 지표: BLEU, BERTScore 등은 인간 평가와 상관관계가 매우 낮음 (Pearson 상관계수 최대 0.09). CS 가 없는 단언어 출력에도 높은 점수를 부여하는 경향이 있음.
• LLM 판정자 (GPT-4o): 전통적 지표보다는 인간 평가와 더 높은 상관관계 (0.35) 를 보였으나, 여전히 CS 의 자연스러움보다는 유창성 (Fluency) 에 치중하여 CS 가 없는 출력을 선호하는 경향이 있어 완벽하지는 않음.

4. 주요 기여 (Key Contributions)

1. EN-CS 데이터셋 공개: 자연스러운 CS 생성을 위한 고품질 영어 - CS 병렬 코퍼스를 구축하고 오픈소스 (CC-BY-NC-SA) 로 공개했습니다.
2. 생성 방법론 제안: 역번역을 통한 의사 병렬 데이터 생성과 이를 이용한 LLM 파인튜닝을 통해 자연스러운 CS 텍스트 생성을 가능하게 하는 프레임워크를 제시했습니다.
3. 평가 체계의 재검토: 기존 NLG 평가 지표가 CS 생성 태스크에는 부적합함을 입증하고, 인간 평가와 LLM 판정자의 한계를 명확히 지적했습니다.

5. 의의 및 결론 (Significance)

• CS 생성의 실용화: 현재 LLM 들이 CS 텍스트를 생성할 때 겪는 한계를 파인튜닝을 통해 극복할 수 있음을 증명했습니다.
• 연구 방향성 제시: CS 생성 태스크를 평가하기 위해서는 단순한 유창성이나 의미 일치도를 넘어, 언어 전환의 자연스러움을 포착할 수 있는 전문화된 평가 지표 개발이 시급함을 강조했습니다.
• 저자원 언어 확장 가능성: 이 방법론은 영어와 스페인어 외에도 다른 언어 쌍으로 확장 가능하나, 초기 CS 데이터 확보가 필요하다는 제한점이 있습니다.

결론적으로, 이 연구는 LLM 을 활용한 코드스위칭 생성의 가능성을 열었으며, 향후 CS 관련 NLP 연구와 평가 기준 마련에 중요한 기초를 제공했습니다.