LuxInstruct: A Cross-Lingual Instruction Tuning Dataset For Luxembourgish

기술 요약: LUXINSTRUCT

문제 정의

지시어 튜닝(Instruction tuning)은 대규모 언어 모델(LLM)을 인간의 의도에 정렬시키는 데 필수적임이 입증되었으나, 이 기술은 저자원 언어에서 상당한 장벽에 부딪히고 있다. 약 400,000명의 화자를 보유한 서게르만어파 언어인 룩셈부르크어의 경우, 고품질의 지시 수행 데이터셋의 부족이 주요 병목 현상이다. 이러한 희소성을 극복하기 위한 전통적인 방식은 기존의 영어 기반 지시 데이터셋을 기계 번역(MT)하는 것에 크게 의존한다. 그러나 저자들은 기계 번역이 의미론적 불일치, 문화적 부정확성, 부자연스러운 문구 표현을 유발하여 모델의 성능을 저하시킬 수 있다고 주장한다. 또한, 고유의 지시 데이터셋을 수동으로 제작하는 것은 전문 지식을 갖춘 원어민이 필요하여 노동 집약적이고 비용이 많이 든다. 결과적으로, 룩셈부르크어를 위한 효과적인 LLM 개발을 제한하는, 문화적으로 뿌리를 둔 견고한 지시 데이터가 부족한 실정이다.

방법론

이러한 과제를 해결하기 위해, 저자들은 룩셈부르크어를 위한 교차 언어 지시 튜닝 데이터셋인 LUXINSTRUCT를 소개한다. 핵심 혁신은 룩셈부르크어 텍스트를 기계 번역으로 생성하는 것을 피하는 구축 전략이다. 대신, 이 데이터셋은 고자원 언어(영어, 프랑스어, 독일어)로부터 정렬된 데이터를 활용하여, 지시어는 소스 언어로 되어 있고 출력값은 룩셈부르크어로 되어 있는 지시-출력 쌍을 생성한다.

데이터셋은 세 가지 주요 인간 큐레이션 소스로부터 구축되었다:

1. 위키피디아(Wikipedia): 역방향 지시 생성(reverse instruction generation) 접근 방식을 사용하여, 저자들은 gpt-4.1-mini에게 룩셈부르크어 위키피디아 문서에서 일관된 발췌문을 추출하고 그에 상응하는 영어 지시어를 생성하도록 유도했다. 이 방식은 소스 텍스트를 영어로 먼저 번역할 필요가 없어 원본 룩셈부르크어 콘텐츠를 보존한다. 생성된 쌍은 휴리스틱(길이, 언어 일관성, 추출 유효성)을 통해 필터링되었다. 이후 일부 지시어는 독일어와 프랑스어로 번역되었다.
2. 뉴스 기사: 룩셈부르크어, 프랑스어, 영어로 병렬 콘텐츠를 발행하는 RTL Luxembourg를 활용하여, 저자들은 임베딩 모델(text-3-small)을 사용하여 의미적으로 유사한 이중 언어 기사 쌍을 검색했다. 이를 통해 외국어 기사로부터 룩셈부르크어 헤드라인을 생성하는 작업(Article-To-Title)과 외국어 헤드라인으로부터 가상의 기사를 생성하는 작업(Title-To-Article) 등의 태스크를 만들었다. 또한, LUXALIGN 코퍼스에서 파생된 교차 언어 패러프레이징(CL-Paraphrase) 태스크도 도출되었다.
3. 온라인 사전: 공공 룩셈부르크어 사전에서 번역과 예문이 포함된 어휘 항목을 제공받았다. 이 소스는 특정 단어에 대한 예문을 생성하는 작업(Word-To-Example), 구어체 문장을 표준어로 단순화하는 작업(Colloquial-To-Standard), 단어 번역(Word-Translation) 등의 태스크를 지원했다.

최종 데이터셋은 391,551개의 교차 언어 샘플(영어, 프랑스어 또는 독일어 지시어; 룩셈부르크어 출력)과 145,793개의 단일 언어 룩셈부르크어 샘플로 구성된다.

주요 기여

• LUXINSTRUCT 데이터셋: 7가지 태스크 유형에 걸쳐 약 540,000개의 샘플을 포함하는, 룩셈부르크어에 특화된 최초의 교차 언어 지시 튜닝 데이터셋이다.
• 교차 언어 구축 전략: 기계 번역된 룩셈부르크어 텍스트의 함정을 피하기 위해, 영어, 프랑스어, 독일어와 정렬된 룩셈부르크어 출력을 생성하는 방법론을 제시한다.
• 실증적 검증: 저자들은 교차 언어 지시 튜닝이 언어 간의 표현 정렬과 룩셈부르크어의 생성 능력을 모두 향상시킨다는 증거를 제공한다.

결과

저자들은 LUXINSTRUCT의 효용성을 평가하기 위해 두 가지 주요 실험을 수행했다:

1. 교차 언어 정렬: FLORES-200 데이터를 사용한 중심 커널 정렬(Centered Kernel Alignment, CKA) 점수를 통해, 미세 조정 후 룩셈부르크어 임베딩 공간과 영어, 프랑스어, 독일어 간의 정렬을 측정했다. 결과는 교차 언어 튜닝(예: 영어 지시 $\to$ 룩셈부르크어 출력)이 단일 언어 튜닝(룩셈부르크어 지시 $\to$ 룩셈부르크어 출력)만큼 효과적이거나 때로는 더 효과적임을 나타냈다. 특히, 룩셈부르크어를 영어 또는 프랑스어와 결합했을 때 독일어와 결합했을 때보다 더 높은 정렬 이득을 얻었는데, 이는 이 맥락에서 거리가 먼 언어가 밀접한 관계의 언어보다 더 나은 정렬 이점을 제공할 수 있음을 시사한다.

2. 퓨샷 인컨텍스트 학습(Few-Shot In-Context Learning): 저자들은 Gemma 3 (12B 및 27B) 모델을 사용하여 지시 수행 성능을 평가했다. 이들은 퓨샷 예시가 룩셈부르크어, 영어, 프랑스어, 독일어 또는 혼합 언어 설정을 사용하는 경우를 비교했다. 성능은 G-Eval(LLM 판사 사용)을 통해 명확성(Clarity), 일관성(Coherence), 유창성(Fluency), 관련성(Relevance)의 네 가지 차원에서 평가되었다. 결과에 따르면 교차 언어 퓨샷 예시가 단일 언어 룩셈부르크어 예시보다 일관되게 우수한 성능을 보였으며, 영어와 프랑스어 지시 언어가 종종 가장 높은 점수를 기록했다.

의의

본 논문은 LUXINSTRUCT가 룩셈부르크어 NLP 자원 개발의 중요한 진전이라고 주장한다. 인간이 생성한 시드 데이터를 우선시하고 교차 언어 설계를 채택함으로써, 이 데이터셋은 자연스럽고 신뢰할 수 있는 타겟을 보장하며 LLM 내에 문화적으로 뿌리 깊은 언어 이해를 심어준다. 저자들은 이 접근 방식이 대규모 기계 번역과 관련된 일반적인 노이즈와 오역을 피하며, 견고한 LLM을 개발하기 위한 실행 가능한 경로를 제공한다고 주장한다. 이 연구는 교차 언어 데이터 큐레이션이 합성 번역 아티팩트에 의존하지 않고도 언어 발전에 직접적으로 기여할 수 있음을 시사하며, 향러의 발전을 위한 토대를 제공한다.