Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models

기술 요약: 대형 언어 모델이 룩셈부르크어가 차용하는 것을 알고 있는가? 저자원 다국어 모델의 어휘 신조어 탐구

문제 제기
대형 언어 모델(LLM) 이 룩셈부르크어와 같은 소수 접촉 언어의 작성 보조 도구로 점점 더 많이 배포되고 있습니다. 그러나 이러한 모델이 어휘 차용과 신조어 (새로운 단어의 생성) 에 관한 커뮤니티 규범을 존중하는지는 여전히 불분명합니다. 룩셈부르크어는 독일어, 프랑스어, 영어와 밀접하게 접촉하는 지역에 존재하며, 여기서 현대적인 어휘 성장은 내생적 신조어보다는 형태론적 및 표기법적으로 적응된 차용어에 크게 의존합니다. 방대한 다국어 말뭉치로 훈련된 현재 LLM 은 합법적인 통합 차용어, 코드 스위칭, 그리고 고유 어휘를 구분하지 못해 적응된 형태를 오류로 처리하거나 원래의 기원 언어로 되돌리는 경향을 보일 수 있습니다. 본 연구는 시중에서 구할 수 있는 다국어 LLM 이 프랑스어, 독일어, 영어에서 차용된 단어와 룩셈부르크어 고유 단어를 올바르게 식별할 수 있는지, 그리고 어휘 혁신을 감지할 수 있는지 조사합니다.

방법론
저자들은 LuxBorrow(1999~2025 년 RTL 의 전문 편집 룩셈부르크어 뉴스 대규모 말뭉치) 에서 파생된 토큰 수준의 벤치마크인 LexNeo-Bench를 소개합니다. 이 벤치마크는 3,050 개의 인스턴스로 구성되며, 대상 토큰은 NATIVE(고유), FR_LOAN(프랑스어), DE_LOAN(독일어), 또는 EN_LOAN(영어) 로 레이블이 지정됩니다. 참고로 EN_LOAN은 프롬프트에서 진단용 방해 요소로 사용되지만 빈도가 낮아 평가 세트에서는 제외됩니다.

본 연구는 34 가지 구성에서 고정된 프롬프트 전용 설정으로 세 가지 지시 튜닝 다국어 LLM(Gemma 3 12B, Gemma 3 27B, Llama 3.3 70B) 을 평가합니다. 평가는 다음 두 가지 작업에 초점을 맞춥니다:

1. 차용 분류: 네 가지 분류 작업 (NATIVE, FR_LOAN, DE_LOAN, EN_LOAN).
2. 신조어 감지: 토큰이 어휘 혁신 (차용) 을 나타내는지 고유 항목을 나타내는지 결정하는 이진 작업.

매개변수 지식의 한계를 해결하기 위해 저자들은 형태론적 패턴, Lëtzebuerger Online Dictionnaire(LOD) 의 차용어 어휘, 그리고 동의어 쌍을 통합한 **언어 지식 그래프 **(LKG)를 구축합니다. 여러 프롬프팅 전략을 비교합니다:

• Zero-shot: 맥락 없이 표준 지시사항.
• Few-shot: 5 개의 수동 큐레이션 예제가 포함된 지시사항.
• KG_flat: 모든 프롬프트에 추가된 19 개의 생산적 형태론 패턴의 글로벌 목록.
• KG_graph: LKG 에서 검색된 인스턴스별 서브그래프로, 토큰별 어원, 기원 메타데이터, 유사어, 그리고 대조적 패턴을 포함합니다.

주요 기여

1. LexNeo-Bench: 역사적 뉴스 말뭉치에서 파생된 룩셈부르크어 차용 분류를 위한 최초의 토큰 수준 벤치마크로, 추출 및 평가를 위한 공개 스크립트를 포함합니다.
2. 신조어 대리 작업: LLM 의 신조어 인식을 탐구하기 위한 이진 어휘 혁신 작업의 도입으로, 이 작업이 강력한 모델에게도 여전히 어렵다는 것을 드러냈습니다.
3. 어휘 인식 프롬프팅: 구조화된 커뮤니티 큐레이션 어휘 자원 (지식 그래프를 통해) 을 주입하는 것이 저자원 접촉 환경에서 LLM 성능을 크게 향상시킨다는 것을 입증하여, 어휘 자원을 LLM 워크플로우에 통합할 구체적인 경로를 제시했습니다.

결과

• 기선 성능: 외부 맥락 없이 LLM 은 차용 분류에서 우연 수준보다 약간 높은 성능 (정확도 24.5% – 34.7%) 만 보였으며, 이는 룩셈부르크어의 적응된 차용어를 구분하는 데 매개변수 지식만으로는 불충분함을 나타냅니다.
• 지식 그래프의 영향: KG_graph프롬프팅 전략은 성능을 획기적으로 향상시켜 정확도를 **71.3% – 81.0%**까지 높였습니다. 이 개선은 글로벌 패턴 목록의 단순한 존재가 아니라 인스턴스별 검색에 기인합니다 (KG_flat 은 비-KG 기선과 유사하게 수행됨).
• 모델 규모와 편향: 예상과 달리 가장 작은 모델 (Gemma 3 12B) 이 KG_graph 하에서 가장 높은 정확도 (81.0%) 를 달성하여 27B 및 70B 모델을 능가했습니다. 더 큰 모델은 독일어 차용 (DE_LOAN) 을 과다 예측하는 편향을 보였으며, 그래프 증거가 불완전할 때 고유 단어를 식별하는 데 어려움을 겪어, 문맥적 증거와 충돌하는 기원 언어에 대한 더 강한 내부 사전 지식을 시사합니다.
• 기원 편향: 모델은 독일어 기원을 체계적으로 편향하여 프랑스어 차용어를 독일어로 오분류하는 비율이 그 역방향보다 4.6 배 높았습니다. 또한 Zero-shot 설정에서 고유 토큰에 대해 EN_LOAN을 자주 예측했는데, 이는 KG_graph 프롬프팅에 의해 억제되었습니다.
• 신조어 감지: 차용 분류와 달리 신조어 감지 작업은 KG_graph 프롬프팅의 혜택을 받지 못했으며, 오히려 성능이 저하되었습니다. Few-shot 프롬프팅이 이 작업에 가장 효과적인 전략으로 남았습니다. 저자들은 이를 LKG 가 신조어를 정의하는 데 필요한 연대기적 신호 (최근성, 최초 증명) 가 아니라 구조적 기원 정보 (기원, 형태론) 를 인코딩하기 때문이라고 설명합니다.
• 이진 대 다중 클래스: 고유 단어를 어떤 차용어와 구분하는 것은 (12B 모델의 경우 정확도 85.5%) 특정 기원 언어를 구분하는 것보다 쉬웠으며, 이는 밀접한 접촉 지역에서 프랑스어 차용어와 독일어 차용어를 분리하는 것이 주요 어려움임을 나타냅니다.

의의 및 주장
본 논문은 저자원 접촉 언어의 경우 어휘 인식 프롬프팅이 견고한 차용 판단에 필수적이라고 주장합니다. 이 연구는 구조화된 언어적 맥락이 희소한 사전 훈련 데이터를 부분적으로 보완할 수 있음을 보여주어, 인스턴스별 증거가 제공될 때 더 작은 모델조차 더 큰 모델을 능가할 수 있음을 입증했습니다. 그러나 저자들은 겸손하게도 구조적 맥락이 단어의 어디에서 왔는지를 식별하는 데 도움이 되지만, 단어가 언어에 언제 들어왔는지에 관한 연대기적 질문을 해결하지는 못하므로 명시적 시간 신호 없이는 신조어 감지의 유용성이 제한된다고 덧붙였습니다.

이 연구는 차용을 어휘 혁신의 한 형태로 간주하고 다국어 LLM 이 이러한 형태를 분석하는 방식을 평가하는 프레임워크를 제공함으로써 ENEOLI COST Action 에 기여합니다. 저자들은 이러한 자원이 접촉 현상을 연구하고 모델을 스트레스 테스트하기 위한 기술적 도구이지, "올바른" 언어 사용에 대한 규범적 기준이 아님을 강조합니다. 한계점으로는 단일 뉴스 소스에 대한 의존성 (비공식적 어휘의 과소 대표) 과 자동 주석 파이프라인의 사용이 포함됩니다. 향후 연구는 벤치마크를 다른 장르로 확장하고 명시적 연대기적 신호를 통합하는 것을 제안합니다.