Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs

이 논문은 IASC(Interactive Agentic System for ConLangs) 라는 시스템을 소개하며, 대규모 언어 모델 (LLM) 을 사용하여 인공 언어 (Constructed Languages, ConLang) 를 생성하는 과정을 자동화하고, 이를 통해 LLM 의 메타언어적 문법 지식 (metalinguistic grammatical knowledge) 을 탐구하는 연구입니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

• 인공 언어 생성의 복잡성: ConLang 은 자연어와 유사한 표현력을 가지도록 설계되지만, 음운론, 형태론, 통사론, 어휘, 표기법 등 여러 하위 구성 요소를 일관성 있게 통합해야 하는 복잡한 작업입니다.
• LLM 의 메타언어적 능력에 대한 의문: 기존 연구들은 LLM 이 특정 언어의 사실적 지식을 얼마나 가지고 있는지, 혹은 번역 능력이 어떤지에 초점을 맞추었습니다. 그러나 LLM 이 추상적인 언어 개념 (예: 어순, 격 표지, 접사 규칙 등) 을 이해하고 이를 새로운 문법 규칙에 적용하여 언어를 변형할 수 있는지에 대한 체계적인 평가는 부족했습니다.
• 목표: LLM 을 ConLang 생성 도구로 활용하는 동시에, 이를 '벤치마크'로 사용하여 LLM 이 언어의 구조적 규칙을 얼마나 잘 이해하고 조작할 수 있는지 평가하는 것입니다.

2. 방법론 (Methodology)

2.1 IASC 시스템 아키텍처

IASC 는 모듈형 에이전트 시스템으로, 다음과 같은 단계로 구성됩니다.

1. 음운론 (Phonology): 목표 언어의 음소 집합과 음절 구조를 정의하는 Python 코드를 생성합니다.
2. 형태통사론 (Morphosyntax): 이 연구의 핵심 모듈입니다. 소스 문장 (영어) 을 주어진 문법 사양 (어순, 격 체계, 시제 등) 에 따라 변형하여 인터라인 글로스 (interlinear gloss) 형태로 출력합니다.
3. 어휘 생성 (Lexicon): 생성된 형태소 (morphemes) 에 실제 단어를 매핑합니다.
4. 표기법 (Orthography): IPA(국제음성기호) 를 실제 문자 체계 (예: 라틴 문자, 키릴 문자) 로 변환하는 규칙을 생성합니다.
5. 문법 핸드북 작성: 생성된 언어의 문법 설명서를 작성합니다.

• 에이전트적 접근 (Agentic Approach): 각 모듈은 이전 단계의 출력물을 검토하고 피드백을 받아 결과를 수정하는 반복적 (iterative) 과정을 거칩니다. 예를 들어, 음운 규칙 생성 시 LLM 이 생성한 코드의 오류를 감지하고 수정하도록 유도합니다.

2.2 실험 설계 (Morphosyntax Evaluation)

• 데이터셋: 45 개의 소스 문장과 9 가지의 서로 다른 언어 유형 (Arabic, Fijian, French, Hixkaryana, Mizo, Turkish, Vietnamese, Welsh 기반 및 'Hard' 유형) 을 조합하여 총 405 개의 테스트 문장을 구성했습니다.
  • 'Hard' 유형: 매우 드문 어순 (OSV), 전치 접사 (prefixation), 복잡한 격 체계 등을 혼합한 난이도 높은 언어 사양입니다.
• 평가 지표:
  • TER (Translation Edit Rate): 번역의 정확도.
  • SER (Stem Edit Rate): 어순 (통사) 만을 기준으로 한 오류율.
  • MFER (Morphological Feature Error Rate): 형태소 (접사 등) 의 정확도.
  • MSER (Morphosyntactic Error Rate): SER 와 MFER 의 가중 평균.
  • Lem F1: 어원 (lemma) 추출 정확도.
• 모델: GPT-4o-mini, GPT-5-mini, GPT-5, Gemini 2.5 Flash/Pro, Claude 3.5 Sonnet 등 6 가지 최신 LLM 을 비교 평가했습니다.
• 기법: Few-shot In-Context Learning (ICL) 을 적용하여 문법 규칙과 예시 문장을 제공했을 때의 성능 변화를 측정했습니다.

3. 주요 결과 (Results)

3.1 언어 모델의 성능 차이

• 모델 크기와 성능: 대규모 모델 (Gemini 2.5 Pro, GPT-5, Claude 3.5 Sonnet) 은 문법 규칙을 잘 따르는 반면, 소형 모델 (GPT-4o-mini 등) 은 규칙을 무시하거나 문법적 변형을 제대로 수행하지 못했습니다.
• Few-shot ICL 의 효과: 예시 문장을 포함한 프롬프트 (ICL) 를 제공하면 대부분의 모델에서 성능이 크게 향상되었습니다. 특히 Gemini 2.5 Pro가 ICL 조건에서 가장 우수한 성능을 보였습니다.

3.2 언어 유형별 난이도 (Typological Bias)

• 자주 나타나는 유형 (Common Typology): SVO, VSO, VOS 등 언어학적으로 흔한 어순 (예: French, Welsh, Arabic) 을 가진 언어에서는 LLM 이 매우 높은 정확도를 보였습니다.
• 드문 유형 (Rare Typology): OSV 어순 (Mizo, Hixkaryana) 이나 복잡한 격 체계 (Ergative-Absolutive) 를 가진 언어에서는 성능이 급격히 떨어졌습니다. 특히 'Hard' 언어에서는 모든 모델이 심각한 오류를 보였습니다.
• 분석어 vs 종합어: LLM 은 형태 변화 (접사 등) 가 풍부한 종합어 (Synthetic languages) 보다, 어순과 기능어로 문법을 표현하는 분석어 (Analytic languages, 예: 베트남어) 에서 어원 추출 (Lemmatization) 작업에서 더 많은 실수를 범했습니다.

3.3 구체적인 사례

• Hard 언어 테스트: 'Hard' 언어 (OSV 어순 + 전치 접사 + Ergative-Absolutive) 에서 Gemini 2.5 Pro 는 문법 규칙을 거의 완벽하게 따르는 반면, GPT-4o-mini 는 형태소 표기를 전혀 하지 않고 단순히 단어를 재배열하는 수준에 그쳤습니다.

4. 주요 기여 (Key Contributions)

1. IASC 시스템 개발: 사용자가 매개변수를 지정하여 LLM 을 통해 일관성 있는 ConLang 을 생성할 수 있는 모듈형 에이전트 시스템을 최초로 제안했습니다.
2. 메타언어적 지식 평가 프레임워크: ConLang 생성을 LLM 의 언어 이해도 (특히 문법 규칙 추론 능력) 를 측정하는 새로운 벤치마크로 활용했습니다.
3. 유형론적 편향 발견: LLM 이 훈련 데이터에 자주 등장하는 언어 유형 (SVO, VSO 등) 에는 강하지만, 드문 언어 유형이나 복잡한 형태론적 규칙에는 약하다는 것을 실증적으로 증명했습니다.
4. 오픈 소스: 모든 코드와 데이터셋을 공개하여 후속 연구를 장려했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의

• LLM 의 언어 능력 재정의: LLM 이 단순히 언어의 통계적 패턴을 기억하는 것을 넘어, 추상적인 문법 규칙을 이해하고 적용할 수 있는 '메타언어적 능력'을 일부 가지고 있음을 시사합니다.
• 저자원 언어 번역 적용 가능성: 생성된 ConLang 의 문법 규칙을 저자원 언어 (Low-resource languages) 의 문법 구조에 매핑하여 번역 성능을 향상시키는 가능성 (예: 아인어 번역 실험) 을 제시했습니다. (현재는 완벽한 성과는 아니지만 방향성을 제시함)

한계

• 영어 의존성: 생성된 ConLang 이 소스 언어인 영어의 문법적 잔재 (예: do-support, 수동태 구조) 를 그대로 반영하는 경우가 많습니다.
• 형태론의 제한: 현재 접사 (Prefix/Suffix) 위주의 교착어 (Agglutinative) 전략에 치중되어 있으며, 융합어 (Fusional) 나 복잡한 문맥 의존적 규칙 처리에는 한계가 있습니다.
• 평가 데이터의 범위: 평가 데이터셋이 45 문장으로 제한되어 있어 다양한 언어 현상을 포괄하기에는 부족할 수 있습니다.

결론

이 논문은 LLM 이 인공 언어를 생성하는 과정을 통해 LLM 의 문법적 추론 능력을 정량적으로 평가할 수 있음을 보여주었습니다. 연구 결과는 LLM 이 흔한 언어 패턴에는 강하지만, 훈련 데이터에서 드문 복잡한 문법 규칙 (특히 드문 어순이나 복잡한 형태론) 에 대해서는 여전히 취약함을 명확히 드러냈습니다. 이는 향후 LLM 의 언어 이해 능력을 향상시키기 위해 더 다양한 언어 유형론적 데이터와 추론 전략이 필요함을 시사합니다.