How Useful are LLMs for Grammar Engineering? Cantonese ParGram Resources and Controlled Experimental Evaluation with English Baselines

기술 요약: 광둥어 ParGram 자원 및 영어 베이스라인을 활용한 통제된 실험적 평가

문제 제기
문법 공학(Grammar engineering)—언어 분석 및 NLP 애플리케ชัน을 위한 형식 문법의 설계 및 계산적 구현—은 언어적 형식주의와 계산적 구현에 대한 깊은 전문 지식을 요구하는 노동 집약적인 과정으로 남아 있다. 대규모 언어 모델(LLM)이 언어 구조를 생성하는 데 잠재력을 보여주었으나, 기존의 기호적 파이프라인(특히 Xerox Linguistic Environment, 즉 XLE로 구현된 Lexical-Functional Grammar) 내에서 언어적으로 적절하고, 형식적으로 정확하며, 계산적으로 사용 가능한 문법을 생성하는 데 있어 이들의 유용성은 여전히 불분명하다. 이전 연구들은 번역 성능이나 기능 구조(f-structures)에 대한 제한적인 평가에 집중했을 뿐, 생성된 문법의 형식적 정합성이나 파스(parse) 수준의 품질을 평가하지는 않았다. 본 논문은 현재의 LLM이 특히 광둥어와 같은 자원이 부족한 언어에 대해 어떻게 기계 처리 가능한 XLE 문법을 생성하는지, 그리고 상호작백하는 형식적 제약(formal constraints)의 조율을 어떻게 처리하는지에 대한 이해의 공백을 다룬다.

연구 방법론
본 연구는 두 가지 OpenAI 모델인 오픈 웨이트 모델 gpt-oss-120b와 독점 프런티어 모델 GPT-5.4를 평가하기 위해 통제된 실험 패러다임을 채택한다. 평가는 새롭게 개발된 광둥어 ParGram 자원을 골드 스탠다드로 사용하며, 비교를 위해 그에 상응하는 영어 ParGram 베이스라인을 사용한다.

실험은 다음 두 가지 차원에 따라 변형된다:

1. 정보의 출처: 모델이 원문 문장을 프롬프트로 받는지, 아니면 골드 스탠더드 트리뱅크에서 유도된 타겟 기능 구조(f-structures)를 받는지 여부.
2. 생성의 범위:
   • 실험 1 (단일 구문): 단일 문장/구문을 위한 XLE 문법 생성.
   • 실험 2 (다중 구문): 다양한 복잡도(기초, 중급, 고급)를 가진 문장 세트를 동시에 파싱할 수 있는 일반화된 문법 생성.

평가 지표:

• 규칙별 정확도 (AR): 생성된 문법 내의 규칙 중 LFG 형식주의 및 XLE 표기법을 준수하는 규칙의 백분율.
• 품질 등급 (QR): 생성된 문법이 타겟 문장들을 파싱할 때 생성되는 f-structure의 구조적 타당성과 언어적 적절성을 평가하는 4단계 서열 척도 (Excellent, Good, Fair, Bad).

주요 기여

1. 새로운 자원: 본 논문은 수작업으로 제작된 XLE 문법과 ParGram 테스트 스위트의 첫 50개 문장을 다루는 자동 생성 트리뱅크를 포함한 새로운 광둥어 ParGram 자원을 제시한다. 이 자원들은 제어 구문(control constructions), 목적어 전치(marker zoeng 사용), 피동 구문(bei 사용)과 같은 복잡한 현상을 포착하며, 향후 평가를 위한 골드 스탠더드 역할을 한다.
2. 통제된 평가 프레임워크: 문법 공학에서 변수(모델 유형, 프롬프트 출처, 구문 범위)를 격리하여, 엔드투엔드 효율성 지표를 넘어 규칙 수준의 형식적 정확성과 파스 수준의 구조적 품질에 집중하는 엄격하고 통제된 실험 설정을 구축한다.
3. 오류 특성화: LLM 생성 문법, 특히 구절 구조 규칙(phrase-structure rules), 어휘 항목(lexical entries), 템플릿(templates) 및 기능적 제약(functional constraints) 간의 상호 작용을 조율하는 데 발생하는 구체적인 실패 모드를 식별하는 상세한 오류 분석을 제공한다.

결과

• 모델 성능: GPT-5.4는 두 실험 모두에서 AR과 QR 측면 모두에서 gpt-oss-120b보다 일관되게 우수한 성능을 보였다. 실험 1에서 GPT-5.4는 f-structure가 제공되었을 때 90%의 AR과 2.88(Good/Excellent 범위)의 QR을 달기한 반면, gpt-oss-120b는 75%의 AR과 2.02의 QR을 기록했다.
• 프롬프트 출처의 영향: 프롬프트에 타겟 f-structure를 포함하는 것은 문장만을 제공하는 것보다 성능을 크게 향상시켰다. 이는 두 모델 모두에서 나타났으며, 영어 베이스라인 조건에서도 관찰되었으므로 이 이점이 특정 언어에 국한되지 않음을 시사한다.
• 복잡도 및 일반화: 실험 2(다중 구문 설정)에서 성능이 저하되었다. GPT-5.4는 다중 f-structure 조건에서 2.50의 QR을 유지한 반면, gpt-oss-120b는 다중 문장 조건에서 출력의 90%가 "Bad"로 평가될 만큼 크게 고전했다.
• 오류 패턴: 두 모델 모두 국소적으로 타당한 구절 구조 규칙과 어휘 항목을 생성할 수 있었으나, 상호 작용하는 형식적 제약을 조율하는 데는 자주 실패했다. 흔한 오류로는 하위 범주화 프레임(subcategorization frames)의 누락 또는 오류, 기능적 주석(functional annotations) 누락, 그리고 필수적인 구조 공유 방정식(예: 제어 및 피동 구문에서의 방정식) 구현 실패 등이 있었다. 모델들은 종종 형식적으로는 올바르지만 필요한 분석에는 부적절한 규칙을 생성하거나, 어휘 규칙(lexical rules)을 통해 교체(alternations, 예: 목적어 전치)를 포착하는 데 실패했다.

의의 및 주장
본 논문은 현재의 LLM이 특정 능력을 갖추고 있으나, 지식 기반 문법 공학에 적용될 때 뚜렷한 한계에 직면한다는 점을 주장한다:

• 보조적 역할, 대체 불가: LLM은 예비 f-structure나 후보 문법 구성 요소를 생성하는 것과 같은 문법 개발의 중간 단계에서 도움을 줄 수 있다. 그러나 아직 인간의 언어적 전문 지식을 대체할 수는 없다.
• Human-in-the-Loop 워크플로우: 본 연구 결과는 LLM이 초기 분석(예: 문장에서 f-structure 추출)을 생성하고, 이를 인간 전문가가 검증 및 정교화하는 실행 가능한 워크플로우를 시사한다. 이렇게 수정된 구조는 더 견고한 문법을 생성하도록 프롬프트를 제공하는 데 사용될 수 있다.
• 조율의 한로: 주요 한계점은 광범위한 커버리지를 가진 다중 구문 문법에 필요한 여러 문법 구성 요소(규칙, 템플릿, 제약) 간의 복잡한 상호 작용을 효과적으로 조율하는 능력이다.
• 제한된 범위: 저자는 본 실험이 성숙한 광범위 커버리지 문법(예: 영어 또는 독일어 ParGram)의 전체 복잡성을 재현하는 것이 아니라, 변수를 격리하고 역량을 특성화하는 것임을 명시적으로 밝힌다. 본 연구는 LLM이 상당한 인간의 개입 없이 자원이 부족한 언어를 위한 생산 가능한 문법을 현재 자율적으로 개발할 수 있다고 주장하지 않는다.

결론적으로, 본 연구는 LLM을 자율적인 에이전트라기보다는 전문 문법 엔지니어를 지원하는 잠재적 도구로 규정하며, 분석, 검증 및 형식적 제약의 정교화에 있어 인간의 전문 지식이 여전히 핵심적임을 강조한다.