기술 요약: AfriSUD – 아프리카 언어 모델 평가를 위한 의존 구 구조 트리뱅크 컬렉션

1. 문제 정의

아프리카 언어는 전 세계 언어 다양성의 거의 3분의 1을 차지함에도 불구하고, 자연어 처리(NLP) 연구 및 자원 측면에서 현저히 과소 대표되어 있습니다. 기계 번역 및 정보 추출과 같은 기초적인 작업은 의존 구 파싱(dependency parsing)에 크게 의존하지만, 대부분의 아프리카 언어에는 구문 모델을 개발하고 평가하는 데 필요한 골드 스탠다드(gold-standard) 트리뱅크가 부족합니다. Universal Dependencies(UD)와 같은 기존의 대규모 노력은 186개의 문서화된 언어 중 15개 미만의 아프리카 언어만을 다루고 있습니다. 이러한 결핍은 문법 인지 도구 구축, 교차 언어 전이(cross-lingual transfer), 그리고 저자원 환경에서의 최첨단 다국어 모델 평가를 가로막는 장벽이 됩니다. 또한, 많은 아프리카 언어는 교착(agglutination), 광범위한 명사 부류 체계, 성조 구별과 같은 복잡한 형태론적 및 음운론적 특징을 지니고 있어, 표준 NLP 파이프라인과 기존의 주석 처리된 코퍼스에 의해 제대로 지원되지 못하고 있습니다.

2. 방법론

데이터셋 구축: AfriSUD

저자들은 9개의 다양한 아프리카 언어를 대상으로 한 최초의 대규모 커뮤니티 주도형 구 구조 주석 트리뱅크 컬렉션인 AfriSUD를 소개합니다. 이 데이터셋은 서아프어, 동아프어, 남부 아프리카를 아우르며 세 가지 주요 어족을 포함합니다:

• 니제르-콩고(Niger-Congo): 스와힐리어, 키냐르완다어, 루냔코레어, 이시코사어(반투 하위 그룹); 월로프어(세감비아); 요루바어 및 에픽어(볼타-니제르 및 크로스 리버).
• 아프로-아시아(Afro-Asiatic): 하우사어(차드 분파).
• 크리올(Creole): 나이지리아 피진(Naija, 영어 기반).

코퍼스는 뉴스, 교육용 입문서, 번역된 텍스트에서 추출된 언어당 약 8,000개에서 1,500개의 문장을 포함합니다. 언어들은 교착어(예: 반투 계열 언어)에서 고립어(예: 요루바어, 나이지리아 피진), 융합어(예: 하우사어)에 이르기까지 유형론적으로 다양합니다.

주석 프레임워크:
트리뱅크는 표층-구조 Universal Dependencies (SUD) 프레임워크를 사용하여 주석이 달렸습니다. SUD는 언어 간 일관성을 유지하면서 형태론적 및 구문적 관계를 높은 충실도로 표현할 수 있는 능력과 UD로의 변환 호환성 때문에 선택되었습니다.

• 파이프라인: 과정에는 표제어 추출(lemmatization), 범용 품사(UPOS) 태깅, 의존 헤드 주석, 의존 관계 레이블링이 포함됩니다.
• 도구: 주석 작업은 Arborator-Grew를 사용하여 수행되었습니다. 초기 사전 주석은 BertForDeprel 기반의 파서 인터페이스를 통해 생성된 후 수동 교정 과정을 거쳤습니다.
• 품질 관리: 각 언어는 세 명의 원어민 언어학자(코디네이터 1명, 주석가 2명)에 의해 주석이 달렸습니다. 합의 기반의 조정 절차를 통해 불일치 사항을 해결했습니다. 자동 검증 체크를 통해 구조적 무결성(예: 사이클 없음, 단일 루트 존재)을 확인했습니다.

주석 관련 과제:
본 논문은 이러한 언어들에 SUD를 적용할 때 발생하는 구체적인 과제들을 상세히 설명합니다:

• 형태론적 결합(Morphological Binding): 형태론적 분해(어근과 접사의 분절)와 단일 토큰 보존 사이의 결정이 이루어졌습니다. 예를 들어, 에픽어와 요루바어 토큰은 분절되었으나, 이시코사어와 하우사어는 SUD의 표층 지향적 접근 방식에 맞추어 어휘적 완전성을 유지했습니다.
• 모호성: 어휘적 및 구문적 모호성(예: 요루바어의 다기능 형태소)을 해결하기 위해 맥락 중심의 분석과 팀 컨벤션에 의존했습니다.
• 언어 특화 관계: 연속 동사 구문(serial verb constructions), 시제-상-법(TAM) 조동사, 소유격 표식과 같은 현상을 위해 SUD 관계를 적용하는 과정에서, 언어적 실체를 반영하기 위해 표준 가이드라인에서 약간 벗어나는 신중한 적응이 필요했습니다.

실험 설정

저자들은 AfriS much AFRISUD를 사용하여 다양한 모델을 품사(POS) 태깅 및 의존 구 파싱에 대해 평가했습니다:

1. 베이스라인: fastText 임베딩으로 초기화된 신경망 의존 구 파서인 Stanza.
2. 다국어 인코더: 일반 모델(mBERT, XLM-RoBERTa) 및 아프리카 중심 모델(AfriBERTa, AfroXLMR, AfroXLMR-large-76L)을 사용하여 엔드 투 엔드 바이아핀(biaffine) 파서를 미세 조정했습니다.
3. 대규모 언어 모델(LLMs): Gemini-3.1-Pro, GPT-5.2, GPT-4o, Gemma-3 (12B/27B)에 대한 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅 실험을 수행했습니다. Gemma-3-12B를 위한 지도 미세 조정(SFT) 베이스라인도 구축되었습니다.
4. 교차 언어 전이: 7개의 소스 언어(영어, 프랑스어 및 월로프어, 나이지리아 피진과 같은 아프리카 언어 포함)로부터 9개의 타겟 언어로의 제로샷 전이를 평가했습니다.

3. 주요 결과

베이스라인 성능

• 품사(POS) 태깅: 트랜스포머 기반 인코더가 일반적으로 Stanza보다 우수한 성능을 보였습니다. 아프리카 중심 모델인 AfroXLMR-large-76L이 90.6%의 최고 매크로 평균 정확도를 기록하여 Stanza의 88.4%를 앞질렀습니다.
• 의존 구 파싱: Stanza는 평균 미라벨 부착 점수(UAS: 84.4)와 라벨 부착 점수(LAS: 77.5)에서 가장 높은 수치를 기록하며 의존 구 파싱을 위한 가장 강력한 베이스라인임을 입증했습니다. 트랜스포머 중에서는 아프리카 중심 인코더(AfroXLMR-large-76L)가 일반 다국어 모델보다 뛰어난 성능을 보이며 83.1 UAS 및 73.9 LAS에 도달했습니다.
• UAS vs. LAS 격차: 모든 모델에서 LAS가 UAS보다 일관되게 낮게 나타났으며, 이는 모델들이 의존 헤드는 잘 식별하더라도 올바른 구문 관계 레이블을 할당하는 것은 훨씬 더 어렵다는 것을 시사합니다.

LLM 성능

• 프롬프팅: 인컨텍스트 데몬스트레이션(퓨샷 프롬프팅)은 모든 LLM과 지표에서 일관된 성능 향상을 보였으며, 특히 LAS에서 가장 큰 이득이 관찰되었습니다. 예를 들어, GPT-5.2의 LAS는 0-shot(16.5)에서 5-shot(52.5)으로 개선되었습니다.
• 비교: 개선에도 불구하고, LLM(5-shot 프롬프팅 포함)은 일반적으로 Stanza와 같은 지도 학습 파서보다 낮은 성능을 보였습니다. Gemini-3.1-Pro가 LLM 중 가장 좋은 성능(5-shot LAS: 59.2)을 보였으나, 여전히 Stata(LAS: 77.5)에는 미치지 못했습니다.
• SFT vs. 프롬프팅: Gemma-3-12B의 지도 미세 조정(SFT)은 퓨샷 프롬프팅보다 유의미하게 우수한 성능을 보였으며, 가장 성능이 좋은 프롬프팅 모델(Gemini-3.1-Pro)과의 격차를 단 1.2 LAS 포인트로 줄였습니다.

교차 언어 전이

AfroXLMR-large-76L을 사용한 제로샷 전이 결과, 전이 성능은 소스-타겟 쌍에 따라 크게 달라짐을 보여주었습니다. 기존 트리뱅크(pcm+nsc)가 추가된 **나이지리아 피진(pcm)**이 전반적으로 가장 좋은 전이 결과를 냈습니다. 비아프리카계 소스 중에서는 루마니아어가 가장 좋은 성능을 보였습니다. 스와힐리어와 같은 타겟 언어는 파싱이 쉬웠던 반면, 에픽어와 이시코사어는 여전히 까다로운 것으로 나타났습니다.

오류 분석

LLM(특히 Gemini-3.1-Pro)의 오류 분석을 통해 "구문 격차(syntax gap)"가 드러났습니다:

• 헤드 vs. 레이블 불일치: 모델은 의존 헤드를 예측하는 것보다 관계 레이블을 예측하는 데 더 어려움을 겪었습니다. 예를 들어, 연속 동사 구문(comp:svc)에서 모델은 46%의 UAS를 달성했으나 LAS는 0%를 기록했습니다.
• 특정 실패 사례: 오류는 다음 영역에 집중되었습니다:
  • 연속 동사 구문: 종종 일반적인 mod 또는 comp:obj 관계로 단순화되었습니다.
  • TAM 조동사: 나이지리아 피진의 다중 토큰 체인(예: multi-token chains)이 계층적 의존 구조로 모델링되지 않고 평탄화되었습니다.
  • 소유격: 빈번하게 mod 또는 comp:obj로 잘못 레이블링되었습니다.
  • 미지정 관계 (udep): 모델은 모호한 맥락에서 논항(argument)과 수식어(modifier)를 구분하는 데 어려움을 겪었습니다.

4. 기여 및 의의

본 논문은 다음과 같은 주요 기여를 합니다:

1. 자원 생성: 9개의 유형론적으로 다양한 아프리카 언어를 위한 최초의 대규모 커뮤니티 검증형 SUD 트리뱅크 컬렉션인 AfriSUD를 공개했습니다.
2. 방법론적 기록: 교착, 클리틱(clitics), 성조를 SUD 프레임워크 내에서 처리하기 위한 전략을 포함하여, 아프리카 언어에 특화된 주석 처리 과제와 해결책에 대한 상세한 기록을 제공했습니다.
3. 포괄적 벤치마킹: 지도 학습 파서, 다국어 인코더, LLM을 체계적으로 평가하여 아프리카 언어의 구 구조 NLP를 위한 새로운 베이스라인을 구축했습니다.
4. 격차 식별: 현재의 아키텍처(트랜스포머 및 LLM 포함)가 아프리카 언어의 구조적 다양성, 특히 관계 레이블링 및 연속 동사와 같은 복잡한 구문을 포착하는 데 한계가 있음을 보여줌으로써 지속적인 "구문 격차"를 강조했습니다.

의의:
저자들은 AfriSUD를 아프리카 언어에 대해 더욱 언어학적으로 근거 있는 평가와 구 구조 모델링을 가능하게 하는 기초 자원으로 규정합니다. 기존 아키텍처(트랜스포머 및 LLM 모두)가 아프리카의 구 구조를 포착하는 데 명확한 한계를 보인다는 점을 입증함으로써, 본 논문은 지속적인 자원 개발과 아키텍처 적응의 필요성을 주장합니다. 이 데이터셋과 벤치마크는 재현 가능한 연구를 촉진하고 사하라 이남 아프리카의 수백만 명의 화자를 위한 문법 인지 도구 개발을 지원하기 위해 설계되었습니다.

한계점:
저자들은 데이터셋이 일부 희귀한 의존 관계에 대해 제한된 수의 예시를 포함하고 있다고 언급했습니다. 또한, LLM 실험은 특정 모델과 설정에 국한되어 있으며, 폐쇄형 모델 결과의 재현성은 향업 모델 업데이트에 의해 영향을 받을 수 있습니다. 오류 분석은 특정 SUD 관계와 가장 성능이 좋은 프롬프팅 모델에 초점을 맞추고 있습니다.