기술 요약: 인도 언어 처리를 위한 파니니(Pāṇinian) 기반 구축

1. 문제 제칭

현재 인도 언어(10억 명 이상의 인구가 사용하는)를 위한 자연어 처리(NLP) 인프라는 매우 미비하며 구조적으로 파편화되어 있다. 현재 분야는 도구, 데이터셋, 벤치마크를 계통적 언어 가족이나 개별 언어를 중심으로 구성하고 있으며, 이는 다음과 같은 결과를 초래한다:

• 중복된 엔지니어링: 각 언어마다 별도의 형태소 분석기, 파서, 주석 데이터셋이 처음부터 다시 구축된다.
• 호환되지 않는 스키마: 주석 표준(예: Universal Dependencies)은 인도 언어에서 사용되는 심층 문법 범주와 효과적으로 매핑되지 않아, 정보 손실을 유발하는 변환이 발생하고 교차 언어 전이를 방해한다.
• 비효율적인 다국어 모델: 거대 다국어 모델(MLLM)은 광범위한 커버리지를 달 achieve하지만, 심층적인 형태통사적 이해보다는 유창성을 최적화한다. 이들은 공유된 구조적 통일성보다는 표면적 신호(서브워드, 공유 어휘)에 의존하기 때문에, 저자원 언어에서의 성능이 저하되고 방언이나 레지스터(diglossia)의 변화를 처리하는 능력이 떨어진다.
• 의미론적 불일치: 서구적 언어 가설에 뿌리를 둔 표준 NLP 프레임워크는 명사를 정적인 엔티티로 취급한다. 이는 명사적 의미가 동사 어근(dhātu)에서 파생적으로 기원하며 사건 구조를 중심으로 조직되는 인도 언어의 과정 중심적 온톨로지를 포착하는 데 실패한다.

핵심 문제는 심층적이고 공유된 건축적 규칙성을 부정하는 것이다: 2천 년이 넘는 시간 동안 산스크리트어를 중심으로 한 수렴은 인도 언어들을 파니니의 *아슈타디야이(Aṣṭādhyāyī)*에 의해 공식화된 공통의 형태통사적 프레임워크 아래 하나로 통합했다. 현재의 도구들은 이러한 "구조적 공통체(structural commons)"를 무시하고, 언어를 공유된 메타언어의 변형이 아닌 서로 이질적인 개체로 취급한다.

2. 방법론 및 이론적 프레임워크

본 논문은 계산 패러다임을 계통적 분류에서 파니니 프레임워크로 전환할 것을 제안한다. 이 접근 방식은 아슈타디야이를 단순한 역사적 문법이 아니라 통합적인 계산 아키텍처로 취급한다.

• 파니니 아키텍처: 저자들은 파니니의 체계가 남아시아 담론의 "운영 체제"를 정의하는 공식적인 메타언어를 제공한다고 주장한다. 주요 특징은 다음과 같다:
  • 결정론(Determinacy): 통계적 모호성 해소를 요구하는 촘스키식 형식주의와 달리, 파니니의 규칙 우선순위 메커니즘은 모든 문법적 문장에 대해 단일한 도출을 보장하여 과잉 생성을 방지한다.
  • 기능적 통일성(Functional Unity): 계통적 경계(예: 인도-아리아어와 드라비다어 사이)를 초월하는 기능적 및 구조적 공통점(형태론, 통사론, 의미론)을 포착한다.
  • 과정 중심 의미론: 명사를 정적인 라벨이 아니라 암묵적 사건 구조 내의 역할로 모델링한다(kāraka).
• 기존 신호의 활용: 방법론은 인도 언어 간의 교차 언어 전이가 인도 언어와 비인도 언어 간의 전이보다 이미 더 강력하다는 관찰에 의존하며, 이는 모델이 암묵적으로 이 공유된 구조를 학습하고 있음을 시사한다. 본 논문은 이 암묵적 학습을 근거 있는 벤치마크를 통해 명시적으로 만드는 것을 목표로 한다.
• 벤치마크 설계: 새로운 모델을 제안하는 대신, 본 논문은 공유된 아키텍처를 명시적이고 측정 가능하며 활용 가능하게 만들기 위해 설계된 4부 구성의 벤치마크 세트를 제안한다. 이 벤치마크들은 단일 언어 자원의 임시적 확장을 넘어, 처음부터 다국어적으로 설계되었다.

3. 주요 기여

논문의 주요 기여는 네 가지 주제별 벤치마크 클러스터로 구성된 통합 평가 인프라의 제안이다:

5.1 형태소 분절 및 태깅

• 목표: 단어를 파니니적 어근(dhātu)과 접사(pratyaya, lakāra)로 분해하고 그 의미적 기능을 해석한다.
• 범위: 기존의 산스크리트 벤치마크(예: MorphTok)를 현대 인도 언어로 확장한다.
• 과업:
  • 다국어 분절 및 태깅.
  • 어원적 근거 설정: 현대 인도 단어의 산스크리트 어근과 그 핵심 의미 식별.
  • 어원적 근거에 기반한 교차 언어 단어 의미 중의성 해소.

5.2 파니니 의존성에 의한 구문 분석

• 목표: Universal Dependencies가 아닌 kāraka(의미 격) 관계에 기반한 통합 다국어 의존 구문 분석기를 생성한다.
• 범위: AnnCorra 프로젝트와 초기 파니니 유니버설 의존성 노력을 기반으로 구축된다.
• 과업: 파니니 레이블을 사용하여 여러 인도 언어의 의존 트리뱅크를 구축하거나 변환하고, 통합된 스키마로 훈련된 파서를 언어별 베이스라인과 비교 평가한다.

5.3 의미 역할 레이블링(SRL) 및 추론

• 목표: 다양한 레지스터(문어체 vs 구어체) 및 방언에 대한 의미론적 이해를 평가한다.
• 범위: 질문 답변(QA)에서 엔테일먼트(entailment) 및 추론으로 kāraka 기반 연구를 확장한다.
• 과업:
  • 레지스터 적응: 모델은 문어체와 구어체(예: 산스크리트화된 힌디와 카리볼리) 사이를 번역할 때 의미적 내용을 보존해야 한다.
  • 방언 강건성: 표면 음운론은 다르지만 형태통사적 템플릿은 불변하는 방언 연속체(예: 타밀 또는 벵골어의 변이)에 대한 성능 테스트.
  • 코드 혼용 일반화: 공식 텍스트에서 비공식 구어로의 사회언어학적 변화 처리.

5.4 확장된 인도 "언어 지역(Sprachbund)" 및 정보 왜곡

• 목표: 파니니 프레임워크의 구조적 통일성의 한계를 테스트하고 이를 사회적 과제에 적용한다.
• 범위:
  • 언어적 확장: 계통적 관계가 아닌 문명적 영향력(예: 스크립트 및 음운론적 분류를 공유하는 티베트, 태국, 미얀마 등)에 의해 연결된 디아스포라 변이(예: 피지 힌디), 보수적 언어(예: 로마니)로의 전이를 평가한다.
  • 정보 왜곡: 교차 언어적 오정보를 탐지하기 위한 벤치마크 개발. 모델은 의미적으로 동등한 주장이 언어와 레지스터를 가로질러 어떻게 변이하면서도 공유된 의미적 기질에 추적 가능한지를 식별해야 한다.

4. 결과 및 증거

본 논문은 단일 모델의 새로운 실험 결과를 제시하는 것이 아니라, 파니니 가설을 뒷받침하기 위해 기존 문헌의 경험적 증거를 종합한다:

• 전이 학습: (Bafna et al., Nag et al.)의 연구에 따르면, 스크립트 차이를 통제하더라도 인도 언어 간의 교차 언어 전이가 인도 언어와 비인도 언어 간의 전이보다 현저히 강력하다.
• 형태소 분석: 파니니 원리에 기반한 모델(예: MorphTok)은 다운스트림 기계 번역 및 개체명 인식에서 개선된 성능을 보인다.
• 구문 분석: kāraka 관계를 포함하는 것은 Universal Dependencies와 비교했을 때 인도 언어 QA에서 즉각적인 개선을 보여주었다.
• 데이터 효율성: (Chang et al.)의 연구는 단순히 데이터 양을 늘리는 것보다 구조적으로 정렬된 다국어 데이터를 추가하는 것이 저자원 모델링을 더 효과적으로 개선함을 나타내며, 이는 "구조적 핵심"이 성능의 주요 동력임을 시사한다.
• 역사적 수렴: 타밀 문법가들(예: Tolkāppiyam, Vīracōl̲iyam)의 증거는 파니니와 유사한 구조적 범주가 드라비다 전통 내에서도 독립적으로 발견되었음을 보여주며, 이는 구조적 통일성이 단순히 산스크리트의 강요가 아니라 공유된 계산적 프리미티브임을 확인시켜 준다.

5. 의의 및 주장

본 논문은 파니니 기반을 채택함으로써 세 가지 주요 이점을 얻을 수 있다고 주장한다:

1. 정확성 및 효율성: 이 프레임워크에 기반한 시스템은 공유된 구조적 기질을 활용함으로써 더 정확하고 데이터 효율적이며, 희소한 자원을 하나의 고자원 "메타언어" 기반으로 효과적으로 통합할 수 있다.
2. 해석 가능성: 이 프레임워크는 기계적 해석 가능성(mechanistic interpretability)에 대한 경로를 제공한다. 이는 신경 모델이 명시적인 감독 없이도 파니니 범주(kāraka, dhātu)에 대응하는 내부 표현을 자발적으로 학습하는지에 대한 과학적 질문을 제기한다. 만약 그렇다면, 파니니의 프레임워크가 실제적인 계산적 프리미티브를 포착하고 있음을 시사한다.
3. 실질적 적용: 통합된 접근 방식은 인도의 다양한 언어적 풍경 전반에서 오정보를 탐지하고, 방언과 레지스터를 가로질러 일반화되는 파서를 구축하는 등의 실질적인 과제를 해결할 수 있게 한다.

저자들은 학계가 "재료"(형태론, 통사론, 의미론의 고립된 발전)는 갖추고 있으나, 이를 연결할 "아키텍처"가 부족하다고 결론짓는다. 아슈타디야이에 명시적으로 근거한 벤치마크를 구축함으로써, 컴퓨팅 커뮤니티는 구조의 통계적 회복을 넘어 인도 언어가 실제로 기능하는 방식을 반영하는 설계되고 해석 가능한 시스템으로 나아갈 수 있다.