기술 요약: 아랍어를 위한 양자 구성적 NLP (Quantum Compositional NLP)

문제 정의

고전적인 자연어 처리(NLP) 모델, 특히 단어 임베딩과 트랜스포머에 기반한 모델들은 문장을 "단어 주머니(bag of words)"로 취급하여 단어의 순서를 무시하고 어휘적 공생 통계에 의존하는 경우가 많다. 이러한 근사는 엄격한 통사 구조를 가진 언어에는 효과적일 수 있으나, 자유 어순(주어-동사-목적어, 동사-주어-목적어, 명사구 구조 허용)을 가지고 복잡한 어근-패턴(root-and-pattern) 형태론 체계를 가진 형태론적으로 풍부한 언어인 아랍어에는 심각하게 실패한다.

본 논문은 아랍어의 구조적 복잡성이 **양자 구성적 자연어 처리(QNLP)**를 위한 독특한 테스트베드를 제공한다고 주장한다. 구체적으로, 문법 구조를 양자 회로 토폴로지에 매핑하는 DisCoCat(Discourse Compositional Category) 프레임워크가, 고전적인 어휘 모델과는 인과적으로 구별되는 방식으로 구조적 정보를 인코딩할 수 있는지 조사한다. 핵심 과제는 양자 회로가 동일한 어휘를 사용하되 문법 구조가 다른 문장들을 구별할 수 있는지, 그리고 이러한 구별이 학습된 어휘 파라미터가 아닌 회로의 토폴로지와 얽힘(entanglement)에서 비롯되는지를 입증하는 것이다.

방법론

이론적 프레임워크

본 시스템은 단어에 문법적 유형(예: 명사는 $n$, 타동사는 $n^r \otimes s \otimes n^l$)을 할당하는 유형론적 형식주의인 **프리그룹 문법(pregroup grammar)**을 활용한다. 문장은 단어 유형들의 텐서 곱이 "컵(cup)" 연산을 통해 문장 유형 $s$로 축소될 때 문법적이다. 양자 설정(DisColet)에서 이러한 스트링 다이어그램은 양자 회로로 컴파일된다:

• 단어는 큐비트 레지스터가 된다.
• 문법적 의존성은 얽힘 게이트(entangling gates)가 된다.
• 문장의 의미는 측정 결과가 된다.

결정적으로, 본 논문은 아랍어의 어근-패턴 형태론(자음 어근과 모음 패턴이 병렬 정보 스트림에서 작동하는 방식)과 양자 텐서 곱(병렬 구성을 정식화한 것) 사이의 형식적 대응 관계를 활용한다.

파이프라인 아키텍처

저자들은 우측에서 좌측으로 진행되는 스크립트, 접사 결합(cliticization), 가변적 어순 등의 문제를 해결하기 위해 아랍어를 양자 회로에 연결하는 커스텀 파이프라인을 개발했다:

1. 형태론 및 통사 분석: 형태론적 특징(어근, 패턴, 상)을 위해 CAMeL Tools를 사용하고, 의존 구문 분석을 위해 Stanza를 사용한다.
2. 구조 탐지: 문장을 SVO, VSO 또는 명사구 구조로 분류한다.
3. 다이어그램 구축: 커스텀 모듈(arabic_dep_reader.py)이 프리그룹 다이어그램을 생성한다. 특히, VSO 문장은 동사 유형($s \otimes n^l \otimes n^l$)을 그 논항들과 정렬하기 위해 다이어그램 내에서 Swap 연산을 필요로 하며, 이는 SVO 문장($n \otimes (n^r \otimes s \otimes n^l) \otimes n$)과 비교하여 토폴로지적으로 구별되는 회로를 생성한다.
4. 회로 컴파일: 다이어그램은 lambeq 라이브러리를 사용하여 즉각적 양자 다항식(IQP) 회로로 컴파일된다.
   • L0 (Depth 0): 얽힘 게이트가 없음; 단어 큐비트들이 독립적으로 진화함.
   • L1/L2: 파라미터화된 제어-Z 회전 게이트가 얽힘을 도입함.
5. 평가: 두 가지 전략이 사용된다:
   • 양자 특징 맵(QFM): 파라미터가 단어 임베딩 값으로 고정되며, SVM이 출력을 분류한다.
   • SPSA (Simultaneous Perturbation Stochastic Approximation): 회로 파라미터에 대한 완전한 엔드 투 엔드 학습.

실험 설계

특정 구조적 속성을 격리하기 위해 세 가지 통제된 실험이 수행되었다:

1. 어순 (실험 1): 120개의 매칭된 쌍 문장을 사용한 이진 분류 작업(SVO vs. VSO). 결정적으로, 동일한 세 단어가 두 어순 모두에 나타나므로, 모델이 50% 이상의 정확도를 넘어서면 어휘적 동일성이 아닌 구조적 정보에 의존하고 있음을 보장한다.
2. 형태론적 시제 (실험 2): 과거형 대 현재형 동사의 이진 분류로, 신호는 주로 어휘적(서로 다른 표층형)이다.
3. 단어 의미 중의성 해소 (실实验 3): 네 개의 다의 동사를 포함하는 어휘 제어 데이터셋. 이 설계는 구조적 중의성 신호를 어휘적 신호로부터 격리하기 위해 정확히 매칭된 쌍과 공유된 목적어/주어 풀을 사용한다.

주요 기여

1. 최초의 아랍어 QNLP 시스템: SVO, VSO 및 명사구 구조를 위한 특정 문법 규칙을 포함하여, 아랍어 형태론 분석기와 양자 회로 컴파일러를 통합한 프리그룹 문법 기반의 아랍어 QNLP 시스템 구현.
2. 얽힘의 인과적 절제(Causal Ablation): 파라미터화된 얽힘이 구조적 작업에서 성능 향상의 유일한 원인임을 입증하는 통제된 실험.
   • L0 베이스라인: 문법 토폴로지는 갖추었으나 얽힘이 없는 회로는 매칭된 쌍 어순 작업에서 모든 시드와 폴드에 대해 분산이 0인 정확히 **50.0%**의 정확도를 달s달성했다. 이는 얽힘 없이는 다이어그램의 토폴로지적 차이와 상관없이 문장 수준의 구조적 차이를 인코딩할 수 없음을 증명한다.
   • L1 결과: 단일 층의 얽힘 게이트를 추가했을 때 정확도가 64.9%(평균 ± 3.2% 표준편차)로 상승했다. 이 15%포인트의 이득은 얽힘에 기인한 것으로 인과적으로 설명된다.
3. 어휘 제어 WSD 데이터셋: 구조적 신호와 어휘적 신호를 엄격히 테스트하기 위해 매칭된 쌍과 공유된 어휘 풀을 사용하는 최초의 아랍어 단어 의미 중의성 해소 데이터셋 구축.
4. SPSA 레이블 반전 특성 규명: 대칭적인 이진 작업에서 SPSA 학습이 반전된 솔루션(올바른 분리는 수행하나 방향이 틀림)으로 수렴하는 현상을 식별함. 본 논문은 보조 큐비트 인코딩(밀도 행렬을 생성하기 위해 보조 큐비트를 추적함)이 이러한 반전율을 유의미하게 감소시킴을 보여준다 (예: qata'a 동사 작업에서 99%에서 23%로 감소).

결과

• 어순:

  • AraVec (Bag-of-Words): 12.8% (매칭된 쌍에서의 가짜 상관관계로 인해 우연 확률 미만).
  • 토폴로지만 존재 (0 파라미터): 35.8% (원시 데이터), 이는 결정 경계 반전 교정 후 64.2%의 정확도를 의미하며, 얽힘 없이는 토폴로지 신호가 존재하더라도 접근하기 어렵다는 것을 확인시켜 준다.
  • QFM L0: 50.0% (분산 0; 구조적 정리).
  • QFM L1: 64.9% (신뢰 구간 [62.8, 66.3]).
  • AraBERT (미세 조정): 100% (위치 인코딩에 의존하는 오라클 상한선).
  • 학습 곡선: 학습 데이터가 증가함에 따라 QFM L1 성능은 개선(56% $\to$ 67%)된 반면, AraVec 성능은 저하(46% $\to$ 19%)되어, 양자 모델이 구조적 신호를 추출하는 반면 고전 모델은 매칭된 쌍에서 실패함을 확인했다.

• 형태론적 시제:

  • 고전적 모델(AraVec: 87%)이 양자 모델(QFM: 56%, SPSA: 46.8%)보다 우수한 성능을 보였다. 이는 신호가 어휘적(서로 다른 단어 형태)일 때 고전적 임베딩이 더 우수하며, 양자 회로 토폴로지가 이 특정 작업에는 정보력이 낮음을 확인시켜 준다.

• 단어 의미 중의성 해소 (WSD):

  • 결과는 혼재되었다. QFM은 일반적으로 우연 확률 근처(풀링된 값 47.4%)에서 머물렀는데, 이는 의미 중의성의 구조적 신호가 토폴로지보다는 파라미터 값에 인코딩되기 때문이다.
  • SPSA는 대칭 교정 후 우연 확률 이상의 성능(예: qata'a에 대해 79.5%)을 달성하여, 학습이 미묘한 논항 구조 특징과 정렬될 수 있음을 보여주었다.
  • 보조 큐비트 인코딩은 대칭 작업에서 SPSA의 레이블 반전율을 유의미하게 감소시켰다.

의의 및 주장

본 논문의 주요 의의는 최첨단 고전 모델(AraBERT가 쉽게 능가함)을 압도하는 것이 아니라, 고전적 메커니즘과는 근본적으로 다른 측정 가능하고 해석 가능한 구조적 신호를 제공하는 데 있다.

1. 메커니즘적 구별: 0-분산 L0 절제 실험은 양자 회로가 단어 순서를 구별하는 능력이 어휘 통계를 학습한 결과가 아니라, 얽힘이 문법 유래 토폴로지 위에서 작용한 직접적인 결과임을 입증한다.
2. 아랍어에 대한 이론적 정당성: 본 논문은 아랍어의 어근-패턴 형태론이 병렬 구성(멀티 테이프 오토마타)과 형식적으로 대응하며, 이것이 양자 텐서 곱에 자연스럽게 매핑된다는 점에서 아랍어가 QNLP를 위한 이상적인 언어라고 주장한다. 이러한 구조적 정렬은 현재 QNLP 문헌에 등장하는 언어들 중 독보적이다.
3. 저자원 잠재력: 방대한 학습 코퍼스에 의존하는 대신 회로 토폴로지에 구조적 지식을 인코딩함으로써, QNLP는 저자원 환경에서 고품질의 아랍어 NLP를 위한 경로를 제공한다.
4. 방법론적 엄밀성: 어휘 제어 평가의 도입과 SPSA 반전율의 특성 규명은 기존 NLP 벤치마크와 최적화 관행의 특정 결함들을 해결한다.

저자들은 비록 원시 정확도가 미세 조정된 트랜스포머에 비해 낮을지라도, 결과가 아랍어 문법 전통과 양자 역학을 연결하는 "측정 가능하고, 해석 가능하며, 인과적으로 식별된 구조적 신호"를 제공한다고 결론지으며, 이는 향후 하드웨어 실험과 형태론적 텐서 아키텍처를 위한 토대를 마련한다.