We can still parse using syntactic rules

제시된 논문 "We can still parse using syntactic rules"에 대한 상세한 기술적 요약입니다.

1. 연구 배경 및 문제 제기 (Problem)

최근 Transformer 와 대규모 언어 모델 (LLM) 의 발전으로 인해 명시적인 구문 분석 (Syntactic Parsing) 이 필요하지 않다는 인식이 지배적입니다. 이러한 모델들은 어텐션 (Attention) 메커니즘을 통해 단어 간의 의존 관계를 암시적으로 추론할 수 있기 때문입니다. 그러나 저자는 다음과 같은 문제점을 지적하며 구문 분석의 재검토를 주장합니다.

• 설명 불가능성 (Explainability): 트랜스포머 기반 모델은 특정 구조가 생성된 이유나 문법 규칙이 어떻게 적용되었는지에 대한 명확한 근거를 제공하지 못합니다.
• 이론적 공백: 1950 년대 이후 Chomsky 의 변형 생성 문법 (Transformational Grammar) 과 GPSG(Generalized Phrase Structure Grammar) 등 풍부한 문법 이론이 존재함에도 불구하고, 현대의 데이터 중심 (Data-driven) 접근법에서는 이러한 이론적 규칙이 거의 활용되지 않고 있습니다.
• 실용적 한계: 실제 텍스트 (구어체의 비유창성, 이모지, HTML 태그 등) 에 포함된 노이즈와 불완전한 입력을 처리하는 데 한계가 있으며, 의존 구문 (Dependency) 과 구성 구문 (Constituency) 두 가지 패러다임을 동시에 포착하는 통합 모델이 부족합니다.

2. 방법론 (Methodology)

이 연구는 CFG(문맥 자유 문법) 의 한계를 극복하고 GPSG 의 이론적 장점을 컴퓨팅 환경에 적용한 새로운 구문 분석 접근법을 제안합니다.

2.1. 구문 규칙 (Parsing Rules)

• GPSG 기반 확장: GPSG 의 '슬래시 특징 (Slash features)'을 활용하여 문법적 공백 (Syntactic gaps, 예: "The man I met X"에서 목적어 누락) 을 처리합니다.
• 특징 기반 규칙: 단순한 재작성 규칙을 넘어, 특징 (Features) 을 가진 새로운 범주 (Category) 를 도입합니다.
  • 예: 한정사 (Determiner) 가 없는 명사구 (NP-U) 와 한정사가 있는 명사구 (NP-DT) 를 구분하여, "NP → NP NP"와 같은 잘못된 재귀를 방지하고 정확한 규칙 (예: NP → NP-U NP-U) 을 적용합니다.
  • 동사구 (VP) 에도 유사하게 적용하여 목적어 개수 (VP-O, VP-2O) 를 제한하고 올바른 조동사 순서를 보장합니다.

2.2. 구문 분석 알고리즘 (Parsing Algorithm)

입력 토큰 시퀀스에 대해 점진적 (Incremental) 으로 구문을 생성하는 알고리즘을 사용합니다.

1. 토큰화 및 POS 태깅: 다양한 토큰화 시스템과 호환되며, RNN 기반의 커스텀 POS 태깅을 통해 각 토큰에 대한 여러 가지 태그와 확률 가중치를 생성합니다 (다중 가설 생성).
2. 구문 객체 생성 (Phrase Creation): 각 토큰을 초기 구문 객체로 생성하고, 이를 인덱싱합니다.
3. 규칙 스캐닝 및 인접 구문 스캐닝:
   • 현재 구문과 인접한 이전 구문들을 스캔하여 적용 가능한 이항 (Binary) 또는 단항 (Unary) 규칙을 찾습니다.
   • 노이즈 처리: 인접한 구문 사이의 토큰 (예: "uh", "you know" 같은 비유창성) 을 건너뛰며 (skip) 규칙을 적용할 수 있어 구어체 노이즈에 강건합니다.
4. 구문 투사 (Phrase Projection): 규칙이 충족되면 하위 구문을 상위 구문으로 투사합니다. 이때 부모 범주, 자식 노드, 가중치 합, 스패인 (Span), 레벨, 헤드 (Head) 정보 등을 계산합니다.
5. 연결 및 재순위화 (Connecting and Reranking):
   • 전체 입력을 완벽하게 분석하지 못하는 경우, Dijkstra 알고리즘 변형을 사용하여 가장 확률 높은 분석된 조각들을 연결합니다.
   • 여러 개의 헤드 (Head) 를 가진 분석이나 분석되지 않은 토큰이 많은 경우 가중치를 낮추어 재순위화합니다.

2.3. 출력 (Output)

• 단일 알고리즘을 통해 **의존 구문 트리 (Dependency Tree)**와 **구성 구문 트리 (Constituency Tree)**를 동시에 생성합니다.
• 분석된 모든 가설 (Hypotheses) 을 제공하여 이후 재순위화 (Reranking) 를 통한 정확도 향상을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 이론과 실용의 통합: 1950 년대 이후의 언어학적 이론 (GPSG, 변형 문법 등) 을 실제 계산적 구문 분석에 적용 가능한 형태로 재해석했습니다.
2. 이중 패러다임 지원: 하나의 파서로 의존 관계와 구성 구조를 모두 생성하며, 두 구조 간의 변환 손실 없이 통합 정보를 제공합니다.
3. 노이즈 및 불완전성 처리: 구어체의 비유창성, 이모지, HTML 태그 등 실제 텍스트의 노이즈를 처리하고 부분 분석 (Partial parsing) 을 허용하는 유연한 알고리즘을 제안했습니다.
4. 투명하고 해석 가능한 모델: 블랙박스인 신경망 모델과 달리, 명시적인 규칙과 특징을 기반으로 하여 NLP 모델의 의사결정 과정을 투명하게 설명할 수 있습니다 (Explainable AI).

4. 실험 결과 (Results)

• 데이터셋: Universal Dependencies (UD) 2.0 의 영어 코퍼스 (Dev: 7 개, Test: 12 개) 를 사용했습니다.
• 비교 대상: 널리 사용되는 spaCy 의존 구문 분석기.
• 성능 지표: Unlabeled Attachment Score (UAS).
  • 개발 세트 (Dev): 본 파서 54.5% vs spaCy 56.9%
  • 테스트 세트 (Test): 본 파서 53.8% vs spaCy 58.6%
• 분석:
  • spaCy 에 비해 전체 평균 점수는 다소 낮지만, 여러 데이터셋에서 spaCy 를 능가하는 결과를 보였습니다.
  • 규칙 수에 따른 성능 향상: 초기 63 개 규칙 사용 시 UAS 약 31% 였으나, 145 개 규칙으로 확장하자 UAS 가 54% 대로 크게 향상되었습니다. 이는 규칙 기반 접근법의 확장 가능성을 시사합니다.
  • 정성적 평가: GPSG 의 슬래시 특징 (Slash features) 을 적용하여 공백 구조 (Gap construction) 를 정확하게 분석하고, 의존 및 구성 구조를 동시에 시각화하는 데 성공했습니다.

5. 의의 및 결론 (Significance)

이 연구는 "구문 분석은 여전히 필요하다"는 명제를 증명하며, 데이터 중심의 현대 NLP 에 이론적 문법 지식을 통합할 수 있는 길을 열었습니다.

• 해석 가능성: 대규모 언어 모델의 블랙박스 문제를 해결할 수 있는 투명하고 해석 가능한 (Interpretable) 대안을 제시합니다.
• 확장성: 새로운 언어로 확장하기 위해 필요한 요소 (POS 태그, 문법 규칙, 태깅 프레임워크 등) 를 명확히 제시하여 다국어 지원의 기반을 마련했습니다.
• 미래 전망: 현재는 영어의 일부 규칙에 국한된 개념 증명 (PoC) 단계이나, 규칙과 알고리즘을 확장하면 더 높은 정확도와 다양한 언어 처리가 가능할 것으로 기대됩니다.

결론적으로, 이 논문은 계산 언어학의 이론적 기반을 현대적 NLP 파싱에 재도입함으로써, 더 정확하고 설명 가능한 언어 처리 시스템 구축의 가능성을 보여주었습니다.