이 논문은 자연어 처리 (NLP) 의 시퀀스 레이블링 (Sequence Labeling) 작업에 있어, 현재 지배적인 접근법인 사전 학습된 트랜스포머 (Transformer) 인코더를 대체하거나 보완할 수 있는 다양한 최신 아키텍처들을 평가하고 분석한 연구입니다.

주요 내용을 문제 정의, 방법론, 핵심 기여, 실험 결과, 의의로 나누어 상세히 요약해 드립니다.

1. 문제 정의 (Problem)

• 현재 상황: 시퀀스 레이블링 (품사 태깅, 개체명 인식, 구문 분석 등) 작업은 주로 대규모 데이터로 사전 학습된 트랜스포머 기반 모델이 지배하고 있습니다.
• 연구 동기: 최근 언어 모델링 분야에서 트랜스포머 대안으로 xLSTM, 구조화된 상태 공간 모델 (SSM/Mamba), 확산 모델 (Diffusion Models), 적대적 학습 (Adversarial Learning) 등의 아키텍처가 주목받고 있습니다.
• 연구 격차: 이러한 새로운 아키텍처들은 언어 모델링 (Perplexity 등) 에서는 좋은 성과를 보였으나, 시퀀스 레이블링 작업에는 거의 적용되지 않았거나, 단순한 태깅 작업 (NER, 품사 태깅) 에만 제한적으로 적용되었습니다.
• 핵심 질문: 이러한 새로운 아키텍처들이 구조적 복잡성, 레이블 공간의 크기, 토큰 간의 의존성 범위가 다양한 다양한 태스크 (단순 태깅부터 트리/그래프 기반의 복잡한 파싱까지) 에서 어떻게 적응하며, 트랜스포머 대비 어떤 강점과 한계를 가지는지 규명하는 것입니다.

2. 방법론 (Methodology)

저자들은 시퀀스 레이블링을 위해 다음과 같은 네 가지 주요 아키텍처를 제안하고 실험했습니다.

1. 확산 태깅 (Diffusion Tagging, DiT):

   • 이산적인 시퀀스 출력을 처리하기 위해 비트 - 태그 변환기 (Bit-Tag converter) 를 사용합니다.
   • 안정적 확산 (Stable Diffusion) 원리를 적용하여, 라벨 시퀀스를 비트 시퀀스로 변환한 후 노이즈를 추가하고 제거하는 과정을 통해 라벨을 예측합니다.
   • 인코더는 XLM-RoBERTa 를, 디코더는 확산 과정을 학습하는 트랜스포머 블록을 사용합니다.

2. 적대적 태깅 (Adversarial Tagging, GaT):

   • 생성적 적대 신경망 (GAN) 개념을 태깅에 적용합니다.
   • 생성자 (Generator): 입력 문장에서 라벨 시퀀스를 생성합니다.
   • 판별자 (Discriminator): 생성된 라벨 시퀀스가 실제 정답과 얼마나 유사한지 판별합니다.
   • 생성자는 판별자를 속일 수 있는 유효한 라벨 시퀀스를 생성하도록 훈련되며, 이는 구조적으로 올바른 시퀀스를 학습하는 데 도움이 됩니다.

3. xLSTM 및 BixLSTM:

   • 트랜스포머의 자기 주의 (Self-attention) 를 대체하는 새로운 순환 신경망 단위입니다.
   • sLSTM: 장기 의존성 모델링을 안정화하고, mLSTM: 병렬 처리를 가능하게 합니다.
   • 양방향 처리를 위해 BixLSTM (두 개의 xLSTM 을 좌우 방향으로 처리하여 결합) 을 구성했습니다.

4. 구조화된 상태 공간 모델 (SSM, MAMBA-2):

   • 선형 시간 복잡도로 장기 의존성을 모델링하는 S4/S6 기반 아키텍처 (MAMBA-2) 를 인코더로 사용하여 트랜스포머 대안을 평가했습니다.

실험 설정:

• 데이터셋: 다국어 (UD Treebanks, PTB, CTB 등) 를 대상으로 품사 태깅 (PoS), 개체명 인식 (NER), 구문 분석 (Constituent Parsing), 의존 관계 분석 (Dependency Parsing), 그래프 파싱 (Graph Parsing) 등 다양한 복잡도의 태스크를 수행했습니다.
• 선형화 (Linearization): 트리나 그래프 구조를 시퀀스 레이블링 문제로 변환하기 위해 기존에 제안된 다양한 인코딩 방식 (상대적 인코딩, 테트라 태깅, 4-bit/7-bit 브래킷팅 등) 을 사용했습니다.

3. 핵심 기여 (Key Contributions)

• 포괄적인 벤치마크: 단순 태깅뿐만 아니라 구조적으로 복잡한 파싱 작업까지 포함하여 다양한 아키텍처를 다국어 환경에서 체계적으로 비교 평가했습니다.
• 새로운 아키텍처의 한계와 가능성 규명:
  • 확산 모델과 SSM 은 단순 태깅에서는 어느 정도 경쟁력이 있으나, 복잡한 구조적 의존성을 가진 작업에서는 성능이 크게 저하됨을 발견했습니다.
  • **적대적 태깅 (GaT)**이 단순 태깅뿐만 아니라 가장 복잡한 구조적 작업 (구문/의존/그래프 파싱) 에서도 트랜스포머 기반 베이스라인과 경쟁하거나 이를 능가하는 유일한 비-트랜스포머 아키텍처임을 증명했습니다.
• 레이블 공간의 영향 분석: 레이블 공간이 커질수록 비-트랜스포머 모델 (LSTM, SSM 기반) 의 성능 변동성이 커지는 반면, 적대적 태깅은 상대적으로 안정적인 성능을 유지함을 보였습니다.

4. 실험 결과 (Results)

• 단순 태깅 (PoS, NER):

  • BixLSTM은 기존 BiLSTM 보다 전반적으로 우수한 성능을 보였으나, 여전히 사전 학습된 트랜스포머 베이스라인에는 미치지 못했습니다.
  • **적대적 태깅 (GaT)**은 22 개 PoS 태스크 중 20 개에서 가장 높은 점수를 기록하며 베이스라인과 경쟁 가능한 성능을 보였습니다.
  • 확산 모델 (DiT) 과 SSM (MAMBA-2) 은 불균형한 데이터셋이나 복잡한 태스크에서 성능이 떨어지는 경향을 보였습니다.

• 복잡한 구조적 태스크 (Parsing):

  • SSM (MAMBA-2): 입력 문장 내 토큰 간의 장기 의존성을 포착하는 데 어려움을 겪어, 단방향 LSTM 수준으로 성능이 낮아졌으며 모든 사전 학습 모델보다 뒤처졌습니다.
  • 확산 모델 (DiT): 단순 태깅에서는 유망했으나, 파싱 작업에서는 Bi(x)LSTM 인코더보다 barely 우월하거나 비슷했으며, 특히 그래프 인코딩 하의 저자원 환경에서는 성능이 급격히 하락했습니다.
  • 적대적 태깅 (GaT): 의존성 파싱과 구문 파싱에서 베이스라인을 약간 상회하거나 일치하는 성능을 보였습니다. 특히 유효한 라벨 시퀀스 (well-formed sequences) 를 생성하는 비율이 베이스라인보다 높아, 구조적 제약 조건을 잘 학습함을 시사합니다.

• 속도 분석:

  • 단방향 인코더 (LSTM, xLSTM, MAMBA) 는 태깅에서는 잘 작동하지만 파싱 작업에서는 속도와 정확도 면에서 불리했습니다.
  • BixLSTM 은 트랜스포머보다 약 4 점 정도 낮지만, 매우 빠른 추론 속도를 제공하여 효율적인 대안이 될 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 다음과 같은 중요한 시사점을 제공합니다:

1. 트랜스포머의 우위성 재확인: 복잡한 구조적 의존성을 가진 NLP 작업에서 트랜스포머의 우월성은 여전히 강력하며, 이를 대체할 단일 아키텍처는 아직 부재합니다.
2. 적대적 학습의 잠재력: 생성적 모델링 (GAN) 원리를 시퀀스 레이블링에 적용한 적대적 태깅은 구조적 제약이 강한 복잡한 작업에서도 트랜스포머와 경쟁할 수 있는 유일한 비-트랜스포머 접근법으로 입증되었습니다. 이는 생성 모델이 단순한 텍스트 생성뿐만 아니라 구조적 예측에도 유효할 수 있음을 보여줍니다.
3. 아키텍처 선택의 가이드라인:
   • 단순 태깅 작업: BixLSTM 이 빠른 속도와 좋은 성능의 균형을 이룰 수 있습니다.
   • 복잡한 파싱 작업: 트랜스포머 기반 모델이 여전히 최선이며, 적대적 학습을 결합한 접근법이 유망한 대안입니다.
   • 확산 모델이나 SSM 은 현재 시점에서는 NLP 태깅 작업, 특히 구조적 복잡성이 높은 작업에는 적합하지 않을 수 있습니다.

결론적으로, 이 논문은 새로운 아키텍처들이 NLP 태깅 분야에서 트랜스포머를 완전히 대체하기는 어렵지만, 특정 조건 (구조적 제약 학습, 속도 최적화 등) 에서는 유효한 대안이 될 수 있음을 체계적으로 규명했습니다.