DEPTH: Discourse Education through Pre-Training Hierarchically

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 사전 학습 (Pre-training) 데이터에 담겨 있는 담화 (Discourse) 패턴 (일관성, 결속력, 내러티브 흐름 등) 을 충분히 활용하지 못해, 담화 수준의 언어 이해에 어려움을 겪습니다.

• 기존 접근법의 한계:
  • BERT/ALBERT 등 인코더 모델: 다음 문장 예측 (NSP) 또는 문장 순서 예측 (SOP) 과 같은 담화 인식 태스크를 도입했으나, 너무 단순하여 효과적인 담화 표현 학습에 실패했습니다.
  • GPT 등 디코더 전용 모델: 강력한 생성 능력을 갖췄지만, 일관성이나 결속력을 측정하는 담화 벤치마크에서 성능이 낮으며, 인간 지시 따르기 (Instruction Following) 나 복잡한 추론에서 실패하는 경향이 있습니다.
  • T5/BART 등 인코더 - 디코더 모델: 디코더 전용 모델보다 담화 태스크에서 우수한 성능을 보이지만, 여전히 담화 구조를 명시적으로 학습하는 메커니즘이 부족합니다.

2. 방법론 (Methodology)

저자들은 DEPTH(Discourse Education through Pre-Training Hierarchically) 라는 새로운 인코더 - 디코더 모델을 제안합니다. 이는 T5 아키텍처를 기반으로 하되, 계층적 (Hierarchical) 문장 표현과 담화 중심의 사전 학습 목적 함수를 결합합니다.

핵심 구성 요소:

1. 계층적 토큰화 (Hierarchical Tokenization):
   • 기존 T5 토크나이저에 문장 구분 토큰 (<SENT_i>, <EOSEN>) 을 추가합니다.
   • 입력 문서를 문장 단위로 분할하고, 각 문장 시작과 끝에 고유한 문장 토큰을 삽입하여 모델이 문장 수준의 구조를 인식하도록 합니다.
2. 두 가지 사전 학습 목적 함수 (Pre-training Objectives):
   • 스팬 손상 (Span-Corruption): T5 의 기존 방식과 동일하게 텍스트의 일부를 마스킹하고 복원하는 작업입니다.
   • 문장 순서 뒤섞기 (Sentence Un-Shuffling): 문장 단위로 입력 순서를 무작위로 섞은 뒤, 원래 순서대로 복원하도록 학습시킵니다. 이는 모델이 문장 간의 논리적 관계와 전체적인 내러티브 흐름을 이해하도록 강제합니다.
3. 계층적 어텐션 마스크 (Hierarchical Attention Masks):
   • 인코더: 일반 토큰은 전체 입력을 볼 수 있지만, 문장 토큰 (<SENT_i>) 은 해당 문장 내부의 토큰만 볼 수 있도록 제한합니다.
   • 디코더: 생성 과정에서 문장 토큰은 과거의 문장 토큰만 참조할 수 있으며, 일반 토큰은 전체 인코더 출력을 참조할 수 있습니다.
   • 이 구조는 모델이 세부적인 의미 의존성 (Sub-word) 과 광범위한 문장 간 관계 (Inter-sentence) 를 동시에 학습하도록 유도합니다.
4. 손실 함수 (Loss Formulation):
   • 재구성 손실 (Span-masking) 과 문장 순서 복원 손실 (Un-shuffling) 을 통합하여 최적화합니다.

3. 주요 기여 (Key Contributions)

• 담화 인식 사전 학습 프레임워크 제안: 인코더 - 디코더 모델 (T5) 에 계층적 문장 표현과 문장 순서 뒤섞기 태스크를 통합하여, 생성 모델이 담화 구조를 더 잘 학습하도록 했습니다.
• 효율적인 학습: T5 를 처음부터 (From Scratch) 학습하거나, 사전 학습된 T5 를 계속 학습 (Continuous Pre-training, CPT) 시켰을 때, DEPTH 가 T5 보다 더 빠른 수렴 속도와 더 낮은 손실을 보였습니다.
• 담화 태스크 성능 향상: GLUE, DiscoEval, NI(Natural Instructions) 벤치마크에서 DEPTH 가 T5 를 능가하는 성능을 보여주었으며, 특히 담화 이해가 필요한 태스크에서 큰 개선을 보였습니다.
• 기존 능력 유지: 담화 능력을 향상시키면서도, 기존 T5 가 가진 일반적인 자연어 이해 (NLU) 능력을 저하시키지 않았습니다.

4. 실험 결과 (Results)

실험은 C4 데이터셋을 사용하여 T5-Base(220M 파라미터) 를 베이스라인으로 수행되었습니다.

• 사전 학습 (Pre-training):
  • DEPTH 는 T5 보다 검증 손실 (Validation Loss) 이 낮았으며, 특히 재구성 손실만 고려하더라도 T5 보다 우수한 성능을 보였습니다.
  • 문장 뒤섞기 태스크는 T5 가 학습하기 어려운 반면, DEPTH 는 이를 효과적으로 학습했습니다.
• GLUE (일반 NLU 태스크):
  • From Scratch (FS): DEPTH 가 T5 보다 학습 초기 단계에서 더 빠르게 성능이 향상되었습니다.
  • Continuous Pre-training (CPT): 두 모델의 성능은 비슷했으나, DEPTH 가 초기 단계에서 약간의 성능 저하를 보이다가 이후 회복되었습니다.
• DiscoEval (담화 이해 태스크):
  • Discourse Coherence (DC): DEPTH 가 T5 를 일관되게 능가했습니다. 이는 내러티브 구조 이해 능력이 우수함을 의미합니다.
  • Sentence Permutation (SP): DEPTH 가 T5 보다 성능이 좋았으나, SLM(Sentence-level Language Model) 에 비해서는 낮았습니다. 이는 문장 순서 복원 태스크의 복잡성 때문입니다.
• NI (Natural Instructions):
  • FS 설정: DEPTH 가 T5 보다 훨씬 빠른 속도로 성능이 급상승하여 (16k~32k 스텝 사이) 최종적으로 T5 를 능가했습니다.
  • CPT 설정: T5 에서 DEPTH 로의 목적 함수 변경으로 인한 도메인 전이 (Domain Shift) 로 인해 초기에는 성능이 저하되었으나, 전반적인 학습 효율성은 높았습니다.

5. 의의 및 결론 (Significance)

• 담화 중심 학습의 중요성 입증: 대규모 언어 모델의 성능 향상을 위해 단순히 모델 크기나 데이터 양을 늘리는 것뿐만 아니라, 담화 수준의 구조적 학습 목표를 사전 학습에 포함시키는 것이 필수적임을 보여주었습니다.
• 효율성: DEPTH 는 T5 보다 적은 토큰과 스텝으로도 더 나은 표현을 학습할 수 있어, 계산 자원이 제한된 환경에서도 효과적인 담화 이해 모델을 구축할 수 있음을 시사합니다.
• 미래 연구 방향:
  • RAG(검색 증강 생성) 시스템에서 문장 단위 '청크' 처리에 DEPTH 를 적용할 수 있습니다.
  • 문단, 장, 전체 문서와 같은 더 높은 수준의 담화 단위로 학습 범위를 확장할 수 있습니다.
  • 더 큰 규모의 모델로 확장하여 담화 학습 목표의 확장성 (Scalability) 을 검증할 필요가 있습니다.

요약하자면, DEPTH 는 기존 언어 모델이 간과해 온 '문장 간의 관계'와 '전체적인 흐름'을 계층적 구조와 특수한 사전 학습 태스크를 통해 명시적으로 학습시킴으로써, 생성 모델의 담화 이해 능력을 획기적으로 향상시킨 혁신적인 접근법입니다.