ACL: Aligned Contrastive Learning Improves BERT and Multi-exit BERT Fine-tuning

1. 문제 제기 (Problem)

최근 자기지도 학습 (Self-supervised learning) 에서 대비 학습 (Contrastive Learning, CL) 의 효과는 입증되었으나, 지도 학습 (Supervised Learning) 환경, 특히 BERT 와 같은 사전 학습 언어 모델의 파인튜닝 (Fine-tuning) 에서는 그 적용이 제한적입니다.

• 목표 함수의 충돌: 기존 연구 (Gunel et al., 2021 등) 는 분류 손실 (Cross-Entropy, CE) 과 대비 학습 손실 (Supervised Contrastive Learning, SCL) 을 결합하여 사용했습니다. 그러나 저자들은 두 손실 함수의 기울기 (Gradient) 방향이 서로 상충되는 경우가 많음을 발견했습니다.
• 최적화 저해: 실험 결과, CE 와 SCL 을 동시에 최적화할 때 두 손실의 기울기 각도가 90 도를 초과하는 경우가 빈번하게 발생하여, 모델의 수렴을 방해하고 성능을 불안정하게 만들었습니다.
• 멀티-엑시트 (Multi-exit) BERT 의 한계: BERT 의 중간 레이어에 분류기를 추가하여 추론 속도를 높이는 'Early Exiting' 기술이 있지만, 얕은 레이어 (Shallow layers) 의 표현 학습 능력이 부족하여 깊은 레이어 (Deep layers) 에 비해 성능이 크게 떨어지는 문제가 있었습니다.

2. 방법론 (Methodology)

저자들은 위 문제를 해결하기 위해 정렬된 대비 학습 (Aligned Contrastive Learning, ACL) 프레임워크를 제안했습니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. ACL-Embed (레이블 임베딩을 통한 정렬)

기존 SCL 이 샘플 간의 관계만 고려하는 것과 달리, 레이블 임베딩 (Label Embeddings) 을 대비 학습의 '앵커 (Anchor)'로 활용합니다.

• 구현: 분류기 (Classifier) 의 가중치 행렬 열 벡터를 해당 클래스의 레이블 임베딩 ($l_k$) 으로 간주합니다.
• 목표: 샘플의 표현 ($h_i$) 을 해당 클래스의 레이블 임베딩과 가깝게, 다른 클래스의 임베딩과는 멀게 만드는 대비 손실 ($L_{acl}$) 을 계산합니다.
• 효과: 레이블 임베딩을 추가된 샘플로 간주하여 배치 크기를 확장하고, 샘플 표현이 분류 태스크와 더 잘 정렬되도록 유도합니다.

B. ACL-Grad (기울기 기반 적응적 조정)

ACL-Embed 와 CE 손실 간의 기울기 방향이 여전히 충돌할 수 있는 문제를 해결하기 위해 제안된 메커니즘입니다.

• 동작 원리: 미니배치마다 ACL 손실의 기울기 ($g_{ACL}$) 와 CE 손실의 기울기 ($g_{CE}$) 사이의 각도 ($\gamma$) 를 계산합니다.
• 조건부 적용:
  • 각도 $\gamma \le \gamma_{thres}$ (예: 90 도) 인 경우: 두 손실을 모두 사용 (가중치 $\lambda$ 적용).
  • 각도 $\gamma > \gamma_{thres}$ 인 경우: ACL 손실 항을 배제하고 CE 손실만 사용하여 업데이트합니다.
• 의의: 최적화 과정에서 두 목표가 상충될 때 대비 학습 항을 일시적으로 끄줌으로써, 모델이 CE 손실에 의해 안정적으로 수렴하도록 돕습니다.

C. ACL-CL (크로스-레이어 대비 학습)

멀티-엑시트 BERT 의 성능을 향상시키기 위해 제안된 지식 증류 (Knowledge Distillation) 방식입니다.

• 구조: 마지막 레이어 (Teacher) 의 표현과 레이블 임베딩을 사용하여, 중간 레이어 (Student) 의 최적화를 안내합니다.
• 방식: 중간 레이어의 샘플 표현, 레이블 임베딩과 마지막 레이어의 샘플 표현, 레이블 임베딩을 모두 포함하는 확장된 배치에서 대비 손실을 계산합니다.
• 효과: 얕은 레이어가 깊은 레이어의 일반적 특징 (Generic features) 과 레이블 구조를 학습하도록 하여, 중간 레이어의 표현 품질을 높입니다.

3. 주요 기여 (Key Contributions)

1. ACL 프레임워크 제안: 지도 학습 환경에서 CE 와 CL 의 충돌 문제를 해결하기 위해, 레이블 임베딩을 활용한 ACL-Embed와 기울기 방향을 기반으로 손실 항을 동적으로 조절하는 ACL-Grad를 통합한 새로운 프레임워크를 개발했습니다.
2. 멀티-엑시트 BERT 를 위한 크로스-레이어 학습: 중간 레이어의 성능 향상을 위해 깊은 레이어의 지식을 대비 학습을 통해 증류하는 ACL-CL 방법을 제안했습니다. 이는 기존 지식 증류 방법보다 더 효과적인 표현 학습을 가능하게 합니다.
3. 광범위한 실험 검증: GLUE 벤치마크를 통해 BERT 및 RoBERTa 기반의 파인튜닝과 멀티-엑시트 BERT 훈련에서 기존 SOTA 방법들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

GLUE 벤치마크 (CoLA, MNLI, MRPC, QNLI, QQP, RTE, SST-2) 에서 BERT 와 RoBERTa 를 백본으로 한 실험 결과는 다음과 같습니다.

• BERT/RoBERTa 파인튜닝:
  • ACL 은 기존 CE 만 사용하거나 CE+SCL 을 사용하는 방법보다 7 개 분류 작업 중 5 개에서 더 높은 성능을 기록했습니다.
  • 특히 RoBERTa 기반 모델에서 ACL 을 적용했을 때 모든 작업에서 일관된 성능 향상을 보였습니다.
• 멀티-엑시트 BERT (Early Exiting):
  • ACL-CL을 적용한 6 번째 레이어의 멀티-엑시트 모델은 추가 사전 학습 없이도 TinyBERT 및 DistilBERT와同等하거나 더 나은 성능을 달성했습니다.
  • 얕은 레이어 (Early exits) 에서의 성능 향상 폭이 깊고 레이어보다 더 컸으며, 이는 ACL-CL 이 깊은 레이어의 지식을 효과적으로 전달했음을 시사합니다.
• 성능 - 속도 트레이드오프:
  • ACL 은 낮은 지연 시간 (Low-latency) 애플리케이션에 적합한 더 나은 품질 - 속도 균형을 제공했습니다.
• Ablation Study:
  • ACL-Embed, ACL-Grad, ACL-CL 각 구성 요소가 모두 성능 향상에 기여함을 확인했습니다. 특히 ACL-Grad 는 파라미터 $\lambda$에 덜 민감하게 만들어 모델의 안정성을 높였습니다.

5. 의의 및 결론 (Significance)

이 논문은 대비 학습이 지도 학습 환경에서 왜 종종 실패하는지 (목표 함수 충돌) 를 분석하고, 이를 해결하는 실용적인 프레임워크를 제시했다는 점에서 의의가 큽니다.

• 최적화 안정성: 기울기 방향을 모니터링하여 손실 함수를 동적으로 조정하는 방식은 다양한 NLP 태스크에 적용 가능한 강력한 기법입니다.
• 효율적인 추론: 멀티-엑시트 BERT 의 성능을 획기적으로 개선함으로써, 고정된 모델 압축 (Pruning, Distillation) 없이도 동적 추론 (Dynamic Early Exiting) 을 통해 계산 비용을 절감하면서도 높은 정확도를 유지할 수 있는 길을 열었습니다.
• 확장성: 이 프레임워크는 시퀀스 레이블링, 관계 추출 등 다른 NLP 태스크로 확장 가능하며, BERT 기반 모델의 탄소 발자국을 줄이는 데 기여할 수 있습니다.

결론적으로, ACL 은 대비 학습과 분류 학습의 시너지를 극대화하여 BERT 기반 모델의 파인튜닝 효율성과 추론 속도를 동시에 개선한 획기적인 접근법입니다.