When Informal Text Breaks NLI: Tokenization Failure, Distribution Shift, and Targeted Mitigations

1. 문제 정의 (Problem Statement)

자연어 추론 (NLI) 모델은 SNLI 와 MultiNLI 와 같은 벤치마크에서 높은 정확도를 보이지만, 이러한 데이터셋은 대부분 정제된 공식적인 텍스트로 구성되어 있습니다. 반면, 실제 사용자 생성 콘텐츠 (UGC) 는 슬랭 (slang), 이모지 (emoji), Gen-Z 유행어 (noise tokens) 등 비공식적인 표면 형태를 포함합니다.

이 연구는 모델이 의미론적 표현을 robust 하게 학습했다면 표면 형태가 변해도 정확도가 유지되어야 한다는 전제하에, 비공식 텍스트가 NLI 성능에 미치는 영향을 분석합니다. 주요 발견은 다음과 같습니다:

• 슬랭 (Slang): 정확도 저하가 미미함 (최대 1.1%p).
• 이모지 (Emoji) 및 노이즈 (Noise): 정확도가 크게 저하됨 (SNLI 에서 최대 13%p 감소).
• 핵심 질문: 왜 이모지와 노이즈가 다른 메커니즘으로 실패하며, 이를 어떻게 해결할 수 있는가?

2. 방법론 (Methodology)

2.1 데이터셋 및 모델

• 데이터: SNLI (55 만 개) 및 MultiNLI (39 만 개) 의 검증 세트에 4 가지 변환을 적용.
  • 슬랭: 공식 단어를 비공식 동의어로 대체 (예: going to $\to$ gonna).
  • 이모지: 명사/동사를 의미 관련 유니코드 이모지로 대체 (다대일 매핑으로 정보 손실 발생).
  • 노이즈: 가정 (hypothesis) 문장에 의미 없는 Gen-Z 유행어 추가 (예: deadass, no cap).
  • 복합 (Combined): 세 가지 변환을 모두 적용.
• 모델:
  • ELECTRA-small (14M 파라미터): WordPiece 토크나이저 (30K 어휘).
  • RoBERTa-large (355M 파라미터): BPE 토크나이저 (50K 바이트 레벨 어휘).

2.2 완화 전략 (Mitigation Approaches)

연구팀은 두 가지 실패 모드에 따라 서로 다른 전략을 제안하고 비교했습니다.

1. 전처리 (Preprocessing): 추론 시 토크나이저 입력 전 텍스트를 정규화.
   • 슬랭을 공식 형태로 확장, 이모지를 텍스트로 복원, 노이즈 토큰 제거.
2. 증강 (Augmentation): 학습 시 데이터에 변환된 텍스트를 포함.
   • 학습 데이터의 50% 를 변환된 버전으로 복사하여 모델이 비공식 형태에 노출되도록 함.
3. 하이브리드 (Hybrid): 전처리와 증강을 모두 적용.

2.3 비교 기준

• GPT-4o-mini (Zero-shot): 동일한 평가 세트를 사용하여 성능 비교.
• 통계적 검증: McNemar 검정 및 부트스트랩 신뢰구간을 사용하여 유의성 확인.

3. 주요 기여 및 발견 (Key Contributions & Findings)

3.1 실패 메커니즘의 이원성 (Dual Failure Modes)

논문은 이모지와 노이즈가 완전히 다른 메커니즘으로 성능을 저하시킨다는 것을 규명했습니다.

• 이모지 (Tokenization Failure):

  • 원인: WordPiece 토크나이저 (ELECTRA) 는 이모지를 인식하지 못해 [UNK] 토큰으로 매핑합니다. 93.6% 의 이모지 예제에 최소 1 개의 [UNK] 가 포함됩니다.
  • 결과: 입력 신호가 토큰화 단계에서 파괴되어 모델이 학습할 수 없습니다.
  • 해결: 전처리가 효과적입니다. 토큰화 전에 이모지를 텍스트로 변환해야 합니다. (증강은 이미 파괴된 정보를 복구할 수 없음).
  • RoBERTa 의 경우: BPE 는 [UNK] 를 생성하지 않지만, 이모지로 인해 서브워드 분할 (fragmentation) 이 16.7% 증가하여 의미 없는 토큰이 시퀀스를 채워 성능이 저하됩니다.

• 노이즈 (Distribution Shift):

  • 원인: 노이즈 토큰 (deadass, etc.) 은 어휘에 존재하지만, NLI 학습 데이터에는 존재하지 않습니다. 모델은 이를 의미 있는 내용어로 오해하여 추론을 방해합니다.
  • 결과: 모델이 노이즈 토큰에 가중치를 부여하여 예측을 왜곡합니다 (특히 '모순'으로 편향됨).
  • 해결: 증강이 효과적입니다. 학습 중에 노이즈가 포함된 예제를 보며 모델이 이를 무시하는 법을 배웁니다. (전처리는 알려진 노이즈만 제거 가능하고, 새로운 노이즈에는 무력함).

3.2 모델 규모 효과 (Scale Effects)

• ELECTRA-small: 하이브리드 접근법이 모든 변환에서 가장 우수한 성능을 보임.
• RoBERTa-large: 대규모 모델은 사전 학습 데이터에 비공식 텍스트가 더 많이 포함되어 있어 노이즈에 대해 더 강건함 (성능 저하 폭이 작음). 하지만 이모지에 대한 취약성은 ELECTRA 와 유사하게 나타남.
• MultiNLI 에서의 특이점: RoBERTa-large 의 경우, 특정 변환 (이모지 또는 노이즈) 에 대해 개별 완화 전략 (전처리 또는 증강) 이 하이브리드보다 미세하게 더 나을 수 있음.

3.3 LLM vs. Fine-tuned 모델 비교

• 기초 모델 (Mitigation 없음): GPT-4o-mini(Zero-shot) 보다 비공식 텍스트 변환 시 성능이 현저히 떨어짐 ($p < 0.0001$). 이는 GPT 가 방대한 비공식 데이터로 사전 학습되었기 때문입니다.
• 하이브리드 모델: ELECTRA-small(14M) 에 하이브리드 전략을 적용하면, GPT-4o-mini 보다 SNLI 에서 모든 변형에 대해 우월해지며, MultiNLI 에서는 통계적으로 동등한 성능을 달성합니다.
• 의미: 비공식 텍스트에 대한 강건성은 모델의 용량 (Capacity) 이 아니라 학습 전략 (Training Choice) 의 문제임을 입증했습니다.

4. 결과 (Results)

• 성능 회복: ELECTRA-small 의 SNLI 기준, 하이브리드 전략을 적용하면 복합 변환 (Combined) 에 대한 정확도가 **75.88% $\to$ 88.93%**로 크게 향상되었습니다.
• 정제 텍스트 영향: 완화 전략을 적용해도 원본 (Clean text) 의 정확도는 통계적으로 유의미하게 떨어지지 않았습니다.
• 오류 분석:
  • 이모지 오류: [UNK] 로 인해 모델이 '중립 (Neutral)'으로 편향됨.
  • 노이즈 오류: 노이즈 토큰을 내용어로 인식하여 '모순 (Contradiction)'으로 편향됨.
  • 하이브리드 모델은 이러한 편향을 효과적으로 교정했습니다.

5. 의의 및 결론 (Significance & Conclusion)

1. 메커니즘 기반의 완화: 단순히 성능을 높이는 것을 넘어, 어디서 (토큰화 단계 vs. 의미 추론 단계) 실패가 발생하는지 분석하고 그에 맞는 표적 완화 전략을 제시했습니다.
2. 실용적 제안: 전처리 (Inference time) 와 증강 (Training time) 을 결합한 하이브리드 접근법이 가장 안전하고 효과적인 일반적인 해결책임을 증명했습니다.
3. 비용 대비 효율: 14M 파라미터의 작은 모델이 하이브리드 학습을 통해 25 배 큰 모델 (RoBERTa-large) 이나 선구적 LLM(GPT-4o-mini) 과 경쟁할 수 있는 강건성을 획득했습니다.
4. 학습 안정성 주의사항: 대규모 모델 (RoBERTa-large) 에 증강 데이터를 적용할 때, Warmup 스케줄이 없으면 학습이 붕괴될 수 있음을 발견하고 이를 해결했습니다.

결론적으로, 이 연구는 비공식 텍스트 처리를 위한 단순한 "더 많은 데이터" 접근이 아니라, 토큰화 실패와 분포 변화를 구분하여 각각 전처리와 증강으로 대응하는 체계적인 접근이 필요함을 강조합니다.