MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

기술 요약: MERGE – 최소 표현 교체를 통한 일반화 (Minimal Expression-Replacement GEneralization)

문제 정의
현재의 자연어 추론(NLI) 모델들은 진정한 추론 능력보다는 훈련 데이터에서 학습된 단어 중복이나 가설 전용 아티팩트(hypothesis-only artifacts)와 같은 휴리스틱을 이용함으로써 표준 테스트 세트에서 높은 성능을 달 el 성하는 경우가 많습니다. 이러한 약점을 드러내기 위해 분포 외(OOD) 데이터셋이 사용되어 왔으나, 기존 방식은 흔히 휴리스틱을 의도적으로 깨뜨리는 적대적 예시를 사용하거나, 비-구문 보존적 수정을 통해 비현실성을 유발합니다. 또한, 고품질의 추론 데이터셋을 수동으로 구축하는 것은 비용이 많이 들고 확장이 어렵는 반면, 자동 생성 방식은 역사적으로 편향되거나 비문법적인 변형을 생성하는 문제를 겪어왔습니다. 따라서 원래 문제의 논리적 추론과 구문 구조를 보존하면서도, 비적대적이고 최소한의 변화를 통해 모델의 일반화 능력을 평가할 수 있는 견고하고 자동화된 방법이 필요합니다.

방법론: MERE 및 MERGE
저자들은 자동화된 생성 기술인 MERE(Minimal Expression REplacement)를 기반으로 구축된 모델 강건성 평가 프레임워크인 MERGE(Minimal Expression-Replacement GEneralization)를 제안합니다.

1. MERE 생성 과정:

   • 시드 선택 (Seed Selection): 프로세스는 전제($p$), 가설($h$), 그리고 레이블 $l$로 구성된 원래의 NLI "시드" 문제에서 시작됩니다.
   • 대상 식별 (Target Identification): 시스템은 $p$와 $h$ 사이에 공유되는 개방형 어휘(명사, 동사, 형용사, 부사)를 식별합니다.
   • MLM을 통한 교체 (Replacement via MLMs): 마스크 언어 모델(MLM)을 사용하여 이러한 공유 단어들에 대해 문맥적으로 확률이 높은 대체어를 제안합니다.
   • 제약 조건 (Constraints): 유효성을 보장하기 위해, 대체어($r$)는 다음 세 가지 조건을 충족해야 합니다:
     1. $r$은 마스크된 문맥 내에서 원래 단어($o$)보다 더 높은 확률을 가져야 합니다.
     2. $r$은 문장에 이미 존재하지 않아야 합니다.
     3. $r$은 $o$와 동일한 품사(word class)에 속해야 합니다.
   • 교차 검증 (Cross-Validation): 교체어가 문장 내 여러 번 나타나는 경우, 동일한 모델에 의해 제안되었는지, 그리고 쌍(pair) 전체에서 일관성을 유지하는지 확인하기 위해 $p$와 $h$ 모두에서 검증됩니다.
   • 품질 필터링 (Quality Filtering): 다단계 필터링 과정을 통해 서브워드(subwords), 구두점, 저확률 후보를 제거합니다. 수동 검증을 통해 유창성과 원래의 추론 관계 보존 여부를 확인합니다.
   • 데이터셋 구축 (Dataset Construction): 각 시드에 대해, 공유 단어를 교체함으로써 여러 변형(variants)을 생성합니다. 최종 데이터셋(Var)은 특정 시드가 과하게 대표되는 것을 방지하기 위해 변형들을 무작위로 샘플링하여 구축됩니다.

2. MERGE 평가 지표:

   • 표준 샘플 기반 정확도와 달리, MERGE는 시드-변형(Seed-Variant, SV) 정확도를 도입합니다.
   • 시드 문제는 생성된 변형들의 최소 **정답 임계값(Correctness Threshold, CT)**이 올바르게 분류되었을 때만 올바르게 분류된 것으로 간주됩니다.
   • 일치 정답성(Matching Correctness, MC) 임계값은 모델의 SV 점수가 표준 시드 정확도와 가장 밀접하게 일치하는 CT로 정의됩니다. 낮은 MC 값은 일반화 능력이 낮음을 의미합니다.

주요 기여

1. 자동화된 방법론: 추론, 구문, 단어 중복을 보존하면서 최소한의 어휘 다양성을 도입하는 "우호적인" 일반화 테스트 세트를 만들기 위한 완전 자동화 파이프라인(MERE)을 제공합니다.
2. 일반화에 대한 실증적 발견: 미세 조정된 NLI 모델과 대규모 언어 모델(LLM) 모두가 최소한의 변형에 대해 일반화 성능이 낮다는 증거를 제시합니다. 모델들은 형태가 아주 약간만 달라져도 일관성을 유지하는 데 어려움을 겪습니다.
3. 언어학적 분석: 동사가 일반적으로 가장 일반화하기 어려운 어휘 클래스이며, 그 다음이 명사, 형용사 순임을 식별했습니다.
4. 소스 독립성: 변형을 생성하는 데 사용된 특정 소스 MLM이 평가되는 NLI 모델의 성능에 유의미한 편향을 주지 않는다는 결과를 보여줍니다.

결과

• 일반화 격차 (Generalization Gap): 모델들은 개별 변형에 대해서는 높은 성능을 보이지만(표준 정확도), 시드당 변형의 일관성을 평가할 때(SV 정확도) 성능이 크게 하락합니다. 대부분의 모델은 CT가 약 50% 이하일 때만 원래의 성능을 유지합니다. 이 임계값을 넘어서면, 특히 LLM의 경우 성능이 급격히 저하됩니다.
• 데이터셋 비교: 모델들은 SNLI 변형보다 MNLI 변형에서 약간 더 나은 일반화 성능을 보였습니다.
• 어휘 클래스 민감도:
  • 동사: 특히 높은 정답 임계값에서 일관되게 가장 일반화하기 어려운 클래스였습니다.
  • 명사: MNLI에서는 형용사보다 어렵지만 동사보다는 쉬웠으며, SNLI에서는 높은 임계값에서 동사보다 어려웠습니다.
  • 형용사: 일반적으로 가장 일반화하기 쉬운 클래스였습니다.
• MLM 소스의 영향: 변형 단어의 출처(예: BERT 기반 NLI 모델을 위해 BERT를 사용하여 변형 생성)가 점수를 체계적으로 높이거나 낮추지 않았으며, 이는 생성 방식이 특정 모델 아키텍처로의 평가를 본질적으로 편향시키지 않음을 시사합니다.
• 시드 난이도: 모델은 처음에 오분류했던 시드 문제에 대해 훨씬 더 낮은 성능을 보였으며, 올바르게 분류된 시드의 경우 변형의 약 97%가 정답이었던 것에 비해 약 80%만이 정답이었습니다.

의의 및 주장
본 논문은 MERGE가 표준 지표가 가리는 현재의 최첨단 모델들의 약점을 드러내는 엄격하고 비적대적인 일반화 테스트를 제공한다고 주장합니다. 최소한의, 레이블을 보존하는 변형들에 대한 일관성을 강제함으로써, 본 연구는 모델들이 견고한 추론보다는 특정 어휘적 단서에 크게 의존하고 있음을 입증합니다. 저자들은 MERGE를 비용이 많이 드는 수동 데이터셋 구축이나 적대적 노이즈 도입 없이도 추론 모델의 "새로운 유형의 약점"을 밝혀낼 수 있는 도구로 제시합니다. 현재 NLI에 적용되어 있으나, 저자들은 이 방법론이 다른 추론 작업에도 적용 가능하다고 언급합니다.

한계점
저자들은 다음과 같은 한계를 인정합니다:

• 확률 집계 아티팩트를 피하기 위해 서브워드로 토큰화된 단어는 교체하지 않았습니다.
• 단어가 여러 번 등장할 경우 한 번에 하나의 인스턴스만 마스킹하였는데, 이는 편향을 유발할 수 있습니다(단, 이러한 경우는 시드 데이터셋에서 드뭅니다).
• 명사 결합(nominal compounds)에서의 오류를 피하기 위해 형태론적 파생(morphological derivations)은 교체하지 않았으며, 이로 인해 간혹 유창성이 낮은 변형이 발생할 수 있습니다.
• 분석에 테스트된 모델 이상의 더 큰 규모의 LLM을 포함하지 않았습니다.