Multi-Granularity Reasoning for Natural Language Inference

기술 요약: 자연어 추론을 위한 다중 입도 추론 (Multi-Granularity Reasoning)

문제 정의
자연어 추론(NLI) 또는 텍textual entailment 인식은 전제(premise)와 가설(hypothesis) 사이의 논리적 관계(함의, 모순 또는 중립)를 결정하는 데 필요한 근본적인 과업이다. 트랜스포머 기반의 사전 학습 모델들이 놀라운 성공을 거두었으나, 기존 방식들은 주로 최종 레이어의 토큰 표현에 의존한다. 저자들은 이러한 단일 레이어 표현이 효과적인 추론에 필요한 복잡하고 계층적인 의미적 상호작용을 포착하기에는 불충분한 경우가 많다고 주장한다. 구체적으로, 미세한 어휘적 단서, 구문적 구성, 그리고 고차원의 문맥적 의미는 단일 표현 공간 내에서 서로 엉키거나 희석되는 경향이 있으며, 이는 정교한 의미 관계를 식별하는 모델의 능력을 제한한다.

방법론: 다중 입도 추론 네트워크 (MGRN)
이러한 한계를 해결하기 위해, 본 논문은 표면적인 어휘 매칭에서 심층적인 의미 추상화로 나아가는 인간의 인지 과정을 모방하도록 설계된 프레임워크인 다중 입도 추론 네트워크(MGRN)를 제안한다. 이 아키텍처는 다음과 같은 단계로 작동한다:

1. 입력 전처리 및 다중 레이어 표현: 입력은 BERT 기반 인코더에 의해 처리된 전제와 가설 쌍으로 구성된다. 최종 레이어만을 사용하는 표준 방식과 달리, MGRN은 트랜스포머 스택의 $L$개 모든 레이어로부터 은닉 상태(hidden states)를 추출한다.
2. 상호작용 행렬 구축: 각 레이어 $l$에 대해, 모델은 전제의 토큰 표현($h^{(l,i)}_1$)과 가설의 토큰 표현($h^{(l,j)}_2$) 사이의 요소별 곱(Hadamard product)을 수행함으로써 두 문장 간의 상호작용을 명시적으로 포착한다. 이를 통해 해당 레이어의 추상화 수준에 특화된 단어 대 단어 상호작용을 인코딩하는 상호작용 텐서 $M^{(l)} \in \mathbb{R}^{n \times m \times d}$를 생성한다.
3. 다중 레이어 적층: 모든 레이어의 상호작용 행렬($M^{(1)}$부터 $M^{(L)}$까지)을 새로운 차원을 따라 결합하여 포괄적인 다중 레이어 상호작용 표현 $M$을 형성한다. 이러한 집계는 표면적 특징부터 추상적 의미에 이르는 의미 정보를 보존한다.
4. DenseNet 특징 추출: 적층된 상호작용 텐서 $M$은 일련의 Dense Block(Densely Connected Convolutional Networks)을 통과한다. 이 구성 요소는 이전 모든 레이어의 출력을 다음 레이어의 입력으로 결합함으로써 효율적인 그래디언트 전파와 특징 재사용을 촉진하며, 다단계 비선형 매핑을 통해 고차원 의미 특징을 추출할 수 있게 한다.
5. 분류: 최종 특징 벡터는 완전 연결 네트워크(fully connected network)와 소프트맥스(softmax) 함수로 전달되어 세 가지 분류 레이블을 예측한다.

주요 기여
본 논문은 세 가지 주요 기여를 명시한다:

1. 새로운 아키텍처: 구조화된 상호작용 텐서를 사용하여 계층적 의미 특징을 통합함으로써 추론 정확도를 크게 향상시키는 MGRN을 제안하였다.
2. 고차 상호작용 모델링: 모델은 전통적인 토큰 수준의 정렬을 넘어, 여러 추상화 수준에 걸친 복잡한 구성 및 구문 관계를 포함하도록 문장 쌍 간의 고차 의미 상호작용을 효과적으로 포착한다.
3. 실증적 검증: 다양한 공공 벤치마크에 대한 광범한 실험을 통해 MGRN이 경쟁력 있는 베이스라인 모델들을 일관되게 능가함을 입증하였으며, 이를 통해 MGRN의 효과성, 견고성 및 범용성을 검증하였다.

실험 결과
저자들은 GLUE 태스크(MRPC, QQP, STS-B, MNLI, RTE, QNLI), SNLI, MultiNLI, Sci, SICK, Twi를 포함한 10개의 대규모 공공 벤치마크에서 MGRN을 평가하였다.

• 성능: BERT-base 및 BERT-large와 결합했을 때, MGRN은 모든 데이터셋에서 각각 평균 0.8%와 0.7%의 정확도 향상을 달술했다. 특히, MGRN은 RoBERTa-base보다 1.5%, RoBERTa-large보다 0.5% 더 높은 성능을 보였다.
• 절제 연구(Ablation Studies): 상호작용 행렬을 제거하거나 DenseNet을 평균 풀링(average pooling)으로 대체했을 때 성능이 명확하게 하락하였으며, 이는 미세한 상호작용 포착과 고차원 특징 추출의 필요성을 확인시켜 준다. 마지막 BERT 레이어만을 사용했을 때도 성능이 저하되었는데, 이는 다중 레이어 융합의 가치를 뒷받침한다.
• 견고성: 적대적 및 섭동 테스트(예: SwapAnt, NumWord, SwapSyn) 하에서 MGRN은 베이스라인 모델들에 비해 우수한 견고성을 입증했다. MGRN은 표면 형태나 구문적 규칙성을 방해하는 변환에도 안정적인 성능을 유지하였으며, 이는 모델의 추론이 취약한 표면 특징보다는 의미적 상호작용 패턴에 기반하고 있음을 시사한다.
• 사례 연구: 질적 분석 결과, MGRN은 ESIM, BERT, SyntaxBERT와 같은 모델들이 실패한 미묘한 어휘, 성별 관련, 수치적 차이를 성공적으로 처리하였다. 특히 "12"와 "42"를 구분하는 것과 같이 정밀한 의미적 판별이 필요한 경우에서 그러했다.

의의 및 주장
본 논문은 제안된 접근 방식이 계층적 의미 상호작용을 명시적으로 모델링함으로써 현대 NLI 모델의 "취약성(brittleness)" 문제를 해결한다고 주장한다. 표면 수준의 이해에서 심층적 이해로 나아가는 인간의 인지 과정을 시뮬레이션함으로써, MGRN은 단일 입도 방식에서는 놓치기 쉬운 복잡한 의미 관계를 밝혀낸다. 저자들은 이러한 다중 입도 추론 능력이 벤치마크 성능을 개선할 뿐만 아니라 분포 변화 및 적대적 공격에 대한 모델의 견고성을 높이며, 표준 테스트에서의 높은 정확도와 진정한 추론 능력 사이의 간극을 메운다고 단언한다. 본 연구는 여러 입도에 걸쳐 의미 정보를 통합하는 것이 더욱 신뢰할 수 있는 자연어 이해를 향한 유효한 경로임을 보여줌으로써, 견고성 중심의 평가 방향과 궤를 같이한다.