Explanation Generation for Contradiction Reconciliation with LLMs

1. 문제 정의 (Problem Definition)

• 기존 접근법의 한계: 기존 자연어 처리 (NLP) 연구에서는 모순 (contradiction) 을 주로 '오류'로 간주하여, 어떤 진술을 수용하고 어떤 것을 폐기할지 선택하는 '중재 (arbitration)' 작업으로 접근했습니다.
• 인간 추론의 특징: 인간의 사회적 상호작용 및 전문 분야에서는 모순된 정보를 마주했을 때 단순히 하나를 버리는 대신, 두 진술이 모두 타당할 수 있도록 모순을 해소하는 설명 (reconciliatory explanation) 을 추론하는 능력이 핵심입니다. (예: "캐시는 커피를 싫어한다" vs "그녀는 매일 커피를 산다" → "직장 동료들을 위해 매일 커피를 사주는 의무가 있기 때문"과 같은 맥락 추가)
• LLM 의 미해결 과제: 대규모 언어 모델 (LLM) 의 추론 능력이 향상되었음에도 불구하고, 모순된 진술들을 조화시키는 설명을 생성하는 능력은 거의 연구되지 않았습니다. 이는 대화형 에이전트나 과학적 보조 도구 등 불완전하고 충돌하는 정보가 흔한 분야에서 LLM 의 실용성을 제한하는 요인입니다.

2. 방법론 (Methodology)

이 논문은 모순 해소 설명 생성 (Reconciliatory Explanation Generation, REG) 이라는 새로운 태스크를 제안하고 이를 평가하기 위한 프레임워크를 구축했습니다.

가. 태스크 정의

• 입력: 명제 (Premise, $P$) 와 가설 (Hypothesis, $H$) 이 주어지며, 이 둘은 현재 모순 (Contradiction) 관계로 판별됨.
• 목표: 모델이 자연어 설명 ($E$) 을 생성하여, $P$ 와 $E$ 를 결합했을 때 $H$ 가 참이 되도록 (함의, Entailment) 만드는 것.
• 성공 기준:
  1. 효과성 (Effectiveness): $P + E$ 가 $H$ 를 함의 (Entail) 해야 함.
  2. 일관성 (Coherence): $P$ 와 $E$ 가 서로 모순되지 않아야 함.

나. 데이터 구축 (Dataset Curation)

• 기존 NLI 데이터 활용: MultiNLI 데이터셋의 하위 집합인 ChaosNLI를 활용했습니다.
• 핵심 아이디어: 기존 NLI 데이터에서 인간 어노테이터 간의 불일치 (disagreement) 를 '결함'이 아닌 '기능'으로 재해석했습니다. 즉, 인간 어노테이터 중 다수가 '모순'으로 라벨링했더라도 일부는 '중립'이나 '함의'로 보았을 가능성이 있는 사례들을 선별하여, 모순을 해소할 수 있는 잠재적 맥락이 존재할 수 있는 데이터로 재구성했습니다.
• 데이터셋: ChaosNLI-MNLI-C (275 개 인스턴스) 를 주 데이터셋으로 사용했으며, Implied NLI 데이터셋 (8,000 개) 으로 일반성도 검증했습니다.

다. 자동 평가 프레임워크 (Automatic Evaluation)

• LLM 어노테이터 (Judge Models): 인간 어노테이터의 주관적 편향을 피하고 확장성을 위해, 여러 개의 LLM 을 '심판 (Judge)'으로 활용했습니다.
• 평가 프로세스: 생성된 설명 ($E$) 에 대해 다음 세 가지 관계를 LLM 심판에게 판별하게 합니다.
  1. $P + E \rightarrow H$ (함의 여부: 효과성 확인)
  2. $P \rightarrow E$ (모순 여부: 일관성 확인)
  3. $E \rightarrow P$ (모순 여부: 일관성 확인)
• 성공률 계산: 위 세 조건을 모두 만족하는 경우를 '성공 (Success)'으로 간주하여 모델의 성능을 측정합니다.

라. 실험 설정

• 평가 모델: 18 개의 다양한 LLM (Qwen3, Llama, Olmo, DeepSeek, GPT-5 등) 을 평가 대상으로 선정했습니다.
• 모드 비교: '생각 (Thinking)' 모드 (Chain-of-Thought 사용) 와 '비생각 (Non-thinking)' 모드를 모두 테스트하여 추론 과정이 성능에 미치는 영향을 분석했습니다.

3. 주요 결과 (Key Results)

가. 전반적 성능

• 제한된 성공: 대부분의 LLM 은 모순을 해소하는 설명을 생성하는 데 어려움을 겪었습니다.
• 상용 모델의 우위: GPT-5-mini (40.25%) 와 GPT-5.2 (31.56%) 와 같은 상용 모델이 오픈 소스 모델 (최고 성능 Llama-3.3-70B: 26.20%) 보다 월등히 높은 성공률을 보였습니다.
• 일관성 vs 효과성: 모델들은 대부분 일관성 (Premise 와 모순되지 않음) 은 잘 유지했으나, 효과성 (Premise+Explanation 이 Hypothesis 를 함의함) 을 달성하는 데 실패하는 경우가 많았습니다.

나. '생각 (Thinking)' 모드의 영향

• 중간 크기 모델의 향상: Qwen3-4B, 8B, Olmo-3-7B 와 같은 중간 크기 모델은 '생각' 모드를 활성화했을 때 효과성이 크게 향상되었습니다 (약 10~14%p 증가).
• 대형 모델의 한계 (Plateau): 모델 크기가 커질수록 (Qwen3-32B, Olmo-3-32B 등) '생각' 모드로 인한 성능 향상 폭이 줄어들거나 정체되었습니다. 이는 대형 모델이 이미 필요한 지식을 보유하고 있으나, 이를 활용하여 성공적인 설명을 구성하는 데 병목 현상이 발생함을 시사합니다.
• 소형 모델의 저하: 매우 작은 모델 (0.6B, 1.7B) 의 경우 '생각' 모드가 오히려 성능을 저하시켰습니다.

다. 인간 어노테이터 불일치와의 상관관계

• 인간 어노테이터들이 모순으로 라벨링한 비율 ($w_{con}$) 이 높을수록, 모델이 모순을 해소하는 설명을 생성하는 데 실패할 확률이 높아지는 약한 음의 상관관계 (-0.2257) 가 관찰되었습니다. 즉, 인간도 해결책을 찾기 어려운 모순일수록 모델도 더 어렵게 느낍니다.

라. 질적 분석 (Qualitative Analysis)

• 성공 사례: 맥락 추가 (예: 시간적 맥락, 기능적 맥락), 용어의 다의성 해석, 은유적 해석 등을 통해 모순을 해소했습니다.
• 실패 사례: 가설을 단순히 반복하거나, 사실과 다른 설명을 생성하거나, 모순을 해소하는 것이 아니라 모순의 원인을 설명하는 방향으로 오류를 범했습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 태스크 제안: 모순된 진술을 설명을 통해 조화시키는 REG(Reconciliatory Explanation Generation) 태스크를 처음 제안했습니다.
2. 확장 가능한 데이터 및 평가 프레임워크: 기존 NLI 데이터셋의 인간 어노테이터 불일치를 활용하여 추가적인 인간 라벨링 없이 대규모 데이터를 구축하고, LLM 심판을 통한 자동 평가 메트릭 (효과성, 일관성) 을 제안했습니다.
3. LLM 추론 능력에 대한 통찰: 현재 LLM 들이 모순 해소라는 추론 작업에서 여전히 한계를 가지고 있음을 규명했으며, 특히 '생각' 모드의 이득이 모델 크기에 따라 체감된다는 중요한 발견을 제공했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 대화 시스템, 과학적 발견, 법률 문서 해석 등 모순된 정보가 공존하는 실제 환경에서 LLM 의 신뢰성과 유용성을 높이는 데 필수적인 능력을 평가하는 기준을 마련했습니다.
• 연구 방향 제시: 단순히 정답을 찾는 것을 넘어, 모순을 포용하고 새로운 맥락을 창출하는 귀납적/가설적 추론 (Abductive Reasoning) 능력을 LLM 에게 어떻게 학습시킬지에 대한 새로운 연구 방향을 제시합니다.
• 한계: 현재는 영어 단문 기반이며, 사실성 (Groundedness) 과 다양성 (Diversity) 같은 추가적인 평가 기준이 필요하다는 점을 지적하며 향후 연구를 제안했습니다.

이 논문은 LLM 이 단순한 정보 처리를 넘어, 인간의 복잡한 추론 과정 (모순 해소) 을 모방할 수 있는지에 대한 중요한 디딤돌을 놓았다는 점에서 의의가 큽니다.