💬 NLP

Improving Implicit Discourse Relation Recognition with Natural Language Explanations from LLMs

이 논문은 대규모 언어 모델 (LLM) 이 생성한 자연어 설명을 활용하여 암시적 담화 관계 인식 (IDRR) 의 성능과 해석 가능성을 동시에 향상시키는 새로운 분류 - 생성 프레임워크를 제안하고, 이를 PDTB 등 다양한 태스크에서 유효함을 입증했습니다.

원저자: Heng Wang, Changxing Wu

게시일 2026-02-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Heng Wang, Changxing Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"왜 그런 결론을 내렸는지 설명할 수 있는, 똑똑하지만 가벼운 AI"**를 만드는 방법에 대한 이야기입니다.

핵심 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

1. 문제: "정답만 알려주는 AI"의 한계

우리가 글을 읽을 때, 두 문장 사이에 숨겨진 관계 (예: "비유", "대조", "원인과 결과") 를 파악하는 건 꽤 어렵습니다. 예를 들어, "날씨가 추웠다"와 "난방을 켰다"는 문장 사이에는 '원인과 결과' 관계가 있죠.

기존의 AI 는 이 관계를 맞추는 데는 꽤 능숙했지만, "왜 그렇게 생각했는지" 설명해 주지는 못했습니다. 마치 시험에서 정답만 찍어주는 학생처럼, "이건 A 입니다"라고만 말하지 "왜 A 인지"는 말해주지 않는 거죠. 그래서 사람들은 AI 를 신뢰하기 어려웠습니다.

2. 해결책: "천재 선생님 (LLM) 의 노트"를 베끼기

논문 저자들은 최근 등장한 거대 AI(예: ChatGPT 같은 LLM) 가 이 관계를 아주 잘 이해하고, 자연스러운 말로 설명도 잘해준다는 점에 착안했습니다.

하지만 거대 AI 는 무겁고 비싸서 모든 곳에 쓸 수 없습니다. 그래서 저자들은 다음과 같은 아이디어를 냈습니다.

"무겁고 비싼 천재 선생님 (거대 AI) 이 쓴 '해설 노트'를 가볍고 저렴한 학생 (가벼운 AI) 이 베껴서 똑똑해지게 만들자!"

이 과정을 **'지식 증류 (Distillation)'**라고 합니다.

3. 작동 원리: "설명과 정답을 동시에 배우는 수업"

이 방법은 크게 두 단계로 이루어집니다.

선생님의 해설 만들기:
먼저 거대 AI 에게 "이 두 문장은 '비유' 관계야. 왜냐하면..."이라고 설명을 달라고 요청합니다. 이때 AI 가 단순히 정답만 말하는 게 아니라, 두 문장의 내용을 요약하고 왜 그런 관계가 성립하는지 논리적으로 설명하도록 유도합니다. (이걸 'Chain-of-Thought'라고 해요. 생각의 흐름을 따라가는 거죠.)
가벼운 학생의 학습:
이제 가벼운 AI 모델에게 **정답 (관계) 과 그 해설 (설명)**을 함께 보여줍니다.
- 기존에는 "정답만 맞히면 돼"라고 가르쳤다면,
- 이제는 **"정답도 맞히고, 그 이유도 설명할 수 있어야 점수를 줘"**라고 가르칩니다.

이렇게 하면 가벼운 AI 는 거대 AI 의 '논리적 사고 능력'을 흡수하게 됩니다. 마치 유능한 선배의 노트를 복사해서 공부한 신입 사원이, 선배처럼 문제를 풀고 그 이유도 설명할 수 있게 되는 것과 같습니다.

4. 결과: "가볍지만 똑똑하고 솔직한 AI"

실험 결과, 이 방법을 쓴 AI 는 다음과 같은 성과를 냈습니다.

성능 향상: 단순히 정답만 맞추는 것보다, 이유를 설명하면서 정답을 맞추는 훈련을 했더니 오히려 정답률도 더 높아졌습니다. (설명하는 과정에서 문장의 깊은 의미를 더 잘 이해하게 되었기 때문입니다.)
해석 가능성: AI 가 "왜 이 관계라고 생각했는지" 자연어로 설명해 주기 때문에, 인간이 AI 의 판단을 쉽게 이해하고 신뢰할 수 있게 되었습니다.
범용성: 이 방법은 문장 관계 파악뿐만 아니라, 감정 분석이나 논리 추론 같은 다른 작업에서도 잘 작동했습니다.

5. 한 줄 요약

이 논문은 **"거대 AI 의 똑똑한 '해설 노트'를 가벼운 AI 가 베껴서, 정답도 더 잘 맞추고 그 이유도 설명할 수 있는 '솔직한 AI'를 만들었다"**는 내용입니다.

마치 비싼 명품 요리사 (거대 AI) 의 레시피와 비법을 기록한 노트를 **가벼운 주방 보조 (가벼운 AI)**에게 주어, 보조도 명품 요리사처럼 요리를 하고 그 이유도 설명할 수 있게 만든 것과 같습니다.

1. 문제 정의 (Problem)

암시적 담화 관계 인식 (Implicit Discourse Relation Recognition, IDRR) 은 명시적인 접속사 (예: '하지만', '그리고', '왜냐하면') 가 없는 두 문장 (또는 절) 간의 논리적 관계를 파악하는 작업입니다. 이는 자연어 이해 (NLU) 의 핵심 과제 중 하나이나 다음과 같은 어려움이 존재합니다.

심층적 의미 이해의 필요성: 명시적 단서가 부재하여 문맥과 깊은 의미론적 추론이 요구됩니다.
해석 가능성 (Interpretability) 부족: 기존 딥러닝 기반 모델들은 단순히 관계 분류 결과만 출력할 뿐, 왜 그런 결론을 내렸는지에 대한 자연어 설명을 제공하지 않아 사용자의 신뢰도를 낮추고 모델의 의사결정 과정을 파악하기 어렵습니다.
LLM 의 한계: 대규모 언어 모델 (LLM) 은 강력한 추론 능력을 갖췄지만, 적은 데이터로만 학습된 경량 IDRR 모델에 비해 성능이 낮거나 (In-context learning 시), 추론 비용이 너무 높아 실제 적용에 제약이 있습니다.

2. 제안 방법 (Methodology)

저자들은 LLM 의 추론 능력을 경량 모델에 증류 (Distill) 하여 성능과 해석 가능성을 동시에 향상시키는 플러그 앤 플레이 (Plug-and-play) 분류 - 생성 프레임워크를 제안했습니다.

A. LLM 기반 설명 생성 (Explanation Generation)

데이터 구축: PDTB(Prague Dependency Treebank) 코퍼스의 각 훈련 인스턴스에 대해 정답 레이블 (Gold Label) 을 조건으로 LLM 을 프롬프트하여 자연어 설명을 생성했습니다.
Chain-of-Thought (CoT) 활용: 설명을 두 단계로 구성하여 LLM 의 추론 능력을 극대화했습니다.
1. 재진술 (Restatement): 두 입력 문장 (Arg1, Arg2) 의 내용을 요약합니다.
2. 근거 (Rationale): 두 문장 간의 담화 관계를 유도하는 논리적 근거를 서술합니다.
품질 관리: 생성된 설명의 품질을 평가하여 (평균 4.53/5), 레이블과 불일치하는 경우만 수동으로 수정했습니다.

B. 분류 - 생성 프레임워크 (Classification-Generation Framework)

구조: 공유 인코더 (Shared Encoder, RoBERTa 계열), 분류 모듈, 그리고 설명 생성을 위한 디코더 (T5 계열) 및 트랜스포머 모듈로 구성됩니다.
동작 원리:
1. 공유 인코더: 입력 문장을 인코딩합니다.
2. 분류 단계: 먼저 담화 관계 (예: Comparison, Expansion) 를 예측합니다.
3. 생성 단계: 예측된 레이블을 추가 입력으로 받아 자연어 설명을 생성합니다.
트랜스포머 모듈의 역할: 이해 (Classification) 와 생성 (Generation) 을 위해 사전 학습된 서로 다른 모델 (RoBERTa 와 T5) 을 결합할 때 발생하는 불일치를 완화하기 위해 중간에 임의 초기화 된 트랜스포머 레이어를 도입했습니다.
학습 전략: 멀티태스크 학습을 수행하며, 초기에는 생성 태스크에 더 많은 가중치 ( $\beta > \alpha$ ) 를 두어 설명 생성 능력을 학습시키고, 이후 분류 태스크 ( $\alpha > \beta$ ) 에 집중하여 최적의 성능을 달성합니다.

3. 주요 기여 (Key Contributions)

해석 가능한 IDRR 의 초기 시도: 담화 관계 분류와 자연어 설명 생성을 동시에 수행하여 모델의 투명성을 높였습니다.
플러그 앤 플레이 프레임워크: 기존 대부분의 IDRR 모델에 간단한 모듈 추가만으로 통합 가능한 구조를 제안했습니다.
LLM 추론 능력의 경량 모델 증류: 고비용의 LLM 을 직접 사용하는 대신, LLM 이 생성한 설명을 지도 신호 (Supervision) 로 활용하여 경량 모델의 성능을 획기적으로 개선했습니다.
범용성 검증: IDRR 외에도 감정 분석 (ATSC) 과 자연어 추론 (NLI) 작업에서도 동일한 방법론이 유효함을 입증했습니다.

4. 실험 결과 (Results)

성능 향상 (PDTB 기준):
- 제안된 모델 (EIDRR) 은 기존 최첨단 (SOTA) 모델인 Discoprompt 를 능가하여 정확도 (Acc) 73.14%, **F1 점수 68.01%**를 기록했습니다.
- 설명 생성 태스크를 포함하지 않은 버전 (EIDRR w/o Exp) 대비 정확도 1.34%p, F1 1.14%p 의 향상을 보였으며, 이는 설명 생성 태스크가 분류 성능을 상호 보완적으로 향상시킴을 의미합니다.
설명 품질 평가:
- 인간 평가에서 **평균 4.20 점 (5 점 만점)**을 기록하여 높은 유창성, 사실성, 해석 가능성을 입증했습니다.
- 생성된 설명이 모델의 분류 결정과 얼마나 일치하는지 (Faithfulness) 를 평가한 결과, 중요한 특징 (Feature) 을 제거했을 때 분류 성능과 설명 일관성이 동시에 감소하는 등 설명이 모델의 실제 추론 과정을 반영함을 확인했습니다.
범용성: ATSC(감정 분석) 와 NLI(자연어 추론) 작업에서도 설명 생성을 포함했을 때 약 1% 이상의 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 강력한 추론 능력을 경량 모델에 효과적으로 전이시키는 새로운 패러다임을 제시했습니다. 단순히 분류 정확도만 높이는 것을 넘어, 모델이 '왜' 그렇게 판단했는지 설명할 수 있는 능력을 부여함으로써 AI 모델의 신뢰성과 실용성을 크게 높였습니다. 또한, 계산 비용이 높은 LLM 을 직접 배포하지 않고도 그 지식을 활용할 수 있는 효율적인 방법을 제시하여, 저자원 환경에서도 고품질의 해석 가능한 NLP 모델을 구축할 수 있는 가능성을 열었습니다.