On the Importance and Evaluation of Narrativity in Natural Language AI Explanations

1. 문제 정의 (Problem Statement)

• 현재 XAI 의 한계: 기존 XAI 방법론은 모델의 예측에 영향을 미치는 '특성 중요도 (Feature Importance)'를 나열하는 방식에 치중합니다. 이는 '무엇 (What)'이 예측에 영향을 주었는지는 알려주지만, '왜 (Why)' 그 예측이 발생했는지에 대한 인과적 맥락을 제공하지 못합니다.
• 자연어 생성의 부재된 서사성: 자연어 생성 (NLG) 을 도입한 최신 방법들도 문법적으로 올바른 문장을 생성하지만, 대부분 고립된 사실의 나열 (Static Lists) 에 그칩니다. 사회과학과 언어학 연구에 따르면, 인간의 이해와 추론은 서사 (Narrative) 구조를 통해 이루어지는데, 기존 XAI 시스템은 이러한 서사적 구조를 무시하여 사용자의 인지적 부담을 가중시킵니다.
• 평가 지표의 부적절성: 기존 자연어 처리 (NLP) 평가 지표 (Perplexity, BLEU, ROUGE 등) 는 텍스트의 유창성이나 단어 빈도만 측정할 뿐, 인과 관계나 서사적 연속성과 같은 '서사성 (Narrativity)'을 포착하지 못합니다. 심지어 의미 없는 동어반복 (Tautological) 텍스트도 기존 지표에서는 높은 점수를 받을 수 있습니다.

2. 방법론 및 제안된 프레임워크 (Methodology)

A. 서사적 설명의 4 가지 핵심 속성 정의

사회과학 및 언어학 이론을 바탕으로 XAI 서사 (XAI Narrative) 를 정의하는 4 가지 속성을 도출했습니다:

1. 연속적 구조 (Continuous Structure): 사건들이 시간적 순서나 논리적 흐름으로 연결되어 있어야 함 (문장 간 의존성).
2. 인과 메커니즘 (Cause-Effect Mechanisms): 예측이 발생한 '이유'를 설명하는 인과적 연결고리가 명시되어야 함.
3. 언어적 유창성 (Linguistic Fluency): 반복적이고 나열식인 구조를 피하고 자연스러운 흐름을 가져야 함.
4. 어휘 다양성 (Lexical Diversity): 다양한 어휘와 동사 (Verb) 를 사용하여 사건을 역동적으로 표현해야 함.

B. 7 가지 자동 평가 지표 제안 (Automatic Metrics)

기존 지표의 한계를 극복하기 위해 위 4 가지 속성을 정량화하는 7 가지 새로운 지표를 제안했습니다. 이 지표들은 **Perplexity(혼란도)**의 감소 속도와 어휘/구문적 다양성을 결합하여 계산됩니다.

1. CSR (Continuous Structure Rate): 문장 순서를 무작위로 섞었을 때 Perplexity 가 얼마나 급격히 증가하는지 측정. (서사적일수록 순서 의존도가 높아 점수 증가)
2. DCPR (Diversity-adjusted Context Progression Rate): 문맥이 누적됨에 따라 Perplexity 가 감소하는 속도를 측정하되, 단순 반복에 의한 감소를 보정하기 위해 이문자구 (Bigram) 다양성으로 보정.
3. CCPR (Connectives-adjusted Context Progression Rate): 문장 연결사 (Connectives) 의 밀도로 Perplexity 감소 속도를 보정.
4. CECPR (Cause-Effect-adjusted Context Progression Rate): 인과 관계 표현 (e.g., "as a result") 의 빈도로 Perplexity 감소 속도를 보정.
5. FDR (Fluency-Diversity Rate): Perplexity 와 이문자구 다양성 (Distinct Bigram) 을 결합하여 유창성과 다양성을 동시에 평가.
6. TTCPR (Type-Token-adjusted Context Progression Rate): 고유 단어 비율 (TTR) 로 Perplexity 감소 속도를 보정.
7. VCPR (Verb-adjusted Context Progression Rate): 동사 비율 (Verb Ratio) 로 Perplexity 감소 속도를 보정.

C. XAI 서사 생성 규칙 (Generation Rules)

LLM 이 서사적 설명을 생성하도록 유도하기 위해 4 가지 프롬프트 규칙을 제안했습니다:

1. 명확한 시작, 중간, 끝을 가진 서사적 아크 (Arc) 와 연결사를 사용.
2. 예측의 원인을 설명하는 인과 메커니즘 명시.
3. 반복적이고 나열식인 구조 배제.
4. 동사를 강조한 다양한 어휘 사용.

D. 실험 설정

• 데이터셋: Compas, German Credit, Stroke, Diabetes, Fifa, Student 등 6 개의 표형 (Tabular) 데이터셋.
• 비교 대상 모델: TalkToModel (템플릿 기반), Explingo (Few-shot LLM), XAIstories (Zero-shot LLM) 및 이를 변형한 버전 (Templated, Zero-Shot, Narratives 등).
• 평가: 제안된 7 가지 지표와 기존 NLP 지표 (PPL, Dist2, TTR 등) 를 비교 분석.

3. 주요 결과 (Key Results)

• 기존 지표의 실패: Perplexity 나 단어 빈도 기반 지표는 템플릿 기반의 반복적인 텍스트 (Descriptive) 와 의미 없는 동어반복 텍스트를 서사적 텍스트와 구별하지 못했습니다. 오히려 템플릿 기반 모델이 낮은 Perplexity 를 기록하며 '유창함'을 가장하는 경우가 많았습니다.
• 제안 지표의 유효성: 제안된 7 가지 지표 (특히 CSR, DCPR, CECPR 등) 는 **서사적 설명 (Narrative)**과 **서술적 설명 (Descriptive)**을 명확하게 분리했습니다.
  • 서사적 모델 (XAIstories, Explingo Narratives) 은 인과 연결사 사용, 문장 순서 의존성, 동사 다양성에서 높은 점수를 받았습니다.
  • 템플릿 기반 모델 (TalkToModel) 은 이러한 지표에서 낮은 점수를 받았습니다.
• 통계적 유의성: Friedman 검정과 Nemenyi 사후 검정을 통해, 제안된 지표들을 사용할 때 모델 간 순위 차이가 통계적으로 유의미하게 나타났음을 확인했습니다.
• 생성 규칙의 효과: 'XAI Narrative 생성 규칙'을 적용한 Explingo Narratives 는 기존 Explingo 보다 서사적 특성이 크게 향상되었습니다. 반면, 원래부터 서사 생성을 지시받은 XAIstories 는 규칙 적용 전후로 큰 차이가 없었습니다.

4. 주요 기여 (Key Contributions)

1. 개념적 구분: XAI 설명을 '서술적 (Descriptive)'과 '서사적 (Narrative)'으로 체계적으로 구분하고, 사회과학 이론을 기반으로 서사적 설명의 4 가지 핵심 속성을 정의했습니다.
2. 새로운 평가 메트릭: 기존 NLP 지표가 포착하지 못하는 '서사성'을 정량화하는 7 가지 자동 평가 지표를 개발했습니다. 이는 동어반복 텍스트를 걸러내고 진정한 인과적 설명을 평가할 수 있게 합니다.
3. 생성 가이드라인: 자연어 XAI 설명이 인간의 이해를 돕기 위해 따라야 할 4 가지 생성 규칙 (연속성, 인과성, 유창성, 어휘 다양성) 을 제안했습니다.
4. 벤치마크: 6 개의 데이터셋과 여러 최신 XAI 생성 모델에 대한 광범위한 벤치마크를 수행하여, 제안된 메트릭이 기존 방법론보다 설명의 질을 더 정확하게 평가함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 XAI 분야가 단순히 "어떤 특성이 중요한가"를 나열하는 단계에서 벗어나, **"왜 그 예측이 발생했는가"**를 인간이 이해하기 쉬운 이야기 (서사) 형태로 설명해야 함을 강조합니다.

• 신뢰성 향상: 서사적 구조는 사용자의 인지적 부담을 줄이고 모델의 의사결정 과정에 대한 신뢰를 높일 수 있습니다.
• 평가 패러다임 전환: 단순히 텍스트의 유창성 (Perplexity) 만을 평가하는 기존 방식에서 벗어나, 설명의 구조적, 인과적, 서사적 품질을 평가하는 새로운 기준을 제시했습니다.
• 미래 방향: 제안된 메트릭과 생성 규칙은 향후 이미지, 그래프 등 다양한 모달리티의 XAI 설명 생성 및 인간 중심의 평가 연구 (User Study) 의 기초가 될 것입니다.

결론적으로, 이 논문은 XAI 설명이 단순한 데이터 나열이 아닌, **이해 가능한 이야기 (Narrative)**로 진화해야 하며, 이를 위해 필요한 이론적 기반과 측정 도구를 체계적으로 마련했다는 점에서 중요한 의의를 가집니다.