Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales

1. 연구 배경 및 문제 정의 (Problem)

• 관점 중심 NLP (Perspectivist NLP) 의 한계: 기존의 자연어 처리 (NLP) 는 여러 어노테이터의 의견을 하나의 합의된 레이블 (Consensus Label) 로 통합하는 경향이 있었습니다. 그러나 관점 중심 접근법은 각 어노테이터의 고유한 판단과 배경 (사회적, 인구통계학적 차이 등) 을 반영하는 것이 중요하다고 주장합니다.
• 기존 연구의 부족: 기존 관점 모델링 연구는 주로 어노테이터 ID, 인구통계학적 메타데이터, 또는 언어적 신호를 사용하여 레이블 예측의 변이를 모델링했습니다. 하지만 어노테이터가 특정 레이블을 선택한 이유 (Rationale/Explanation) 를 명시적으로 모델링하거나 생성하는 연구는 드뭅니다.
• 핵심 문제: 단순히 레이블만 예측하는 것을 넘어, 개별 어노테이터의 관점을 반영한 설명 (Explanation) 을 생성하고, 이를 예측 모델과 통합하여 "왜 (Why)" 그 판단이 내려졌는지를 더 정교하게 표현할 수 있는 프레임워크가 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 VariErrNLI 데이터셋을 활용하여 어노테이터별 레이블 예측과 해당 설명 생성을 동시에 수행하는 프레임워크를 제안했습니다.

2.1. 데이터셋: VariErrNLI

• 특징: 자연어 추론 (NLI) 태스크에서 어노테이터 간의 불일치 (Disagreement) 와 설명의 다양성을 보존한 데이터셋입니다.
• 구조: 각 항목 (Context, Statement) 에 대해 4 명의 독립적인 어노테이터가 레이블 (Entailment, Neutral, Contradiction) 과 1 문장짜리 설명 (Rationale) 을 제공했습니다. 2 차 검증 라운드를 통해 레이블 - 설명 쌍의 타당성을 평가하여 '진정한 관점 차이'와 '주석 오류'를 구분합니다.

2.2. 모델 아키텍처

제안된 프레임워크는 두 가지 주요 구성 요소로 이루어집니다.

1. 어노테이터 인식 분류기 (Annotator-Aware Classifier):

   • User Passport 메커니즘: 입력 텍스트의 컨텍스트 표현에 어노테이터의 고유한 임베딩 (Identity Embedding) 과 인구통계학적 메타데이터 (성별, 나이, 국적, 학력 등) 를 융합합니다.
   • DeBERTa-v3-base를 백본으로 사용하여, 각 어노테이터의 고유한 관점을 반영한 레이블을 예측합니다.

2. 어노테이터 조건부 설명 생성기 (Annotator-Conditioned Explainer):
   두 가지 아키텍처를 비교 실험했습니다.

   • 사후 설명기 (Post-hoc Explainer):
     • 텍스트 기반 프롬프트를 사용합니다.
     • 입력: 문맥, 문장, 어노테이터 메타데이터 (페르소나), 그리고 분류기가 예측한 레이블 확률.
     • 모델: Flan-T5 를 사용하여 텍스트만 기반으로 설명을 생성합니다. 분류기와 생성기 간의 미분 가능 연결은 없습니다.
   • 접두사 브리지 설명기 (Prefixed Bridge Explainer):
     • 핵심 혁신: 분류기의 내부 표현 (Internal Representation) 을 직접 생성 모델로 전달합니다.
     • 작동 원리: 분류기에서 추출된 어노테이터별 융합 표현 ($z_{ij}$) 을 작은 MLP(2 레이어) 를 통해 T5 인코더의 임베딩 차원과 일치하는 '접두사 (Prefix) 임베딩'으로 변환합니다.
     • 이 접두사 임베딩을 T5 입력 앞에 붙여 (Prepending) 설명을 생성합니다. 이를 통해 예측 레이블과 어노테이터의 추론 신호가 생성 과정에 직접적으로 통합됩니다.

3. 주요 기여 (Key Contributions)

1. 관점 기반 설명 모델링 프레임워크: 레이블 예측과 설명 생성을 결합하여, 설명을 단순한 사후 변명이 아닌 '관점의 표현'으로 다룹니다.
2. 새로운 아키텍처 (Prefixed Bridge): 분류기의 내부 상태 (Representation) 를 생성 모델의 조건 (Condition) 으로 직접 전달하는 브리지 메커니즘을 도입하여, 예측과 설명 간의 일관성을 높였습니다.
3. 데이터 활용: VariErrNLI 데이터셋을 활용하여 레이블 불일치와 설명 다양성을 동시에 모델링하는 새로운 접근법을 제시했습니다.

4. 실험 결과 (Results)

정량적 평가 (Table 2):

• 예측 성능: 설명 모델링을 도입한 두 방법 모두 베이스라인 (User Passport Classifier, Macro-F1 70.5) 보다 훨씬 높은 성능을 보였습니다.
  • Prefixed Bridge: Macro-F1 93.9, Exact Match 92.4로 가장 높은 성능을 기록했습니다.
  • Post-hoc: Macro-F1 92.3, Exact Match 92.2로 우수한 성능을 보였으나 브리지 모델보다 약간 낮았습니다.
• 설명 품질:
  • ROUGE-L (어휘적 유사도): Post-hoc 설명기가 약간 더 높았습니다 (텍스트 기반 프롬프트의 특성).
  • Semantic Similarity (의미적 유사도): Prefixed Bridge가 더 높은 점수를 기록하여, 생성된 설명이 의미적으로 예측 레이블과 더 잘 정렬됨을 보여줍니다.

정성적 분석 및 어노테이터별 분석:

• 정합성 (Faithfulness): Prefixed Bridge 모델은 예측과 설명 간의 추론적 정렬이 더 강력했습니다. Post-hoc 모델은 불필요한 문장을 추가하거나 지나치게 장황한 경향이 있었으나, 브리지 모델은 핵심 논거에 더 집중했습니다.
• 어노테이터별 차이:
  • Ann2 (고학력, 고연령): Post-hoc 모델에서 가장 높은 성능을 보였으며, 설명이 텍스트에 잘 기반되어 있어 모델링이 용이했습니다.
  • Ann1, Ann4: Prefixed Bridge 모델에서 예측 정확도와 Exact Match 가 개선되었습니다. 이는 내부 표현을 공유함으로써 어노테이터의 복잡한 판단 패턴을 더 잘 포착했음을 시사합니다.
  • 일반적 경향: 동일한 레이블이라도 어노테이터마다 설명 구조와 어휘가 다를 수 있음을 확인했으며, 브리지 모델이 이러한 변이를 더 잘 처리했습니다.

5. 의의 및 결론 (Significance)

• 예측과 설명의 통합: 설명을 단순한 해석 도구 (Post-hoc) 가 아닌, 예측 과정의 필수적인 부분으로 통합함으로써 NLP 시스템의 투명성과 신뢰성을 높였습니다.
• 세밀한 관점 표현: 인구통계학적 메타데이터와 어노테이터의 고유한 추론 (Rationale) 을 결합함으로써, 인간의 다양성과 불일치를 더 풍부하고 충실하게 (Faithfully) 표현할 수 있음을 입증했습니다.
• 기술적 통찰: 분류기의 내부 표현을 생성 모델로 직접 전달하는 Prefixed Bridge 방식이, 텍스트 프롬프트만 사용하는 방식보다 의미적 일관성과 예측 안정성 측면에서 우월함을 보였습니다.

한계점 및 향후 과제:

• 현재 사용된 데이터셋 (VariErrNLI) 이 본래 '주석 오류'와 '변이'를 구분하기 위해 설계되었으므로, 인구통계학적 변이를 체계적으로 통제하지는 못했습니다.
• 어노테이터 수가 적어 통계적 유의성 검증을 수행하지 못했습니다.
• 향후 연구에서는 더 다양한 인구통계학적 배경을 가진 데이터셋을 구축하고, Post-hoc 과 Prefixed Bridge 방식을 앙상블하는 방향으로 발전시킬 예정입니다.

이 연구는 관점 중심 NLP(Perspectivist NLP) 분야에서 설명 생성 (Explanation Generation) 을 예측 모델링에 통합함으로써, 인간의 주관적 판단을 더 깊이 이해하고 모델링할 수 있는 새로운 방향을 제시했습니다.