Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis

기술 요약: 주관성 분석에서 인간 불일치와 LLM 불확실성 정렬

문제 제기
주관성 분석 (예: 감성 분석, 아이러니 감지, 모욕성 감지) 을 위한 현재 대규모 언어 모델 (LLM) 은 일반적으로 다수결에서 파생된 집계 레이블로 훈련됩니다. 이러한 패러다임은 인간 판단의 고유한 변이를 단일 감독 신호로 압축합니다. 그 결과, 합의도가 낮은 샘플에 내재된 불확실성을 간과하여 종종 과도하게 자신감 있는 예측과 경직된 결정 경계를 유발합니다. 이러한 한계는 의미적 경계가 모호하고 인간 해석이 다양하게 나타나는 복잡한 주관적 환경에서 모델의 신뢰성과 일반화 능력을 훼손합니다. 해결해야 할 핵심 문제는 모델이 레이블을 예측할 뿐만 아니라 인간 불일치의 분포를 정확하게 반영하는 불확실성을 표현할 수 있도록 하는 것입니다.

방법론: DPUA 프레임워크
저자들은 불확실성 인식 주관성 분석을 실현하기 위해 **불일치 인식 및 불확실성 정렬 (Disagreement Perception and Uncertainty Alignment, DPUA)**이라는 2 단계 프레임워크를 제안합니다. 이 프레임워크는 모델이 레이블 예측, 근거 생성, 그리고 신뢰도 추정을 동시에 수행하도록 요구합니다.

1. 1 단계: 불일치 인식 (적응형 분해 학습)

   • 목표: 작업 성능을 유지하면서 불일치 신호에 대한 모델의 민감도를 향상시킵니다.
   • 메커니즘: 저자들은 감독 미세 조정 (SFT) 중에 적응형 분해 학습 전략을 도입합니다. 훈련 목적 함수는 각 샘플의 인간 합의 점수 ($C^h_i$) 에 따라 재가중됩니다.
     • 높은 합의 샘플: 안정적인 결정 패턴을 보장하기 위해 레이블 예측에 대한 강력한 감독을 받습니다.
     • 낮은 합의 샘플: 모델이 불일치 관련 단서와 증거를 학습하도록 장려하기 위해 근거 생성에 대한 가중치를 증가시킵니다.
   • 출력: 모델은 레이블 정당화와 잠재적 모호성 또는 불일치 원인을 모두 식별하는 근거를 생성하도록 학습합니다.

2. 2 단계: 불확실성 정렬 (GRPO 기반 최적화)

   • 목표: 불확실성 인식 추론을 정제하고 모델의 신뢰도 표현을 인간 불일치 분포와 정렬합니다.
   • 메커니즘: 저자들은 **그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 활용합니다. 이 단계는 두 가지 특정 보상 구성 요소를 사용하여 모델을 최적화합니다.
     • 불확실성 인식 추론 보상: 판사 모델 (GPT-4o-mini) 을 사용하여 생성된 근거 (레이블 정당화 및 불일치 단서 식별) 의 품질을 평가합니다. 이러한 구성 요소의 가중치는 인간 합의 점수에 따라 동적으로 조정됩니다.
     • 불확실성 보정 보상: 평균 절대 오차 (MAE) 를 사용하여 모델이 예측한 신뢰도 분포와 경험적 인간 불일치 분포 간의 차이를 측정합니다. 이 보상은 모델이 낮은 합의 샘플에서는 덜 자신감 있게, 높은 합의 샘플에서는 더 자신감 있게 예측하도록 장려합니다.
   • 최적화: 모델은 샘플링된 출력의 그룹 상대적 이득을 최대화하도록 업데이트되어 인간 불확실성 패턴과 정렬된 추론을 촉진합니다.

주요 기여

• 패러다임 전환: 이 논문은 단일 집계 레이블에 적합하는 것을 넘어, 모델이 불일치 단서를 식별하고 보정된 불확실성을 표현해야 하는 상황으로 이동하는 '불확실성 인식 주관성 분석'을 옹호합니다.
• 프레임워크 제안: 레이블 예측, 근거 생성, 신뢰도 추정을 공동으로 모델링하는 2 단계 프레임워크인 DPUA 의 도입.
• 실증적 검증: 아이러니 감지, 감성 분석, 모욕성 감지라는 세 가지 주관성 분석 작업에 대한 체계적인 평가를 통해 DPUA 가 핵심 작업 성능을 유지하면서도 모델 불확실성과 인간 불일치 간의 정렬을 크게 개선함을 입증했습니다.

실험 결과
실험은 Qwen-3 및 LLaMa-3.1 백본을 사용하여 대화형 아이러니 말뭉치 (CSC), GoEmotions (GOE), MD-Agreement (MD) 의 세 가지 데이터셋에서 수행되었습니다.

• 불확실성 정렬: DPUA 는 불확실성 정렬 지표에서 기준선 (zero-shot, few-shot, 표준 SFT, 그리고 일반 GRPO) 보다 크게 우위를 보였습니다. 이는 모델과 인간 분포 간의 평균 절대 오차 (MAE) 를 약 5.94% 에서 8.31% 감소시켰으며, 백본 전반에 걸쳐 피어슨 상관 계수를 5.13% 에서 6.06% 향상시켰습니다.
• 작업 성능: 정확도를 희생하는 경우가 있는 기존 불확실성 인식 기준선과 달리, DPUA 는 경쟁력 있는 레이블 예측 성능을 유지하며 강력한 기준선 대비 정확도 및 F1 점수에서 slight한 개선을 보여주었습니다.
• 과신 완화: 신뢰도 분포의 시각화는 DPUA 가 경계 샘플에서의 과신을 완화하며, 표준 SFT 가 과도하게 확신하는 경향이 있는 낮은 합의 사례에 중간 확률 값을 할당함을 보여주었습니다.
• 일반화: 분포 외 (OOD) 전이 설정 (예: GOE 에서 훈련하고 CSC 에서 테스트) 에서 DPUA 는 우수한 일반화 능력을 입증하여 레이블 예측과 불확실성 정렬 모두에서 최상이거나 경쟁력 있는 결과를 달성했습니다. 이는 학습된 불확실성 인식 패턴이 전이 가능함을 시사합니다.
• 설명 가능성: 사례 연구 및 근거 평가는 DPUA 가 모호성과 잠재적 인간 불일치를 명시적으로 반영하는 더 유익하고 타당한 근거를 생성함을 나타냈습니다.

의의 및 주장
이 논문은 주관적 의사결정 상황에서 신뢰할 수 있는 LLM 을 개발하기 위해 인간 불일치를 불확실성의 고유한 원천으로 모델링하는 것이 중요하다고 주장합니다. 모델의 신뢰도를 인간 불일치의 실제 분포와 정렬함으로써 DPUA 는 현재 주관성 분석 시스템에서 흔히 발생하는 실패 모드인 경계 샘플에 대한 과신 문제를 해결합니다. 저자들은 그들의 접근 방식이 집계 레이블을 통해 잘못된 확신감을 강요하는 대신, 인간 인지의 복잡성과 일관된 방식으로 모델이 불확실성을 표현하도록 보장함으로써 주관적 작업에 대한 더 신뢰할 수 있는 기반을 제공한다고 주장합니다. 이 연구는 불확실성 정렬이 레이블 예측과 구별되는 도전 과제이며, 효과적으로 달성하기 위해서는 특정 아키텍처 및 훈련 전략이 필요함을 강조합니다.