SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs

기술 요약: SHALA-LLM

문제 정의

자연어 추론(NLI) 및 감정 인식(ER)과 같은 많은 인간 중심적 자연어 작업들은 본질적으로 다수의 타당한 해석을 가집니다. 이는 맥락적 이해, 문화적 배경, 개인적 경험과 같은 요인들로 인해 발생하는 **레이블 모호성(label ambiguity)**과 인간 주석가(annotator) 간의 상당한 불일치를 초래합니다.

현재의 대규모 언어 모델(LLM) 정렬 패러다임은 주로 이러한 주석가의 불일치를 노이즈(noise)로 취급합니다. 이들은 일반적으로 다수결 투표나 평균화를 사용하여 모호한 주석을 하나의 "골드 스탠다드(gold standard)" 레이블로 압축합니다. 이러한 접근 방식은 특히 매우 모호한 환경에서 인간의 불일치에 내재된 풍부한 정보를 버리는 결과를 낳습니다. 최근 연구들이 분포적 정렬(distributional alignment)을 탐구하기 시작했으나, 이는 학습 과정에서 LLM을 직접 최적화하기보다는 추론 시점(프롬프팅을 통해)에서 작동하는 경우가 많습니다. 결과적으로, 기존 방법들은 인간 판단의 전체 분포를 보존하거나 모호함이 가장 정보가 많은 샘플을 동적으로 우선순위화하는 데 실패합니다.

방법론: SHALA-LLM

저자들은 단일하게 압축된 레이블이 아닌 경험적 주석 분포와 직접 정렬되도록 설계된 강화 학습(RL) 프레임워크인 SHALA-LLM(Smartly Handling Ambiguous Labels in Aligning LLMs)을 제안합니다. 이 프레임워크는 다음과 같은 핵심 구성 요소로 작동합니다:

1. 문제 공식화

주석을 하나로 압축하는 대신, SHALA-LLM은 주어진 샘플 $q$에 대해 $N$명의 인간 주석가로부터 경험적 레이블 분포(Empirical Label Distribution, $p_q$)를 도출합니다. 이 분포는 각 후보 클래스의 빈도에 기반한 확률을 나타냅니다. 목표는 LLM이 이 기저의 인간 판단 분포와 일치하는 예측($\hat{p}$)을 생성하도록 훈련하는 것입니다.

2. 구어적 분포 예측 (Verbalized Distribution Prediction)

분포 학습을 용이하게 하기 위해, LLM은 구어적 분포(verbalized distributions)를 생성하도록 프롬프트됩니다. 모델은 단일 클래스를 출력하는 대신, 모든 후보 클래스에 대한 확률 추정치를 포함하는 텍스트 응답(예: JSON 형식)을 생성합니다. 이러한 텍xtual 출력은 파싱되어 예측 확률 분포 $\hat{p}^{(q,i)}$로 변환됩니다.

3. 보상 설계: 모호성 강화 최적화

핵심 혁신은 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 프레임워크 내에서 사용되는 보상 함수에 있습니다. 샘플링된 롤아웃(rollout)에 대한 보상 $r^{SHALA}_{(q,i)}$는 다음과 같이 정의됩니다:

$$r^{SHALA}_{(q,i)} = \tilde{H}(p_q) \cdot [1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$$

여기서:

• 분포 정렬 항(Distributional Alignment Term): $[1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$는 젠슨-샤논(Jensen-Shannon, JS) 거리를 사용하여 모델의 예측 분포와 주석가 분포 사이의 일치도를 측정합니다. 이는 희소하고 이진적인(binary) 다수 레이블 감독을 대체하여, 분포적 일치도에 비례하는 연속적인 보상을 제공합니다.
• 모호성 강화 항(Ambiguity Enhancement Term): $\tilde{H}(p_q)$는 주석 분포의 정규화된 엔트로피입니다. 이는 주석가들 사이의 불일치 정도(모호성)를 정량화합니다.
  • 동적 재가중치 부여(Dynamic Rewarding): 주석가 간의 불일치가 높은(엔트로피가 높은) 샘플은 비례하여 증폭된 보상을 받습니다. 이는 모호성이 가장 정보가 많은 샘플을 최적화 과정에서 동적으로 우선순위화하여, 모델이 단순히 지배적인 레이블을 배우는 것이 아니라 더 풍부한 불일치 구조를 학습하도록 강제합니다.

4. 최적화

프레임워크는 정책을 최적화하기 위해 GRPO를 활용합니다. 모호성 강화 보상을 기반으로 그룹 정규화된 어드밴티지(advantage)를 계산함으로써, SHALA-LLM은 모델이 불확실성과 다양한 인간의 해석을 포착하도록 장려합니다. 이는 보상의 기하학적 구조를 재형성하여, 모호한 감독 하에서도 더 매끄러운 어드밴티지 분포와 더 정보가 많은 정책 업데이트를 산출합니다.

주요 기여

1. 패러다임 전환: 본 논문은 주석가의 불일치를 노이즈로 간주하는 가설에 도전하며, 이를 모델의 행동을 개선하는 정보가 담긴 감독 신호로 재정의합니다.
2. 알고리즘 혁신: 특히 GRPO를 활용하여 모호성 인지 보상 변조를 학습 루프에 직접 통합하는 새로운 RL 기반 알고리즘(SHALA-LLM)을 도입합니다.
3. 이중 개선: 이 방법은 주석의 불일치를 모델링하는 것이 분포적 정렬(인간의 불확실성 포착)을 개선할 뿐만 아니라, 분포적 감독이 정확도를 저해할 것이라는 믿음과 달리 표준 분류 성능(F1 점수) 또한 향상시킨다는 것을 입증합니다.

실험 결과

프레임워크는 모호성에 민감한 NLI 및 ER 벤치마크인 ChaosNLI, GoEmotions, MSP-Podcast에서 평가되었습니다.

• 분포 정렬: SHALA-LLM은 모델 예측과 인간 분포 사이의 젠슨-샤논 거리(JSD)를 유의미하게 감소시켰습니다. ChaosNLI에서 JSD는 다수 레이블 감독(MLS) 대비 62.1% 감소했습니다. MSP-Podcast에서는 JSD가 6.2% 감소했습니다.
• 분류 성능: 분포적 감독이 점 추정(point-estimate) 정확도를 해칠 것이라는 예상과 달리, SHALA-LLM은 F1 점수를 향상시켰습니다. ChaosNLI에서 F1은 MLS 대비 16.6% 증가했으며, MSP-Podcast에서는 29.2% 증가했습니다.
• 모호성에 대한 강건성: 다양한 모호성 수준(낮음, 중간, 높음)에 따른 분석 결과, SHALA-LLM은 모호성이 증가함에 따라 안정적인 성능을 유지하는 반면, 베이스라인 방법(예: MLS)은 고모호성 설정에서 상당한 성능 저하를 보였습니다.
• 카테고리별 이득: 모델은 본질적으로 모호한 의미론적 카테고리(예: NLI의 "Contradiction" 및 ER의 "Surprise")에서 특히 강력한 개선을 보였으며, 이는 베이스라인 모델들이 흔히 어려움을 겪는 부분입니다.
• 추론 행동: 질적 분석 결과, SHALA-LLM은 제로샷(zero-shot) 또는 다수 레이블 베이스라인에서 나타나는 과잉 확신적인 단일 해석 출력 대신, 여러 타당한 해석과 불확실성을 반영하는 추론 패턴을 생성함을 보여주었습니다.

의의 및 주장

저자들은 SHALA-LLM이 인간의 불일치를 노이즈가 아닌 신호로 취급하는 것의 가치를 입증한다고 주장합니다. 불일치 구조를 보존하고 모호한 샘플을 동적으로 우선순위화함으로써, 이 프레임워크는 주관적이고 실제적인 환경에서 더 강력하고 인간과 정렬된 LLM 행동을 이끌어냅니다.

본 논문은 다음과 같이 결론짓습니다:

1. 불일치 보존: 인간 판단의 전체 구조를 유지함으로써 모델이 다양하고 잠재적으로 상충하는 레이블로부터 학습할 수 있게 하여, 인간 분포와의 더 나은 정렬을 가능하게 합니다.
2. 성능 시너지: 모호성 인지 최적화는 분류 정확도를 위해 정렬을 희생하는 것이 아니라, 두 가지 모두를 강화합니다.
3. 일반화 가능성: 이 접근 방식은 서로 다른 양식(텍text 및 음성)과 작업 유형(추론 및 감정 인식) 전반에서 효과적입니다.

저자들은 현재의 평가가 구조화된 레이블 분포에 집중되어 있어, 개방형 생성 작업이나 복잡한 멀티 턴 상호작용은 아직 다루지 못한다는 한계를 인정합니다. 또한, 이 프레임워크가 경험적 분포가 주석가의 전문성과 같은 기저 요인을 충분히 포착하지 못할 수 있다는 점을 언급합니다. 그럼에도 불구하고, 이 연구는 더 강력하고 인간 중심적인 대규모 언어 모델을 개발하기 위한 유망한 방향을 제시합니다.