기술 요약: 모호성 하에서의 불확실성을 고려한 생성 및 의사결정

문제 정의

대규모 언어 모델(LLM)은 자동 튜터링 및 동료 검토(peer review)와 같이 고도의 전문성이 요구되는 주관적인 영역에 점점 더 많이 배치되고 있습니다. 이러한 환경에서 작업은 여러 단계의 의사결정(예: 학생의 오류 식별, 튜터링 전략 선택, 응답 생성)을 포함하며 높은 수준의 모호성을 나타냅니다. 인간 전문가들은 주어진 입력에 대해 "올바른" 전략이나 점수에 대해 빈번하게 의견 차이를 보이며, 이는 상당한 불확실성으로 이어집니다.

현재의 LLM 의사결정 알고리즘은 이러한 모호성을 명시적으로 모델링하거나 통계적 보증을 제공하는 데 실패하는 경우가 많습니다. 단순 샘플링이나 출력 문자열을 직접 비교하는 최소 베이즈 위험(Minimum Bayes Risk, MBR) 디코딩과 같은 표준 방식은 중간 상태(예: 특정 튜터링 전략 또는 검토 점수)에 대한 불확실성을 고려하지 못합니다. 결과적으로, 이러한 방법들은 오류를 전파하고, 가능한 결정 범위를 좁히는 데 실패하며, 신뢰할 수 있는 배포에 필요한 통계적 신뢰성을 결여하게 됩니다.

방법론

저자들은 베이지안 의사결정 이론과 컨포멀 예측(conformal prediction)을 통합하여 불확실성을 인지하는 생성 및 의사결정 알고리즘을 만드는 프레임워크를 제안합니다. 핵심 의사결정 문제는 문맥 $x$가 주어졌을 때, 결정 공간 $V^*$로부터 출력 $y^*$(예: 검토 내용 또는 튜터 응답)를 선택하는 것입니다. 이때 상태 집합 $\Omega$(예: 튜터링 전략 또는 검토 점수)가 존재합니다.

1. 베이지안 의사결정 규칙

주요 접근법은 상태 분포 $p(\omega | x)$에 대한 기대 효용(expected utility)을 최대화하는 것입니다. 최적의 출력 $y^*$는 다음과 같이 정의됩니다:
$$y^* = \arg \max_{y \in V^*} \sum_{\omega \in \Omega} u(y, \omega) \cdot p(\omega | x)$$
여기서 $u(y, \omega)$는 품질 및 일관성 기준을 인코딩하는 효용 함수입니다. 출력 문자열을 직접 비교하는 표준 MBR과 달리, 이 방법은 상태 공간 $\Omega$에 대해 주변화(marginalize)를 수행합니다. 무한한 $V^*$ 공간을 처리하기 위해, 저자들은 후보 출력 세트 $H$를 샘플링하고, 상태 분포에 대해 기대 효용을 최대화하는 출력을 선택함으로써 최대화를 근사합니다.

2. 상태 가지치기를 위한 컨포멀 예측

계산 비용 문제를 해결하고 통계적 보증을 제공하기 위해, 저자들은 컨포멀 예측을 사용합니다. 이 기술은 진정한 상태(true state)를 적어도 $1-\alpha$의 확률로 포함하는 예측 집합 $C(x) \subseteq \Omega$를 구축합니다.

• 모호성 처리: 표준 컨포멀 예측이 단일 정답을 가정한다는 점(모호한 작업에서는 위배됨)을 인식하여, 저자들은 몬테카를로 컨포멀 예측(Monte-Carlo conformal prediction)을 활용합니다. 이를 통해 여러 가능한 라벨(전략 또는 점수)을 고려할 수 있게 하며, 이론적 커버리지를 $1-2\alpha$로 넓히되 경험적으로는 종종 더 타이트한 경계를 달성합니다.
• 가지치기(Pruning): 예측 집합 $C(x)$는 베이지안 목적 함수에서 상태 공간을 가지치기하는 데 사용되어, 합산을 오직 가능한 상태들로 제한합니다:
  $$y^* = \arg \max_{y \in V^*} \sum_{\omega \in C(x)} u(y, \omega) \cdot p(\omega | x)$$

3. 리스크 회피형 의사결정

저자들은 또한 컨포멀 집합 내의 최악의 상태에 대한 효용을 최대화하는 리스크 회피 전략(minimax)을 평가합니다:
$$y^* = \arg \max_{y \in V^*} \min_{\omega \in C(x)} u(y, \omega)$$
이 접근법은 가장 불리한 가능한 시나리오에 대해 최적화함으로써 저품질 출력이 생성되는 것을 방지하는 것을 목표로 합니다.

실험 설정

방법론은 두 가지 작업에 대해 평가되었습니다:

• 동료 검토(Peer Review): Review-5K 및 NLPEER 데이터셋의 논문에 대한 검토 및 점수 생성. 모델로는 Gemma-3-27B, Qwen3-30B, Mistral-3.2-24B가 포함되었습니다. 점수 분포 $p(\omega | x)$를 예측하기 위해 파인튜닝된 Llama-3.2-3B가 사용되었습니다.
• 튜터링(Tutoring): MathDial 데이터셋에 대한 튜터 응답 생성. 전략(Focus, Probing, Telling, Generic)은 파인튜닝된 Llama-3.2-3B에 의해 예측되었습니다.

효용은 LLM-as-a-judge 접근법(검토에는 Qwen3-14B, 튜터링에는 보상 모델 사용)과 5점 리커트 척도를 사용하여 추정되었습니다.

주요 결과

• 베이지안 개선 효과: 베이지안 의사결정 규칙은 두 영역 모두에서 표준 조상 샘플링(ancestral sampling)에 비해 생성된 출력의 효용을 일관되게 향상시켰습니다. 동료 검토에서는 특히 "실행 가능성(actionability)"을 개선했습니다. 튜터링에서는 스칼라 보상 지표를 개선했습니다.
• 컨포멀 가지치기: 컨포멀 예측을 사용하여 상태 공간을 가지치기함으로써 성능을 유지하면서도 필요한 효용 추정 횟수를 크게 줄였습니다(검토 작업에서 최대 약 50% 압축).
• 리스크 회피의 한계: minimax(리스크 회피) 전략은 엇갈린 결과를 보였습니다. 일부 검토 기준에서는 잘 작동했으나, 튜터링에서는 성능이 저하되는 경우가 많았습니다. 저자들은 이를 전략이 컨포멀 예측 집합에 자주 등장하는 "generic" 또는 "telling" 전략을 최적화함으로써, 최악의 제약 조건을 만족시키기 위해 출력의 품질을 실질적으로 낮추었기 때문이라고 분석했습니다.
• 스케일링 동작: 샘플 크기 $|H|$를 늘릴수록 베이지안 규칙의 성능은 일관되게 향상되었습니다. 반면, minimax 규칙의 성능은 $|H|$가 증가함에 따라 저하되었는데, 이는 모호한 작업에서 더 넓은 예측 집합과의 상호작용 때문으로 보입니다.
• 모델 민감도: Qwen3는 Gemma 및 Mistral과 다른 성능 특성을 보였으며, 이는 사후 학습 목적 함수가 특정 효용 기준과 얼마나 잘 정렬되는지에 영향을 미친다는 점을 시사합니다.

의의 및 주장

본 논문은 중간 상태에 대한 불확실성을 명시적으로 모델링함으로써, 모호하고 중요한 도메인에서 LLM 기반 의사결정을 개선하는 방법을 제시한다고 주장합니다. 연구의 의의는 다음과 같습니다:

1. 이론과 실제의 가교: 베이지안 의사결정 이론과 컨포멀 예측을 결합하여, 근본적인 상태 분포가 모호한 상황에서도 통계적 보증과 높은 효용과 같은 실제적인 목표를 달로 달성할 수 있음을 입증했습니다.
2. 모호성 처리: 표준 의사결정 규칙이 인간의 라벨 변동성이 높을 때 실패한다는 점을 강조하고, 여러 가능한 정답을 다루기 위한 특정 기술(몬테카를로 컨포멀 예측)을 제안했습니다.
3. 커뮤니티를 향한 촉구: 저자들은 현재의 LLM이 범주형 예측 작업(점수 예측 등)에 어려움을 겪고 있으며, 기존 데이터셋에는 동일한 입력에 대한 다중 주석이 부족하다는 점을 지적합니다. 이들은 멀티 라벨 데이터를 수집하고, 더 나은 LLM 판사(judge)를 개발하며, 의사결정 과정에서의 인간의 다양한 가능성을 반영하는 모델을 만드는 데 집중할 것을 커뮤니티에 요청합니다.

저자들은 자신들의 방법이 인간 검토자나 교사를 대체하거나 자동화하기보다는 이들을 지원하기 위해 설계되었다는 점을 언급하며 신중한 입장을 유지합니다. 또한 데이터 누수(모델이 훈련 데이터를 이미 보았을 가능성)와 장기적인 영향을 측정하기 위한 실제 현장 연구의 부재를 한계점으로 인정합니다.