🤖 machine learning

Always Tell Me The Odds: Fine-grained Conditional Probability Estimation

이 논문은 LLM이 불확실한 상황에서 부정확하고 거친 확률을 예측하는 문제를 해결하기 위해, 인간 및 합성 데이터와 개선된 감독 학습을 활용하여 정밀한 조건부 확률 추정 성능을 비약적으로 높인 모델을 제안합니다.

원저자: Liaoyaqi Wang, Zhengping Jiang, Anqi Liu, Benjamin Van Durme

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

원저자: Liaoyaqi Wang, Zhengping Jiang, Anqi Liu, Benjamin Van Durme

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 현재 AI의 문제점: "단호한 뻥쟁이" 혹은 "우유부단한 선택지"

지금의 AI(ChatGPT 같은 모델들)는 두 가지 극단적인 모습을 보일 때가 많습니다.

단호한 뻥쟁이 (Overconfidence): 사실은 반반 정도의 확률인데도, 마치 100% 확신하는 것처럼 "그건 무조건 맞습니다!"라고 말합니다. (마치 시험 문제를 찍으면서도 "이거 정답이야!"라고 자신 있게 말하는 친구와 같죠.)
우유부단한 선택지 (Coarse Estimates): 확률을 물어보면 "한 70% 정도요?" 혹은 "한 50%요?"처럼 아주 뻔한 숫자 몇 개만 반복해서 말합니다. "72.45%입니다" 같은 섬세한 답변은 못 하는 거죠. (마치 메뉴를 고를 때 "음... 그냥 대충 맛있는 거요"라고만 답하는 것과 같습니다.)

2. 이 논문의 해결책: "확률의 마법사" 만들기

연구진은 AI가 **"상황에 따라 아주 세밀한 확률(Fine-grained probability)"**을 말할 수 있도록 세 가지 특별한 훈련법을 사용했습니다.

① "가짜 선생님"과 "심판 AI" 활용하기 (Synthetic Data & LLM-as-a-Judge)

사람에게 수만 개의 확률 문제를 일일이 물어보는 건 너무 힘들고 비용이 많이 듭니다. 그래서 연구진은 **'가짜 선생님(다른 AI들)'**을 고용해 수많은 확률 문제와 그 이유(추론 과정)를 만들게 했습니다.
하지만 가짜 선생님들도 틀릴 수 있죠? 그래서 **'엄격한 심판 AI'**를 따로 두어, "이 선생님의 설명은 논리적이야, 이 점수는 믿을만해!"라고 점수를 매겨서 아주 질 좋은 데이터만 골라냈습니다.

② "순위 맞히기 게임"으로 훈련하기 (Rank Consistency)

단순히 "이건 0.7이야"라고 외우게 하는 대신, **"A 상황이 B 상황보다 일어날 확률이 더 높을까?"**라는 비교 문제를 냈습니다.
마치 아이들에게 "사과가 얼마나 무거워?"라고 묻는 대신, "사과랑 배 중에 뭐가 더 무거울 것 같아?"라고 물으며 무게의 감각을 익히게 하는 것과 같습니다. 이렇게 하면 AI가 숫자의 '순서'와 '차이'를 훨씬 더 잘 이해하게 됩니다.

③ "정교한 눈금자" 만들기 (Expected Label Scoring)

기존에는 확률을 0.1, 0.2처럼 뚝뚝 끊어지는 칸에 넣었다면, 이 연구는 **'부드러운 눈금자'**를 만들었습니다.
0.7이라는 정답이 있다면, 단순히 0.7 칸에 넣는 게 아니라 0.69, 0.71처럼 주변 값들도 아주 미세하게 고려하도록 학습시켰습니다. 덕분에 AI는 훨씬 더 부드럽고 정교한 숫자를 내뱉을 수 있게 되었습니다.

3. 결과: "진짜 전문가처럼 말하는 AI"

이렇게 훈련된 AI는 놀라운 능력을 보여주었습니다.

사람의 마음을 읽다: 사람들이 의견이 갈리는 애매한 문제(예: "내일 비가 올까?")에 대해, AI도 사람처럼 "사람들의 의견이 이만큼 갈리니 확률은 이 정도입니다"라며 인간의 불확실성을 그대로 반영했습니다.
복잡한 추론도 척척: 여러 단계의 논리 과정을 거쳐야 하는 어려운 문제에서도, 각 단계의 확률을 정확히 계산해 최종 결론을 아주 똑똑하게 도출해냈습니다.

💡 요약하자면!

이 논문은 AI에게 **"단순히 정답을 맞히는 법"**이 아니라, **"세상의 불확실성을 숫자로 아주 섬세하게 읽어내는 법"**을 가르친 것입니다. 이제 AI는 "맞아요!"라고 우기는 대신, **"상황을 보니 78.3%의 확률로 맞을 것 같습니다"**라고 말할 수 있는, 훨씬 더 믿음직한 조수가 되었습니다.

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 추론 능력이 크게 향상되었으나, 불확실성(Uncertainty)이나 부분적인 정보가 주어진 상황에서 정확하고 미세한(fine-grained) 확률을 예측하는 능력은 여전히 부족합니다. 기존의 접근 방식들은 다음과 같은 한계를 가집니다:

Logit 기반 방식: 모델의 로짓(logits)을 직접 사용하는 방식은 보정(calibration)이 잘 되지 않아 과잉 확신(overconfidence)하는 경향이 있음.
언어적 확신(Verbalized Confidence): 모델에게 "확률이 얼마인가?"라고 물으면, 10%, 75%와 같이 몇 가지 불연속적이고 흔한 수치에만 의존하는 경향이 있음.
이산적 예측의 한계: 확률을 연속적인 수치가 아닌 이산적인 값으로만 처리하여 정밀한 추론이 어려움.

본 논문은 문맥(Context)이 주어졌을 때 명제(Proposition)가 참일 확률 $P(\text{proposition} \mid \text{context})$ 를 정밀하게 추정하는 모델을 구축하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 현대적인 디코더 기반 LLM을 활용하여 정밀한 확률 추정을 수행하기 위해 세 가지 핵심 전략을 제안합니다.

(1) 합성 데이터 생성 (Synthetic Data Creation)

데이터 부족 문제를 해결하기 위해 LLM을 활용한 다단계 파이프라인을 구축했습니다.

Reasoning-Augmented Prompting: LLM이 단순히 확률만 내뱉는 것이 아니라, 세계 지식을 바탕으로 추론 과정(Reasoning Chain)을 먼저 생성하도록 유도하여 예측의 질을 높였습니다.
Agreement-Based Filtering: 여러 LLM의 예측값 사이의 불일치(discrepancy)를 측정하여, 일치도가 낮은(불확실한) 샘플은 별도의 'LLM-as-a-Judge'를 통해 추론 과정의 품질을 평가하고 이를 가중치로 사용하여 확률 분포를 생성합니다.

(2) 디코더 기반 회귀 (Decoder-based Regression)

텍스트를 생성하는 LLM을 수치 회귀 모델로 변환하기 위해 Expected Label Scoring Rule을 도입했습니다.

Binning & Quantization: $[0, 1]$ 구간을 $N$ 개의 빈(bin)으로 나누고 각 빈에 특수 토큰을 할당합니다. 정답 확률을 가우시안 분포로 만든 뒤, 이를 이산적인 빈 분포로 양자화(Quantization)하여 모델이 단순한 하나의 값이 아닌 확률 분포 자체를 예측하도록 학습시킵니다.
이를 통해 모델은 단순히 "0.7이다"라고 맞추는 것을 넘어, 확률 분포의 형태를 학습함으로써 훨씬 정밀한(fine-grained) 예측이 가능해집니다.

(3) 학습 목적 함수 (Training Objectives)

모델의 성능을 극대화하기 위해 세 가지 손실 함수를 결합하여 학습합니다:

Direct Loss: 양자화된 확률 분포와 모델 예측 분포 사이의 KL-Divergence를 최소화합니다.
Synthetic Data Mixture: 합성 데이터의 신뢰도를 높이기 위해 각 LLM의 확신도(confidence)를 가중치로 사용하여 혼합 분포를 학습합니다.
Rank Consistency Training: 두 사례의 확률 순서가 올바른지 확인하는 Pairwise Margin Loss를 추가하여, 모델이 확률의 크기뿐만 아니라 상대적인 순위(ranking)도 정확히 파악하도록 합니다.

3. 주요 기여 (Key Contributions)

정밀한 확률 추정 프레임워크: 기존의 불연속적인 수치 예측을 넘어, 디코더 기반 모델이 연속적이고 미세한 확률 분포를 학습할 수 있는 새로운 회귀 방식을 제안했습니다.
고품질 합성 데이터 파이프라인: LLM의 추론 능력과 판단 능력을 결합하여, 인간의 주관적 판단을 모사할 수 있는 대규모 합성 데이터를 생성하는 방법론을 제시했습니다.
다각적 평가 체계: 단순한 수치 일치도(Intrinsic)뿐만 아니라, 순위 일치도(Comparison), 그리고 복잡한 구조적 추론(Structural, 예: Bayesian inference)에서의 성능을 모두 검증할 수 있는 평가 셋을 구축했습니다.

4. 실험 결과 (Results)

성능 우위: 제안된 모델은 기존의 인코더 기반 모델(RoBERTa 등) 및 GPT-4o와 같은 강력한 Zero-shot LLM보다 다양한 태스크에서 뛰어난 성능을 보였습니다.
확장성(Scaling): 모델의 크기가 커질수록, 그리고 합성 데이터와 순위 일치 학습(Rank Consistency)을 추가할수록 성능이 지속적으로 향상되었습니다.
도메인 일반화: 합성 데이터를 통해 학습했을 때, 학습 데이터와 거리가 먼 도메인(의료, 블로그 등)에서도 높은 일반화 성능을 보였습니다.
인간 유사성: 모델이 생성하는 확률 분포가 인간의 의견이 갈리는 지점(multi-modal distribution)을 정확히 포착하며, 인간의 불확실성을 잘 반영함을 확인했습니다.

5. 의의 (Significance)

본 연구는 LLM이 단순히 "답을 맞추는 기계"를 넘어, **"자신의 지식에 기반한 불확실성을 정량화할 수 있는 추론 엔진"**으로 진화하는 데 중요한 기술적 토대를 제공합니다. 이는 자율 주행, 의료 진단, 법률 판단 등 확률적 판단이 필수적인 실세계의 고위험(high-stakes) 의사결정 시스템에 LLM을 통합하는 데 있어 핵심적인 역할을 할 것으로 기대됩니다.