🤖 machine learning

From token probabilities to calibrated confidence: An empirical study of mathematical question answering

이 실증적 연구는 수학적 질의응답을 위한 대규모 언어 모델의 신뢰도를 교정하는 방법들을 조사하며, 단일 패스 토큰 확률은 제한적인 신호만을 제공하지만, 이를 집계하고 자기 검증(self-verification) 또는 몬테카를로 드롭아웃(Monte Carlo Dropout)과 같은 다중 패스 전략을 적용한 후 사후 교정 기법을 사용하는 것이 추정된 신뢰도와 실제 정확도 사이의 정렬을 유의미하게 향상시킬 수 있다는 점을 밝혀냈다.

원저자: Avery Ma, Lorne Schell, Vin Bhaskara, Leila Pishdad

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Avery Ma, Lorne Schell, Vin Bhaskara, Leila Pishdad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇 친구와 고난도의 퀴즈 게임을 하고 있다고 상상해 보세요. 당신이 까다로운 질문을 던지면, 로봇은 정답을 내놓으며 징 소리를 냅니다. 하지만 여기 함정이 있습니다. 로봇은 너무나도 잘 보이고 싶은 나머지, 완전히 틀렸을 때조차 100% 확신에 찬 것처럼 들리곤 합니다. 인공지능의 세계에서 이것을 '과잉 확신(overconfidence)'이라고 부릅니다. 과학자들은 이 로봇들에게 "꽤 확신해요" 또는 "잘 모르겠어요"라고 말하는 법을 가르치려 노력하고 있습니다. 그래야 우리가 로봇을 언제 믿어야 할지 알 수 있기 때문입니다. 이것이 바로 **신뢰도 추정(confidence estimation)**의 과제입니다. 즉, 로봇의 답변이 정답일 확률이 얼마나 되는지 알아내는 것입니다. 이를 위해 연구자들은 로봇의 내부적인 '속삭임'인 **토큰 확률(token probabilities)**에 주목합니다. 이는 문장에서 다음 단어를 선택할 확률을 보여주는 아주 작은 숫자들입니다. 큰 질문은 이것입니다. 우리는 이 노이즈 섞인 속삭임을 로봇을 얼마나 믿을 수 있는지 정확히 알려주는 신뢰할 수 있는 '진실 측정기'로 바꿀 수 있을까요?

한 연구팀은 이 아이디어를 특히 수학 문제에 적용하여 테스트해 보기로 했습니다. 그들은 AI를 시험을 치르는 학생처럼 취급하며 이렇게 물었습니다. "만약 우리가 학생의 사고 과정을 면밀히 관찰한다면, 학생이 답안 작성을 마치기도 전에 정답을 맞혔는지 알 수 있을까?" 그들은 두 가지 주요한 경청 방식을 비교했습니다. 첫 번째는 '단일 패스(single-pass)' 방식인데, 이는 수학 문제와 로봇이 낸 최종 답안을 한 번에 분석하는 것입니다. 두 번째는 '멀티 패스(multi-pass)' 방식인데, 이는 로봇에게 자신의 풀이를 재검토하게 하거나, 약간의 변화를 주어 같은 문제를 로봇의 뇌에 여러 번 실행시켜 결과가 동일한지 확인하는 방식입니다.

그들이 발견한 사실은 다음과 같습니다. 우선, 만약 당신이 답변의 맨 마지막 단어(최종 숫자)만 듣는다면, 로봇은 설령 틀렸을 때조차 엄청나게 자신만만해 보인다는 것을 발견했습니다. 이는 마치 학생이 시험지에 "42"라고 적었지만, 사실은 찍어서 맞힌 상황과 같습니다. 하지만 만약 당신이 전체적인 추론 과정, 즉 로봇이 정답에 도ul기까지 거친 단계별 수학 풀이 전체를 듣는다면, 정답과 오답 사이의 미세하고 일관된 차이를 포착할 수 있습니다. 이 전체 사고 과정에 걸쳐 이러한 미세한 신호들을 평균 내는 방식을 통해, 그들은 추가적인 작업을 요구하지 않고도 훨씬 더 나은 '진실 측정기'를 얻는 방법을 찾아냈습니다.

연구자들은 또한 더 나은 신호를 얻기 위해 몇 가지 정교한 기술들을 시도했습니다. 한 가지 방법은 로봇에게 "이것이 맞다고 확신하나요?"라고 묻는 것이었습니다(자기 검증 방식). 그들은 로봇에게 처음부터 다시 읽어보라고 요청하는 방식은 정확하지만, 마치 학생에게 단 한 줄을 확인하기 위해 에세이 전체를 다시 쓰게 하는 것처럼 매우 느리고 비용이 많이 든다는 것을 발견했습니다. 그러나 그들은 영리한 지름길을 찾아냈습니다. 전체를 다시 쓰는 대신, 원래의 답변 끝에 "이것이 맞습니까?"라는 질문을 덧붙이는 것만으로 충분했습니다. 이 '인시투(in-situ, 현장)' 방식은 정확도는 동일하면서도 컴퓨터의 연산 노력을 88%나 절감해주었기에, 효율성 측면에서 큰 승리였습니다.

또 다른 기술은 '스토캐스틱 패스(stochastic passes)'로, 이는 로봇에게 약간의 무작위성(예를 들어 주사위를 던지는 것과 같은)을 주어 같은 문제를 여러 번 풀게 하여 마음을 바꾸는지 확인하는 것입니다. 'MC 드롭아웃(MC Dropout)'이라 불리는 이 방식은 불확실성을 잡아내는 데는 좋았지만, 로봇이 작업을 여러 번 수행해야 하므로 계산량이 매우 많았습니다. 연구자들은 이 방식이 효과적이긴 하지만, 더 단순한 '전체 이야기를 듣는' 방식과 비교했을 때 추가적인 비용을 들일 만큼의 가치가 있는지 의문이라는 점을 발견했습니다.

마지막으로, 그들은 로봇의 신뢰도 다이얼을 조정하는 법을 배우는 '캘리브레이션(calibration, 교정)' 단계를 테스트했습니다. 그들은 로봇의 신뢰도 점수가 현실과 더 잘 일치하도록 조정하기 위해 두 가지 고전적인 수학 도구(플랫 스케일링과 아이소토닉 회귀)를 사용했습니다. 그들은 이 도구들이 놀라운 효과를 발휘하며, 특히 아주 적은 양의 연습 문제(50개 정도의 예시)만으로도 학습이 가능하다는 것을 발견했습니다. 하지만 쉬운 수학 문제로 학습된 캘리브레이션은 어려운 문제에서는 항상 잘 작동하지 않으며, 한 종류의 로봇에 대해 학습된 캘리브레이션이 다른 종류의 로봇으로 잘 전이되지 않는다는 점도 관찰했습니다.

요약하자면, 이 논문은 로봇이 맞는지 확인하기 위해 두 배로 힘들게 일할 필요가 없다는 점을 시사합니다. 단순히 최종 답변만이 아니라 추론의 '전체 경로'에 더 세심한 주의를 기울이고, 로봇에게 스스로 재확인하도록 하는 영리하고 저비용인 방법을 사용함으로써, 우리는 훨씬 더 신뢰할 수 있는 신뢰도 측정기를 구축할 수 있습니다. 이러한 발견은 적절한 튜닝이 뒷받침된다면, AI 시스템이 자신이 무엇을 알고 무엇을 모르는지에 대해 훨씬 더 정직해질 수 있음을 보여줍니다.

제목: 토큰 확률에서 교정된 신뢰도로: 수학적 질의응답에 관한 경험적 연구

문제 정의
대규모 언어 모델(LLM)은 복잡한 다단계 작업에서 성공을 거두었으나, 출력값의 정답 여부를 아는 것이 출력값 자체만큼이나 중요한 고위험 도메인에 점점 더 많이 배치되고 있다. LLers는 추론 과정에서 토큰 확률을 생성하지만, 이러한 가공되지 않은 신호들은 종-종 과잉 확신(overconfident)되어 있으며 완성된 답변의 정확성을 판단하기에는 교정(calibration)이 잘 되어 있지 않다. 이는 모델이 완성된 답변이 정답일 확률을 추정하도록 훈련받기보다는 다음 토큰을 예측하도록 최적화되어 있기 때문이다. 본 논문은 이러한 쉽게 얻을 수 있는 토큰 확률이 검증 가능한 최종 답변이 존재하는 수학적 질의응답(MQA) 영역에서 어떻게 잘 교정된 신뢰도 추정치로 변환될 수 있는지 조사한다.

연구 방법론
저자들은 신뢰도 추정기를 요구되는 추론 패스(inference pass)의 수에 따라 다음과 같이 분류하여 경험적 연구를 수행한다:

단일 패스 추정기(Single-Pass Estimators): 추가적인 순방향 패스 없이 원래 생성된 토큰 확률을 재사용한다. 연구에서는 두 가지 설계 선택지를 분석한다:
- 토큰 부분 집합(Token Subset): 전체 생성 시퀀스(추론 궤적 + 답변)를 사용하는 추정기와 최종 답변 토큰만을 사용하는 추정기를 비교한다.
- 집계 방법(Aggregation Method): 토큰 확률의 산술 평균과 길이 정규화된 결합 확률(기하 평균)을 비교한다.
- 네 가지 특정 추정기가 구현된다: 시퀀스 결합(SEQ JOINT), 시퀀스 평균(SEQ AVG), 답변 결합(ANS JOINT), 답변 평균(ANS AVG).
다중 패스 추정기(Multi-Pass Estimators): 반복적인 순방향 패스를 통해 추가적인 신호를 얻는다:
- 자기 검증( $p(\text{True})$ ): 모델에게 자신이 생성한 답변을 "참(True)" 또는 "거짓(False)"으로 판단하도록 다시 프롬프트를 입력한다. 저자들은 또한 전체 컨텍스트를 다시 인코딩하는 것을 피하기 위해, 원래의 생성 궤적에 검증 쿼리를 직접 붙이는 인시투(in-situ) 변형 방식을 평가한다.
- 몬테카를로(MC) 드롭아웃: 드롭아웃을 활성화한 상태에서 추론 궤적은 고정한 채 여러 번의 확률적 순방향 패스를 수행한다. 불확실성은 답변 토큰의 예측 분포 변화를 포착하는 베이지안 능동 학습에 의한 불일치(BALD) 지표를 통해 측정된다.
사후 교정(Post-Hoc Calibration): 신뢰도 점수를 경험적 정확도와 일치시키기 위해 두 가지 고전적인 방법을 평가한다:
- 이소토닉 회귀(Isotonic Regression): 유연하고 비매개변수적인 단조 매핑이다.
- 플랫 스케일링(Platt Scaling): 로짓(logits)에 적용되는 매개변수적 전역 조정(온도 스케일링)이다.

주요 기여 및 결과

궤적 수준의 집계(Trajectory-Level Aggregation): 본 논문은 전체 추론 궤적에 대한 확률을 집계하는 것(SEQ AVG/JOINT)이 최종 답변 토큰만을 사용하는 것보다 훨씬 더 변별력이 있고 더 잘 교정된 신뢰도 추정치를 생성한다는 것을 발견했다. 개별 토큰 확률은 종종 포화 상태에 이르지만, 추론 경로 전반에 걸친 작지만 일관된 확률 차이가 축적되어 정답 생성과 오답 생성을 구분해 낸다.
인시투 검증의 효율성: 제안된 인시투 자기 검증 방식은 표준 재프롬프팅( $p(\text{True})$ )과 대등한 교정 성능을 보이면서도 토큰 처리 오버헤드를 약 88% 감소시킨다. 이는 전체 질문-응답 쌍을 다시 인코딩하는 대신 원래의 생성 상태를 재사용함으로써 달성된다.
MC 드롭아웃 및 분포적 불확실성: MC 드롭아웃은 답변이 변경되지 않더라도 예측 분포의 변화에 반영된 불확실성을 포착한다. 그러나 이 방법은 상당한 튜닝(드롭아웃 비율 선택)과 안정화를 위한 다수의 확률적 패스(약 5배의 오버헤드)를 필요로 하므로, 단일 패스 방식에 비해 계산 비용이 많이 든다.
교정 효능 및 데이터 효율성: 이소토닉 회귀와 플랫 스케일링 모두 도메인 내 교정 오차를 실질적으로 줄인다. 이소토닉 회귀는 특히 효과적이며, 유의미한 개선을 얻기 위해 불과 50개의 교정 사례만으로도 충분한 경우가 많다.
비대칭적 전이(Asymmetric Transfer): 교정 매핑은 데이터셋과 모델 간에 비대칭적으로 전이된다. 쉬운 데이터셋(예: GSM8K)에서 학습된 매핑은 어려운 데이터셋(예: GSMHard)의 교정 성능을 일반적으로 향상시키지만, 그 반대의 경우는 성능을 저하시키는 경우가 많다. 또한, 전이 가능성은 특정 모델-데이터셋 쌍에 크게 의존하며, 이는 교정 데이터가 목표 모델 및 난이도와 일치해야 함을 시사한다.

의의 및 한계점
본 논문은 토큰 확률을 적절히 집계하고 교정하면 복잡한 보조 모델이나 미세 조정 없이도 수학적 추론을 위한 신뢰할 수 있는 신뢰도 추정치를 제공할 수 있음을 입증한다. 연구 결과는 LLM의 "과잉 확신"이 극복 불가능한 장벽이 아니라, 시퀀스 수준의 집계와 간단한 사후 방식을 통해 해결할 수 있는 교정의 문제임을 강조한다.

저자들은 몇 가지 한계점을 언급한다: 본 연구는 토큰 확률과 드롭아웃 제어가 가능한 오픈 웨이트 모델로 제한되며, 개방형 대화가 아닌 검증 가능한 답변이 있는 MQA에 초점을 맞추고 있다. 또한, MC 드롭아웃 결과는 대안적인 추론 경로에 대한 불확실성을 포착하지 못할 수 있는 특정 설계 선택(예: 고정된 추론 궤적)에 의존한다. 아울러, 정규 표현식 기반의 답변 추출에 대한 의존도가 높아 비표준 출력에 대한 오류가 발생할 수 있다.

유사한 논문