기술 요약: 언제 높은 확률의 답변이 정답인가? LLM의 시퀀스 확률과 정확도에 대하여

문제 정의

대규모 언어 모델(LLM)은 토큰 시퀀스에 확률을 할당하는 자기회귀(autoregressive) 시스템이다. 디코딩 방법(예: 빔 서치, top-k 샘лоing, Best-of-N)은 대개 모델 하에서 더 높은 확률을 갖는 출력, 즉 로컬 수준(토큰 단위) 또는 글로벌 수준(시퀀스 단위)에서 확률 질량을 높이도록 설계되었다. 이러한 방법들을 이끄는 근본적인 가정은 높은 시퀀스 확률이 정확도와 상관관계가 있다는 것이다. 그러나 경험적 관찰에 따르면 이러한 관계가 보편적이지는 않다. 예를 들어, 가장 높은 확률의 시퀀스를 근사하는 빔 서치는 샘플링 방식에 비해 성능이 저하되는 경우가 빈번하다.

본 논문은 핵심 질문을 다룬다: 언제 시퀀스 확률(프롬프트에 대한 연속된 토큰의 조건부 확률)이 실제로 정확도와 일치하는가? 저자들은 다양한 디코딩 방법, 모델, 벤치마크를 통해 이 관계를 정량화하여, 언제 확률을 극대화하는 것이 더 나은 답변으로 이어지고 언제 그렇지 않은지를 결정하고자 한다.

방법론

저자들은 네 가지 서로 다른 세밀도(granularity) 수준에서 시퀀스 로그-확률과 정확도 사이의 상관관계를 정량화하기 위해 대규모 경험적 연구를 수행한다.

1. 방법 간 상관관계(Across-Method Correlation): 고정된 모델과 데이터셋에 대해 서로 다른 디코딩 방법을 (그리고 각각의 최적 하이퍼파라미터를) 비교한다.
2. 방법 내 상관관계(Within-Method Correlation): 단일 디코딩 방법 내에서 하이퍼파라미터를 변경하는 것이 확률과 정확도에 미치는 영향을 분석한다.
3. 데이터셋 내 상관관계(Within-Dataset Correlation): 특정 데이터셋, 모델, 방법 내의 모든 프롬프트-답변 쌍에 대해 로그-확률와 정확도 사이의 관계를 조사한다.
4. 샘플 내 상관관계(Within-Sample Correlation): 동일한 프롬프트에 대해 생성된 여러 응답 간의 상관관계를 조사한다.

실험 설정:

• 모델: Qwen2.5, Qwen3, Olmo3 제품군에서 온 14개의 모델(0.6B에서 8B 파라미터 범위, 베이스 및 포스트 트레이닝 변체 포함).
• 데이터셋: 수학적 추론(MATH500), 코드 생성(HumanEval), 지시 이행(IFEval), 일반 지식/의학 추론(GPQA, MedQA, MMLU)을 다루는 6개의 벤치마크 데이터셋.
• 디코딩 방법: 8가지 방법 평가:
  • 로컬 방법: 저온 샘플링(Low-temperature sampling, LTS), Top-k, Top-p, $\epsilon$-샘플링.
  • 글로벌 방법: 빔 서치(Beam search), Best-of-N (BoN), Scalable Power Sampling (SPS), Power-SMC.
• 지표: 로그-확률와 이진 정확도 레이블 사이의 관계를 측정하기 위해 피어슨 상관계수(빈 데이터 기반)와 스피어먼 순위 상관계수를 활용한다.

주요 기여 및 발견

1. 확률 극대화로서의 디코딩 프레임워크화

본 논문은 디코딩 방법을 시퀀스 확률을 극대화하는 접근 방식으로 공식적으로 프레임화한다. 저자들은 로컬 방법(각 단계에서 다음 토큰 분포를 수정하며, 로컬 정규화 상수 때문에 글로벌 시퀀스 확률 극대화에 실패하는 경우가 많음)과 글로벌 방법(전체 시퀀스의 모드 또는 파워 분포를 목표로 함)을 구분한다. 저자들은 파워 분포가 기대 로그-확률과 엔트로피 사이의 절충안으로서 시퀀스 확률의 소프트 맥시마이저(soft maximizer) 역할을 한다는 변분 목적 함수(variational objective)를 제공한다.

2. 세밀도에 따른 상관관계

핵리의 발견은 확률과 정확도의 관계가 균일하지 않으며, 분석 수준에 따라 크게 달라진다는 점이다.

• 데이터셋 내(Within-Dataset, 발견 1): 고정된 데이터셋, 모델, 방법 내에서는 로그-확률와 정확도 사이에 일관되게 양(+)의 상관관계가 존재한다. 이 상관관계는 디코딩 방법보다는 주로 데이터셋과 모델 변체에 의해 결정된다. 예를 들어, MATH500은 거의 완벽한 양의 상관관계를 보이는 반면, IFEval은 베이스 모델에 대해 음의 상관관계를 보이기도 한다. 포스트 트레이닝된 모델은 일반적으로 양의 상관관계를 보이지만, 베이스 모델은 더 다양하게 나타난다.
• 방법 내(Within-Method, 발견 2): 특정 디코딩 방법의 하이퍼파라미터를 조정하여 시퀀스 확률을 높이는 것이 정확도를 반드시 개선하지는 않는다. 하이퍼파라미터(예: 온도, 빔 너비)를 변경하면 종종 더 높은 로그-확률을 가진 시퀀스를 얻을 수 있지만, 이러한 시퀀스들이 오히려 덜 정확한 경우가 많다. 확률과 정확도를 동시에 극대화하도록 메서드를 튜닝하는 일관된 방법은 존재하지 않는다.
• 방법 간(Across-Methods, 발견 3): 최적의 하이퍼파라미터를 선택하더라도 단일 디코딩 방법이 다른 방법보다 일관되게 우수한 성능을 보이지는 않는다. 많은 방법이 저온 샘플링(LTS)보다 더 높은 확률과 더 높은 정확도를 가진 시퀀스를 생성하지만, 이것이 신뢰할 수 있는 규칙은 아니다. 특히, 메서드 전환(예: Power Sampling으로 전환)을 통해 시퀀스 확률을 높이는 것이 더 높은 정확도를 보장하지는 않는다.
• 샘플 내(Within-Sample, 발견 5): 단일 프롬프트에 대해, 반복된 샘플들 사이의 로그-확률와 정확도 간의 상관관계는 일반적으로 약하며 0을 중심으로 대칭적으로 분포한다. 그러나 모델이 더 높은 비율의 정답을 생성하는 프로프트의 경우, 더 강한 양의 샘플 내 상관관계를 보이는 경향이 있다.

3. 자기 개선(Self-Improvement) 및 자기 일관성(Self-Consistency)에 대한 시사점

본 논문은 이러한 발견을 검증기 없는 자기 개선(verifier-free self-improvement) 및 자기 일관성(SC)과 연결한다.

• 자기 일관성(Self-Consistency, 발견 6): 저온 샘플링의 경우, 단순 다수결(uniform weighting)이 확률 가중 다수결(probability-weighted voting)보다 성능이 좋은 경우가 많다. 이는 샘플 내 상관관계가 약하거나 대칭적이기 때문이며, 즉 특정 프롬프트에 대해 높은 확률이 반드시 정답을 나타내지는 않는다는 것을 의미한다.
• 자기 개선(Self-Improvement, 발견 4): 확률 기반의 재귀적 자기 개선 루프가 효과적이려면 충분한 베이스라인 정확도가 필요할 수 있다. 상관관계는 모델의 전반적인 정확도에 따라 스케일링된다. 즉, 모델이 이미 충분히 정확하지 않다면, 높은 확률의 샘플을 강화하는 것이 틀린 답을 강화하는 결과로 이어질 수 있다.

의의 및 주장

본 논문은 어떤 조건에서 디코딩이 정확도 향상을 기대할 수 있는지 명확히 한다. 주요 기여는 시퀀스 확률이 데이터셋 수준에서는 정답과 오답을 구별하는 유용한 신호가 되지만, 특정 작업의 성능을 개선하기 위한 하이퍼파라미터나 디코딩 방법을 선택하는 데 있어서는 부적절한 신호라는 미묘한 이해를 제공하는 데 있다.

저자들은 "높은 확률이 높은 정확도를 의미한다"는 직관이 데이터셋 수준(집합적으로 좋은 답과 나쁜 답을 구분하게 함)에서는 유효하지만, 의사 결정 수준(특정 프롬프트에 대한 최선의 답을 선택하거나 메서드를 튜닝함)에서는 실패한다는 점을 강조한다. 결과적으로, 본 논문은 다음과 같은 경우에 시퀀스 확률에만 의존하는 것을 경고한다:

1. 경험적 검증 없이 최적의 디코딩 방법이나 하이퍼파라미터를 선택할 때.
2. 자기 일관성에서 확률 가중 집계(probability-weighted aggregation)를 사용할 때 (모델의 정확도가 매우 높지 않은 한).
3. 충분한 작업 정확도 베이스라인을 확보하지 않은 채 검증기 없는 자기 개선 루프를 실행할 때.

이 연구는 향후 디코딩 전략이 상관관계의 세밀도에 집중해야 함을 시사한다. 즉, 데이터셋 수준의 필터링을 위해 확률 신호를 활용하되, 인스턴스(instance) 수준의 선택에서의 한계를 인정해야 한다는 것이다.