기술 요약: LLM 추론에서의 가치 불일치 위에 존재하는 비합리성

문제 정의

SFT(Supervised Fine-Tuning), RLHF(Reinforcement Learning from Human Feedback), DPO(Direct Preference Optimization)와 같은 방법론을 통해 타겟 가치 함수에 LLM을 정렬(Alignment)하려는 상당한 진전에도 불구하고, 결정적인 격차가 남아 있다. LLM이 학습 과정에서 잘 정렬되었더라도, 추론 시에 정렬된 가치를 극대화하는 데 실패할 수 있다. 본 논문은 가치 불일치(학습된 가치 함수 자체가 잘못된 경우)가 실패의 유일한 원인이 아니라, **비합리적 추론(Irrational Reasoning)**이 지속적으로 발생한다고 주장한다. 이러한 비합리성은 모델의 출력 분포 내에 고효용 후보군이 존재함에도 불구하고, 샘플링된 후보들로부터 최선의 응답을 선택하지 못하는 능력의 부재로 정의된다.

방법론

합리적 가치 위험(Rational Value Risk)의 공식화

저자들은 이 현상을 **합리적 가치 위험(Rational Value Risk, RVR)**으로 수학적으로 공식화한다.

• 합리적 추론: 주어진 가치 함수 하에서 가장 가파른 방향으로 기대 효용을 극대화하는 전략으로 정의된다.
• 합리적 가치 위험 ($R$): 모델의 배포된 추론 전략($d_\theta$)과 그 합리적 대응물($d^\circ_\theta$) 사이의 효용 차이이다.
  $$R(d_\theta) = \mathbb{E}_{x \sim \rho, o \sim P(\cdot|x,y^\circ)}[U(o)] - \mathbb{E}_{x \sim \rho, y \sim d_\theta, o \sim P(\cdot|x,y)}[U(o)]$$
  여기서 $y^\circ$는 합리적인 답이며, $y$는 배포된 전략에 의해 생성된 답이다.

계산 제한적 추정(Compute-Bounded Estimation)

완벽하게 합리적인 추론은 유한한 자원으로 인해 계산이 불가능하므로, 본 논문은 계산 제한적 합리적 추론 프레임워크를 도입한다.

1. 후보 집합: 주어진 프롬프트에 대해 모델로부터 $K$개의 독립적인 샘플을 추출한다.
2. 경험적 효용: 각 후보의 효용은 $L$번의 검증기(Verifier) 호출 또는 결정론적 체크를 통해 추정된다.
3. 추정량: **경험적 합리적 가치 위험($\hat{R}_{M,K,L}$)**은 $K$개의 후보 중 발견된 최대 경험적 효용(최선의 배포를 나타냄)과 배포된 전략의 평균 경험적 효용 사이의 차이로 계산된다.

오차 분해(Error Decomposition)

RVR의 추정 오차는 세 가지 별개의 구성 요소로 분해된다:

1. 후보 근사 오차(Candidate Approximation Error): 유한한 $K$개의 샘플 집합에 고효용 응답이 포함되지 않을 위험.
2. 프롬프트 샘플링 오차(Prompt Sampling Error): 유한한 수의 프롬프트($M$)에서 평가할 때 발생하는 통계적 오차.
3. 검증 오차(Verification Error): 확률적이거나 불완전한 검증기($L$)에 의해 도입되는 오차.
   본 논문은 전체 오차가 후보 근사 오차와 프롬프트 수 및 검증기 신뢰도에 의존하는 항의 합으로 제한됨을 보여주는 이론적 경계(정리 1)를 제공한다.

실험 설정

본 연구는 다양한 벤치마크에 걸쳐 광범위한 모델(7B에서 72B 파라미터 및 독점 API)을 평가한다:

• 대화형 작업: UltraFeedback, AlpacaEval (확률적 검증기 사용).
• 검증 가능한 추론: GSM8K, MATH, HumanEval, MathArena (결정론적 또는 준결정론적 검증기 사용).
• 모델: Llama-3.1, Qwen-2.5, Tülu-3 제품군 및 독점 모델(GPT-5.2, GPT-5.5, DeepSeek-V4).
• 변수: 실험은 샘플링 온도(Temperature), 자기 일관성 투표 예산(Self-consistency voting budgets), 그리고 추론 길이(토큰 예산)를 변화시킨다.

주요 결과

실험은 네 가지 주요 가설을 검증한다:

1. H1: 합리적 가치 위험(RVR)은 광범성하다.
   모든 모델과 벤치마크에서 RVR은 일관되게 양수 값을 나타낸다. 모델은 종종 고효용 후보(높은 합리적 기대 효용, REU)를 생성하지만, 이를 일관되게 배포(낮은 실제 기대 효용, AEU)하는 데는 실패한다. 예를 들어, MathArena 벤치마크에서 GPT-5.2와 같은 강력한 모델조차 0.360의 RVR을 보였으며, 이는 전체 효용 격차의 70.6%를 차지한다.

2. H2: 가치 정렬은 RVR을 감소시키지만 제거하지는 못한다.
   사후 학습 정렬 단계(SFT $\to$ DPO $\to$ RLVR)는 일반적으로 AEU를 개선하고 RVR을 감소시킨다. 그러나 RLVR 이후에도 상당한 위험이 남아 있다. 어떤 경우(예: MathArena에서의 Tülu-3-70B)에는 정렬이 고효용 응답을 샘플링하는 능력(REU 증가)은 개선하지만, RVR이 전체 오차에서 차지하는 비율은 오히려 증가하여, 배포된 전략이 여전히 최선의 후보를 선택하는 데 실패함을 보여준다.

3. H3: RVR은 추론 시 전략에 매우 민감하다.

• 온도(Temperature): 샘플링 온도를 높이면 REU(더 나은 후보를 찾음으로써)는 개선되는 경우가 많지만, 모델이 최선의 후보를 일관되게 선택하지 못하기 때문에 RVR은 증가한다.
• 자기 일관성(Self-Consistency): 투표 예산을 늘리면 RE는 안정적인 반면 AEU가 개선되어 RVR이 유의미하게 감소한다.

4. H4: 긴 추론은 한계 효용이 있는 방식으로 합리성을 개선한다.
   추론 길이(토큰 예산)를 연장하면 RVR을 줄일 수 있지만, 그 이점은 비단조적(non-monotonic)이며 특정 임계값(예: $T \ge 256$ 또는 $1024$) 이후에는 감소한다. MathArena와 같은 어려운 배포 벤치마크에서 긴 추론은 REU를 약간 개선하지만 AEU를 개선하는 데는 실패하여 RVR을 높게 유지시킨다.

의의 및 주장

본 논문은 LLM 추론에서 **합리적 가치 위험(RVR)**을 공식적으로 정의하고 측정하여, 추론 시의 비합리성을 가치 불일치와 명시적으로 분리한 첫 번째 연구라고 주장한다.

• 구별된 평가 차원: 저자들은 합리성이 가치 정렬과 상호 보완적인 별개의 차원이라고 상정한다. 모델은 완벽하게 정렬될 수 있지만(무엇이 가치 있는지 알지만), 추론 시에는 비합리적일 수 있다(그 지식을 실행에 옮기는 데 실패함).
• 진단 도구: 이 프레임워크는 성능 격차가 고품질 응답을 생성하는 능력(샘플링 실패) 때문인지, 아니면 그것을 선택하는 능력(배포 실패) 때문인지를 식별하는 진단 도구 역할을 한다.
• 한계: 본 연구는 추론 궤적(trajectories)이 아닌 최종 응답에 대한 효용에 초점을 맞춘다. RVR을 해결하기 위한 새로운 알고리즘을 제안하지는 않지만, 실현되지 않은 효용을 최소화하기 위한 미래의 추론 시 알고리즘(예: 검증기 가이드 탐색)을 위한 이론적 및 경험적 토대를 제공한다.

결론적으로, 본 논문은 "가치 불일치 위에 존재하는 비합리성"이 현재 LLM에서 만연한 문제임을 입증하며, 향에 대한 개선은 단순히 모델이 무엇을 배우느냐가 아니라, 추론 시에 어떻게 추론하고 답을 선택하느냐를 다루어야 함을 시사한다.