기술 요약: 최단 경로 (Path of Least Resistance, PoLR)

문제 정의

대규모 언어 모델(LLM)은 초등 수학부터 대학 수준의 STEM 문제에 이르기까지 복잡한 추론 작업에서 놀라운 능력을 입증해 왔습니다. 추론 시 전략 중 **자기 일관성(Self-Consistency, SC)**은 여러 추론 궤적을 샘플링하고 다수결 원칙에 따라 정답을 선택함으로써 정확도를 높이는 강력한 기본 방식으로 부상했습니다. 그러나 SC는 $N$개의 샘플링된 추론 궤적을 모두 완료될 때까지 완전히 확장해야 하므로 계산 비용이 많이 듭니다.

적응형 일관성(Adaptive Consistency, AC) 및 **조기 종료 자기 일관성(Early-Stop Self-Consistency, ESC)**과 같은 기존 방식은 추론 궤적을 순차적으로 확장하며, 충분한 정답 수준의 합의가 관찰될 때까지 기다리는 방식으로 동작합니다. 이러한 접근 방식은 근본적인 한계를 공유합니다. 즉, 최종 답변을 생성하기 위해 전체 궤적이 완성될 때까지 기다려야 하므로, 추론 초기 단계에서 가용한 구조적 정보를 활용할 수 없습니다. 결과적으로, 초기 단계에서 이미 지배적인 추론 경로가 나타나고 있음에도 불구하고 불필요한 토큰 생성 비용을 초래하는 경우가 많습니다.

방법론: 최단 경로 (PoLR)

본 논문은 모델 미세 조정 없이 **접두사 일관성(prefix consistency)**을 활용하여 추론 궤적을 가이드하는 최초의 추론 시점 방법인 **PoLR (Path of Least Resistance)**을 소개합니다. 핵심 직관은 독립적인 샘플들 사이에서 초기 추론 토큰(접두사)들이 이후의 단계와 관계없이 강한 구조적 유사성을 보이는 경우가 많으며, 이러한 초기 신호가 최종 정답의 정확도를 예측한다는 것입니다.

PoLR는 다음과 같은 4단계 파이프라인을 통해 작동합니다:

1. 접두사 샘플링 (Prefix Sampling): 입력 질문이 주어지면, 모델은 고정된 길이 $L_p$(예: 256 토큰)로 잘린 $N$개의 짧은 추론 접두사를 생성합니다.
2. 임베딩 및 클러스터링 (Embedding and Clustering): 이 접두사들은 경량화된 TF-IDF Bag-of-words 인코딩을 사용하여 희소 벡터 표현으로 임베딩됩니다. 그 후 코사인 유사도를 사용하여 **계층적 응집 클러스터링(Agglomerative Hierarchical Clustering)**을 통해 클러스터링됩니다. 이 방법은 가장 많은 수의 접두사를 포함하는 **지배적 클러스터($C^*$)**를 식별합니다.
3. 선택적 확장 (Selective Expansion): $N$개의 궤적을 모두 확장하는 대신, PoLR은 지배적 클러스터 $C^*$에 속하는 $K$개의 접두사만을 완전한 추론 궤적으로 확장합니다.
4. 자기 일관성 투표 (Self-Consistency Voting): 최종 답변은 확장된 $K$개의 궤적에서 추출된 답변들에 대한 다수결 투표를 통해 결정됩니다.

이론적 정당성:
저자들은 상호 정보량(mutual information)과 엔트로피를 사용하여 이 방법을 프레임화합니다. 저자들은 PoLR이 정확도를 유지하기 위해서는 클러스터 할당 $Z$가 정답 $Y$에 대한 정보를 담고 있어야 한다($I(Z; Y) > 0$)고 가정합니다. 경험적으로, 클러스터와 정답 사이의 상호 정보량은 무시할 수 없는 수준이지만, 주요 효율성 동력은 전체 샘플 수 대비 지배적 클러스터 크기의 비율인 **구조적 왜도(structural skew, $\kappa$)**라는 것을 발견했습니다. 높은 왜도는 많은 비율의 추론 경로가 중복되어 있음을 의미하며, 이를 통해 PoLR이 상당한 정확도 손실 없이 작은 클러스터들을 안전하게 무시할 수 있게 합니다.

주요 기여

• 추론 시점 접두사 합의 (Inference-Time Prefix Consensus): PoLR은 자기 일관성을 위해 추론 시점에 접두사 일관성을 활용하는 최초의 방법으로, 부분적인 궤적을 클러스터링하고 지배적 클러스터를 선택적으로 확장하는 드롭인(drop-in) 교체 모델 역할을 합니다.
• 계산 효율성: 이 방법은 표준 SC와 유사하거나 더 높은 정확도를 유지하면서 토큰 사용량을 최대 60%, 실제 실행 시간(wall-clock latency)을 최대 50%까지 대폭 절감합니다.
• 상보성: PoLR은 기존의 적응형 추론 방식(예: Adaptive Consistency, Early-Stopping SC)과 완전히 호환됩니다. 이는 적응형 할당 이전에 저품질 경로를 제거하는 사전 필터 역할을 수행하여 계산 오버헤드를 더욱 줄일 수 있습니다.
• 강건성: 이 접근 방식은 다양한 클러스터링 알고리즘(Agglomerative, DBSCAN, HDBSCAN), 접두사 길이, 클러스터 선택 전략에 대해 강건합니다. 미세 조정이 필요 없으며, 다양한 LLM 제품군(Qwen, DeepSeek, Phi, MiMo) 및 규모(1.5B ~ 32B 파라미터)에서 작동합니다.

실험 결과

저자들은 다섯 가지 벤치마크(GSM8K, MATH500, AIME24/25, GPQA-DIAMOND, STRATEGYQA)를 통해 PoLR을 평가했습니다.

• 정확도 대비 비용: 모든 데이터셋과 모델에 걸쳐 PoLR은 표준 자기 일관성의 정확도와 일치하거나 이를 능가했습니다. 예를 들어, MATH500의 QWQ32B 모델에서 PoLR은 토큰 사용량을 51.8% 줄이면서 정확도를 91.8%에서 92.0%로 향상시켰습니다. GPQA-DIAMOND에서는 QWQ32B의 정확도를 68.7%에서 70.2%로 높이면서 토큰을 53.8% 절감했습니다.
• 토큰 효율성: 토큰 효율성($\eta$)은 일반적으로 40%에서 60% 사이이며, 추론에 필요한 토큰 소비를 효과적으로 절반으로 줄입니다.
• 지연 시간 (Latency): 줄어든 토큰 생성량과 클러스터링의 최소한의 오버헤드(TF-IDF의 경우 몇 밀리초) 덕분에 실제 실행 시간이 최대 50% 감소했습니다.
• 하이브리드 성능: 적응형 일관성(AC) 또는 조기 종료 SC(ESC)와 결합했을 때, PoLR은 솔루션 품질을 저해하지 않으면서 적응형 방식만 사용할 때보다 경로 확장 횟수(PExp)를 평균 약 31.4% 더 줄입니다.
• 임베딩 선택: 연구는 경량화된 TF-IDF 임베딩이 접두사 클러스터링에 충분하다는 것을 보여주며, 밀집 신경망 임베딩(예: Matryoshka)과 거의 동일한 정확도를 제공하면서도 훨씬 낮은 계산 오버헤드(약 220ms 대비 5~11ms)를 제공함을 입증했습니다.

의의 및 주장

본 논문은 PoLR이 자기 일관성을 실세계 배포 가능한 수준으로 만드는 데 있어 중요한 진전이라고 주장합니다. "정답 수준의 합의"(전체 생성이 필요한)에서 "접두사 수준의 합의"(초기에 관찰 가능한)로 초점을 전환함으로써, PoLR은 현재 적응형 방식들의 근본적인 비효율성을 해결합니다.

저자들은 PoLR이 값비싼 미세 조정이나 외부 신뢰도 추정기를 요구하지 않는다는 점을 강조합니다. 대신, LLM이 생성 과정 초기에 유사한 추론 구조로 수렴하는 자연스러운 경향을 활용합니다. 이 방법은 "최단 경로(path of least resistance)"를 가장 유망한 추론 궤적으로 취급하여, 많은 계산 자원을 소모하기 전에 중복되는 경로를 제거합니다. 이를 통해 자원이 제한된 환경에서 고정밀 추론 시스템을 배포하는 장벽을 낮추는, 훈련이 필요 없는 추론 시점의 향상을 가능하게 합니다.