기술 요약: 결정론적 프로그래밍 작업에 대한 대규모 언어 모델의 정확도, 안정성 및 반복 실행 신뢰성

문제 정의

대규모 언어 모델(LLM)은 프로그램 합성(program synthesis)과 같이 결정론적 사양을 가진 텍스트 조건부 작업에 점점 더 많이 배치되고 있으며, 여기서 정답 여부는 이진(binary)으로 결정되고 실행 가능한 테스트 스이트에 의해 검증됩니다. 기존의 평가 벤치마크(예: HumanEval, MBPP)는 일반적으로 단일 실행 정확도 또는 $k$번의 시도 내에 적어도 하나의 정답을 생성할 수 있는 능력을 측정하는 "결국 성공(eventual success)" 지표인 pass@k를 보고합니다.

그러나 많은 실제 배포 시나리오는 안정성(stability), 즉 동일한 작업 설명 하에 반복적인 호출 시 일관되고 정확한 결과를 생성하는 능력을 요구합니다. 최근 연구들은 반복 샘플링을 추론 시간 연산(inference-time compute)의 한 형태로 프레임화했지만, 정답 여부와 안정성 사이의 체계적인 관계, 구체적으로 모델의 평균 실행 성공률과 재시도 없는 신뢰도 사이의 간극은 아직 충분히 탐구되지 않았습니다. 본 논문은 관찰된 정확도가 얼마나 신뢰할 수 있는(retry-free) 동작으로 전환되는지, 특히 변동성이 가장 큰 중간 성능 시스템에서 이 문제가 어떻게 나타나는지에 대한 질문을 다룹니다.

방법론

실험 설정

본 연구는 역사적 학습 데이터로부터의 오염(contamination)을 최소화하기 위해 최신성을 기준으로 선별된 100개의 결정론적 프로그래밍 문제(LeetCode 스타일)를 활용합니다. 데이터셋은 20개의 Easy, 50개의 Medium, 30개의 Hard 문제를 포함하며 다양한 알고리즘 주제를 다룹니다. 모든 문제는 독립적이며 외부 네트워크 접속이 필요하지 않고, 고정된 결정론적 테스트 하네스(harness)를 통해 채점됩니다.

모델 및 구성

평가는 5개 제공업체 제품군(OpenAI, Anthropic, Google, Qwen, DeepSeek)의 16개 모델을 대상으로 하며, 여기에는 표준 모델과 추론 특화 아키텍처(예: o4-mini, DeepSeek-R1)가 모두 포함됩니다.

• 프로토콜: 각 모델은 두 가지 프롬프트 템플릿(DETAILED 및 MINIMAL)과 문제당 5회의 반복 실행($R=5$) 조건 하에서 평가됩니다.
• 파라미터: 대부분의 모델은 현실적인 확률적 디코딩을 시뮬레이션하기 위해 $T=0.3$ 및 $top\_p=0.9$를 사용합니다. 추론 특화 모델 및 특정 API 제약 사항(예: o4-mini)은 조정된 토큰 예산이나 고정된 내부 디코딩 체계를 포함합니다.
• 총 인스턴스: 실험을 통해 16,000개의 평가 인스턴스가 생성되었습니다.

지표

본 논문은 세 가지 주요 지표를 갖춘 반복 실행 평가 프로토콜을 도입합니다:

1. 실행 레벨 통과율 (Run-Level Pass Rate, RLPR): 무작위 단일 호출이 성공할 확률입니다.
   $$RLPR = \frac{1}{NR} \sum_{i=1}^{N} \sum_{r=1}^{R} Y_{i,r}$$
2. 완전 안정성 비율 (Perfect Stability Rate, PSR): 재시도 없이 $R$번의 실행 모두에서 시스템이 성공한 작업의 비율입니다.
   $$PSR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}\left(\sum_{r=1}^{R} Y_{i,r} = R\right)$$
   참고: PSR은 수학적으로 "모든 성공" 임계값을 가진 $k=R$에서의 pass@k와 동일하지만, 여기서는 능력 측정보다는 배포 신뢰도 측정으로서 해석됩니다.
3. 평균 분산 (Average Variance, AV): 작업 간 성공 확률의 분산을 포착하는 문제 수준의 불안정성 척도입니다.

주요 결과

정확도-안정성 간극 (The Accuracy–Stability Gap)

연구 결과 RLPR과 PSR 사이에 강한 상관관계($r = 0.985$)가 발견되었으나, RLPR은 지속적으로 생산 신뢰도를 과대평가합니다.

• 간극의 크기: $\Delta = RLPR - PSR$은 모델마다 비균일하며, DETAILED 프롬프트 하의 Gemini 2.5 Flash에서 최대 17.8 퍼센트 포인트에 달했습니다.
• 중간 정확도에서의 정점: 간극은 중간 성능 시스템에서 가장 크게 나타납니다. 중간 정도의 성공 확률을 가진 모델들은 가장 높은 분산을 보이며(베르누이 분산은 $p \approx 0.5$에서 최대화됨), 이는 평균 성공률과 완전 안정성 사이의 상당한 불일치를 초래합니다.
• 순위 역전: RLPR과 PSR은 서로 다른 모델 순위를 산출할 수 있습니다. 예를 들어, GPT-4.1은 RLPR에서는 GPT-4.1-mini보다 우수하지만(59.6% vs 58.4%), PSR에서는 뒤처집니다(47.5% vs 50.0%). 이는 전자의 정확도-안정성 간극이 더 크기 때문입니다.

문제 수준의 변동성

• 양극화 vs 불안정성: Qwen-Turbo와 같은 모델은 결과가 양극화되어(성공하거나 모두 실패함) AV가 낮으며, 이로 인해 간극이 작습니다. 반면 Gemini 2.5 Flash와 같은 모델은 높은 AV를 보여, 시행 간 상당한 변동성을 나타냅니다.
• 실패 모드: 주요 실패 모드는 "오답(Wrong Answer)" (58%)이며, 그 다음은 "시간 초과(Time Limit Exceeded)" (27%)입니다. 불안정성은 알고리즘의 불일성뿐만 아니라 구현의 취약성(타임아웃/런타임 에러)과도 연결되며, 이는 문제 난이도가 높아질수록 증가합니다.

프롬프트 민감도 및 아키텍처

• 프롬프트 효과: 프롬프트 민감도는 모델 의존적입니다. 대부분의 모델은 DETAILED와 MINIMAL 프롬프트 간에 미미한 차이(<3 pp)를 보이지만, 일부(예: Claude Sonnet 4.5)는 역전 현상을 보입니다. 특정 템플릿이 일관되게 우세하지 않으며, 샘플 크기를 고려할 때 프롬프트 효과에 대한 통계적 유의성은 대체로 낮았습니다.
• 추론 아키텍처: 연구는 추론 특화 모델(예: Chain-of-Thought)이 체계적으로 더 작은 정확도-안정성 간극을 보이는지 조사합니다. 결과는 이질적입니다. DeepSeek-R1은 기대 이상의 안정성을 보였으나, QwQ-Plus나 Gemini 2.5 Flash+Think 등은 더 큰 간극을 보였습니다. 순열 검정($p=0.97$) 결과, 본 샘플에서 추론 아키텍처의 체계적인 이점은 발견되지 않았으나, 추론 모델의 수가 적어 분석의 검정력이 낮다는 점이 언급되었습니다.

의의 및 주장

본 논문은 반복 실행 안정성 분석이 결정론적 텍스트 조건부 생성에 대한 기존의 정확도 보고를 보완하는 필수 요소라고 주장합니다.

1. 능력 측정 그 이상: pass@k가 솔루션을 결국 찾아내는 모델의 능력을 측정한다면, PSR은 배포 신뢰도(일관성)를 측정합니다. 이 두 지표는 서로 다른 다운스트림 관심사를 목표로 하며, 특히 중간 정확도 시스템에서 크게 다를 수 있습니다.
2. 숨겨진 위험 노출: RLPR에만 의eli면 상당한 불안정성을 은폐할 수 있습니다. 60%의 실행 레벨 통과율을 가졌지만 완전 안정성이 47%에 불과한 모델은, 재현 가능한 동작을 기대하는 자동화 워크플로우에서 수용 불가능한 수준의 "재시도 필요" 상태를 남깁니다.
3. 방법론적 기여: 본 논문은 PSR과 평균 분산(AV)을 일급 평가 대상으로 확립합니다. 또한 정확도-안정성 간극이 관찰 가능하고, 모델별로 차이가 있으며, 평균 성능만으로는 추론할 수 없는 실질적으로 중요한 현상임을 입증합니다.

저자들은 이러한 결과가 단일 턴 Python 코드 생성에 국한된 것이지만, 이 프레임워크가 재현성이 중요한 워크플로우를 이해하는 데 중요한 관점을 제공한다고 결론짓습니다. 또한, 결과가 평가된 API 버전의 특정 시점에 국한된 스냅샷이며, 더 넓은 오케스트레이션이나 멀티 턴 의존성을 고려하지 않았음을 주의합니다.