💬 NLP

ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning

이 논문은 ReasonBench를 소개하며, LLM의 추론 성능이 반복된 실행에 따라 상당하고 구조적인 불안정성을 보인다는 점을 입증함으로써, 단일 지점 평가(single-point evaluation)는 불충분하다고 주장하고 품질, 비용, 신뢰성 사이의 트레이드오프를 정확하게 포착하기 위한 분포 인식 평가(distribution-aware assessment)를 옹호한다.

원저자: Nearchos Potamitis, Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Lars Klein, Akhil Arora

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nearchos Potamitis, Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Lars Klein, Akhil Arora

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "동전 던지기" 문제

당신이 특정 요리를 만들어 달라고 요리사에게 고용했다고 상상해 보세요. 당신은 그에게 그 요리를 30번 만들어 달라고 요청합니다.

기존 방식: 요리를 한 번 시켜보고 맛을 본 뒤, "이 요리사는 10점 만점에 9점이네"라고 말하는 것입니다.
현실: 하지만 그 요리에게 30번을 더 시키다 보면, 어떤 때는 10점짜리 요리가 나오지만, 어떤 때는 4점짜리가 나오고, 또 어떤 때는 주방을 다 태워 먹기도 합니다. 그럼에도 불구하고 평균은 여전히 9점처럼 보일 수 있습니다.

이 논문은 거대 언 언어 모델(LLM)—챗봇의 두뇌 역할을 하는 AI—에 대해, 우리가 평균치만 보고 있었던 것은 스스로를 속이는 일이었다고 주장합니다.

연구진은 AI에게 "탐욕적(greedy)"으로 행동하라고 지시할 때(즉, 무작위성 없이 가장 뻔하고 안전한 답만을 선택하도록 설정할 때), 결과가 여전히 심하게 요동친다는 사실을 발견했습니다. 한 번은 수학 문제를 완벽하게 풀다가도, 다음번에는 똑같은 문제를 틀리기도 합니다.

새로운 도구: ReasonBENCH

이를 증명하기 위해 저자들은 ReasonBENCH라는 테스트 실험실을 구축했습니다. AI에게 문제를 단 한 번 풀게 하는 대신, 동일한 문제를 연속으로 30번 풀게 했습니다. 이 작업은 다음을 대상으로 수행되었습니다:

12가지 서로 다른 AI 모델 (OpenAI, Google, Anthropic 등의 기업 제품 포함).
10가지 서로 다른 사고 전략 ("Chain of Thought", "Tree of Thoughts", 또는 단순히 "묻고 답하기" 등).
6가지 서로 다른 작업 유형 (수학 퍼즐, 코딩, 시 쓰기, 까다로운 질문에 답하기 등).

주요 발견 (아하! 모먼트)

1. "안정성 분류 체계" (네 가지 유형의 요리사)

연구진은 "불안정성"이 단순히 무작위적인 소음이 아니라는 것을 깨달았습니다. 여기에는 패턴이 있습니다. 그들은 두 개의 축을 가진 지도를 만들었습니다:

전역 노이즈(Global Noise): AI의 성능이 어떤 과제를 주느냐에 따라 얼마나 변하는가? (수학은 잘하지만 시 쓰기는 못하는 전문가인가?)
실행 노이즈(Run Noise): 동일한 과제를 두 번 주었을 때 AI의 성능이 얼마나 변하는가? (오늘 국물 맛이 좋을지 결정하기 위해 동전을 던지는 요리사인가?)

그들은 네 가지 유형의 시스템을 찾아냈습니다:

안정적인 제너럴리스트 (Stable Generalists): 모든 것에 능숙하며, 매번 일관적임. (믿음직한 요리사).
노이즈가 섞인 제너럴리스트 (Noisy Generalists): 모든 것에 능숙하지만, 가끔 운이 나쁜 날이 있음.
안정적인 스페셜리스트 (Stable Specialists): 한 가지에는 뛰어나지만 다른 것에는 서툴지만, 일관적임.
이중 노이즈형 (Doubly Noisy): 예측 불가능하고 일관성이 없음.

놀라운 점: AI가 사용하는 "사고 전략"의 유형이 해당 AI가 어떤 카테고리에 속할지를 예측합니다. 어떤 전략은 AI 모델이 얼마나 똑똑한지와 상관없이 본질적으로 더 혼란스러운 경향이 있습니다.

2. "비용 대 품질"의 함정

우리는 흔히 이렇게 생각합니다: "더 똑똑한 AI를 쓰거나 더 복잡한 사고 방식을 사용하면 더 좋은 결과를 얻을 거야."
논문은 다음과 같이 말합니다: 반드시 그렇지는 않습니다.

비싼 실패: 매우 비싸고 고성능인 모델이나 복잡한 전략들은 여러 번 실행했을 때 오히려 더 자주 실패하는 경우가 많습니다. 평균적으로는 정답을 맞힐지 몰라도, 그 과정에서 많은 비용(컴퓨팅 비용)을 소모하며, 때로는 아예 무너지기도 합니다.
저렴한 면역력: 놀랍게도, 단순한 방법(예: AI에게 직접 바로 묻는 방식)은 특정 유형의 실패에 "면역"이 있습니다. 이 방법들은 비용이 거의 들지 않기 때문에, 설령 답을 틀리더라도 돈을 낭비하지는 않습니다.
비유: 복권 구매를 상상해 보세요.
- 저렴한 방법: 1달러짜리 복권을 삽니다. 꽝이 되어도 1달러만 잃을 뿐입니다.
- 비싼 방법: 1,000달러짜리 "프리미엄" 복권을 삽니다. 크게 당첨될 수도 있지만, 1,000달러를 통째로 날릴 수도 있습니다. 논문은 이러한 비싼 복권들이 우리가 생각하는 것보다 훨씬 더 자주 꽝이 된다는 것을 보여주었습니다.

3. 왜 이런 일이 발생하는가? (단순한 "무작위성" 때문이 아니다)

여러분은 "AI가 단어를 선택하기 위해 주사위를 굴리고 있는 것뿐이다"라고 생각할 수 있습니다.
연구진은 "주사위 굴리기"를 끄고(온도를 0으로 설정하여 결정론적으로 만듦) 이를 테스트했습니다. 결과적으로 불안정성은 사라지지 않았습니다.

이는 문제가 단순히 AI가 무작위로 단어를 선택하는 데 있는 것이 아님을 의미합니다. 불안정성은 더 깊은 곳의 문제에서 기인합니다:

API: AI를 실행하는 서버가 백그라운드에서 데이터를 이동시키며 영향을 줄 수 있습니다.
전략: 여러 가능성을 탐색하는 방식(예: 검색 트리)은 본질적으로 혼란스러울 수 있습니다.
평가자 (Evaluator): 만약 AI가 자신의 작업물을 스스로 채점해야 한다면, 그 채점자가 조금이라도 흔들릴 경우 전체 과정이 흔들리게 됩니다.

우리는 무엇을 해야 하는가? (시사점)

이 논문은 우리가 AI를 판단하는 방식을 바꿔야 한다고 제안합니다:

단일 숫자에 집착하지 마세요: 단순히 "모델 A의 정확도는 85%이다"라고 말하지 마세요. 대신 "모델 A의 정확도는 85%이지만, 실행할 때마다 60%에서 95% 사이를 오간다"라고 말해야 합니다.
"공동 실패(Joint Failure)"를 확인하세요: AI를 배포할 때, "이 AI가 비싸면서 동시에 틀릴 확률은 얼마인가?"를 알아야 합니다. 논문은 비싼 방법들이 저렴한 방법들보다 '비싸면서 동시에 틀릴' 가능성이 훨씬 높다는 것을 보여줍니다.
AI가 아니라 평가자를 고치세요: 복잡한 전략(예: 검색 트리)을 사용하고 있다면, 시스템을 안정적으로 만드는 가장 좋은 방법은 "심판"(정답을 확인하는 부분)을 완벽하게 만드는 것입니다. AI 모델 자체나 프롬프트를 수정하는 것보다 심판을 고치는 것이 훨씬 효과적입니다.

요약

ReasonBENCH는 하나의 경종을 울립니다. AI의 추론은 전등 스위치처럼 "켜짐" 또는 "꺼짐"이 아니라, 날씨 시스템과 같습니다. 그것은 단순히 켜져 있거나 꺼져 있는 것이 아니라, 끊임없이 변동합니다. 평균적인 일기 예보만 보고 있다면, 갑작스러운 폭풍우에 속수무책으로 당할 수 있습니다. AI가 진정으로 신뢰할 수 있는 것인지, 아니면 그저 운이 좋은 것인지 알기 위해서는 결과의 분포를 살펴봐야 합니다.

기술 요약: ReasonBench: LLM 추론의 (불)안정성 벤치마킹

문제 정의

현재 대규모 언어 모델(LLM) 추론 시스템을 위한 벤나치들은 성능을 단일 지점 추정치(예: 단일 정확도 점수)로 보고합니다. 그러나 본 논문은 LLM 생성이 본질적으로 확률적인 과정이라고 주장합니다. 그리디 디코딩( $T=0$ ) 조건에서도 동일한 모델-전략-태스크 구성이 반복된 실행에 따라 서로 다른 답변, 추론 경로 및 비용을 생성할 수 있습니다.

이러한 실행 단위의 결과들을 단일 평균값으로 압축하는 것은, 신뢰할 수 있는 정답 시스템과 기대치로서만 정답을 맞히는 시스템을 구분 짓는 분산을 버리는 행위입니다. 이러한 분산은 단순한 통계적 소음이 아닙니다. 본 논문은 최고 성능의 전략이 가장 가까운 경쟁 상대와의 헤드 투 헤드(head-to-head) 실행에서 단 77%만 승리하며, 최고 모델은 단 88%만 승리한다는 것을 입증합니다. 결과적으로, 관찰된 단일 점수는 시스템의 순위를 잘못 매길 수 있으며, 이는 최적스럽지 못한 모델 선택과 배포 결정으로 이어집니다. 더욱이, 기존 문헌은 편향(체계적 오류)과 분산(확률적 변동성)을 동등한 속성으로 취급하는 경우가 많지만, LLM 평가는 주로 전자인 편향만을 보고해 왔습니다.

방법론: REASONBENCH

이를 해결하기 위해 저자들은 제어된 다중 실행 평가를 위해 설계된 벤치마크 스위트이자 오픈 소스 라이브本文인 REASONBENCH를 소개합니다. 이 프레임워크는 추론 방법, 태스크 환경, 모델 인터페이스, 그리고 평가 상태를 분리하여, 실험적 하네스(harness)를 변경하지 않고도 전략을 태스크와 모델에 걸쳐 재실행할 수 있도록 합니다.

실험 설정:

범위: 본 연구는 12개의 현대적 추론 모델(OpenAI, Anthropic, Google, DeepSeek 등 제공업체 포함)과 10개의 대표적인 추론 전략(IO, CoT, ReAct, Tree of Thoughts, Graph of Thoughts 등 포함)을 6개의 다양한 태스크(Game of 24, HumanEval, HotpotQA, Humanity's Last Exam, SciBench, Shakespearean Sonnet Writing)에 대해 평가합니다.
프로토콜: 각 구성은 30회 독립적으로 실행됩니다. 이 샘플 크기는 의미 있는 분산을 탐지하고 신뢰 구간을 확보하기 위한 2단계 검정력 분석(two-stage power analysis)에 의해 정당화됩니다.
지표: 본 연구는 품질과 비용을 점 추정치가 아닌 경험적 분포로 취급합니다. 두 가지 주요 노이즈 지표를 도입합니다:
1. 글로벌 노이즈(Global Noise): z-점수 정규화 후의 벤치마크 간 불균형(구조적 가변성)을 포착합니다.
2. 실행 노이즈(Run Noise): 벤치마크 내의 확률적 변동성(반복 실행 불안정성)을 포착합니다.
분산 분해: 계층적 분해를 통해 점수 분산을 벤치마크, 시스템, 아이템 구조 및 사용량에 할당하여, 설계에 의해 설명되지 않는 잔차 분산을 격리합니다.

핵심 기여

1. 불안정성은 무작위가 아니라 구조적이다

본 논문은 분산이 상당하며, 벤치마크 의존적이고, 축(axis) 의존적임을 입증합니다. 두 가지 구성 요소 분류(글로벌 노이즈 vs 실행 노이즈)를 통해 저자들은 다음을 보여줍니다:

전략 아키텍처가 안정성을 예측한다: 결정론적 실행은 실행 노이즈를 억제하는 반면, 탐색 기반 실행은 이를 증폭시킵니다. 전략이 노이즈 공간 내에서 차지하는 사분면은 그 아키텍처에 의해 예측 가능합니다.
계층적 귀속: 점수 분산의 약 4분의 3은 구조적(벤치마크, 시스템, 아이템 간의 상호작용에 기인)이며, 설계 요인으로 설명되지 않는 지속적인 잔차가 남아 있습니다.

2. 모델과 전략은 대체 불가능한 축이다

본 연구는 모델과 전략을 성능 분포의 서로 다른 부분을 이동시키는 직교하는 축으로 취급합니다:

모델은 천장을 이동시킨다: 모델 선택은 달성 가능한 최대 성능(역량)을 결정합니다.
전략은 절차를 이동시킨다: 전략 선택은 실행 분산과 태스크 수준의 민감도를 결정합니다.
비용-품질 디커플링: 비용과 품질은 비대칭적으로 분리됩니다. 저렴한 방법은 "결합 비용-품질 실패"(높은 비용과 낮은 품질이 동시에 발생하는 현상)로부터 구조적으로 면역되어 있는 반면, 비싼 방법은 평균 정확도와 관계없이 이 위험에 계속 노출됩니다.

3. 통제된 원인 제거

저자들은 잠재적인 불안정성 원인을 체계적으로 테스트합니다:

디코딩 온도: $T=0$ 에서도 분산이 지속되므로, 토큰 수준의 샘플링이 지배적인 설명이 아님을 배제합니다.
프롬프트 및 파서: 프롬프트와 파서를 개선하면 편향(평균 품질 향상)은 수정할 수 있지만, 실행 간의 분산을 줄이지는 못합니다.
평가기 품질: 탐색 기반 전략에서 휴리스틱 평가기를 그라운드 트루스 오라클(ground-truth oracle)로 교체하면 평균 품질과 분산이 모두 감소하며, 이는 평가기가 직접적인 안정성 레버임을 식별합니다.
추론 노력(Reasoning Effort): 테스트 시간 연산량(effort)을 늘리면 비용은 단조롭게 증가하지만, 품질을 개선하거나 분산을 줄이는 데는 신뢰할 만한 효과가 없습니다.

4. 개방형 인프라

REASONBENCH는 재현 가능하고 분포를 고려한 평가를 용이하게 하기 위해 분리된 추상화(Method, Agent, Model, State, Environment)를 갖춘 모듈형 라이브러리를 제공합니다.

주요 결과

중첩된 분포: 전략과 모델에 대한 실행 단위 분포는 상당히 중첩됩니다. 예를 들어, HotpotQA 벤치마크에서 최고 전략(FOA)과 그 다음 경쟁자(TOT-BFS)는 신뢰 구간이 중첩되며, 최고 전략은 실행의 77%에서만 차순위 전략보다 우세합니다.
노이즈 분류: (글로ful Noise, Run Noise) 공간에 시스템을 플로팅하면 뚜렷한 사분면이 나타납니다. 모델은 반대각선 방향에 집중되는 경향이 있는 반면(구조적 불균형과 확률적 불안정성이 역상관 관계), 전략은 그 아키텍처에 따라 네 가지 사분면 모두에 분포합니다.
분산 분해: 전략 축에서 75.2%의 분산이 구조적이며, 모델 축에서는 73.3%가 구조적입니다. 순수 반복 효과는 분산의 약 1%만을 차지하며, 벤치마크-시스템 상호작용과 아이템 난이도가 지배적입니다.
비용-품질 비대칭성: 비싼 방법(예: 테스트된 가장 비싼 모델인 DeepSeek R1)은 종종 높은 결합 실패율을 보입니다. 반대로, 저렴한 방법(예: IO, COT)은 비용 임계값을 초 exceed하지 않으므로, 품질이 낮더라도 결합 실패로부터 면역되어 있습니다.
일반적인 해결책의 비효-과성: 본 연구는 온도를 낮추거나, 프롬프트를 개선하거나, 추론 노력을 늘리는 등의 표준적인 "해결책"들이 분산을 줄이지 못한다는 것을 발견했습니다. 오직 평가기의 충실도를 높이거나 모델 규모를 키우는 것(동일 제품군 내에서)만이 안정화 효과를 보였습니다.

의의 및 주장

본 논문은 불안정성이 부적절한 실험 설계의 산물이 아니라, 추론 시스템의 고유한 속성이라고 주장합니다. 저자들은 다음과 같이 주장합니다:

안정성은 역량의 일부이다: 어떤 태스크를 일관되게 해결하는 시스템은, 비록 평균은 같더라도 기대치로서만 해결하는 시스템과는 다른 역량 프로필을 가집니다.
평가는 진화해야 한다: 단일 숫자 벤치마크는 불충분합니다. 평가 관행은 분포, 신뢰 구간, 그리고 노이즈 지표(글로벌 노이즈 및 실행 노이즈)를 보고하는 방향으로 전환되어야 합니다.
축의 직교성: 모델과 전략은 대체재가 아니라 공동 개발되어야 합니다. 모델을 구별하는 벤치마크가 전략을 구별하지 못할 수도 있고, 그 반대도 마찬가지입니다.
위험 인식 배포: 실무자는 "결합 비용-품질 위험"을 예산에 반영해야 합니다. 명목상 더 나은 성능을 보이지만 비싼 방법은 평균 품질에서는 우세할 수 있으나, 높은 비용과 낮은 품질이 동시에 발생하는 위험 측면에서는 실질적으로 더 나쁠 수 있습니다.

본 논문은 결론적으로 "분포 인식 리더보드(distribution-aware leaderboards)"를 커뮤니티 표준으로 호출하며, 향-후 연구가 안정성 인식 라우팅(stability-aware routing)과 문제에 적합한 모델-전략 쌍을 매칭하는 공동 개발된 추론 시스템에 집중해야 한다고 제언합니다.