🤖 AI

Recursive Agentic Reasoning

이 논문은 세 가지 재귀적 추론 연산자(GROW, PRUNE, BRANCH)로 구성된 통합 프레임워크를 소개하며, 광범위한 평가를 통해 반복적인 브랜칭(branching)이 다양한 모델과 벤치마크에 걸쳐 다른 테스트 타임 추론 방법들보다 일관되적으로 우수한 성능을 보임을 입증하는 동시에, 오도된 비교 결론을 피하기 위한 쌍을 이룬 평가 프로토콜의 결정적인 중요성을 강조한다.

원저자: Shengxin Zhang, Xiaomin Wu, Xiyang Wu, Jing Xie

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shengxin Zhang, Xiaomin Wu, Xiyang Wu, Jing Xie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 프로그램이 어려운 문제를 해결하려고 할 때, 종종 하나의 사고의 흐름, 즉 답으로 이어지는 일련의 단어들을 생성해 냅니다. 수년 동안 연구자들은 이 프로그램들에게 더 많은 시간과 더 많은 시도를 부여하는 것이 그들을 더 똑똑하게 만들 수 있을지 궁금해해 왔습니다. 첫 번째 답변을 그대로 받아들이는 대신, 컴퓨터에게 다시 시도하거나, 문제를 더 작은 조각으로 나누거나, 혹은 여러 가지 서로 다른 해결책을 생성한 뒤 그중 최선의 것을 선택하도록 요청할 수 있을까요? 이 질문은 현대 인공지능 연구의 핵심에 자리 잡고 있습니다. 현재 이 분야는 추가적인 컴퓨팅 파워를 사용하여 추론 능력을 향방하기 위한 다양한 전략들로 가득 차 있습니다. 어떤 방법들은 모델에게 자신의 답변을 다듬도록 요구하고, 어떤 방법들은 복잡한 과업을 일련의 더 단순한 단계들로 분해하도록 요구하며, 또 다른 방법들은 여러 개의 독립적인 시도를 생성한 뒤 그 결과에 대해 투표하도록 요구합니다. 이러한 각 접근 방식은 서로 다른 테스트 질문과 서로 다른 채점 규칙을 사용하여 개별적으로 테스트되어 왔기 때문에, 동일한 컴퓨팅 예산 내에서 어떤 전략이 실제로 가장 잘 작동하는지 알 수 없었습니다.

한 연구팀은 이러한 다양한 전략들을 하나의 과정, 즉 시스템이 문제를 해결하기 위해 자기 자신을 호출하는 행위인 '재귀(recursion)'의 변형으로 취급함으로써 이 논쟁을 종결짓고자 했습니다. 그들은 컴퓨터가 수행할 수 있는 세 가지 뚜렷한 방식을 정의했습니다. 첫 번째로 그들이 "그로우(grow)"라고 부른 방식은 단일한 사고의 흐름을 가져와 컴퓨터에게 그것을 확장하고, 동일한 경로를 반복해서 정교하게 다듬도록 요청하는 것이었습니다. 두 번째인 "프룬(prune)"은 어려운 문제를 일련의 작고 순서 있는 질문들로 나누고, 이를 하나씩 해결한 다음, 답변들을 다시 하나로 엮도록 컴퓨터에게 요청하는 것을 포함했습니다. 세 번째인 "브랜치(branch)"는 컴퓨터에게 완전히 다른 다섯 가지 해결책을 동시에 생성하게 한 뒤, 그중 가장 빈번하게 나타난 것을 선택하도록 하는 것을 포함했습니다. 공정한 비교를 보장하기 위해, 연구진은 이 세 가지 방식과 표준적인 단일 통과 시도를 동일한 문제 세트와 동일한 컴퓨터 모델을 사용하여 실행했습니다. 그들은 복잡한 다단계 논리 퍼즐부터 대학원 수준의 학술적 질문에 이르기까지 다섯 가지 다른 유형의 도전 과제에 걸쳐 이 방법들을 테스트했으며, 사용 가능한 가장 진보된 세 가지 AI 모델을 사용했습니다.

이 통제된 실험의 결과는 명확하면서도 다소 놀라웠습니다. 여러 해결책을 생성하여 최선의 것에 투표하는 전략인 "브랜치" 방식은 그들이 실행한 모든 테스트 케이스에서 답변의 정확도를 향상시켰습니다. 평균적으로 이 방식은 표준적인 단일 시도에 비해 정답률을 거의 6퍼센트 포인트 높였습니다. 반면, 다른 두 가지 방법은 일관성이 없었습니다. 단일 경로를 심화시키는 "그로우" 방식은 대부분의 경우 성능을 개선했지만, 특정 유형의 어려운 질문들을 해결하는 데 있어서는 오히려 컴퓨터를 더 못하게 만들었습니다. 문제를 분해하는 "프룬" 방식은 무작위 소음과 구별할 수 없을 정도의 아주 미미한 개선만을 보여주었습니다. 데이터는 어떤 문제에 어떤 방식을 사용할지 결정하는 복잡한 시스템이 필요하지 않다는 점을 시사했습니다. 단순히 여러 경로를 시도하고 합의된 승자를 선택하는 방식이 전반적으로 가장 우수한 선택이었습니다.

연구진은 왜 이 투표 방식이 그렇게 잘 작동하는지 이해하기 위해 더 깊이 파고들었고, 그 이유는 대부분의 사람들이 예상했던 것과는 다르다는 것을 발견했습니다. 일반적인 믿음은 여러 답변을 생성하는 것이 컴퓨터가 많은 다양한 논리적 경로를 탐색하고 그중 올바른 것을 찾을 수 있게 해주기 때문이라는 것이었습니다. 그러나 데이터는 주요한 이점이 다른 원천, 즉 '실패로부터의 회복'에서 온다는 것을 보여주었습니다. 이러한 고급 컴퓨터 모델들은 긴 시간 동안 생각하도록 요청받을 때, 답변을 다 작성하기도 전에 할당된 메모리 공간을 모두 써버리는 경우가 종end습니다. 단일 시도에서는 이것이 빈 응답(blank response)으로 이어지며, 이는 오답으로 처리됩니다. 하지만 컴퓨터에게 다섯 번 시도하도록 요청하면, 다섯 번의 시도가 모두 정확히 같은 순간에 실패할 확률은 매우 낮습니다. 투표 시스템은 빈 답변들을 자동으로 제외하고 성공적인 시도들로부터 유효한 답변을 선택합니다. 연구진은 표준 방식이 답변을 생성하지 못해 실패한 횟수와 투표 방식이 점수를 얼마나 향상시켰는 사이에 강한 연관성이 있음을 발견했습니다. 가장 어려운 테스트에서 투표 방식은 빈 답변, 즉 실패한 답변의 비율을 절반으로 줄였습니다.

이 발견은 우리가 인공지능을 더 똑똑하게 만드는 방식에 대해 어떻게 생각해야 하는지를 변화시킵니다. 이는 컴퓨터에게 여러 번 시도하도록 요청하는 것의 이점 중 큰 부분이 단순히 기술적 한계로 인해 손실될 뻔한 답변을 회복하는 데 있다는 것을 시사합니다. 연구진 또한 미래의 연구를 위한 중요한 교훈을 강조했습니다. 즉, 결과를 집계하는 방식이 매우 중요하다는 점입니다. 초기 분석에서 그들은 만약 네트워크 연결 실패나 타임아웃을 오답으로 처리한다면, 투표 방식이 일부 과업에서 더 낮은 성능을 보이는 것처럼 보인다는 것을 발견했습니다. 이는 투표 방식이 더 많은 시도를 하기 때문에 기술적 결함에 부딪힐 기회도 더 많았기 때문입니다. 연구진은 모든 방식이 성공적으로 답변을 낸 질문들에 대해서만 엄격하게 비교함으로써 진정한 성능을 드러냈습니다. 그들의 연구는 오늘날 가장 유능한 모델들에게 있어, 여러 번 시도하고 합의된 결과를 선택하는 가장 단순한 전략이 가장 신뢰할 수 있는 방법이며, 그 이득은 더 영리한 경로를 찾는 것보다는 컴퓨터가 생각을 끝마치도록 보장하는 데서 크게 온다는 것을 입증합니다.

기술 요약: 재귀적 에이전트 추론 (Recursive Agentic Reasoning)

문제 정의

최근 대규모 언어 모델(LLM)의 테스트 시간 추론(test-time reasoning) 분야는 반복적 정교화(iterative refinement), 문제 분해(problem decomposition), 반복 샘플링(repeated sampling)을 포함한 별개의 연구 프로그램들로 급증해 왔다. 그러나 이러한 방법들은 일반적으로 서로 다른 벤치마크, 베이스 모델, 정답 추출 로직 및 채점 코드를 사용하여 고립된 상태로 연구된다. 이러한 파편화는 실무자들이 공정한 비교를 하는 것을 방해한다. 즉, 고정된 추론 예산 내에서 어떤 방법이 최상의 정확도를 제공하는지, 성능이 특정 모델이나 작업에 의존하는지, 혹은 보고된 이득이 서로 비교 가능한지 여부가 불분명하다. 또한, 기존의 평가는 방법론적 위험 요소, 예를 들어 언페어드 평가(unpaired evaluation, 서로 다른 실패율로 인해 서로 다른 항목 집합을 비교하는 것)와 인프라 실패(예: 타임아웃)를 모델 오류로 오분류하여 더 많은 API 호출을 수행하는 방법을 불공평하게 처벌하는 문제 등을 겪고 있다.

방법론

저자들은 이러한 다양한 추론 전략을 단일하고 통합된 실험적 하네스 내에서 평가되는, 에이전트의 추론 트레이스(reasoning trace)에 작용하는 세 가지 별개의 **재귀 연산자(recursion operators)**로 재구성하였다.

1. 연산자 (The Operators)

모든 연산자는 선택적 컨텍스트를 포함한 모델 호출을 실행하는 공유 솔빙 프리미티브(solving primitive)인 solve(x, c)를 기반으로 구축된다. 결정적으로, 이 프리미티브에는 **절단 복구 메커니즘(truncation recovery mechanism)**이 포함되어 있다. 만약 모델이 숨겨진 숙고 스트림(hidden deliberation stream) 중에 토큰 예산을 모두 소진하여 빈 콘텐츠를 반환할 경우, 시스템은 해당 항목을 실패로 버리는 대신, 최종 답변을 강제하기 위해 모델에 절단된 추론 내용을 포함하여 다시 프롬프트를 전달한다.

세 가지 연산자는 다음과 같이 정의된다:

GROW (가산적 재귀, Additive Recursion): 단일 추론 경로를 심화시킨다. 이전 시도의 내용을 컨텍스트에 포함하여 문제를 다시 해결한다. 추출된 답변이 안정화되거나(두 번의 연속된 라운드가 동일한 정규화된 답변을 생성할 때) 최대 3라운드에 도달하면 중단된다.
PRUNE (감산적 재귀, Reductive Recursion): 복잡한 문제를 순서가 있는 하위 질문 목록으로 분해한다. 각 하위 질문은 이전 하위 질문들의 답변을 컨텍스트에 포함하여 해결되며, 최종 호출이 답변들을 합성한다. 만약 모델이 단 하나의 하위 질문만 제안할 경우, 오버헤드를 피하기 위해 단일 직접 솔빙(direct solve)으로 격하된다.
BRANCH (탐색 기반 재귀, Search-based Recursion): 온도(temperature) 0.7에서 $N=5$ 개의 독립적인 솔루션을 샘플링한다. 추출된 답변을 정규화하고 다수결 키(plurality key)를 반환한다. 빈 완성을 반환하는 샘플은 모든 샘플이 비어 있지 않는 한 투표에서 승리할 수 없으므로 구조적으로 제외된다.

2. 실험 설정

모델: 세 가지 프런티어 추론 모델: DeepSeek-V4-Pro, MiniMax-M3, Qwen3.6-plus.
벤치마크: 멀티홉 추론(MuSiQue), 전문가 수준의 학술 질문(HLE), 일반 추론(BBEH), 대학원 수준 지식(SuperGPQA), 올림피아드 수학(Omni-MATH)을 아우르는 5가지 다양한 벤치마크.
프로토콜: **페어드 평가 프로토콜(paired evaluation protocol)**이 엄격히 적용된다. 각 모델 $\times$ 벤치마크 셀 내에서, 정확도는 모든 연산자가 성공적으로 해결한 항목들의 교집합에 대해서만 계산된다. 회복 불가능한 전송 실패(타임아웃, 속도 제한 등)는 모델의 오류로 간주하지 않고 제외함으로써, 비용이 많이 드는 연산자가 불이익을 받는 것을 방지한다.
규모: 본 연구는 14개의 모델 $\times$ 벤치마크 셀, 49,327개의 채점 항목, 151,876개의 모델 호출을 다룬다.

주요 기여

통합 연산자 정식화: 본 논문은 가산적, 감산적, 탐색 기반의 테스트 시간 재귀를 공유 프리미티브 상의 연산자로 정식화하여, 통제된 "애플 투 애플(apples-to-apples)" 비교를 가능하게 했다.
통제된 비교 연구: 14개 셀에 걸친 대규모 페어드 평가를 제공하며, BRANCH(투표를 동반한 반복 샘플링)가 12개 셀에서 엄격한 최적의 연산자임을 입증하였고, 14개 셀 모두에서 정확도를 향상시켰음을 보여준다.
메커니즘적 통찰 (절단 복구): 본 논문은 반복 샘플링의 이득이 주로 추론 경로를 마진화(marginalizing)하는 데서 온다는 표준적인 설명을 반박한다. 대신, BRANCH의 이득 중 상당 부분이 **절단 복구(truncation recovery)**에서 온다는 것을 입증한다. 이 이득은 베이스라인의 빈(empty), 예산 소진 출력 발생률과 강력한 상관관계( $r=0.72$ )를 보인다. BRANCH는 단일 패스에서는 모델이 토큰을 다 써버려 내보내지 못한 답변을 효과적으로 복구한다.
라우팅에 대한 부정적 결과: 데이터는 "라우팅 가설"(적응형 라우터가 작업에 따라 서로 다른 연산자를 선택해야 한다는 가설)을 지지하지 않는다. BRANCH가 거의 모든 곳에서 우세하기 때문에, 학습된 라우터는 거의 일정한 정책을 학습하게 될 것이다.
방법론적 경고: 저자들은 언페어드 평가와 인프라 실패를 모델 오류로 취급하는 것이 어떻게 결론을 역전시킬 수 있는지(예: 존재하지 않는 퇴보를 보여주는 것) 기록하며, 페어드 스코어링을 표준 관행으로 채택할 것을 권고한다.

결과

성능: BRANCH는 14개 셀 모두에서 정확도를 개선했으며, 평균 이득은 +5.98 포인트(중앙값 +6.47)이다. 이는 12개 셀에서 가장 우수한 연산자이다.
타 연산자의 불일치성: GROW는 평균 +2.18 포인트를 기록했으나 두 개 셀(DeepSeek의 MuSique 및 BBEH)에서는 음수를 기록했다. PRUNE은 -2.17에서 +4.00 사이의 범위를 가지며 평균 +0.94 포인트를 기록하여, 일관성이 없고 종종 미미한 이득을 보였다.
효율성 vs 정확도: GROW가 추가 호출당 토큰 효율성은 더 높지만(+1.77 포인트 vs BRANCH의 +1.55 포인트), BRANCH가 가장 높은 절대적 정확도 천장을 달성한다. PRUNE은 두 축 모두에서 열세에 있다.
절단 역학: 베이스라인이 토큰 제한에 자주 부딪히는 벤치마크(예: DeepSeek의 HLE)에서, BRANCH 적용 시 빈 출력률이 크게 감소한다(예: 51.2%에서 32.2%로). 이는 정확도 상승을 직접적으로 견인한다. 절단이 전혀 발생하지 않은 모델(Qwen3.6-plus)은 BRANCH로부터 가장 적은 이득을 보였다.

의의 및 주장

본 논문은 이 분야의 연구가 서로 다른 연구 프로그램에 집중함으로써, **샘플링과 투표(BRANCH)**가 현재 조건에서 가장 견고한 테스트 시간 컴퓨팅 전략이라는 경험적 실체를 가리고 있다고 주장한다. 그 의의는 알고리즘의 참신함(이들은 Self-Consistency, Self-Refine, Least-to-Most의 변형임)이 아니라, 다음을 밝혀낸 통제된 비교에 있다:

샘플링의 지배력: 이러한 연산의 세밀한 수준에서, 한 가지 방법(BRANCH)이 거의 모든 곳에서 우세하며, 이는 적응형 라우팅을 불필요하게 만든다.
예산 소진의 역할: 긴 추론 모델에서 이전에 과소 평가되었던 주요 오류 원인 중 하나는 숨겨진 숙고 과정 중의 토큰 예산 소진이다. 반복 샘플링은 단순한 경로 마진화 기법이 아니라, 이 특정 실패 모드에 대한 복구 메커니즘으로 작용한다.
평가의 엄밀성: 본 연구는 인프라 실패와 언페어드 평가가 결론을 뒤집을 만큼 큰 허위 결과를 초래할 수 있음을 강조하며, 커뮤니티가 페어드 프로토콜과 인프라 오류와 모델 오류의 명확한 구분을 채택할 것을 촉구한다.

저자들은 "더 많이 샘플링하라"는 것이 유효한 휴리스틱이지만, 예산 소진으로부터의 복구 메커니즘은 특정 영역에서 전체 반복 샘플링보다 타겟팅된 최종화 패스(finalization passes)가 더 저렴한 대안이 될 수 있음을 시사한다고 결론짓는다.