📊 statistics

Energy-guided Recursive Model

이 논문은 재귀적 추론에서의 테스트 시간 스케일링을 위한 원칙적인 선택 메커니즘을 제공하기 위해 명시적인 홉필드 에너지를 사용하는 에너지 가이드 재귀 모델(ERM)을 소개하며, 이를 통해 스도쿠 및 미로와 같은 구조적 문제 해결 벤치마크에서 최첨단 성능을 달성한다.

원저자: Yifei Zhao, Ying Tang

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yifei Zhao, Ying Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 스도쿠나 미로 찾기처럼 거대하고 까다로운 퍼즐을 풀려고 노력 중이라고 상상해 보세요. 당신에게는 생각하는 능력이 매우 뛰어난 슈퍼 스마트 로봇 친구가 있습니다. 하지만 여기 함정이 하나 있습니다. 이 친구는 단 하나의 정답을 주는 대신, 한꺼번에 128개의 서로 다른 가능한 해결책들을 생성하며 '사고의 황홀경(thinking trance)'에 빠집니다.

여기서 큰 질문이 생깁니다: 그 128개의 답 중에서 당신은 어떤 것을 믿어야 할까요?

오랫동안 과학자들은 로봇에게 "얼마나 확신하니?"라고 묻거나, 답변들 사이에서 투표를 하는 방식으로 승자를 뽑으려 노력했습니다. 하지만 이 논문에서 예이페이 자오(Yifei Zhao)와 잉 탕(Ying Tang)이 제시한 바에 따르면, 이러한 기존 방식들은 마치 재능 경연 대회에서 가장 많이 웃는 사람을 보고 우승자를 뽑는 것과 같습니다. 때때로 로봇은 매우 자신만만하지만 완전히 틀릴 수도 있고, 혹은 아무도 주목하지 않는 곳에 완벽한 정답이 숨어 있을 수도 있기 때문입니다.

새로운 아이디어: "에너지" 자석

저자들은 **에너지 가이드 재귀 모델(Energy-guided Recursive Model, ERM)**이라는 새로운 시스템을 소개합니다. 이것을 다음과 같이 생각해 보세요:

모든 가능한 답변이 로봇에 의해 생성된 아주 작은 금속 공이라고 상상해 봅시다. 이제 퍼즐의 규칙(예: "행에 숫자가 중복되면 안 된다" 또는 "경로가 연결되어야 한다")은 테이블 위에 놓인 거대한 자석이라고 상상해 보세요.

틀린 답들은 나무로 만든 공과 같습니다. 자석이 당기지 않거나 오히려 밀려납니다.
정답들은 철로 만든 공과 같습니다. 자석 쪽으로 강하게 끌려갑니다.

이 새로운 시스템에서 "에너지"란 정답이 퍼즐의 규칙에 의해 얼마나 강하게 끌리는지를 측정하는 척도입니다. 에너지가 낮을수록 공은 자석에 더 가까워지며, 정답일 확률이 더 높습니다.

시스템은 로봇에게 "확신하니?"라고 묻는 대신, "이 답변이 퍼즐의 숨겨진 자석들과 얼마나 잘 맞는가?"라고 묻습니다.

현실 세계에서의 작동 방식

연구진은 이를 세 가지 유형의 퍼즐에 테스트했습니다:

스도쿠: 행, 열, 박스의 규칙을 나타내는 자석을 사용했습니다.
연필 퍼즐 (PPBench): 다양한 논리 게임의 혼합이며, 자석은 특정 국소적 단서와 전역적 패턴을 나타냅니다.
미로: 시작점에서 끝점까지의 최단 경로를 나타내는 특수한 "전역 자석"을 사용했습니다.

그들은 로봇이 128개의 후보(K = 128)를 생성하고 64단계의 사고 과정(D = 64)을 거치게 했습니다. 그런 다음 새로운 "에너지" 시스템을 사용하여 승자를 뽑았습니다.

결과: 효과가 있었을까?

결과는 이 "에너지" 접근 방식이 로봇이 이미 옵션을 생성하는 힘든 작업을 마친 후, 올바른 답을 선택하는 데 있어 게임 체인저라는 점을 시사합니다.

스도쿠: 기존 방식(투표나 확신도 확인 등)은 약 **98.54%**에서 **98.58%**의 정답률을 보였습니다. 새로운 에너지 시스템은 **98.83%**의 정답률을 기록했습니다. 그룹 내에 완벽한 정답이 존재하는 거의 모든 경우에서 완벽한 답을 찾아냈습니다.
연필 퍼즐: 이곳에서 가장 큰 승리가 있었습니다. 기존 방식은 약 **83.39%**의 정답률로 고전했습니다. 에너지 시스템은 **88.04%**로 뛰어올랐으며, 이는 마법 지팡이를 써서 그룹에서 완벽한 답을 뽑아낼 수 있는 최상의 성적과 일치했습니다.
미로: 기존 방식은 약 **97.30%**를 기록했습니다. 에너지 시스템은 **99.30%**를 달ек성했으며, 이는 이 설정에서 가능한 가장 높은 점수입니다.

저자들은 또한 **병렬 템퍼링(Parallel Tempering)**이라는 화려한 기술을 시도했습니다. 이것은 여러 대의 로봇 그룹이 있다고 상상하는 것과 같습니다. 어떤 로봇은 추운 곳(매우 엄격함)에서, 어떤 로봇은 뜨거운 곳(매우 탐색적임)에서 일합니다. 이들은 서로 아이디어를 주고받습니다. 이 방식은 시스템이 훨씬 더 많은 정답을 찾도록 도와주었으며, 스도쿠 점수를 **98.97%**로, 미로 점수를 **99.30%**로 끌어올렸습니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 AI의 추론 능력을 향상시키는 데 있어 가장 큰 문제는 단순히 더 많은 아이디어를 생성하는 것이 아니라, 올바른 것을 선택하는 더 나은 방법을 갖는 것이라고 시사합니다. "에너지"(기본적으로 답변이 규칙에 얼마나 잘 부합하는지를 측정하는 수학적 방법)를 사용함으로써, 시스템은 확신도 점수가 놓치는 숨겨진 정답들을 찾아낼 수 있습니다.

하지만 저자들은 몇 가지 주의 사항을 명시했습니다:

아직 마법은 아닙니다: 이 퍼즐들을 위한 "자석"(메모리)은 인간에 의해 직접 설계되었습니다. 스도쿠의 경우 행/열 규칙을 프로그래밍했고, 미로의 경우 최단 경로 규칙을 프로그래밍했습니다. 이 실험에서 시스템은 스스로 규칙을 학습하는 것이 아니라, 규칙을 사용하여 답변을 검증하는 데 사용됩니다.
특정한 해결책입니다: 이 방식은 명확한 규칙이 있는 퍼즐에서 매우 효과적입니다. 논문은 이것이 모든 유형의 사고 문제를 해결한다고 주장하는 것이 아니라, 이러한 구조화된 문제들을 해결한다고 말합니다.
미래를 위한 제안입니다: 저자들은 다음 단계가 인간이 자석을 만드는 대신 AI가 스스로의 "자석"을 학습하도록 가르치는 것이라고 제안했지만, 이는 아직 완전히 해결되지 않은 문제입니다.

요약하자면, 이 논문은 만약 당신에게 AI가 생성한 여러 개의 추측이 있다면, AI가 느끼는 확신도를 믿기보다 그 답변이 퍼즐의 물리 법칙(규칙)에 얼마나 잘 부합하는지(에너지)를 확인함으로써 더 나은 정답을 찾을 수 있다는 것을 보여줍니다. 이는 "로봇의 느낌을 믿는 것"에서 "퍼즐의 물리학을 믿는 것"으로의 작지만 강력한 전환입니다.

기술 요약: 에너지 가이드 재귀 모델 (Energy-Guided Recursive Model, ERM)

1. 문제 정의

HRM(Hierarchical Reasoning Model), TRM(Tiny Recursive Model), EqR(Equilibrium Reasoners)와 같은 재귀적 추론 모델은 작은 신경망의 잠재 상태(latent states)를 반복적으로 업데이트함으로써 구조화된 문제를 해결한다. 이러한 모델들은 재귀 깊이( $D$ )나 확률적 너비( $K$ )를 늘림으로써 여러 후보 궤적(trajectories)을 생성할 수 있지만, 테스트 시점에 정답을 선택하기 위한 원칙적인 메커니즘이 부족하다.

기존의 선택 방법들은 다음과 것에 의존한다:

학습된 중단 헤드 (q-heads): 내부 모델 신호를 기반으로 신뢰도를 예측함.
신뢰도 점수 (Confidence scores): 토큰 수준의 확률을 사용함.
휴리스틱 투표 (Heuristic voting): 샘플링된 출력에 대한 다수결 투표.

식별된 핵심 한계점은 이러한 방법들이 "모델 내부의 확실성"을 측정할 뿐, "태스크 적합성(task compatibility)"을 측정하지 못한다는 것이다. 잠재적 반복 추론(latent iterative reasoning)에서 추가적인 깊이나 너비는 명시적인 유도 과정 없이 숨겨진 궤적들을 생성한다. 결과적으로, 올바른 후보가 롤아웃 풀(rollout pool) 내에 존재하더라도, 셀렉터(selector)가 전역적 태스크 제약 조건(예: 스도쿠 규칙 또는 미로의 연결성)에 대한 준수 여부를 검증할 기준이 없기 때문에 해당 후보가 버려질 수 있다. 본 논문은 현재의 셀렉터들이 유효한 태스크 구조와의 적합성을 명시적으로 측정하지 못하기 때문에 선택의 격차(selection gap)가 지속된다고 주장한다.

2. 방법론: 에너지 가이드 재귀 모델 (ERM)

저자들은 휴리스틱 셀렉터를 명시적인 **홉필드 에너지(Hopfield energies)**에 기반한 내재적 선택 원리로 대체하는 **에너지 가이드 재귀 모델 (ERM)**을 제안한다.

2.1 핵심 프레임워크

ERM은 테스트 시점의 추론을 유한한 후보 풀 $Y(x) = \{y_1, \dots, y_K\}$ 에 대한 에너지 기반 선택 문제로 취급한다. 목표는 에너지 함수 $E(y_k; x)$ 를 최소화하는 후보 $\hat{y}$ 를 선택하는 것이다:
$\hat{y} = \arg \min_{k \in \{1, \dots, K\}} E(y_k; x)$
낮은 에너지는 태스크와의 높은 적합성을 의미한다. 음의 로그 확률이나 학습된 로짓(logits)에 의존하는 표준 셀렉터와 달리, ERM은 **태스크 구조화된 메모리(task-structured memories)**로부터 에너지를 구축한다.

2.2 에너지 정식화

에너지 함수는 현대 홉필드 네트워크(Modern Hopfield Network)의 검색 역학(retrieval dynamics)으로부터 유도된다. 태스크는 $J$ 개의 요소(예: 행, 열, 로컬 퍼즐 규칙)로 분해된다. 각 요소 $j$ 에 대해, 유효한 로컬 또는 글로벌 구조를 포함하는 입력 조건부 메모리 집합 $M_j(x)$ 가 존재한다.

전체 에너지 $E_{ERM}$ 은 다음과 같이 정의된다:
$E_{ERM}(y_k; x) = \mu G(y_k, x) - \sum_{j=1}^{J} \tau \log \sum_{m \in M_j(x)} \exp\left( \frac{-\beta d_j(y_k, m)}{\tau} \right)$

여기서:

$d_j(y_k, m)$ : 요소 $j$ 에 대한 후보 $y_k$ 와 메모리 $m$ 사이의 거리 (매칭 시 0).
$\beta$ : 메모리 거리에 대한 페널티 강도.
$\tau$ : 검색 온도 (검색의 부드러움(softness)을 조절).
$G(y_k, x)$ : 로컬로 열거하기 어려운 제약 조건(예: 연결성)에 대한 전역 위반 페널티.
$\mu$ : 전역 항에 대한 가중치.

이 정식화는 셀렉터가 각 요소에 대해 가장 가까운 유효한 메모리를 "부드럽게 검색(softly retrieve)"할 수 있게 한다. 저온 극한(low-temperature limit)에서, 이는 가장 가까운 메모리 검증기 역할을 한다.

2.3 태스크 인스턴스화

본 논문은 세 가지 특정 도메인에 대해 ERM을 구현한다:

스도쿠 (Sudoku): 행, 열, $3\times3$ 박스에 대한 순열 메모리를 사용한다. 에너지는 유효한 숫자 순열에 대한 로그-퍼머넌트(log-permanent, 동적 계획법)를 통해 계산된다.
펜슬 퍼즐 벤치 (Pencil Puzzle Bench, PPBench): 로컬 규칙 메모리(예: Lightup의 정확한 개수, Tapa의 순환 패턴)와 로컬로 열거할 수 없는 연결성 및 커버리지 규칙을 위한 전역 거리 포텐셜을 결합한다.
미로 (Maze): 너비 우선 탐색(BFS)을 통해 유도된 전역 입력 조건부 최단 경로 메모리를 사용한다. 에너지는 후보 경로와 시작점에서 목표점까지의 유일한 최단 경로 사이의 음의 유사도이다.

2.4 병렬 템퍼링 (Parallel Tempering, PT)

동일한 에너지 함수가 단순한 재정렬(reranking)뿐만 아니라 샘플링을 위해서도 사용된다. 저자들은 서로 다른 온도( $T_1 < \dots < T_R$ )에서 복제본을 실행하는 병렬 템퍼링을 채택한다. 뜨거운 복제본은 에너지 지형을 탐색하고, 차가운 복제본은 낮은 에너지 상태를 활용한다. 복제본 간의 교환은 메트로폴리스 기준(Metropolis criterion)에 따라 수락된다. 이를 통해 시스템은 지역 최솟값(local minima)에서 벗어날 수 있으며, 단순한 그리디 선택이 놓칠 수 있는 올바른 후보를 발견할 가능성을 높인다.

3. 주요 기여

원칙적인 선택 메커니즘: 학습된 신뢰도나 투표 휴리스틱에 대한 의존을 대신하여, 태스크 메모리에서 유도된 명시적 홉필드 에너지를 기반으로 한 선택 레이어를 도입한다.
통합 인터페이스: 에너지 함수가 어트랙터 역학(attractor dynamics), 검증기, 그리고 테스트 시점 연산(test-time compute) 사이의 공유 인터페이스 역할을 수행함을 보여줌으로써, 후보 생성과 선택 사이의 명확한 분리를 가능하게 한다.
진단 프레임워크: 다음을 구분하여 성능을 평가하는 방법론을 제안한다:
- 후보 생성 실패 (Candidate Generation failures): "오라클(Oracle, 풀 내 최선의 가능한 정확도)"이 낮은 경우.
- 선택 실패 (Selection failures): 선택된 정확도가 오라클보다 현저히 낮은 경우.
- 샘플링 실패 (Sampling failures): 병렬 템퍼링이 정적 선택보다 개선된 성능을 보이는 경우.

4. 실험 결과

스도코, PPBench, 미로에 대해 재귀 깊이 $D=64$ 및 $K=128$ 개의 후보를 사용하여 실험을 진행하였다.

스도코: ERM은 **98.97%**의 정확도를 달성하여, 공유 후보 오라클(98.97%)과 일치하였다. 이는 q-head(98.54%) 및 신뢰도(98.58%) 베이스라인을 능가하며 선택의 격차를 효과적으로 해소하였다.
PPBench: ERM은 **88.04%**의 정확도를 달성하여 오라클과 일치하였으며, q-head(83.39%) 및 다수결 투표(79.07%)를 크게 앞질렀다. 이는 신뢰도 점수가 실패하는 이질적인 규칙들을 처리하는 방법론의 능력을 강조한다.
미로: ERM은 **99.30%**의 정확도를 달성하여 오라클과 일치하였다. 이는 전역 최단 경로 메모리가 사용될 때, 롤아웃 풀에 나타나기만 하면 올바른 후보를 선택할 수 있음을 입증하였다.
병렬 템퍼링: PT-ERM은 정적 선택보다 일관되게 우수하거나 대등한 성능을 보였다. 특히 스도코에서 PT-ERM은 98.97%(오라클과 일치)에 도달하여, 에너지 지형이 최적의 솔루션을 찾기 위한 탐색을 성공적으로 가이드했음을 보여주었다.

5. 의의 및 주장

본 논문은 명시적인 에너지 함수를 재귀적 추론에 통합하는 것이 더 효과적인 추론을 향한 원칙적인 경로를 제공한다고 주장한다.

선택 격차 해소: 잠재적 추론의 주요 병목 현상은 종종 후보를 생성하는 것이 아니라, 어떤 후보를 신뢰할지 결정하는 스칼라 원칙의 부재이다. ERM은 태스크 메모리를 사용하여 적합성을 검증함으로써 이 격차를 좁힌다.
일반화에 대한 겸손함: 저자들은 현재의 에너지가 보편적으로 학습된 것이 아니라 태스크 구조적(예: 수작업으로 만든 순열 행렬 또는 BFS 경로 사용)임을 명시한다. 이 방법은 범용적인 학습된 에너지 함수가 아니라, 구조화된 검증 도구이자 진단 도구로서 제시된다.
방법론적 전환: 본 연구는 테스트 시점 연산을 후보 생성과 에너지 기반 선택으로 분리하여 평가해야 함을 시사한다. 이는 연구자들이 개선이 필요한 지점이 생성(낮은 오라클)인지, 아니면 선택(오라클과 ERM 사이의 큰 격차)인지를 식별할 수 있는 프레임워크를 제공한다.

요약하자면, ERM은 명시적인 홉필드 메모리 기반의 에너지 함수가 잠재적 반복 추론을 위한 매우 효과적이고 해석 가능한 셀렉터 역할을 할 수 있음을 보여주며, 생성된 후보 집합이 주어졌을 때 이론적 성능 한계에 도달할 수 있음을 입증한다.