🤖 AI

Generative Recursive Reasoning

본 논문은 확률적 프레임워크인 생성적 재귀 추론 모델 (GRAM) 을 소개하며, 이는 확률적 다궤적 잠재 상태 정제를 가능하게 함으로써 재귀적 추론을 강화하고, 추론 시 확장, 다양한 가설 생성, 조건부 추론 및 무조건부 생성을 지원합니다.

원저자: Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Generative Recursive Reasoning Models (GRAM)"에 대한 설명을 쉬운 언어와 창의적인 비유로 정리해 드립니다.

핵심 질문: AI 는 어떻게 생각해야 할까?

매우 어려운 퍼즐, 예를 들어 복잡한 스도쿠나 논리 퍼즐을 풀려고 한다고 상상해 보세요.

구형 AI (자기회귀 모델): 이들은 시작부터 끝까지 한 단어씩 생각을 적어가는 사람과 같습니다. 첫 문장에서 실수를 하면, 그 실수가 포함된 채로 나머지 이야기를 계속 써야 하거나, 처음부터 다시 시작해야 합니다. 이들은 "선형적"으로 사고합니다.
재귀적 AI (이전 세대): 이 모델들은 아무것도 적지 않고 머릿속으로만 "생각"할 수 있는 사람과 같습니다. 그들은 하나의 아이디어를 머릿속에 간직하고, 다듬고, 다시 다듬고, 또다시 다듬어 마음에 들 때까지 반복합니다. 이는 효율적이지만, 산을 따라 단일한 길만 걷는 것과 같습니다. 그 길이 막다른 길로 이어지면 AI 는 갇히게 됩니다. 대안이 없습니다.

문제점: 이 논문은 기존의 "재귀적" AI 들이 너무 경직되어 있다고 주장합니다. 그들은 해결책에 도달하기 위해 단 하나의 경로만 따릅니다. 그 경로가 틀리면 AI 는 실패합니다. 이들은 결정론적이어서, 같은 퍼즐을 두 번 주면 정확히 같은 방식으로 생각하고 정확히 같은 결과 (비록 그 결과가 틀린 것일지라도) 를 얻습니다.

해결책: GRAM(다중 경로 사고자)

저자들은 GRAM(Generative Recursive reAsoning Models) 을 소개합니다.

비유: 등산 팀
안개가 자욱한 거대한 미로의 출구를 찾아야 한다고 가정해 보세요.

구식 방법 (결정론적 재귀): 당신은 한 명의 등산가를 보냅니다. 그는 한 길을 선택해 벽에 부딪힐 때까지 걷습니다. 벽에 부딪히면 그는 갇힙니다. 그는 그 특정 길만 따르도록 프로그램되어 있기 때문에 뒤로 돌아 다른 경로를 시도할 수 없습니다.
GRAM 방식: 당신은 등산 팀 전체 (여러 개의 "궤적") 를 보냅니다.
1. 확률성 (Wiggle): 직선으로 걷는 대신, 각 등산가는 작고 무작위적인 우회로를 허용받습니다. 때로는 왼쪽으로, 때로는 오른쪽으로 발을 내딛습니다. 이 무작위성은 그들이 미로의 다른 부분을 탐색하는 데 도움을 줍니다.
2. 병렬 탐색: 팀이 있기 때문에, 한 등산가가 막다른 길에 부딪히더라도 다른 등산가는 출구로 이어지는 완전히 다른 경로에 있을 수 있습니다.
3. 정제: 모든 등산가는 서로 끊임없이 대화하며 (내부 상태를 업데이트하며) 더 똑똑해집니다.

작동 원리 (메커니즘)

이 논문은 관리자와 작업자가 있는 2 층 구조 시스템을 설명합니다.

작업자 (저수준): 이 부분이 중량을 담당합니다. 현재의 아이디어를 받아 신속하고 정확하게 다듬습니다. 매우 집중적이며 결정론적입니다 (여기에는 무작위성이 없습니다).
관리자 (고수준): 이 부분이 방향을 결정합니다. 결정적으로, 관리자는 계획에 약간의 "무작위 잡음"이나 "창의적 혼란"을 추가합니다.
- 왜? 팀이 국소적인 함정 (해결책처럼 보이는 막다른 길) 에 갇히는 것을 방지하기 위함입니다.
- 결과: AI 는 단순히 하나의 경로를 따르는 것이 아니라, 가능한 경로들의 분포를 생성합니다. 본질적으로 "이 문제를 해결할 수 있는 20 가지 다른 방법이 있습니다. 어떤 것이 가장 잘 작동하는지 봅시다"라고 말합니다.

GRAM 의 두 가지 초능력

이 논문은 이 새로운 시스템이 확장되는 두 가지 주요 방식을 강조합니다.

1. 깊이 (더 오래 생각하기)
구식 재귀 모델처럼 GRAM 은 오랫동안 생각할 수 있습니다. 답을 반복해서 다듬을 수 있습니다.

비유: 다이아몬드가 빛날 때까지 계속 연마할 수 있습니다.

2. 너비 (더 넓게 생각하기)
이것이 새로운 트릭입니다. 단순히 더 오래 생각하는 대신, GRAM 은 병렬로 생각할 수 있습니다. 동시에 20 가지 다른 "만약에" 시나리오를 실행할 수 있습니다.

비유: 10 시간 동안 한 면씩 비틀어 루빅스 큐브를 푸는 대신, 20 명의 사람들이 서로 다른 면을 동시에 비틀어 가장 빠르게 해결한 것을 선택한다고 상상해 보세요.
논문의 주장: 이 "너비" 확장은 단순히 AI 가 더 오래 생각하게 만드는 것 (깊이) 보다 더 빠르고 효과적입니다.

무엇을 테스트했는가?

연구자들은 이론만 이야기한 것이 아니라, 종종 여러 개의 정답이 있거나 갇히기 쉬운 구체적인 어려운 퍼즐에서 GRAM 을 테스트했습니다.

스도쿠 (제약 퍼즐):
- 결과: GRAM 은 이전 재귀 모델보다 훨씬 어려운 스도쿠 퍼즐을 훨씬 잘 풀었습니다. 단순히 정답을 맞힌 것을 넘어, 다양한 가능성을 탐색함으로써 정답을 더 빠르게 찾았습니다.
N-Queens 및 그래프 색칠하기 (다중 해결책 퍼즐):
- 도전 과제: 이 퍼즐들에는 수십 개 또는 수백 개의 유효한 해결책이 있습니다. 구식 AI 는 단 하나의 해결책에 갇혀 다른 것들을 놓치거나 (혹은 그 해결책이 막히면 실패하거나) 실패했습니다.
- 결과: GRAM 은 여러 경로를 탐색하기 때문에 동일한 퍼즐에 대해 여러 개의 유효한 해결책을 찾을 수 있습니다. "모드 붕괴"(단 하나의 답만 찾는 현상) 에 시달리지 않습니다.
이미지 생성 ("무조건부" 테스트):
- 도전 과제: 이 논리가 풀어야 할 퍼즐 없이도 작동할 수 있을까요? 단순히 이미지를 "꿈꿀" 수 있을까요?
- 결과: 가능합니다. MNIST 데이터셋의 숫자처럼 이미지 생성을 요청받았을 때, GRAM 은 이전 재귀 모델보다 더 선명하고 정확한 이미지를 생성했습니다. 이는 "사고" 과정이 "창조"에도 사용될 수 있음을 보여주었습니다.

결론

이 논문은 GRAM이 "재귀적 추론"(루프 내에서 사고) 을 경직된 단일 트랙 프로세스에서 유연한 확률적 다중 경로 프로세스로 전환시킨다는 점에서 중요한 진전이라고 주장합니다.

구식 AI: "나는 답을 찾을 때까지 이 한 길을 걸을 것이다."
GRAM: "나는 탐험가 팀을 여러 길로 보내고, 그들이 조금 헤매게 한 뒤 가장 좋은 결과를 선택할 것이다."

저자들은 이 접근 방식이 AI 가 불확실성을 처리하고, 여러 해결책을 찾으며, 모델을 단순히 더 크게 만드는 것이 아니라 동시에 더 많은 가능성을 탐색함으로써 지능을 확장할 수 있게 한다고 결론지었습니다.

기술 요약: 생성적 재귀 추론 모델 (GRAM)

문제 제기

미래의 신경 추론 시스템은 확장된 계산을 효율적으로 구현하는 방법에 대한 핵심적인 도전에 직면해 있습니다. 대규모 자기회귀 모델은 시퀀스 생성을 확장함으로써 (예: 사고의 사슬, Chain-of-Thought) 추론을 확장하는 반면, **재귀 추론 모델 (Recursive Reasoning Models, RRMs)**은 공유 전이 함수를 반복 적용하여 영구적인 잠재 상태를 정제함으로써 대안을 제시합니다. 이 접근법은 추론 깊이를 파라미터 규모와 출력 길이로부터 분리합니다.

그러나 기존 RRMs (예: HRM, TRM) 은 근본적으로 결정론적입니다. 동일한 입력과 초기화가 주어지면, 이들은 단일 잠재 궤적을 따르고 단일 예측으로 수렴합니다. 이러한 결정론은 타당한 추론 경로의 공간을 단일 끌개 (attractor) 로 축소하여 불확실성을 유지하거나, 대안적 가설을 고려하거나, 여러 해결 전략을 탐색하는 것을 실패하게 합니다. 이는 본질적인 모호성을 가진 문제, 여러 유효한 해가 존재하는 문제, 또는 단일 정제 경로가 최적이지 않은 추론 궤적에 갇힐 수 있는 문제에서 특히 제한적입니다. 다루는 핵심 질문은 다음과 같습니다: 재귀적 잠재 계산이 컴팩트한 순환 모델의 효율성을 유지하면서 확률적, 생성적, 다중 가설 추론을 지원할 수 있는가?

방법론: 생성적 재귀 추론 모델 (GRAM)

GRAM 은 재귀적 잠재 추론을 확률적 다중 궤적 계산으로 변환하는 프레임워크를 도입합니다. 이는 추론 과정을 확률적 잠재 궤적으로 간주하여 모델이 여러 가설을 유지하고 대안적 해결 전략을 탐색할 수 있게 합니다.

1. 아키텍처

GRAM 은 $p_\theta(y | x)$ 조건부 분포를 확률적 잠재 추론 궤적에 대해 마진화 (marginalizing) 함으로써 모델링합니다. 아키텍처는 인코더, 재귀적 코어, 디코더로 구성되며, 두 개의 중첩된 루프로 조직화됩니다:

내부 루프 (저수준 정제): 단일 전이 내에서 저수준 잠재 구성 요소 $l$ 은 고수준 상태 $h$ 와 입력 임베딩 $e_x$ 에 조건부인 결정론적 함수 $f_L$ 을 사용하여 $K$ 번 정제됩니다.
외부 루프 (고수준 전이): 고수준 구성 요소 $h$ 는 전이당 한 번 업데이트됩니다. 결정론적 RRMs 와 달리, GRAM 은 이 업데이트를 확률적 전이로 정의합니다:
1. 결정론적 업데이트 $u_t$ 가 계산됩니다: $u_t = f_H(h_{t-1}, l_t; \theta)$ .
2. 학습 가능한 확률적 안내 $\epsilon_t$ 가 상태 의존적 가우스 분포에서 샘플링됩니다: $\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma^2_\theta(u_t)I)$ .
3. 새로운 상태는 $h_t = u_t + \epsilon_t$ 입니다.
이 설계는 모델이 평균 $\mu_\theta$ 를 통해 궤적을 조종하면서 불확실성을 포착하고, 분산 $\sigma^2_\theta$ 를 통해 탐색을 제어할 수 있게 합니다. 저수준 정제는 결정론적으로 유지되는 반면, 확률성은 고수준 추상 상태에만 주입됩니다.
재귀적 구조: 계산은 $N_{sup}$ 개의 감독 단계를 거쳐 진행됩니다. 한 단계의 최종 상태는 다음 단계의 초기 상태로 사용되어 완전한 재귀 체인을 형성합니다.

2. 훈련

GRAM 은 증거 하한 (ELBO) 을 최대화하기 위해 **감가 변분 추론 (amortized variational inference)**을 사용하여 훈련됩니다.

잠재 변수 공식화: 모델은 잠재 궤적 $\tau$ 에 대해 마진화합니다. ELBO 는 생성 파라미터 $\theta$ 와 변분 파라미터 $\phi$ 에 대해 최적화됩니다.
심층 감독 (Deep Supervision): 밀집된 학습 신호를 제공하기 위해, 모델은 $N_{sup}$ 개의 연속된 단계에 걸쳐 심층 감독을 적용합니다. 메모리 효율성을 보장하기 위해 기울기는 각 감독 단계의 최종 전이만을 통해 전파됩니다 (잘린 역전파). 이는 전체 ELBO 를 위한 대리 목적 함수로 작용합니다.
무조건부 생성: 입력을 빈 조건부 임베딩으로 대체함으로써, 동일한 재귀 과정은 무조건부 생성 모델 $p_\theta(x)$ 를 정의합니다.

3. 추론 시 확장

GRAM 은 두 가지 축의 확장을 지원합니다:

깊이 (Depth): 적응적 계산 시간 (ACT) 을 사용하여 궤적은 학습된 정지 깊이에서 종료될 수 있습니다.
너비 (Width): 모델은 학습된 사전 분포에서 여러 잠재 궤적을 병렬로 샘플링합니다. 후보들은 다수결 투표 또는 **잠재 과정 보상 모델 (Latent Process Reward Model, LPRM)**을 통해 선택됩니다. LPRM 은 잠재 상태로부터 궤적의 최종 품질을 예측합니다. 이는 순차적 재귀 길이를 증가시키지 않고 추론을 확장할 수 있게 합니다.

주요 기여

확률적 공식화: 저자들은 재귀 추론을 잠재 변수 생성 과정으로 공식화했습니다. 여기서 해는 단일 결정론적 경로를 따르는 대신 확률적 추론 궤적에 대해 마진화함으로써 얻어집니다.
너비 기반 확장: 이 논문은 "너비 기반" 추론 시 확장을 도입하여, 병렬로 여러 잠재 궤적을 샘플링함으로써 성능을 향상시키고 전통적인 깊이 기반 확장을 보완합니다.
실증적 검증: 저자들은 이 공식화가 구조화된 추론, 다중 해 제약 충족, 무조건부 생성에서 특히 결정론적 순환 및 재귀 기준 모델보다 아키텍처적 이점을 제공한다는 증거를 제시합니다.

실험 결과

GRAM 은 결정론적 기준 모델 (Looped Transformers, HRM, TRM) 과 외부 참조로서 대규모 추론 모델 (LRMs) 과 비교하여 통제된 추론 및 생성 작업에서 평가되었습니다.

구조화된 추론 (Sudoku-Extreme, ARC-AGI): GRAM 은 결정론적 재귀 기준 모델을 일관되게 능가합니다. Sudoku-Extreme 에서 GRAM 은 97.0% 정확도를 달성하여 TRM 의 87.4% 와 HRM 의 55.0% 를 능가합니다. ARC-AGI-1 에서 GRAM 은 52.0% 에 도달하여 TRM (44.6%) 과 HRM (40.3%) 을 능가합니다. 저자들은 이를 다양한 추론 궤적을 탐색할 수 있는 능력에 기인합니다.
다중 해 작업 (N-Queens, Graph Coloring): 결정론적 모델은 유효한 해의 수가 증가함에 따라 모드 붕괴를 겪습니다. GRAM 은 해의 수와 관계없이 일관된 정확도를 유지합니다. 8x8 N-Queens 에서 GRAM 은 **99.7%**의 정확도와 **90.3%**의 커버리지 (찾은 고유 유효 해) 를 달성하여 결정론적 모델 (최대 36.1% 커버리지) 과 AR 과 같은 생성 기준 모델 (84.8% 커버리지) 을 크게 능가합니다.
무조건부 생성:
- 이진화 MNIST: GRAM 은 D3PM 과 비교 가능한 Inception Score (IS) 와 FID 로 인식 가능한 숫자를 생성하는 반면, 결정론적 TRM 기준 모델은 심각한 모드 붕괴 (FID 303.29) 를 보입니다.
- 스도쿠 생성: 빈 보드에서 GRAM 은 16 개의 추론 단계와 10.9M 파라미터만을 사용하여 **99.05%**의 유효성을 가진 유효한 스도쿠 보드를 생성하며, 최대 1000 단계와 55.1M 파라미터를 사용하는 D3PM 기준 모델을 능가합니다.
절대 연구 (Ablation Studies): 확률적 안내를 제거하면 성능이 저하되며, 특히 다중 해 작업에서 두드러집니다. 확률성을 완전히 제거하면 완전한 실패 (0% 정확도) 를 초래하여, 이득이 단순한 무작위성이 아닌 변분 프레임워크에서 비롯됨을 확인시켜 줍니다.

중요성과 주장

이 논문은 GRAM 이 확률적 다중 궤적 재귀를 미래 순환 및 재귀 추론 아키텍처의 설계 원칙으로 확립한다고 주장합니다. 결정론적 재귀를 생성 과정으로 전환함으로써 GRAM 은 다음을 가능하게 합니다:

강건한 탐색: 여러 가설을 유지함으로써 복잡한 문제 공간을 탐색하고 지역 최소값을 탈출할 수 있는 능력.
효율적 확장: 깊이만의 확장의 지연 병목 현상을 우회하는 추론 시 확장의 새로운 축 (너비).
통합 모델링: 동일한 재귀 메커니즘을 사용하여 조건부 추론 모델 ( $p(y|x)$ ) 과 무조건부 생성 모델 ( $p(x)$ ) 로 모두 기능할 수 있는 능력.

저자들은 GRAM 이 구조화된 추론과 생성에서 잠재력을 보여주지만, 심층 감독의 순차적 특성으로 인해 Transformers 에 비해 훈련 효율성이 제한되어 더 큰 기반 모델로 확장하는 데 장벽이 된다고 지적합니다. 또한, 고위험 환경에서 유효하지 않지만 그럴듯한 생성물이 검증된 해로 오인될 수 있으므로 엄격한 검증과 불확실성 보정이 필요하다고 경고합니다.