💻 computer science

Recursive Inference Machines

이 논문은 복잡한 추론 벤치마크에서의 성능을 높이고 정형 데이터 설정에서의 강건성과 효율성을 개선하기 위해, 신경망 백본을 고전적인 재귀적 추론 체계와 결합한 신경 추론 기계(Recursive Inference Machines, RIMs)라는 신경 추론 프레임워크를 소개한다.

원저자: Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting

게시일 2026-09-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 패턴을 인식하는 시스템과 그 패턴을 통해 추론하는 시스템 사이에 뚜렷한 구분이 존재합니다. 패턴 인식은 현대 컴퓨터가 뛰어난 능력을 보이는 분야로, 수천 장의 고양이 이미지를 보고 새로운 고양이를 식별하는 법을 배우는 것과 같습니다. 반면, 추론은 일련의 사실들을 가져와 단계별로 논리를 적용하여, 시작 데이터에 명시적으로 존재하지 않았던 결론에 도달하는 능력입니다. 수십 년 동안 과학자들은 이를 안정적으로 수행할 수 있는 기계를 만드는 데 어려움을 겪어 왔으며, 특히 긴 사고의 사슬이 필요하거나 데이터가 지저도 불완전할 때 더욱 그러했습니다. 전통적인 방식은 종종 경직된 수동 코딩 규칙에 의존하는데, 이는 취약하며 세상이 복잡해질 때 제대로 작동하지 못합니다. 최신 접근 방식들은 심층 신경망을 사용하며, 이는 강력하지만 진정한 이해보다는 통계적 가능성에 기반해 답을 추측하는 '블랙박스'처럼 작동하는 경우가 많습니다. 주요 과제는 여전히 남아 있습니다. 즉, 어떻게 하면 이러한 유연한 학습 기반 시스템이 데이터를 통해 배우는 능력을 잃지 않으면서도 인간 논리학자처럼 신중하고 다단계적인 작업을 수행하게 만들 것인가 하는 점입니다.

다름슈타트 공과대학교와 텍사스 대학교 달라스 캠퍼스의 연구진은 이 간극을 메우기 위해 '재귀적 추론 기계(Recursive Inference Machines)'라고 불리는 새로운 프레임워크를 제안했습니다. 추론을 단 한 번의 거대한 도약으로 취급하는 대신, 그들은 복잡한 문제를 작고 반복 가능한 단계들의 순환으로 분해하도록 설계했습니다. 어려운 퍼즐을 푸는 전문가 팀을 상상해 보십시오. 한 명의 전문가인 '솔버(Solver, 해결사)'는 퍼즐의 현재 상태를 살펴보고 작은 개선안을 제안합니다. 또 다른 전문가인 '제너레이터(Generator, 생성기)'는 그 제안들을 사용하여 전체 솔루션을 업데이트합니다. 세 번째 전문가인 '리웨이터(Reweighter, 가중치 재설정자)'는 비판적인 편집자 역할을 하며, 어떤 제안이 시도의 이력과 얼마나 잘 부합하는지에 따라 어떤 것을 유지하고 어떤 것을 버릴지 결정합니다. 이 세 가지 역할을 문제에 대해 반복적으로 루프(loop)시킴으로써, 기계는 자신의 실수를 스스로 교정하며 답을 정교화합니다. 이 접근 방식은 단 한 번의 계산 패스로는 처리하기 너무 복ual한 작업들을 다룰 수 있게 해주며, 결과적으로 AI에게 말하기 전에 '생각'할 수 있는 방법을 제공합니다.

연구진은 이 프레임워크를 오늘날 가장 까다로운 추론 과제들에 적용하여 테스트했습니다. 그들은 전역적 패턴을 시각화해야 하는 기하학적 퍼즐, 깊은 논리적 연역을 요구하는 극단적인 버전의 스도쿠, 그리고 복잡한 미로 탐색에 이를 적용했습니다. 이 테스트에서 새로운 시스템은 기존의 최첨단 모델들을 지속적으로 능가했습니다. 예를 들어, 어려운 스도쿠 벤치마크에서 개선된 버전의 기계는 이전 최고 기록보다 크게 향상된 거의 90%의 퍼즐을 해결했습니다. 이러한 성공의 핵심은 '리웨이터' 구성 요소의 포함이었습니다. 연구진은 단순히 기계가 자신의 아이디어를 반복하게 하는 것만으로는 충분하지 않으며, 자신의 진전 상황에 가중치를 두어 초기 오류를 억제하고 올바른 통찰력을 증폭시키는 메커니즘이 필요하다는 것을 발견했습니다. 이 가중치 부여 단계를 제거했을 때 시스템의 성능이 떨어졌는데, 이는 자신의 추론 경로를 평가하고 조정하는 능력이 어려운 문제를 해결하는 데 매우 중요하다는 것을 시사합니다.

이 프레임워크는 표 형식의 데이터를 사용하는 의료 진단이라는 매우 다른 환경에서도 효과적임을 입증했습니다. 실제 의료 현장에서 데이터는 종종 노이즈가 섞여 있습니다. 환자의 기록에는 오타, 누락된 값, 또는 잘못된 항목이 포함될 수 있습니다. 표준 모델들은 종-종 이런 경우에 어려움을 겪으며, 입력값이 불완전할 때 신뢰할 수 없는 결과를 만들어냅니다. 연구진은 이 기계를 '디노이징(denoising, 잡음 제거) 에이전트'로 적응시켰습니다. 이 기계는 노이즈가 섞인 의료 기록을 받아 여러 가지 가능한 '깨끗한' 버전의 데이터를 생성한 다음, 가중치 메커니즘을 사용하여 어떤 버전이 가장 진실에 가까운지 결정합니다. 정보의 25%가 무작위로 손상된 네 가지 서로 다른 의료 데이터셋에서 테스트했을 때, 이 접근 방식은 기존 방법들에 비해 진단 정확도를 크게 향상시켰습니다. 이는 스도쿠 퍼즐을 푸는 데 사용된 동일한 논리가 컴퓨터가 지저분한 환자 파일을 이해하는 데에도 도움을 줄 수 있음을 보여주었습니다.

정확성을 넘어, 연구진은 이 모듈형 설계가 AI 시스템을 더 빠르고 효율적으로 만들 수 있다는 것을 발견했습니다. 그들은 작은 데이터셋으로부터 학습하는 능력이 뛰어난 알려진 대규모 사전 학습 모델을 가져와, 이 프레임워크를 사용하여 구조를 재편했습니다. 상태 업데이트를 더 효율적으로 처리하는 특화된 구성 요소를 삽로함으로써, 그들은 동일한 높은 수준의 예측 정확도를 유지하면서도 답변을 내놓는 데 걸리는 시간을 35% 적게 소요하는 하이브리드 시스템을 구축했습니다. 이 발견은 AI의 내부 논리를 구성하는 방식이 모델의 크기만큼이나 중요하다는 점을 시사합니다. 추론 과정을 명확하고 재사용 가능한 단계로 조직함으로써, 연구팀은 더 똑똑할 뿐만 아니라 더 가벼운 시스템을 구축하는 것이 가능하다는 것을 입증했습니다.

본 논문에서 제시된 연구는 모든 추론 문제를 해결했다고 주장하는 것이 아니라, 신경망이 더 깊게 생각하도록 유도할 수 있는 명확하고 통합된 방법을 제시합니다. 이는 단일 거대 네트워크가 패턴을 암기하도록 훈련하는 개념을 넘어, 시스템의 각 부분이 제안, 생성, 평가를 전문적으로 수행하는 구조화된 아키텍처를 제안합니다. 결과는 우리가 자가 교정과 반복적 정교화 메커니즘을 명시적으로 구축함으로써, 노이즈에 더 강하고, 긴 논리의 사슬을 더 잘 다룰 수 있으며, 컴퓨팅 자원을 더 효율적으로 사용하는 인공지능을 만들 수 있음을 시사합니다. 이 분야가 계속 진화함에 따라, 이 프레임워크는 복잡하고 불확실하며 종종 무질서한 세상의 현실을 헤쳐 나갈 수 있는 차세대 기계를 설계하기 위한 청사진을 제공합니다.

기술 요약: 재귀적 추론 기계 (Recursive Inference Machines, RIMs)

문제 정의

신경 추론 모델들은 학습 데이터의 패턴을 활용함으로써 추론 벤치마크에서 인상적인 성능을 보여주었습니다. 그러나 표준 피드포워드(feedforward) 및 트랜스포머(Transformer) 구조는 고정된 계산 깊이로 인해 제한되며, 더 긴 추론 지평이나 복잡한 알고리즘 로직을 요구하는 문제 해결에 어려움을 겪습니다. 최근의 테스트 타임 스케일링(test-time scaling) 접근 방식(예: Chain-of-Thought, 자기 검증)은 다단계 추론을 가능하게 하지만, 이들은 종종 통일된 형식적 프레임워크가 결여되어 있어 해석, 구성 또는 체계적인 확장이 어렵습니다. 또한, Tiny Recursive Models (TRMs) 및 Hierarchical Reasoning Models (HRMs)와 같은 기존의 재귀 모델들은 순차적 정교화(sequential refinement)를 구현하지만, 고전적인 확률적 추론에서 발견되는 중요도 가중치(importance weighting)와 같은 핵심 구성 요소를 누락하여 잠재 상태 업데이트에 대한 체계적인 해석을 제공하지 못합니다.

방법론: 재귀적 추론 기계 (RIMs)

저자들은 신경 추론을 명시적이고 반복적인 과정으로 규정하는 통합 프레임워크인 **재귀적 추론 기계 (RIMs)**를 소개하며, 이는 Sequential Monte Carlo (SMC) 및 Gibbs sampling과 같은 고전적 추론 엔진 및 확률적 추론 방법론에서 영감을 받았습니다.

핵심 아키텍처

RIM은 세 가지 교체 가능한 구성 요소로 이루어진 튜플 $\langle S, G, R \rangle$ 로 정의됩니다:

솔버 (Solver, $S$ ): 문제 설명( $x$ ), 현재 솔루션( $y$ ), 그리고 이전 상태( $z'$ )를 기반으로 후보 상태 업데이트( $\tilde{z}$ )를 제안하는 매핑입니다. 이는 SMC 맥락에서의 "제안(proposal)" 메커니즘 역할을 합니다.
제너레이터 (Generator, $G$ ): 솔버에 의해 생성된 정교화된 상태 시퀀스를 기반으로 후보 솔루션 업데이트( $\tilde{y}$ )를 생성하는 매핑입니다.
리웨이터 (Reweighter, $R$ ): 제안된 업데이트를 과거의 상태 및 솔루션과 비교하여 가중치를 부여함으로써 수용된 업데이트( $z, y$ )를 생성하는 매핑입니다. 이 구성 요소는 제안 편향(proposal bias)을 교정하여 추론 궤적이 목표 분포에서 벗어나는 것을 방지합니다.

실행 과정은 내부 루프(Solver)가 잠재적 "스크래치패드(scratchpad)" 상태를 $T$ 번 정교화한 후, 외부 루프(Generator)가 전역 솔루션을 업데이트하는 과정을 포함합니다. 이 프로세스는 $N$ 번 반복됩니다. 이 프레임워크는 기존 모델들을 이러한 구성 요소들의 특정 인스턴션(instantiation)으로 취급함으로써 기존 모델들을 통합합니다.

인스턴션 (Instantiations)

본 논문은 RIM 설계 공간 내의 몇 가지 구체적인 아키텍처를 탐구합니다:

SimRIM: 솔버와 제너레이터가 신경망(종종 공유됨)이고 리웨이터가 **항등 함수(identity function)**인 HRM 및 TRM의 직접적인 인코딩입니다. 이는 명시적인 가중치 메커니즘이 결여된 TRM에 해당합니다.
RIMA: SimRIM을 개선하여 항등 리웨이터 대신 **지수 이동 평균 (Exponential Moving Averages, EMA)**을 사용합니다. 이를 통해 모델은 과거 정보와 현재 정보 사이의 균형을 맞출 수 있으며, 학습 가능하거나 고정된 감쇠 파라미터( $\alpha$ )가 상태 업데이트의 관성(inertia)을 제어합니다.
RIMformer: 리웨이터로 **트랜스포머(Transformer)**를 활용합니다. $k$ -lookback 메커니즘과 셀프 어텐션(self-attention)을 채택함으로써 전체 추론 이력에 걸친 의존성을 명시적으로 포착하고, 복잡한 백트래킹(backtracking)을 용이하게 합니다.
TabRIM: Tabular 데이터에 RIM 프레임워크를 적용하며, 여기에는 TabPFN(사전 적합 트랜스포머)이 사용됩니다. 여기서 솔버는 Gibbs sampling 유사 단계(full conditionals를 위한 TabPFN 사용)를 통해 특징(feature)을 반복적으로 디노이징(denoising)하며, 리웨이터는 관측된 노이즈가 있는 증거의 가능성(likelihood)에 따라 중요도 가중치를 할당합니다.
HybRIM: TabPFN을 불완전한 RIM(솔버와 리웨이터가 결여된 형태)으로 취급하는 하이브리드 아키텍처입니다. 선형 시간 내에 상태를 효율적으로 전파하기 위해 Hydra(선택적 상태 공간 모델) 레이어를 솔버로 삽asi하여, TabPFN 트랜스포머 레이어(제너레이터)와 교대로 배치합니다.

주요 기여

통합 프레임워크: 상태 제안(Solver), 솔루션 생성(Generator), 편향 교정(Reweighter)의 역할을 명시적으로 분리하여, 신경 추론을 위한 일반적이고 모듈화된 프레임워크로서 RIM을 도입했습니다.
TRM의 이론적 확장: TRM이 항등 리웨이터를 가진 특정 인스턴스임을 입증했습니다. 저자들은 비사소한(non-trivial) 리웨이터(예: EMA 또는 트랜스포머)를 추가하는 것이 복잡한 추론을 더 효과적으로 처리하도록 TRM을 확장한다는 것을 보여줍니다.
노이즈에 대한 강건성: 문제를 Gibbs sampling 작업으로 프레이밍함으로써, TabRIM이 노이즈가 있는 표 형식 데이터에서 표준 TabPFN보다 우수한 성능을 보이며 노이즈 하에서의 추론 능력을 개선할 수 있음을 보여주었습니다.
효율성 개선: 파운데이션 모델(TabPFN)을 불완전한 RIM으로 구성하고 특화된 솔버(Hydra)로 완성함으로써, 예측 성능을 유지하면서 추론 시간을 35% 단축할 수 있음을 입증했습니다.

실험 결과

저자들은 심볼릭 추론, 노이즈가 있는 표 형식 추론, 그리고 아키텍처 효율성을 기준으로 RIM을 평가했습니다:

심볼릭 추론 (ARC-AGI-1/2, Sudoku Extreme, Maze-Hard):
- RIMA와 RIMformer(비사소한 리웨이터를 가진 경우)는 일반적으로 베이스라인인 SimRIM(항등 리웨이터)보다 우수한 성능을 보였습니다.
- RIMA는 특히 Sudoku Extreme(SimSim 대비 87.16%에서 89.39% 정확도)에서 가장 강력한 종합 성과를 거두며 가장 높은 성능을 기록했습니다.
- 절제 연구(Ablation studies)에 따르면, 동적 가중치 부여(학습 가능한 파라미터)가 정적 가중치 부여보다 우수했습니다.
- Lookback 크기의 효과는 작업에 따라 달랐습니다: 큰 lookback(RIMformer)은 Maze-Hard에서는 도움이 되었으나 Sudoku Extreme에서는 성능을 저하시켰는데, 이는 단순한 작업일수록 작은 lookback이 규제적 유도 편향(regularizing inductive bias)으로서 작용함을 시사합니다.
표 형식 추론 (25% 노이즈가 포함된 의료 데이터셋):
- TabRIM은 네 가지 의료 데이터셋(Cleveland, Ljubljana, Thyroid, Hepatitis) 모두에서 AUC-ROC 및 AUC-PR 측면에서 직접적인 TabPFN 추론보다 일관되게 우수한 성능을 보였습니다.
- 개선 효과는 특징 오염(feature corruption)이 가장 치명적이었던 데이터셋(Ljubljana, Thyroid)에서 가장 두드러졌습니다.
효율성 (OpenML CC-18):
- HybRIM은 TabPFN의 예측 성능을 유지하면서도, 더 적은 파라미터(25M vs 16M)를 사용하여 추론 시간을 35% 단축(7.22초 vs 4.71초)했습니다.

의의 및 주장

본 논문은 RIM이 추론 단계를 사후 분포(posterior distribution)를 근사하는 샘플로 해석함으로써, 신경 추론을 위한 원칙적인 토대를 제공한다고 주장합니다. 추론 역학을 명시적으로 만듦으로써, RIM은 기존 TRM의 가중치 부재와 같은 암묵적인 설계 선택을 드러내고 체계적인 개선을 가능하게 합니다.

저자들은 이 프레임워크가 원시적인 패턴 매칭과 고수준의 심볼릭 조작 사이의 간극을 메운다고 주장합니다. 이를 통해 다음이 가능해집니다:

모듈성: 구성 요소(Solver, Generator, Reweighter)를 독립적으로 교체하거나 개선할 수 있습니다.
구성 가능성: 기존 방법론인 TRM을 불완전한 RIM으로 간주하고 새로운 구성 요소(예: 리웨이터 추가)를 통해 "완성"할 수 있습니다.
해석 가능성: 프레임워크는 휴리스틱 절차를 넘어 형식적 추론 기계로서 신경 추론기가 어떻게 작동하는지에 대한 더 명확한 의미론적 이해를 제공합니다.

논문은 현재 RIM이 기존 아키텍처보다 우수한 성능을 보이지만, 리웨이터를 위해 고급 메모리 메커니즘(예: xLSTM)을 사용하거나 프레임워크를 Tree-of-Thoughts 설정으로 확장하는 등 설계 공간이 여전히 열려 있다고 결론지었습니다.