기술 요약: ReLIT (Recursive Latent Implicit Transformer)

1. 문제 정의

현재의 대규모 언어 모델(LLM)은 복잡한 추론 과제를 해결하기 위해 사고 사슬(Chain-of-Thought, CoT) 프롬프팅에 크게 의존하고 있습니다. 효과적이기는 하지만, CoT는 모델이 중간 추론 단계를 이산적인 토큰으로 외재화하도록 강제합니다. 이러한 접근 방식은 상당한 계산 오버헤드를 발생시키고, 지연 시간을 증가시키며, 고차원의 "생각"을 저대역폭의 텍text로 압축함으로써 과도한 메모리를 소비합니다. 나아가, 최근 연구는 자기회귀적(autoregressive) 토큰 생성 방식이 추론을 위한 가장 효율적인 매체가 아닐 수 있음을 시사합니다. 이는 정보 손실의 위험이 있고 구문적 오버헤드에 계산 자원을 낭비할 수 있기 때문입니다.

잠재적 추론(latent reasoning) 접근법들은 이러한 과정을 연속적인 은닉 상태(hidden states) 내에 내재화하려고 시도하지만, 기존 솔루션들은 한계에 직면해 있습니다. 소형 재귀 모델(Tiny Recursive Models, TRMs)은 기호적 추론에는 뛰어나지만 자연어 환경에서 의미론적 일관성을 유지하는 데 어려움을 겪습니다. 반대로, 언어 데이터를 사용하여 재귀 모델을 처음부터 학습시키는 것은 막대한 계산 자원을 필요로 합니다. 따라서 강력한 언어 이해와 효율적인 재귀 논리를 결합할 수 있는 잠재적 추론기를 설계하는 데에는 여전히 간극이 존재합니다.

2. 방법론: ReLIT 프레임워크

ReLIT(Recursive Latent Implicit Transformer)는 이 간극을 메우기 위해 설계된 하이브리드 프레임워크입니다. 이 모델은 동결된 기초 모델에 경량화되고 학습 가능한 재귀 블록을 증강하여, 언어적 직관과 논리적 추론을 효과적으로 분리합니다.

아키텍처 개요

이 프레임워크는 사전 학습된 LLM(특히 TinyLlama-1.1B)의 동결된 레이어 사이에 고주파수의 재귀적 잠재 암시적 사고(ReLIT) 블록을 배치하는 "샌드위치" 구조를 채택합니다. 아키텍처는 시간에 따라 진화하는 세 가지 구별된 상호작용 벡터 상태에 의존합니다:

1. 의미론적 앵커 (Semantic Anchor, $x$): 동결된 LLM의 마지막 레이어에서 추출된 정적인 고차원 직관입니다. 이는 추론 깊이에 관계없이 모델이 프롬프트의 의미론적 맥락을 유지하도록 보장합니다.
2. 답변 상태 (Answer State, $y$): 모델의 현재 가설을 나타내는 동적인 벡터입니다. 이는 대략적인 추측에서 시작하여 매 단계마다 정교해지며, 최종 해답으로 수렴합니다.
3. 잠재 스크래치패드 (Latent Scratchpad, $z$): 전용 "숨겨진 생각" 벡터입니다. 답변 상태와 달리, $z$는 유효한 출력을 생성할 필요 없이 추상적이고 고차원적인 논리 경로를 자유롭게 탐색하며, 순수하게 내부적인 작업 기억(working memory) 역할을 수행합니다.

핵심 메커즘

• 잔차 상태 정교화 (Residual State Refinement): 상태 벡터를 교체하는 표준 TRM과 달리, ReLIT은 기존 상태에 더해지는 논리적 델타($\Delta$)를 계산합니다. 업데이트 규칙은 $z_{n+1} = \text{RMSNorm}(z_n + \text{ReLIT}(\text{Linear}([x, y_n, z_n])))$로 정의됩니다. 이를 통해 모델은 기초적인 언어적 맥락을 보존하면서 최종 답변을 점진적으로 "조각(sculpting)"할 수 있습니다.
• 회상 후 학습 프로토콜 (Recall-Then-Learn Protocol): BPTT(Backpropagation Through Time)의 메모리 오버헤드 없이 심층 재귀를 가능하게 하기 위해, ReLIT은 두 단계의 학습 전략을 사용합니다:
  • 1단계 (회상/웜업): 시스템이 안정적인 추론 경로에 안착할 수 있도록 그래디언트(gradient)를 비활성화한 상태에서 업데이트를 수행합니다.
  • 2단계 (학습/최적화): 성숙한 상태에 대해 단일 그래디언트 활성화 업데이트를 수행합니다.
    이 접근 방식은 그래디언트가 없는 웜업을 통해 안정적인 고정점(fixed point)을 근사함으로써 최소한의 메모리 점유율을 보장합니다.
• 적응형 중단 (Adaptive Halting): ReLIT은 신뢰도 기반의 중단 확률을 예측하는 Halt Head를 사용하는 적응형 계산 시간(Adaptive Computation Time, ACT) 메커니즘을 채택합니다. 이를 통해 모델은 논리적 수렴에 도달한 샘플에 대해 계산 예산을 최적화하기 위해 동적으로 마스킹 및 스케일링을 수행할 수 있습니다.

디코딩

최종적으로 정교화된 답변 상태는 동결된 기본 LLM의 출력 투영(output projection)을 통해 어휘 공간으로 다시 투영됩니다. 이는 ReLIT의 추론을 원래 LLM의 의미론적 지도에 고정시켜 잠재적 드리프트(latent drift)를 방지하고 의미론적 일관성을 강제합니다.

3. 주요 기여

• 하이브리드 아키텍처: 동결된 기초 모델의 풍부한 의미 표현 내에 심층 재귀적 추론을 정착시킨 ReLIT을 도입하여, 기존의 소형 재귀 모델들이 가진 의미론적 한계를 해결했습니다.
• 효율적인 잠재 추론: 명시적인 토큰 생성의 지연 시간 없이 그래디언트가 격리된 재귀 루프를 통해 "심층 사고"를 가능하게 하는 구조적 솔루션을 제공합니다.
• 매개변수 효율성: 추론 능력이 모델의 파라미터 너비가 아닌 재귀적 깊이를 통해 효율적으로 확장될 수 있음을 입증하였으며, 최소한의 감독(supervision)만으로 높은 성능을 달ach했습니다.
• 잔차 상태 정교화: 모델이 상태를 처음부터 재생성하는 대신 논리적 델타를 계산하는 새로운 전략을 제시하여, 더 부드러운 그래디언트 흐름을 보장하고 의미 정보의 소실을 방지합니다.

4. 결과 및 평가

ReLIT은 ProofWriter, RuleTaker, HELP, NaN-NLI, TaxiNLI의 다섯 가지 다양한 데이터셋을 포함하는 일반 논리 추론 평가(GLoRE) 벤치마크에서 평가되었습니다.

• 성능: ReLIT은 논리 추론 과제에서 높은 정확도를 달성했으며, 훨씬 작은 백본(TinyLlama-1.1B)과 최소한의 감독을 사용했음에도 불구하고 GPT-4 및 o1 mini와 같은 전문 추론 모델을 포함한 훨씬 더 큰 모델들과 대등하거나 이를 능가하는 성능을 자주 보여주었습니다.
  • ProofWriter: 98.6%의 정확도 달성.
  • RuleTaker: 97.6%의 정확도 달성.
  • HELP: 53.43%의 정확도를 달성하여 ChatGPT와 GPT-4를 능가함.
• 적응형 깊이: 모델은 과제 복잡도에 따라 "사고 시간"을 동적으로 조절하는 모습을 보였습니다. 예를 들어, 평균 중단 깊이는 ProofWriter의 3.6단계에서 데이터가 부족한 NaN-NLI 데이터셋의 7.8단계로 증가했는데, 이는 훈련 신호가 약할 때 모델이 논리적 상태를 안정화하기 위해 더 많은 내부 재귀를 수행함을 나타냅니다.
• 데이터 효율성: 본 프레임워크는 저자원 환경(예: NaN-NLI에 대해 단 200개의 샘플로 훈련)에서도 견고함을 입증하였으며, 일관성을 유지하고 무작위적인 추측이나 환각(hallucination)을 피했습니다.

5. 의의 및 주장

본 논문은 ReLIT이 의미론적으로 근거가 확실한 암시적 추론을 위한 원칙적인 프레임워크를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 추론은 너비가 아닌 깊이로 확장될 수 있다: 고성능 논리 추론은 모델의 파라미터 수를 늘리는 것이 아니라 재귀적 잠재 처리의 깊이를 증가시킴으로써 달성될 수 있습니다.
2. 암시적 추론은 실행 가능하다: 모델은 명시적인 토큰 생성의 계산 오버헤드 없이 자연어 과제에 대해 심층적인 다단계 연역을 수행할 수 있습니다.
3. 의미론적 근거(Semantic Grounding)는 필수적이다: 재귀적 추론 블록을 사전 학습된 기초 모델과 결합함으로써, 순수 재귀 아키텍처에서 발견되는 의미론적 간극을 해결하고 환각 없는 견고한 추론을 가능하게 합니다.

저자들은 AI의 미래가 단순히 파라미터 수를 늘리는 것이 아니라, 사전 학습된 의미적 기억을 활용하여 논리의 기하학적 구조를 해결하는 특화된 재귀 엔진을 개발하는 데 있을 것이라고 결론짓습니다.