기술 요약: 테스트 타임 재구성을 통한 잠재적 추론의 루프 닫기 (Closing the Loop on Latent Reasoning via Test-Time Reconstruction)

1. 문제 정의

최근 대규모 언어 모델(LLM)의 발전은 중간 추론 과정을 명시적인 자연어 흔적(trace)에서 잠재적(latent) 또는 캐시 수준의 표현으로 전환하고 있습니다. 이러한 전환은 토큰 오버헤드를 줄이고 텍스트 기반 추론(예: 생각의 사슬(CoT), 멀티 에이전트 텍스트 교환)에 내재된 이산적 통신 병목 현상을 피하는 것을 목표로 합니다. 그러나 이러한 전환은 결정적인 결함인 중간 충실도(intermediate fidelity)의 손실을 초래합니다.

전통적인 텍스트 기반 추론에서는 중간 상태를 검사할 수 있습니다. 만약 모델이 원래 쿼리에서 제약 조건을 누락했다면, 그 오류는 가시적으로 드러납니다. 반면, 잠재적 추론은 개방 루프(open loop) 방식으로 작동합니다. 일단 잠재 상태가 생성되면, 이는 검증 과정 없이 다운스트림 연산에 의해 소비됩니다. 이러한 상태들은 불투명하기 때문에, 의미론적 드리프트(semantic drift)나 작업 관련 제약 조건의 손실이 인지되지 않은 채 발생할 수 있으며, 이는 내부적으로는 일관되어 보이지만 근본적으로는 원래의 문제 명세와 어긋나는 추론 오류로 이어집니다. 기존 방법론들은 불투식한 잠재 상태가 여전히 이를 생성한 쿼리의 제약 조건을 보존하고 있는지 확인할 메커니즘이 부족합니다.

2. 방법론: ReLAT

이를 해결하기 위해, 저자들은 쿼리 자체를 충실도의 기준으로 사용하는 자기 지도 학습 기반의 테스트 타임 훈련 프레임워크인 **ReLAT (Reconstruction-Guided Latent Reasoning At Test Time)**를 제안합니다.

핵심 원리

중심적인 관찰은 다음과 같습니다: 만약 어떤 잠재 상태가 쿼리를 충실하게 나타낸다면, 해당 쿼리는 그 상태로부터 복구 가능해야 합니다. 만약 쿼리가 재구성될 수 없다면, 해당 잠재 상태는 작업 관련 정보를 상실한 것입니다. ReLAT는 질문 $\rightarrow$ 잠재적 사고 $\rightarrow$ 질문의 미분 가능한 사이클을 구축함으로써 이를 실행에 옮깁니다.

기술적 구현

1. 미분 가능한 잠재 표현: 테스트 타임 동안 경사 하강법 기반 최적화를 가능하게 하기 위해, ReLAT는 이산적인 토큰 선택을 연속적인 완화(continuous relaxation) 기법으로 대체합니다. 잠재적 사고는 모델의 어휘 분포로부터 유도된 기대 토의 임베딩(expected token embeddings)으로 표현됩니다(온도 $\tau$를 사용한 소프트맥스 완화 적용). 이를 통해 잠재 벡터를 임베딩 공간과 연결하면서도 역전파를 위한 미분 가능한 경로를 유지합니다.
2. 재구성 루프 (The Reconstruction Loop):
   • 생성 (Generation): 주어진 테스트 쿼리 $Q$에 대해, 모델은 임시 LoRA 파라미터 $\phi$를 사용하여 연속적인 잠재 사고 시퀀스 $E_\phi(Q)$를 생성합니다.
   • 재구성 (Reconstruction): 동일한 모델이 잠재 시퀀스 $E_\phi(Q)$로부터 원래의 질문 $Q$를 재구성하려고 시도합니다 백.
   • 최적화 (Optimization): 재구성된 질문과 원래 질문 사이의 마스크드 교차 엔트로피(masked cross-entropy)로 정의되는 재구성 손실($L_{ReLAT}$)을 계산합니다.
   • 업데이트 (Update): LoRA 파라미터는 이 재구성 손실을 최소화하도록 경사 하강법을 통해 업데이트됩니다. 이때 백본 모델은 동결(frozen) 상태를 유지합니다.
3. 추론 (Inference): $N$번의 최적화 단계 이후, 최종 답변이 적응된 파라미터를 사용하여 생성됩니다. 이후 LoRA 파라미터는 다음 인스턴스로의 교차 샘플 오염을 방지하기 위해 초기화됩니다.

결정적으로, 재구성은 최종 답변을 생성하기 전, 잠재 상태를 문제 명세에 고정(anchor)시키기 위한 **적응 신호(adaptation signal)**로 사용되며, 문제를 직접 해결하기 위한 대체 수단이 아닙니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

• 잠재적 추론을 폐쇄 루프 문제로 정의: 저자들은 잠재 공간으로 추론을 이동시킬 때 발생하는 핵심 비용이 중간 충실도의 손실임을 식별했습니다. 이를 표준 파이프라인이 잠재 상태를 소비할 때 그것이 원래의 쿼리를 여전히 나타내는지 검증하지 못하는 입력 충실도 문제로 정형화했습니다.
• 자연스러운 충실도 신호로서의 재구성: 본 논문은 원래의 쿼리가 잠재 상태의 충실도를 테스트하기 위한 자연스러운 참조점이라고 주장합니다. ReLAT는 이를 테스트 타임에 최적화되는 미분 가능한 자기 지도 학습 루프로 구현하여, 잠재적 사고가 원래의 제약 조건을 보존하도록 하는 구조적 점검을 제공합니다.
• 체계적 평가: 제안된 방법은 수학적 추론, 지식 집약적 QA, 코드 생성 분야에서 단일 모델 추론, 텍스트 기반 협업, 개방 루프 잠재 협업 및 대안적인 테스트 타임 훈련 목적 함수들과 비교하여 벤치마킹되었습니다.

4. 실험 결과

저자들은 Qwen 제품군(4B, 8B, 14B)과 DeepSeek-R1-Distill-Qwen-7B를 대상으로 세 가지 벤치마크(AIME 2024/2025, MBPP+, GPQA-Diamond/MedQA)에서 ReLAT를 평가했습니다.

• 성능 향상: ReLAT는 단일 모델 추론, 텍스트 기반 멀티 에이전트 시스템(TextMAS), 개방 루프 잠재 협업(LatentMAS)을 일관되게 능가했습니다.
  • AIME 2024 (Qwen3-8B 기준), ReLAT는 정확도를 56.7%(LatentMAS)에서 **73.3%**로 높였으며, 가장 강력한 개방 루프 베이스라인 대비 16.6%포인트의 이득을 보였습니다.
  • MBPP+ (코드)에서 ReLAT는 Qwen3-4B에서 79.9%, Qwen3-14B에서 **83.3%**를 달성하며 각각의 LatentMAS 베이스라인을 넘어섰습니다.
  • GPQA-Diamond에서도 ReLAT는 모든 Qwen3 스케일에서 최상의 결과를 달성했습니다.
• TTT 베이스라인과의 비교: ReLAT는 COME(엔트로피 최소화) 및 QTTT(쿼리 수준 업데이트)와 같은 대안적인 테스트 타임 훈련 목적 함수보다 우수한 성능을 보였습니다. 이는 성능 향상이 단순히 일반적인 적응 때문이 아니라, 구체적으로 재구성을 통한 충실도 신호로부터 기인함을 시사합니다.
• 효율성: 텍스트 기반 반복 정제(Self-Refine)와 비교했을 때, ReLAT는 더 높은 정확도(AIME 2025에서 63.33% vs 53.33%)를 달면서도 84.0%의 토큰 사용량 감소(10,280 토큰 vs 64,381 토큰)를 달려냈습니다. 이는 중간 단계에서 명시적인 텍스트 생성을 피함으로써 얻은 상당한 효율성 이득을 입증합니다.
• 절제 연구 (Ablation Studies): 연구 결과, 학습률 $2 \times 10^{-5}$와 잠재적 사고 길이 $K=16$이 적응과 안정성 사이의 최적의 균형을 제공함을 발견했습니다.

5. 의의 및 주장

본 논문은 ReLAT가 잠재적 추론을 위한 필수적인 구조적 닻(structural anchor)을 제공한다고 주장합니다. 개방 루프 잠재 파이프라인을 원래 입력에 대해 검증되는 폐쇄 루프 프로세스로 전환함으로써, ReLAT는 불투명한 추론 상태를 더욱 신뢰할 수 있고 근거 있는(grounded) 상태로 만듭니다.

저자들은 재구성이 올바른 추론을 보장하기 위한 충분조건은 아님을 겸허히 언급합니다. 이론적으로 어떤 잠재 상태는 질문을 재구성할 수는 있지만 문제를 해결하는 데는 실패할 수 있습니다. 그러나 저자들은 이것이 문제 제약 조건에서 벗어난 잘못된 잠재 상태를 필터링하고 수정하기 위한 필요한 구조적 점검이라고 주장합니다. 이 연구의 의의는 정답(ground-truth)이나 외부 피드백 없이도 자기 지도 학습 기반의 미분 가능한 메커니즘을 제공하여, 잠재 연산의 효율성 이점을 유지하면서 다양한 작업에서 성능을 향상시킨다는 점에 있습니다.