기술 요약: 언제 재계획할 것인가: 계층적 잠재 추론에서의 하위 목표 지속성

문제 정의

장기적 추론(Long-horizon reasoning)을 위해서는 시스템이 안정성(중기적 의도에 대한 확약)과 적응성(필요 시 해당 의도를 수정하는 능력) 사이의 균형을 맞추어야 합니다. 외부화된 추론(예: Chain-of-Thought)의 경우, 각 토큰은 시스템을 특정 경로로 암묵적으로 몰아넣습니다. 그러나 잠재 추론 아키텍처(연산이 토큰 흔적이 아닌 은닉 상태 내에서 발생하는 구조)에서는 이러한 명시적인 확약이 강제되지 않습니다. 잠재 추론기는 이론적으로 매 미세 단계(micro-step)마다 중기적 의도를 수정하거나, 혹은 전혀 수정하지 않을 수 있습니다.

본 논문이 다루는 핵심 문제는 잠재 공간에서의 계획을 위한 최적의 시간적 척도를 결정하는 것입니다: 잠재 추론기는 의도를 수정하기 전까지 얼마나 오랫동안 해당 의도에 확약해야 하는가? 기존의 계층적 추론 모델(HRM)은 느린 루프와 빠른 루프를 결합하고 있지만, 명시적인 중기적 의도 신호가 부족하며 오로지 창발적인 순환 역학(recurrent dynamics)에만 의존하고 있습니다. 본 연구는 제어 가능한 하위 목표 지속성(subgoal persistence) 기간($P$)을 갖는 "봉건적 스타일(feudal-style)"의 매니저-워커 인터페이스를 도입함으로써 안정성-적응성 트레이드오프를 해결할 수 있는지 조사합니다.

방법론

저자들은 매니저-워커 아키텍처를 통해 지속적인 잠재 의도를 구체화하는 Subgoal-Augmented HRM을 제안합니다. 이는 계층적 추론 모델(HRM)의 확장판입니다.

아키텍처 및 메커니즘

1. 매니저-워커 인터페이스:

   • 매니저 (고수준): $T$번의 저수준 단계마다 업데이트되는 느린 모듈입니다. 매 $P$번의 저수준 단계마다 정규화된 방향성 하위 목표 벡터 $g_k$를 방출합니다.
   • 워커 (저수준): 미세 단계를 수행하는 빠른 모듈입니다. 이 모듈의 은닉 상태 업데이트는 학습된 투영(projection) $V_L$을 통해 활성화된 하위 목표 $g(t)$에 의해 편향됩니다.
   • 지속성 기간 ($P$): 핵심 하이퍼파라미터입니다. 하위 목표가 수정되기 전까지 활성화되어 있는 저수준 단계의 수를 정의합니다.
     • $P=1$: 하위 목표가 매 단계마다 덮어씌워집니다 (시간적 일관성 없음).
     • $P>1$: 하위 목표가 지속되어, 워커가 단일 의도를 중심으로 여러 업데이트를 구성할 수 있게 합니다.

2. 하위 목표 방출:

   • 매니저는 자신의 상태 $z^H$를 방향성 벡터 $\tilde{g}_k$로 투영하며, 이는 비정상성 역학(non-stationary dynamics)에서 취약할 수 있는 특정 절대적 목표를 강제하지 않고 잠재 공간 내에서 "어디로 이동할지"를 인코딩하기 위해 단위 길이로 정규화됩니다.
   • 스칼라 확약 게이트(commitment gate) $\alpha_k$는 매니저의 불확실성에 따라 영향력의 강도를 선택적으로 조절합니다.

3. 학습 목적 함수:

   • 전체 손실 함수는 기본 HRM 목적 함수($L_{HRM}$)와 내재적 정렬 손실(intrinsic alignment loss, $L_{align}$)을 결합합니다.
     $$L = L_{HRM} + \lambda \sum L^{(k)}_{align}$$
   • 정렬 손실: 약속된 윈도우 $P$ 동안 워커의 은닉 상태의 순 변위($\Delta z^L_k$)가 방출된 하위 목표 $g_k$와 정렬되도록 보상하는 코사인 기반 손실입니다.
   • 하이퍼파라미터 $\lambda$: 정렬 손실의 가중치로, 정렬 사전 확률(alignment prior)과 태스크 그래디언트 사이의 트레이드오프를 제어합니다.

실험 설정

• 데이터셋: ARC-AGI 및 ConceptARC (특히 arc-aug-1000 및 ConceptARC-mini).
• 지표: 주요 지표는 토큰 레벨 LM 손실(cross-entropy)이며, 보조 지표는 정확도 및 정렬 손실입니다.
• 스윕(Sweeps):
  • 지속성 스윕: 고정된 $\lambda=0.05$에서 $P$를 변화시킴 (1에서 8까지).
  • 정렬 가중치 스윕: 고정된 $P=4$에서 $\lambda$를 변화시킴 (0.01에서 1.0까지).
  • 절제 연구(Ablation Study): 간섭의 원인을 격리하기 위해 최적점을 지난 $\lambda=0.10$에서의 통제된 3개 셀 실험 수행.

주요 결과

1. 하위 목표 지속성이 핵심 조절 요소임

연구 결과 지속성은 선택이 아닌 필수임이 밝혀졌습니다.

• 과소 확약 ($P=1$): 하위 목표가 매 단계마다 수정될 때, 하위 목표가 없는 베이스라인(1.640)에 비해 성능이 크게 저하됩니다 (LM Loss 1.674). 하위 목표 주입 기제 자체는 시간적 일관성 없이 존재할 경우 성능을 해칩니다.
• 최적 구간 ($P \in [3, 6]$): $P=3$에서 성능이 급격히 향상되며 (LM Loss 1.544, 베이스라인 대비 0.13 감소), $P=6$까지 견고하게 유지됩니다.
• 과잉 확약 ($P=8$): $P$가 최적점을 넘어 증가함에 따라 성능이 점진적으로 감소합니다. 이는 노후화(staleness)가 불안정성보다 완만한 실패 모드임을 나타냅니다. 즉, 약간 오래된 하위 목표는 여전히 방향적 일관성을 제공하지만, 즉각적으로 수정되는 하위 목표는 아무것도 제공하지 못합니다.
• 재현: $P=3$ 설정은 5개의 시드에 대해 재현되었으며, 평균 LM 손실 1.595 (std 0.045)를 기록하여 결과가 단일 시드의 특이 현상이 아님을 확인했습니다.

2. 정렬 가중치($\lambda$)의 좁은 최적점

• 정렬 가중치는 $\lambda \approx 0.05$에서 좁은 최적점을 보입니다.
• $\lambda = 0.10$에서 성능은 베이스라인에 근접하며, $\lambda \ge 0.20$에서는 베이스라인 미만으로 저하됩니다.
• 이는 정렬 손실이 태스크 그래디언트와 경쟁하는 지배적인 기하학적 제약이 아니라, 워커의 역학을 부드럽게 형성하는 **경량화된 계획 사전 확률(planning prior)**로서 기능할 때 가장 효과적임을 시사합니다.

3. 간섭의 원인 (절제 연구)

$\lambda = 0.10$ (최적점을 지난 지점)에서 전체 메커니즘은 베이스라인보다 성능이 낮았습니다. 통제된 절제 연구를 통해 원인을 격리했습니다:

• $A_{full}$ (학습된 방향): 베이스라인보다 성능이 낮음 (+0.100 LM loss).
• $E_{random}$ (무작위 방향): 베이스라인과 거의 동일한 성능을 보임 (+0.003 LM loss).
• 결론: 간섭은 학습된 방향적 구조에 의해 구체적으로 유발됩니다. 정렬 가중치가 너무 높으면, 학습된 방향이 워커가 원래 태스크에 사용해야 할 표현 용량을 점유하여, 워커를 태스크 목적이 아닌 정렬만을 위한 방향으로 끌어당기게 됩니다.

의의 및 주장

본 논문은 계층적 잠재 추론 시스템에서 구성적 계획(compositional planning)을 위한 근본적인 설계 원칙을 식별했다고 주장합니다. 즉, 중기적 의도는 구성적 구조가 형성될 수 있도록 충분한 계산 단계 동안 일관성을 유지해야 한다는 것입니다.

• 설계 원칙: 지속성이 없는($P=1$) 하위 목표 메커니즘은 구성적 형태(매니저, 워커, 의도 벡터)는 갖추고 있으나 그 기능은 결여되어 있습니다. 이는 "단계의 시퀀스를 계획하는 것"과 "추가적인 신호와 함께 단일 단계를 밟는 것"을 구분하는 데 필요한 시간적으로 확장된 구조를 생성할 수 없습니다.
• 안정성-적응성 트레이드오프: 본 연구는 이 트레이드오프를 정량화하여, 잠재 플래너가 계산을 조직하기 위해서는 최소한의 일관성 지평($P \ge 3$)이 필요하지만, 노후화(long $P$)가 불안정성(instability)보다는 더 허용 가능한 실패 모드임을 보여줍니다.
• 정렬의 역할: 정렬 신호는 소프트한 사전 확률로 작용합니다. 이는 태스크 특정 그래디언트를 압도하지 않으면서 워커를 가이드할 때 가장 효과적이며, 이는 $\lambda \approx 0.05$에서의 좁은 최적점을 통해 입증되었습니다.

저자들은 이를 **구성적 학습(compositional learning)**에 대한 기여로 규정하며, 적절히 지속되는 하위 목표 신호가 어떻게 하위 목표 조건부 은닉 상태 업데이트를 더 긴 지평의 계산으로 조립할 수 있게 하는지를 보여줍니다. 본 연구의 성과는 베이스라인 대비 상대적이며 ARC 스타일의 태스크에 국한되어 있다는 점에서 겸허한 입장을 취하면서도, 식별된 트레이드오프가 계층적 잠재 추론을 위한 일반화 가능한 제약 조건임을 제시합니다.