Latent Chain-of-Thought Improves Structured-Data Transformers

기술 요약: 잠재적 연쇄 사고 (Latent Chain-of-Thought) 가 구조화된 데이터 트랜스포머를 개선함

문제 제기
대규모 언어 모델 (LLM) 의 최근 발전은 테스트 시간 계산량 (test-time compute) 을 확장하는 것, 특히 연쇄 사고 (Chain-of-Thought, CoT) 추론을 통해 추론 능력을 크게 향상시킬 수 있음을 보여주었으며, 때로는 단순한 파라미터 확장보다 더 나은 성과를 내기도 합니다. "Coconut"(잠재 상태를 임베딩으로 피드백하는 방식) 과 순환 깊이 (공유 트랜스포머 블록을 반복적으로 적용) 와 같은 메커니즘이 자연어 분야에서 탐구되어 왔지만, 이러한 이점이 구조화된 데이터 영역으로 전이되는지는 여전히 불분명합니다. 표 예측 (TabPFN, TabICL 등) 및 시계열 예측 (Chronos, TimesFM 등) 을 위한 최첨단 모델들은 현재 구조화된 관찰 데이터를 단일 순방향 통과 (single forward pass) 로 처리합니다. 본 논문은 예측 전에 여러 번의 잠재 계산 라운드를 도입하는 **잠재적 연쇄 사고 (latent chain-of-thought)**가 이러한 구조화된 데이터 설정에서 성능을 향상시킬 수 있는지 조사합니다.

방법론
저자들은 최종 예측을 생성하기 전에 여러 번의 계산 라운드를 허용하는 구조화된 데이터 트랜스포머를 위한 순환 방식을 제안합니다. 핵심 메커니즘은 다음과 같이 작동합니다:

1. 초기 통과: 트랜스포머 $f_\theta$가 입력 (컨텍스트 및 쿼리 토큰) 을 처리하여 잠재 상태를 생성합니다.
2. 압축: 쿼리 위치 ($H_q$) 의 잠재 상태가 작은 다층 퍼셉트론 (MLP) $\phi_\theta$를 통해 "피드백 토큰"($Z$) 으로 압축됩니다.
3. 순환: 이러한 피드백 토큰이 원래 입력 시퀀스에 추가됩니다. 그런 다음 트랜스포머가 이 확장된 시퀀스에 대해 다시 실행됩니다.
4. 반복: 이 과정은 $R$번의 순환에 대해 반복됩니다. 최종 예측은 $R$번째 통과 후 원래 쿼리 위치의 잠재 상태로부터 디코딩됩니다.

본 연구는 두 가지 영역에서 이 접근 방식을 평가합니다:

• 표 예측: TabICL 의 3 단계 아키텍처 (열별, 행별, 컨텍스트 학습 트랜스포머) 를 활용합니다. 순환은 특히 컨텍스트 학습 단계에 적용되며, 여기서 피드백 토큰이 행 임베딩 시퀀스에 추가됩니다.
• 시계열 예측: 패치 기반 예측 트랜스포머를 사용합니다. 미래 쿼리 잠재 상태가 압축되어 입력 시퀀스에 추가된 후 트랜스포머 스택이 다시 실행됩니다.

실험 설계 및 베이스라인
잠재적 CoT 의 특정 기여도를 분리하기 위해 저자들은 개별 데이터셋에서 모델을 처음부터 훈련시키고 세 가지 명확한 베이스라인과 비교합니다:

1. 동일 깊이 베이스라인: 순환이 없는 ($R=0$) 표준 트랜스포머로, 동일한 수의 레이어를 가집니다. 이는 파라미터 수를 통제합니다.
2. 더 깊은 베이스라인: 순환 없이 훈련된 두 배 레이어 ($2L$) 를 가진 트랜스포머입니다. 이는 $R=1$인 CoT 모델의 유효 순방향 통과 깊이와 FLOPs 를 일치시키지만 파라미터 수를 두 배로 늘려 깊이/용량에서 오는 이득과 순환에서 오는 이득을 분리합니다.
3. 루프형 베이스라인: 통과 간에 가중치를 공유하지만 (순환 깊이) 피드백 토큰을 입력에 추가하지 않는 모델들입니다. 여기에는 가중치 결합 단일 블록 루핑과 멀티 블록 스택에 대한 Universal-Transformer 스타일 루핑이 포함됩니다. 이는 명시적인 CoT 토큰의 기여도를 단순한 가중치 결합 순환과 분리합니다.

주요 결과
이 접근 방식은 LTSF-9 시계열 벤치마크의 9 개 데이터셋과 TabPFN 평가에 사용된 OpenML 서브셋의 27 개 데이터셋, 총 36 개 데이터셋에서 평가되었습니다.

• 성능 향상: 잠재적 CoT 는 9 개 시계열 데이터셋 중 8 개에서 (양자 손실 기준 평균 +10.99% 향상) 그리고 27 개 표 데이터셋 중 22 개에서 (정확도 기준 평균 +5.31% 향상) 동일 깊이 베이스라인을 능가했습니다.
• 더 깊은 베이스라인과의 비교: CoT 모델은 더 깊고 순환이 없는 베이스라인보다 시계열에서 평균 21.01%, 표에서 4.75% 더 높은 성능을 보였습니다. 더 깊은 베이스라인은 종종 시계열 작업에서 원래 동일 깊이 베이스라인보다 낮은 성능을 보였는데, 이는 작은 데이터셋에서의 과적합을 시사합니다.
• 루프형 베이스라인과의 비교: CoT 모델은 피드백 토큰이 없는 가중치 결합 루프형 모델보다 시계열에서 7.74%, 표에서 3.82% 더 높은 성능을 보였습니다.
• 깊이 확장:
  • 시계열: 모든 테스트된 깊이 ($R \in \{1, 2, 4, 8\}$) 에서 성능이 향상되었으나 명확한 단조 경향은 없었고, 이득은 정체되었습니다. 주목할 점은 $R=4$에서 훈련된 모델이 평가 시 $R=8$로 일반화되었다는 것입니다.
  • 표: 성능은 단조롭지 않은 경향을 보였습니다; 단일 순환 ($R=1$) 은 성능을 약간 저하시켰지만, 추가 순환 ($R=2, 4$) 은 베이스라인을 회복하고 능가했습니다.

의의 및 주장
본 논문은 연쇄 사고가 단순한 모델 깊이 또는 파라미터 수 증가와 구별되는 구조화된 데이터에 대한 테스트 시간 계산 확장을 위한 유용한 축이라고 주장합니다. 결과는 다음을 보여줍니다:

1. 개선 메커니즘: 이득은 단순히 계산량 증가나 가중치 결합 때문이 아닙니다. 쿼리 위치의 잠재 상태를 피드백 토큰으로 압축하고 이를 재처리하는 구체적인 메커니즘이 결정적입니다. 루프형 베이스라인의 저조한 성능은 이득이 잠재 상태의 단순한 반복적 정제보다는 후속 통과가 주시할 수 있는 시퀀스에 중간 계산을 "기록"할 수 있는 능력에서 비롯됨을 시사합니다.
2. 전이성: 언어 모델링에서 이전에 성공적이었던 잠재적 CoT 패러다임이 표 및 시계열 예측 작업으로 성공적으로 전이됩니다.
3. 한계: 저자들은 연구 결과가 처음부터 훈련된 모델을 기반으로 했음을 지적합니다. 대규모 사전 훈련된 파운데이션 모델에 대한 잠재적 CoT 의 효과는 여전히 열린 실증적 질문입니다. 또한, 현재 구현은 입력당 적응형 메커니즘이 아닌 모델당 고정된 순환 깊이를 사용하며, 분포 변화 (distribution shift) 와의 상호작용은 탐구되지 않았습니다.