기술적 요약: 트랜스포머 내 암시적 추론의 확장 특성

문제 정의

본 논문은 Horn 절 만족도 문제에 적용될 때, 깊이 제한된 트랜스포머에서 암시적 추론의 계산적 한계를 조사한다. 트랜스포머가 논리 알고리즘을 시뮬레이션할 수 있음을 보여준 바 있으나, 선행 연구들은 이들이 종종 가짜 특징(단순화) 에 의존하여 훈련 분포에 특화된 단축 경로를 사용하며, 충실한 순차 알고리즘을 실행하지는 않는다고 시사한다. 이로 인해 분포 외 (OOD) 일반화가 저하되고 문제 복잡도에 따른 확장성이 실패하게 된다.

핵심 과제는 체인 오브 씽킹 (CoT) 프롬프팅이 제공하는 명시적 단계별 생성 없이도, 트랜스포머가 순차적 P-완전 과정인 전진 연쇄 (forward-chaining) 를 암시적으로 수행할 수 있도록 모델의 깊이와 너비를 증가시킬 수 있는지 결정하는 것이다. 저자들은 추론의 "충실한 근사"에 필요한 확장 특성을 규명하고, 깊이 제한된 모델이 이러한 작업을 직접 해결하지 못하게 만드는 아키텍처 병목 현상을 이해하고자 한다.

방법론

1. 데이터셋 생성 및 편향 완화

단순화 학습 없이 체계적으로 추론을 연구하기 위해, 저자들은 이전 연구 [7] 에 기반한 세 가지 데이터셋 생성기를 활용한다:

• 규칙 우선순위 (RP): 무작위 사실과 규칙으로 구성된 얽힌 그래프를 생성한다.
• 레이블 우선순위 (LP): 무작위 방해 규칙으로 가려진 논리적 골격을 가진 계층적 그래프를 생성한다.
• LP:* 증가된 순환 의존성을 가진 LP 의 변형이다.

모델이 규칙이나 사실의 수와 같은 표면적 상관관계 (예: 증명 가능성 예측) 를 악용하지 못하도록 방지하기 위해, 저자들은 $r^2$ 휴리스틱을 도입한다. 이 데이터 증강 전략은 반대 레이블을 가지지만 표면적 통계는 거의 동일한 최소한으로 다른 반사실적 쌍 $(C_1, C_2)$ 을 구성한다. 이는 모델이 선형적 계수가 아닌 구조적 특징 (그래프 위상) 에 의존하도록 강제한다.

또한, 저자들은 논리적 깊이($\delta$) 를 기준으로 데이터셋을 균형을 맞추며, 역방향 연쇄 깊이가 아닌 논리적 깊이를 기준으로 한다. 이는 증명 불가능한 샘플이 부재를 확인하기 위해 상당한 검색 노력이 필요하도록 하여, 얕은 깊이와 증명 불가능성 간의 상관관계를 제거한다.

2. 아키텍처 개입

본 연구는 몇 가지 특정 수정이 가해진 Llama 3 기반 디코더 전용 트랜스포머를 활용한다:

• 타입 임베딩: 논리적 역할 (사실, 규칙 전제, 규칙 결론) 을 토큰 정체성에서 분리하는 구성적 임베딩 시스템으로, 위상에 대한 명시적 그라운딩을 제공한다.
• 양방향 접두사 마스킹: 표준 인과적 마스킹과 달리, 문제 진술 내에서 모든-대-모든 어텐션을 허용하여 순차적 편향을 완화하고 모델이 전체 논리 그래프를 동시에 볼 수 있게 한다.
• 교정 목적 함수: 직접 예측과 CoT 샘플의 혼합 데이터셋으로 훈련하는 것 (이는 작업 토큰 임베딩 붕괴를 유발함) 대신, 저자들은 직접 예측과 CoT 흔적을 단일 시퀀스로 연결한다. 격리된 어텐션 마스크는 두 가지 분기가 모두 문제 진술에 주의를 기울이되 서로에는 주의를 기울이지 못하게 한다. 이는 직접 예측의 추론 원리를 CoT 의 명시적 알고리즘 단계와 정렬시킨다.

3. 이론적 프레임워크

저자들은 복잡도 및 정보 이론적 렌즈를 통해 확장을 분석한다:

• 규칙 합성: 병렬 포인터 점프를 통해 달성 가능한 $\lambda(\delta) = \Omega(\log \delta)$ 레이어로 확장되는 것으로 가정된다.
• 전진 연쇄: Horn 절 추론의 P-완전성으로 인해, 깊이 $\delta$의 연쇄에 대한 충실한 검증은 본질적으로 순차적이므로 $\lambda(\delta) = \Omega(\delta)$ 레이어가 필요할 것으로 가정된다.
• 중첩 (Superposition): 모델은 특징을 제한된 어텐션 헤드 차원에 포장해야 한다. 저자들은 프로크루스테스 정렬을 사용하여 은닉 상태의 진화를 추적하며, 직교 변환에도 불구하고 선형적으로 분리 가능한 정보가 레이어 전반에 걸쳐 위상적으로 일관성을 유지함을 발견한다.

주요 기여

1. 실증적 확장 경향: 논문은 모델 깊이 ($L$) 를 증가시키는 것이 암시적 (직접) 과 명시적 (CoT) 추론 성능 간의 격차를 해소하는 주요 요인임을 규명한다. 너비 확장 (모델 차원 $d_{model}$ 증가) 은 미미한 이점을 제공하지만, 전진 연쇄의 근본적인 순차적 병목 현상을 극복할 수는 없다.
2. 체계적 단축 경로 완화: $r^2$ 휴리스틱, 양방향 마스킹, 그리고 교정 목적 함수의 조합은 OOD 일반화를 크게 개선한다. 특히 $r^2$ 휴리스틱은 표면적 통계를 레이블과 비상관화함으로써 모델이 구조적 특징을 학습하도록 강제한다.
3. 아키텍처 정렬: 본 연구는 교정 목적 함수(단일 시퀀스 내에서 직접 예측과 CoT 를 통합) 가 직접 예측의 최적화를 실현 가능하게 만든다고 입증한다. 이를 통해 모델은 전진 연쇄의 공유 추론 원리를 학습할 수 있으며, CoT 를 경험적 상한선으로 효과적으로 활용한다.
4. 깊이 외삽 한계: 저자들은 깊이 증가가 훈련 범위 내 ($\delta \leq 6$) 에서 암시적 추론이 CoT 성능에 접근하도록 허용하지만, 깊이 외삽 ($\delta > 6$) 에는 여전히 CoT 가 필요함을 발견한다. 깊이 제한된 모델의 암시적 추론은 최악의 경우 초다항식 너비 성장 없이는 P-완전 문제를 완벽하게 해결할 수 없다.

실험 결과

• 구성 요소 제거 실험: LP 데이터셋에서 교정 목적 함수가 가장 큰 한계적 개선 ( $\delta \leq 6$ 에 대해 약 +18.9%) 을 제공했으며, 이어 양방향 마스킹 (+8.4%) 과 $r^2$ 휴리스틱 (+7.1%) 이 뒤를 이었다. 교정 목적 함수 없이 $r^2$ 휴리스틱만 단독으로 사용할 경우 직접 학습에 미미하거나 부정적인 영향을 미쳤으며, 이는 교정 목적 함수로 모델이 안내되지 않는 한 단축 경로를 제거하더라도 실행 가능한 학습 신호를 제공하지 못함을 시사한다.
• 깊이 확장: 모델 깊이를 $L=8$에서 $L=128$로 확장하는 것은 훈련 범위 내 다양한 그래프 위상과 문제 너비에서 직접 모드와 CoT 모드 간의 성능 격차를 성공적으로 해소했다. $L=128$의 경우, 직접 성능은 $\delta \leq 6$ 문제에서 CoT 와 일치하는 거의 완벽한 정확도에 도달했다.
• 프로빙: 선형 분류기로 은닉 상태를 프로빙한 결과, 모델 깊이가 증가함에 따라 전체 문제 진술 전반에 걸쳐 중간 단계의 증명 가능성이 점점 더 디코딩 가능해짐을 확인했다. 이는 분산된 전진 연쇄 근사를 나타낸다.
• 강화 학습: 강화 학습 (GRPO 및 FlowRL) 을 사용하여 성능을 더욱 향상시키려는 시도는 OOD 일반화를 개선하지 못했다. GRPO 는 확장 없이 기본 모델의 추론 범위를 유지했으며, FlowRL 은 "경험적 지지 축소"로 인한 체계적 저하를 겪었다. 이는 모델이 엔트로피 감소 수렴을 위해 추론 범위를 희생했음을 의미한다.

중요성과 주장

본 논문은 모델 깊이 증가가 암시적 추론에서 견고한 일반화를 달성하는 데 필수적이며, 효과적으로 트랜스포머가 전진 연쇄와 같은 순차 알고리즘을 근사할 수 있게 한다고 주장한다. 저자들은 교정 목적 함수가 모델의 내부 표현을 알고리즘적 목표와 정렬시키는 핵심 메커니즘이며, 추론 시간에서 명시적 CoT 생성 없이도 이러한 순차 과정의 학습을 실현 가능하게 한다고 논한다.

그러나 논문은 이 접근법의 한계에 대해 겸손하게 접근한다. 명시적으로 다음과 같이 기술한다:

• 깊이 외삽에는 여전히 CoT 가 필요하다. 깊이 제한된 모델의 암시적 추론은 CoT 없이는 임의의 깊이로 확장될 수 없다.
• 결과는 합성 작업에 국한된다. 실험은 합성 Horn 절 데이터에 대한 토이 모델을 사용한다. 저자들은 이러한 기법을 실제 세계 도메인이나 복잡한 자연어 추론으로 외삽할 때는 주의가 필요하다고 경고한다.
• 메커니즘은 여전히 모호하다. 저자들은 깊이 확장이 작동함을 관찰하지만, 이러한 근사가 구체적으로 어떻게 나타나는지 (예: 특정 특징 중첩 역동성) 에 대한 정확한 내부 메커니즘은 비선형 표현 딜레마로 인해 부분적으로 설명되지 않은 채 남아 있다.

궁극적으로, 이 작업은 트랜스포머에서 단축 경로 학습과 충실한 알고리즘 실행을 구분하기 위한 엄격한 프레임워크를 제공하며, 충분한 깊이와 아키텍처 정렬을 통해 암시적 추론이 제한된 복잡도 내에서 명시적 추론의 신뢰성에 접근할 수 있음을 시사한다.