기술적 요약: 칸 확장 트랜스포머 (KETs)

1. 문제 제기

본 논문은 기계 학습의 근본적인 문제인 **일반화 (generalization)**를 다룹니다: 즉, 작거나 국소적인 도메인의 정보를 더 큰 구조화된 도메인으로 확장하는 문제입니다. 표준 트랜스포머 아키텍처는 토큰 수준의 증거를 집계하기 위해 어텐션 메커니즘에 의존하지만, 기하학적 혼합, 고차 심플리셜 집계, 확산 스타일 완성 등을 포함하는 다양한 구현을 포괄하는 통합된 범주론적 프레임워크는 부족합니다.

또한, 본 논문은 언어 모델링에서 중요한 긴장 관계를 지적합니다: "황금 (gold)" 미래 토큰을 유출하여 인과적 유효성을 위반하지 않으면서 어떻게 **비인과적 이웃 (noncausal neighborhoods)**을 활용할 수 있는가 (이는 더 풍부한 구조적 의존성을 포착할 수 있음) 입니다. 표준 자기회귀 모델은 엄격하게 인과적이지만, 확산 모델은 종종 미래 정보에 의존합니다. 본 논문은 이러한 접근 방식을 통합하고, 비인과적 구조가 유효한 자기 조건 설정 (self-conditioning) 에 사용될 수 있는 조건을 명확히 하는 프레임워크를 모색합니다.

2. 방법론

2.1 칸 확장을 통한 범주론적 통합

핵심 이론적 기여는 트랜스포머 레이어를 범주론에서 유래한 **가중 구조 확장 연산자 (weighted structured extension operators)**로 공식화하는 것입니다. 구체적으로, 저자들은 **칸 확장 (Kan Extensions)**을 활용하여 국소 정보가 목표 토큰 위치로 어떻게 확장되는지를 정의합니다.

• 왼쪽 칸 확장 (집계): 소스 도메인의 데이터에서 목표 도메인의 값을 구축하는 보편적인 방식으로 간주됩니다. 이 맥락에서 이는 소스 객체 (토큰, 엣지, 심플렉스) 로부터 목표 토큰으로의 증거 집계를 나타냅니다.
• 오른쪽 칸 확장 (완성): 소스 제약 조건과 호환되도록 목표 도메인의 값을 완성하는 보편적인 방식으로 간주됩니다. 이러한 직관은 디노이징 및 구조화된 완성 작업의 기초가 됩니다.

본 논문은 이러한 확장을 위한 공통 계산 형태를 **코엔드 미적분 (coend calculus)**을 사용하여 정의합니다:
$$h'_t \approx \int_{\sigma \in \mathcal{N}} W(t, \sigma) \otimes X(\sigma) \approx \sum_{\sigma \in \mathcal{N}} w(t, \sigma) V(\sigma)$$
여기서 $\mathcal{N}$은 소스 이웃 시스템, $X(\sigma)$는 소스 객체에 할당된 특징 벡터, $W(t, \sigma)$는 구조적 가중치입니다.

2.2 이웃 시스템

본 논문은 소스 이웃 시스템 $\mathcal{N}$의 선택에 따라 세 가지 모델 계열을 구분합니다:

1. 토큰 이웃 (어텐션): $\mathcal{N}$은 토큰 객체만 포함합니다. 이는 시퀀스 상의 가중 왼쪽 칸 확장인 표준 자기 어텐션 메커니즘입니다.
2. 위상적 이웃 (TopoCoend): $\mathcal{N}$은 잠재 공간에서 학습된 기하학적 그래프입니다. 가중치는 시퀀스 위치가 아닌 위상적 근접성에 의해 유도됩니다.
3. 심플리셜 이웃 (KET): $\mathcal{N}$은 고차 객체를 포함합니다:
   • 0-심플렉스: 토큰.
   • 1-심플렉스: 엣지 (예: 인접 토큰 쌍).
   • 고차 심플렉스: 면, 모티프, 또는 더 큰 범위.
     KET 은 이러한 고차 소스 객체들을 집계하여 어텐션과 국소 기하학적 혼합을 모두 일반화합니다.

2.3 예측 - 분리 (Predict-Detach) 체제

비인과적 이웃을 사용할 때 발생하는 정보 유출 문제를 해결하기 위해, 본 논문은 예측 - 분리 (Predict-Detach) 메커니즘을 도입합니다.

• 메커니즘: 교사 강제 (teacher-forced) 된 숨겨진 상태 (진실 미래 정보를 포함) 를 운반하는 대신, 모델은 인과적 숨겨진 상태 $h_t$로부터 (로그이트 및 임베딩 조회를 통해) 예측 운반체 (predictive carrier) $\hat{e}_t$를 계산하고 detach() 연산을 적용합니다.
• 중요성: 이는 "모달 경계 (modal boundary)"를 생성합니다. 순전파 (forward pass) 는 모델이 비인과적 이웃 (예: 미래 위치에서의 예측 집계) 을 사용할 수 있게 하지만, 역전파 (backward pass, 기울기 흐름) 는 차단됩니다. 이는 모델이 미래 토큰을 운반체에 직접 인코딩하는 것을 학습하지 못하게 하여 인과적 유효성을 유지하면서도 구조화된 자기 조건 설정을 가능하게 합니다.

2.4 구조화된 완성 (디노이징)

본 논문은 컨텍스트 $C_t$를 곱 객체 $\Sigma^B$로 매핑하는 **직접 블록 예측 (Direct Block Prediction)**과 손상된 블록 $\tilde{x}$와 컨텍스트를 깨끗한 블록으로 매핑하는 **디노이징 완성 (Denoising Completion)**을 대비시킵니다.

• 범주론적 해석: 직접 예측은 원샷 확장 문제입니다. 디노이징은 심플리셜 호모토피 이론에서의 혼 채우기 (Horn Filling) 문제로 프레임됩니다. 여기서 모델은 부분적으로 지정된 심플렉스 (손상된 블록) 를 완전한 심플렉스로 완성합니다. 이는 오른쪽 칸 확장 (Right Kan Extension) (여러 국소 제약 조건과 호환되는 값 찾기) 으로 해석됩니다.

3. 주요 기여

1. 통합 프레임워크: 본 논문은 **칸 확장 트랜스포머 (KETs)**를 어텐션, 기하학적 트랜스포머 (GT), 확산 스타일 완성을 통합하는 범주론적 프레임워크로 제안합니다. 이는 어텐션을 단일 이웃 사례로, 인시던스 제한 KET 을 희소 엣지 사례로, 이차 KET 을 고차 심플리셜 사례로 하는 위계 구조를 확립합니다.
2. 인과적 경계 정의: 본 논문은 예측 - 분리 (Predict-Detach) 체제를 비인과적 이웃을 사용하기 위한 유효한 경계로 엄격하게 정의합니다. 운반되는 값이 교사 강제 상태가 아닌 분리된 예측일 때만 비인과적 구조가 자기 조건 설정에 유효함을 입증합니다.
3. 실험적 검증: 저자들은 펜트리뱅크 (PTB), 위키텍스트 -2, 위키텍스트 -103 에서 세 가지 체제 (Strict-Causal, Gold Noncausal, Predict-Detach) 에 걸쳐 12 가지 다른 트랜스포머 구현에 대한 포괄적인 평가를 제공합니다.
4. 구조화된 완성 통찰: 본 논문은 언어 모델링이 순수한 원샷 생성보다는 구조화된 완성 (디노이징/혼 채우기) 문제로 이해하는 것이 더 적절하다고 주장합니다. 이는 직접 블록 예측과 디노이징 간의 극적인 성능 차이로 입증됩니다.

4. 실험 결과

4.1 Strict-Causal 체제

• WikiText-2 및 WikiText-103에서 이차 KET(전역 심플리셜 집계) 은 인과적 아키텍처 중 표준 트랜스포머와 기하학적 트랜스포머보다 우수한 성능을 보입니다.
• **펜트리뱅크 (PTB)**에서는 표준 트랜스포머가 여전히 가장 강력한 인과적 모델입니다.
• 인시던스 제한 KET(희소) 는 경쟁력이 있지만, 희소 근사라는 점과 일치하게 더 큰 데이터셋에서는 이차 KET 보다 약간 약합니다.

4.2 예측 - 분리 체제 (자기 조건 설정)

• 지배적 효과: 모든 데이터셋에서 가장 큰 성능 향상은 특정 이웃 계열이 아니라 예측 - 분리 체제 자체에서 비롯됩니다.
• 성능: 숨겨진 상태 운반체를 분리된 예측 운반체로 대체하면 퍼플렉시티가 급격히 감소합니다.
  • 예시 (PTB): 이차 KET 이 인과적 (133.37) 에서 31.43(예측 - 분리) 으로 감소합니다.
  • 예시 (WT2): 156.42 에서 38.23으로 감소합니다.
  • 예시 (WT103): 210.30 에서 51.89로 감소합니다.
• GT-PD(예측 - 분리를 갖춘 기하학적 트랜스포머) 는 가장 강력한 자기 조건 설정 기준선 결과를 달성합니다 (예: PTB 에서 1.05 PPL).

4.3 유출 진단

• Gold Noncausal 체제 (교사 강제 미래 상태) 를 사용하는 모델은 거의 0 에 가까운 퍼플렉시티 (예: ~1.0) 로 붕괴됩니다. 이는 예측 - 분리 체제에서의 성능 향상이 정보 유출 때문이 아니라 유효한 자기 조건 설정 때문임을 확인시켜 줍니다.

4.4 구조화된 완성 (블록 디노이징)

• 디노이징 vs 직접 예측: 블록 완성 디노이징은 직접 블록 예측보다 극적으로 쉽습니다.
  • PTB (L=16): 직접 블록 예측 PPL 약 143; 디노이징 PPL 약 4.18.
  • WT103 (L=16): 직접 블록 예측 PPL 약 472; 디노이징 PPL 약 5.74.
• 이는 부분적인 미래 구조 ("혼") 를 제공하는 것이 처음부터 완전한 곱 객체를 생성하는 것보다 예측 작업의 난이도를 크게 낮춘다는 가설을 확인시켜 줍니다.

5. 중요성 및 주장

본 논문은 **칸 확장 (Kan Extensions)**이 구조화된 도메인 전반에 걸쳐 국소 토큰 정보가 어떻게 운반, 집계, 재구성되는지를 설명하는 올바른 보편적 어휘를 제공한다고 주장합니다.

• 아키텍처 통찰: 이웃의 선택 (토큰 대 심플렉스) 은 중요하지만, 정보 체제(어떤 값이 운반되는지) 가 경험적 성능에서 지배적인 요소입니다.
• 인과적 유효성: 본 논문은 "예측 - 분리" 메커니즘을 사용하여 미래 예측으로부터 기울기 경로를 끊는다면, 비인과적 이웃이 인과성을 위반하지 않고 자기 조건 설정에 사용될 수 있음을 확립합니다.
• 작업 공식화: 본 논문은 디노이징 목표가 직접 생성보다 훨씬 낮은 퍼플렉시티를 산출하므로, 언어 모델링을 순차적 확장 (왼쪽 칸 확장) 이 아니라 **구조화된 완성 (오른쪽 칸 확장/혼 채우기)**으로 보아야 한다고 제안합니다.

저자들은 겸손한 입장을 견지하며, 프레임워크가 기존 모델을 통합하고 경험적 향상을 설명하지만, 연구 규모가 제한적 (퍼플렉시티 및 특정 데이터셋에 초점) 이며 대규모 아키텍처에 대한 최종 판단을 내리는 것은 아니라고 명시합니다. 주요 기여는 구조화된 언어 모델에 대한 향후 연구를 위한 실용적인 설계 렌즈와 인과적 프레임입니다.