기술 요약: 칼만 필터링, 크리깅 및 프로세스 노이즈를 통한 정밀 추적 트랜스포머

1. 문제 제기

현대 AI 의 근간이 되는 표준 트랜스포머 아키텍처는 모든 토큰이 동등하게 신뢰할 수 있다는 중요한 암묵적 가정 하에 작동합니다. 실제 응용 분야에서는 이러한 균일성이 보편적인 불확실성을 고려하지 못하는 퇴화 사례입니다. 저자들은 이러한 원칙적인 불확실성 처리의 부재에서 비롯된 세 가지 구체적인 실패 모드를 식별했습니다:

• 콜드스타트 시나리오: 순차적 추천에서 희귀 아이템과 신규 사용자는 희소한 이력을 갖지만, 표준 트랜스포머는 인기 있는 아이템과 동일한 신뢰도로 이를 처리합니다.
• 노이즈가 있는 감독 (Noisy supervision): 대규모 언어 모델 (LLM) 파인튜닝에서 도메인 말뭉치의 토큰 - 레이블 손상 또는 이질적인 신호 품질은 균일한 그래디언트 업데이트를 초래하여, 저신호 토큰을 고신호 토큰과 동일하게 취급합니다.
• 어텐션 싱크 (Attention sinks): 제약이 없는 소프트맥스 어텐션은 정보력이 없는 초기 토큰 (어텐션 싱크) 에 질량을 집중시키거나, 아키텍처가 '신뢰할 수 없는' 위치를 선언할 수 있는 고유한 채널이 부재하여 긴 컨텍스트 검색에서 위치 불확실성에 적응하지 못합니다.

현재의 해결책 (예: 노이즈 제거 마스크, 어텐션 보정, 시그모이드 게이트) 은 종종 고립된 휴리스틱입니다. 본 논문은 이러한 현상들이 표준 트랜스포머에서의 정밀도 ($\lambda = 1$) 의 퇴화, 즉 불확실성이 추적되거나 전파되지 않는다는 공통된 구조적 원인을 공유한다고 주장합니다.

2. 방법론: 베이지안 필터링 트랜스포머 (BFT)

저자들은 베이지안 필터링 트랜스포머 (BFT) 를 제안합니다. 이는 트랜스포머 레이어를 3 단계 베이지안 필터 (관측 $\to$ 업데이트 $\to$ 예측) 로 재해석하는 프레임워크입니다. 이 공식화는 정밀도 (역분산) 를 1 급 시민으로 복원하여 모델이 신뢰도에 기반하여 증거를 적응적으로 가중치할 수 있게 합니다.

2.1 프레임워크 매핑

BFT 는 표준 트랜스포머 연산을 칼만 필터 단계에 매핑합니다:

1. 관측 (크리깅으로서의 셀프 어텐션):

   • 표준 어텐션은 값들의 가중 평균을 계산합니다. BFT 는 이를 크리깅 예측기 (지리통계학 추정기) 로 취급합니다.
   • BFT 는 원시 어텐션 가중치 $\alpha_{tj}$ 대신, 관련성 (쿼리 - 키 유사도) 과 이웃의 사전 정밀도 $\bar{\lambda}_j$를 결합하여 정밀도 가중 크리깅 가중치 $\tilde{\alpha}_{tj}$를 계산합니다:
     $$\tilde{\alpha}_{tj} = \frac{\alpha_{tj} \bar{\lambda}_j}{\sum_{j'} \alpha_{tj'} \bar{\lambda}_{j'}}$$
   • 이는 어텐션 로짓에 정밀도 편향을 효과적으로 추가합니다. 신뢰할 수 없는 이웃 (낮은 $\bar{\lambda}$) 은 관련성이 있더라도 가중치가 낮아집니다.
   • 관측 정밀도 ($\lambda^{obs}_t$): 켤레 베이지안 사전 (역-$\chi^2$) 을 가진 제한 최대우도 (REML) 추정기를 사용하여 크리깅 추정의 잔차에서 유도됩니다. 이는 매개변수 없는 콘텐츠 인식 관측 분산 추정을 제공합니다.

2. 업데이트 (잔차 연결로서의 칼만 업데이트):

   • 표준 잔차 연결 $h' = h + e$는 고정된 이득 $K=1$을 가진 칼만 업데이트입니다.
   • BFT 는 적응형 칼만 이득 $K_t$를 도입합니다:
     $$K_t = \frac{\lambda^{obs}_t}{\lambda_t + \lambda^{obs}_t}$$
   • 관측이 노이즈가 많으면 (낮은 $\lambda^{obs}$), $K_t \to 0$이 되어 모델은 사전 상태를 신뢰합니다. 사전이 불확실하면 (낮은 $\lambda_t$), $K_t \to 1$이 되어 모델은 관측을 신뢰합니다. 이는 학습된 게이트 메커니즘의 필요성을 제거합니다.

3. 예측 (FFN 을 동역학 모델로서):

   • 피드포워드 네트워크 (FFN) 는 상태를 앞으로 진화시킵니다. BFT 는 델타 방법과 FFN 의 대각 야코비안 $J_{FFN}$을 사용하여 FFN 을 통해 정밀도를 전파합니다:
     $$\tilde{\lambda}''_t = \frac{\lambda'_t}{(1 + J_{FFN,t})^2}$$
   • 프로세스 노이즈 ($Q$): 정밀도가 단조롭게 누적되어 (모델을 고정시키는) 것을 방지하기 위해, 학습 가능한 프로세스 노이즈 항 $Q$를 추가하여 정밀도 업데이트를 제한합니다:
     $$\lambda''_t = \left( \frac{(1 + J_{FFN,t})^2}{\lambda'_t} + Q \right)^{-1}$$
   • 이는 모델이 예측 불가능한 동역학을 가진 차원을 식별하고 새로운 증거에 대한 개방성을 높일 수 있게 합니다.

2.2 구현 세부 사항

• 매개변수 없음: 핵심 추정기 (켤레 사전이 있는 REML) 는 학습된 노이즈 바닥이나 보정 하이퍼파라미터가 필요하지 않습니다.
• 드롭인 통합: BFT 는 단일 트랜스포머 레이어 클래스를 대체합니다. 이는 미미한 오버헤드 (<0.1% 매개변수) 를 추가하며, 잔차 계산에 대한 '확장된 제곱' 항등식을 통해 표준 어텐션의 피크 메모리 사용량과 일치합니다.
• 초기 정밀도: 레이어 0 에서 초기 정밀도 $\tau_i$는 각 아이템마다 학습되거나 (임베딩에 대한 작은 MLP 를 통해) 사전 신뢰성 (예: 추천에서의 아이템 빈도) 을 인코딩하도록 학습됩니다.
• 확장: 이 프레임워크는 다양한 분산 추정기 (예: HSTU 와 같은 정규화되지 않은 어텐션을 위한 샌드위치 추정기) 와 멀티헤드 확장을 지원합니다.

3. 주요 기여

1. 통합 프레임워크: 본 논문은 트랜스포머를 베이지안 필터로 공식화하여, 어텐션 싱크, 노이즈가 있는 피드백 손상, 콜드스타트 저하의 근본 원인인 균일한 정밀도 ($\lambda=1$) 를 식별합니다.
2. 효율적인 알고리즘: REML 을 통해 관측 정밀도를 유도하고 야코비안 기반 델타 방법 및 프로세스 노이즈를 사용하여 FFN 을 통해 이를 전파하는 드롭인 알고리즘 (BFT) 으로, 모두 표준 메모리 복잡도를 가집니다.
3. 실증적 검증:
   • 순차적 추천: 6 개의 데이터셋에 걸쳐 3 개의 서로 다른 백본 (SASRec, BERT4Rec, HSTU) 에 적용되었습니다. BFT 는 특히 콜드스타트 사용자와 희귀 아이템에서 상당한 개선을 보여줍니다 (예: 스포츠 데이터셋의 희귀 아이템에서 HR@10 +14.5% 향상).
   • LLM 파인튜닝: 노이즈가 있는 감독 (토큰 - 레이블 손상) 과 노이즈가 있는 컨텍스트 (RAG 방해 요소) 하에서 TinyLlama-1.1B 에 적용되었습니다. BFT 는 노이즈가 있는 어텐션 대신 불확실한 토큰을 FFN 동역학을 통해 라우팅함으로써, 깨끗한 데이터에서도 표준 SFT 보다 견고성과 성능을 향상시킵니다.

4. 결과

• 추천: 희소한 아마존 데이터셋 (스포츠, 악기) 에서 BFT 는 베이스라인을 일관되게 능가합니다. 이득은 신호 - 대 - 노이즈 비율과 엄격하게 상관관계가 있습니다: 데이터가 희소할수록 (불확실성이 높을수록) 개선 폭이 커집니다. 예를 들어, 악기 데이터로 HSTU 에서 BFT 는 +15.1% HR@10 개선을 달성했습니다.
• 콜드스타트 분석: 계층화 분석은 BFT 의 이점이 희귀 아이템 (Q0) 과 콜드 사용자에게 집중됨을 확인합니다. 메커니즘 분석에 따르면, 희귀 아이템의 경우 모델은 낮은 칼만 이득 ($K \approx 0.77$) 과 높은 사전 정밀도를 학습하여, 노이즈가 많은 어텐션 컨텍스트에 의존하기보다 FFN 동역학을 통해 예측을 라우팅합니다.
• LLM 견고성: 노이즈가 있는 SQuAD 파인튜닝에서 BFT 는 표준 SFT 와 포커스 로스 (Focal-loss) 베이스라인 모두를 능가했습니다. 특히 깨끗한 데이터 ($np=0$) 에서 BFT 는 SFT 대비 F1 을 +8.3% 향상시켜, 이 메커니즘이 단순한 노이즈 필터가 아니라 토큰 수준의 신뢰성에 적응하여 표현의 질을 향상시키는 구조적 정규화기임을 입증했습니다.
• 어텐션 싱크: 게이트된 어텐션 모델 (Qiu et al., 2025) 에 대한 분석은 학습된 시그모이드 게이트가 컨텍스트 길이에 구조적으로 불변임을 보였으나, BFT 에서 유도된 칼만 이득은 정보 기하학 (유효 샘플 크기) 을 자연스럽게 추적하여 게이팅이 도움이 되는 이유에 대한 원칙적인 설명을 제공했습니다.

5. 의의 및 주장

본 논문은 정밀도를 복원하는 것이 단일하고 원칙적인 수정으로, 고전적 순차 모델링과 현대 LLM 영역 모두에서 상당한 여지를 열어준다고 주장합니다.

• 전체적 해결책: 특정 실패 모드를 위한 고립된 패치 (예: 콜드스타트를 위한 노이즈 제거 마스크, 싱크를 위한 게이트) 와 달리, BFT 는 통합된 베이지안 공식을 통해 이러한 문제들을 동시에 해결합니다.
• 적응형 라우팅: 핵심 메커니즘은 단순히 "노이즈를 낮추는 것"이 아니라 적응형 정보 라우팅입니다: 모델은 불확실한 토큰에 대해서는 FFN 의 학습된 동역학을, 확신 있는 토큰에 대해서는 어텐션 메커니즘을 신뢰하도록 학습합니다.
• 확장성: 이 접근법은 계산적으로 효율적이며, 추가적인 순방향 통과 (MC 드롭아웃이나 앙상블과 달리) 가 필요 없고 미미한 매개변수 오버헤드만 추가합니다.
• 적은 범위: 저자들은 검증이 주로 순차적 추천 규모에서 이루어졌으며, LLM 실험은 TinyLlama-1.1B 에 대한 개념 증명임을 지적합니다. BFT 는 신호 - 대 - 노이즈 비율이 낮은 영역에서 가장 도움이 되지만, 사전이 이미 잘 결정된 조밀한 데이터셋에서는 이득이 작다고 인정합니다.

요약하자면, 본 논문은 트랜스포머의 한계가 아키텍처 자체에 있는 것이 아니라, 자신의 입력과 중간 상태의 불확실성을 모델링하지 못하는 데 있다고 제시합니다. 트랜스포머를 베이지안 필터로 취급함으로써 BFT 는 이 누락된 차원을 복원하여 불확실한 환경에서 더 견고하고 정확한 모델을 이끌어냅니다.