기술 요약: Forgetful Attention: 인증된 선택과 정밀한 망각을 갖춘 학습 가능한 서포트 벡터 메모리

문제 정의

DeltaNet, 선형 어텐션(linear attention), 선택적 상태 공간 모델(selective state-space models)과 같은 현재의 테스트 타임 러닝(test-time learning, TTL) 어텐션 메커니즘은 제약이 없는 밀집 메모리 상태(일반적으로 최소제곱법 또는 재귀적 형태)를 유지하며 작동한다. 이러한 시스템에서 모든 토큰은 0이 아닌 가중치를 유지하며, 토큰을 제거하는 유일한 메커니즘은 지수적 감쇠(exponential decay)뿐이다. 이 접근 방식은 두 가지 근본적인 한계를 가진다:

1. 인증된 선택의 부재: 어떤 컨텍스트 토큰을 출력의 변화 없이 제거할 수 있는지 결정할 원칙적인 방법이 없다. 기존의 프루닝 휴리스틱(예: H2O, SnapKV)은 보장 없이 점수 기반 메트릭에 의존한다.
2. 불완전한 망각: 규제 요구 사항(예: GDPR의 삭제 권리) 및 임상적 필요성은 특정 토큰의 영향을 완전히 삭제할 수 있는 능력을 요구한다. 그래디언트 기반 망근 방법(예: 그래디언트 상승법, 계수 스케일링)은 경계하기 어렵고 감사인에게 방어하기 힘든 잔류 영향을 남긴다.

방법론

본 논문은 컨텍스트 키(context keys)에 적합하도록 온라인으로 피팅되는 일 클래스 서포트 벡터 데이터 기술(one-class Support Vector Data Description, SVDD) 문제로 어텐션을 재정의한 제약된 최대 마진(max-margin) 메모리 레이어인 SV-Attention을 소개한다.

핵심 메커니즘

컨텍스트 키 $x_i$와 값 $v_i$가 주어졌을 때, SV-Attention은 일 클래스 SVM의 서포트 계수 $\alpha$를 가중 평균으로 계산한다:
$$o(q) = \frac{\sum_i \alpha_i \kappa(q, x_i) v_i}{\sum_i \alpha_i \kappa(q, x_i)}$$
계수 $\alpha$는 고정된 박스 파라미터 $C$를 갖는 볼록 이차 계획법(convex quadratic program)을 푼다:
$$\min_{\alpha} \alpha^\top K \alpha - \text{diag}(K)^\top \alpha \quad \text{s.t.} \quad \sum \alpha_i = 1, \quad 0 \le \alpha_i \le C$$
여기서 $K$는 키 그램 행렬(key Gram matrix)이다.

액티브 세트 분할 (The Active-Set Partition)

해(solution)는 카루쉬-쿤-터커(KKT) 조건을 기준으로 토큰을 세 가지 집합으로 분할한다:

1. 마진 집합 ($S$): $0 < \alpha_i < C$. 이 토큰들은 리드아웃(readout)을 수행한다.
2. 오차 집합 ($E$): $\alpha_i = C$. 경계값 또는 이상치(outlier) 키.
3. 예비 집합 ($R$): $\alpha_i = 0$. 기술 내부(interior)에 위치한 토큰들.

인증된 선택: 상보적 여유성(complementary slackness)에 의해, 예비 집합($R$)의 토큰은 정확히 0의 가중치를 가진다. 따라서 이들을 제거하는 것은 출력을 보존함이 증명 가능하다.
정밀한 망각: 시스템은 경계 KKT 행렬의 역행렬을 유지하는 증분 솔버(incremental solver; Cauwenberghs & Poggio, 2000)를 활용한다. 이를 통해 다음이 가능하다:

• 증분 추가: KKT 조건을 유지하면서 토큰을 추가한다.
• 감소 제거: 프로세스를 역으로 수행하여 토큰을 제거하고, 해당 토큰을 본 적이 없었을 때의 정확한 상태로 솔버를 되돌린다(동일한 고정 $C$ 하에서).

훈련 및 구현

본 논문은 두 가지 별도의 수치적 경로를 채택한다:

1. 정밀 유지 경로 (fp64): 추론 및 인증 검증에 사용된다. 이는 KKT 역행렬을 유지하여, 이 역행렬을 재사용하는 커스로 맞춤형 백워드 패스를 가능하게 하며(두 번째 솔브가 필요 없음), 정확한 감소 삭제를 지원한다.
2. 안정화된 배치 경로 (훈련): GPU에서의 훈련을 위해 별도의 근사치를 사용한다. 이는 액티브 세트 마스크를 추정하기 위해 배치 FISTA 솔버를 사용하고, 이어서 릿지 정규화된($10^{-3}$) torch.linalg.solve를 통해 계수를 구한다. 이 경로는 오토그래드(autograd)를 통해 미분 가능하지만, 정확한 삭제 인증을 제공하거나 KKT 역행렬을 재사용하지는 않는다.

하이브리드 레이어는 이를 결합한다: 장거리 글로벌 메모리(정밀 경로 또는 그 근사치로 해결됨)는 접두사(prefix)를 처리하고, 밀집 로컬 경로(표준 소프트맥스)는 현재 청크(chunk)를 처리한다.

주요 기여

1. 정밀한 망각: 유지되는 fp64 솔버는 "완벽한" 망근을 달성한다. 이는 데이터를 제외하고 처음부터 다시 훈련시킨 결과와 동일함을 의미한다(중앙 편차 $\sim 10^{-9}$ ~ $10^{-13}$). 실험 결과, 감소 제거는 최적해가 유일할 경우, 원래의 액티브 세트 분할 및 결정 함수를 정확히 복구함을 보여주었다.
2. 인증된 선택: 액티브 세트 분할은 휴리스틱 점수가 아닌 수학적 인증 역할을 한다. 예비 토큰을 축출하는 것은 출력을 변경하지 않음이 보장된다.
3. 학습 가능한 최대 마진 메모리: 저자들은 KKT 역행렬을 재사용하는 커스텀 백워드 패스를 사용하여, 정밀 경로의 계산 비용(두 번째 시스템 솔브)을 피하면서 학습 가능한 레이어를 구현했다.
4. 실제 적용 능력: 시스템은 실제 MIMIC-IV ICU 스트림에서 누출 없이 정밀한 사실 망각, 정확한 지식 편집, "잊힐 권리"에 따른 환자 기록 삭제를 시연한다.

실험 결과

정밀 망근 검증

• 분할 일치: 가우시안, 실제 MIMIC-IV, 훈련된 모델 키에 대해, 감소 경로가 재훈련된 모델과 동일한 액티브 세트 분할을 98~100%의 확률로 복구했다(유일한 최적해 기준).
• 결정 함수 편차: 감소 솔루션과 재훈련 솔루션 사이의 중앙 편차는 가우시안/ICU 데이터에서 $\sim 10^{-9}$, 학습된 키에서는 $\sim 10^{-13}$이었다. 최악의 경우 편차($1.1 \times 10^{-2}$)는 근사 중복 스트림에서만 발생했다.
• 감쇠와의 비교: 계수 감쇠(표준 베이스라인)는 남은 토큰을 다시 계산하지 않기 때문에 편차가 몇 자릿수 더 컸다($10^{-2}$ ~ $10^{-1}$).

인증된 선택 성능

• 희귀 아이템 재현율: 왜곡된 중복성 환경에서, 인증된 선택은 H2O 방식의 헤비 히터(heavy-hitter) 축출이 쿼리에 대한 오라클 접근 권한을 가졌음에도 불구하고 0.86의 재현율을 유지한 반면, H2O는 0.32에 그쳤다.
• 적응형 상태: 증가하는 필러(filler)가 있는 선택적 복사 작업에서, SV-Attention은 서포트 세트 크기를 제한된 범위(11~14개 토큰) 내로 유지하면서도 $\sim 0.99$의 재현율을 유지했으나, 고정 상태 베이스라인(DeltaNet, linear)은 무작위 수준으로 무너졌다.
• ICU 스트림: MIMIC-IV 데이터에서, 인증된 선택은 동일한 예산 하에서 위중 상태 악화 시간의 0.80을 유지한 반데, 헤비 히터 축출은 0.05에 불과했다.

언어 모델링 성능

• 소규모 규모 (3.22M 파라미터): enwik8 데이터셋에서, 하이브리드 SV-Attention은 매칭된 상태의 슬라이딩 윈도우 트랜스포머(8.6% 개선, $p=0.001$) 대비 2.178 BPC를 달성했다.
• 확장성: 10M 파라미터 규모에서는 이점이 사라졌다(wash). 이는 청크 프리징 게이트(chunk-frozen gate)가 더 큰 규모에서 소프트맥스보다 느리고 불안정하게 수렴하기 때문인 것으로 분석된다. 저자들은 확장 가능하고 안정적인 게이트 최적화가 여전히 미해결 과제라고 언급했다.
• 처리량: 하이브리드 훈련 경로는 3.22M 모델에서 9,125 tokens/s에 도달하며, 이는 표준 MPS 소프트맥스 참조 모델보다 35.8배 느리다.

의의 및 주장

본 논문은 SV-Attention을 모든 규모에서 처리량이나 퍼플렉시티(perplexity)를 압도하는 일반적인 범용 어텐션의 대체재가 아니라, 인증된 속성이 필요한 특수 시나리오를 위한 전문화된 메커니즘으로 포지셔닝한다.

• 규제 및 임상적 가치: 주요 의의는 근사치가 아닌 증명 가능한 토큰 제거 메커니즘을 제공한다는 점에 있다. 환자의 동의 철회나 "잊힐 권리"가 적용되는 애플리케이션에서, 모델의 출력이 해당 데이터를 전혀 보지 않은 모델과 수학적으로 동일함을 입증할 수 있는 능력은 그래디언트 기반 망근과 차별화되는 핵심 요소이다.
• 구조적 이점: 저자들은 최대 마진 제약이 밀집 최소제곱 메모리가 갖지 못한 구조적 "액티브 세트"를 도입한다고 주장한다. 이 구조는 이상치(outlier)의 인증된 선택과 정밀한 망근을 가능하게 하며, 이는 중복되거나 이상치 중심적인 스트림(예: 의료 생체 신호, 정형화된 문서)에서 특히 가치가 있다.
• 한계: 저자들은 정밀한 삭제 인증이 정밀 fp64 경로로 해결되는 장거리 글로벌 메모리에만 적용된다고 명시했다. 로컬 청크 경로와 배치 훈련 근사치는 이 인증을 제공하지 않는다. 또한, 시스템은 표준 어텐션 구현보다 현저히 느리며, 대규모 언어 모델링에서의 성능 우위는 아직 제한적이다.

요약하자면, SV-Attention은 순수 처리량이나 대규모 퍼플렉시티 지배력을 희생하는 대신, 인증 가능한 속성(특정 토큰이 무시됨을 증명하는 '선택'과 특정 토키가 완전히 삭제되었음을 증명하는 '망근')을 얻는다.