🤖 machine learning

Incremental Transformer Neural Processes

이 논문은 인과적 마스킹(causal masking), KV 캐싱(KV caching), 그리고 자기회귀적 학습(autoregressive training)을 활용하여, 표준적인 비인과적 트랜스포머 뉴럴 프로세스(non-causal Transformer Neural Processes)의 예측 성능과 암묵적 베이지안 일관성을 유지하면서도 순차적 데이터 스트림에 대해 효율적인 선형 시간 증분 업데이트를 가능하게 하는 모델인 점진적 트랜스포머 뉴럴 프로세스(Incremental Transformer Neural Process, incTNP)를 소개한다.

원저자: Philip Mortimer, Cristiana Diaconu, Tommy Rochussen, Bruno Mlodozeniec, Richard E. Turner

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Philip Mortimer, Cristiana Diaconu, Tommy Rochussen, Bruno Mlodozeniec, Richard E. Turner

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "전부 다시 읽기"라는 병목 현상

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 새로운 목격자가 증거를 가지고 들어올 때마다, 당신은 현재 진행 중인 파일을 멈추고, 새로운 이론을 업데이트하기 위해 사건 파일의 첫 페이지부터 모든 페이지를 처음부터 다시 읽어야만 합니다.

목격자가 10명이라면 번거로운 수준이겠지만, 10,000명의 목격자가 하나씩 끊임없이 들어오는 상황이라면 이는 불가능한 일입니다. 당신은 과거의 페이지들을 다시 읽는 데 모든 시간을 허비하느라 정작 새로운 단서를 놓치게 될 것입니다.

이것이 바로 **트랜스포머 뉴럴 프로세스(Transformer Neural Processes, TNPs)**라고 불리는 현재의 AI 모델들이 겪고 있는 문제입니다. 이 모델들은 과거의 데이터(예: 날씨나 주가 예측)를 바탕으로 예측을 수행하는 데는 뛰어나지만, **실시간으로 흘러들어오는 데이터(streaming data)**를 처리하는 데는 매우 취약합니다. 새로운 데이터 포인트가 도착할 때마다, 모델은 전체 이력을 처음부터 다시 계산하여 이해해야 합니다. 이력(history)이 늘어날수록 이 과정은 기하급수적으로 느려지고 비용이 많이 듭니다.

해결책: "스마트 노트" (incTNP)

저자들은 incTNP(Incremental Transformer Neural Process)라는 새로운 모델을 소개합니다. 이것은 탐정에게 문제를 해결하기 위한 두 가지 주요 기술을 사용하는 스마트하고 마법 같은 노트를 쥐여주는 것과 같습니다.

인과적 마스킹 (Causal Masking - "단방향 거울"):
탐정이 시간의 흐름에 따라 '앞'만을 볼 수 있다고 상상해 보세요. 그들은 과거를 볼 수 있지만, 과거는 미래에 의해 변할 수 없습니다. 기존 모델에서는 새로운 단서를 보는 것이 어제의 기록을 마법처럼 다시 써버리는 식이었습니다. 하지만 incTinP에서 과거는 "동결"됩니다. 새로운 단서가 도착하면, 모델은 오직 새로운 단서와 동결된 과거만을 바라봅니다. 책 전체를 다시 읽을 필요 없이, 그저 새 페이지를 추가할 뿐입니다.
KV 캐싱 (KV Caching - "컨닝 페이퍼"):
탐정이 책상 위에 지금까지의 사건에서 가장 중요한 부분들을 요약해 둔 포스트잇을 붙여두었다고 상상해 보세요. 새로운 목격자가 왔을 때, 탐정은 파일 전체를 다시 읽는 대신, 그 포스트잇을 쓱 훑어보고 새로운 목격자의 정보를 거기에 추가한 뒤 다음 단계로 넘어갑니다.
기술적인 용어로 이것은 키-값(Key-Value, KV) 캐싱이라고 불립니다. 모델은 과거 데이터의 "정수(essence)"를 저장합니다. 새로운 데이터가 들어오면, 모델은 이 저장된 정수를 업데이트하기만 하면 됩니다. 이 기술은 속도를 "도서관 전체를 다시 읽는 것"에서 "인덱스 카드 한 장을 훑어보는 것"으로 바꿔줍니다.

결과: 지능을 희생하지 않는 속도

논문은 이러한 기술들을 사용함으로써 incTNP가 두 가지 큰 승리를 거두었다고 주장합니다.

압도적인 속도 향상: 데이터가 쌓임에 따라 시간이 점점 더 악화되는 방식(이차 함수 또는 삼차 함수의 증가)이 아니라, 데이터를 처리하는 시간이 직선적이고 관리 가능한 수준(선형 증가)으로 늘어납니다. 이는 이 모델이 기존에는 너무 느려서 사용하기 어려웠던 실시간 데이터 스트림(예: 라이브 기상 센서 데이터)을 처리할 수 있음을 의미합니다.
정확도 손실 없음: 보통 프로세스를 빠르게 만들기 위해 단순화하면 정확도가 떨어지기 마련입니다. 저자들은 합성 수학 문제, 실제 세계의 테이블 데이터(예: 스프레드시트), 그리고 온도 예측을 통해 테스트를 진행했습니다. 그 결과, incTNP가 느리고 오래된 기존 모델만큼 정ally 정확하거나(또는 때로는 더 뛰어난) 성능을 보인다는 것을 발견했습니다.

"베이지안(Bayesian)" 체크: 탐정은 합리적인가?

한 가지 우려가 있었습니다. 만약 탐정이 단서가 도착하는 순서대로만 보고(순서를 바꿀 수 없다면), 편향되거나 비합리적이 되지 않을까 하는 점입니다.

확률론의 세계에서 "합리적인" 업데이트를 하는 존재란, 단서를 받는 순서와 상관없이 동일한 답을 내놓는 존재를 말합니다(이를 *순열 불변성(permutation invariance)*이라고 합니다). 기존 모델들은 이 점에 완벽했습니다. 새로운 모델은 데이터를 특정 순서로 처리하기 때문에, 엄밀히 말하면 이 규칙을 깨뜨립니다.

하지만 저자들은 모델의 업데이트가 얼마나 "합리적"인지 측정하기 위해 **"암묵적 베이지안성(Implicit Bayesianness)"**이라는 새로운 테스트를 만들었습니다. 그 결과, incTNP가 데이터를 특정 순서로 처리함에도 불구하고, 최종 예측은 기존 모델만큼이나 합리적이고 일관적이라는 것을 발견했습니다. 즉, 속도를 높였다고 해서 "수학적 건전성"을 잃지는 않았습니다.

핵심 요약

혁신: 새로운 데이터가 도착할 때 전체 이력을 다시 처리하지 않고도 즉각적으로 지식을 업데이트할 수 있는 새로운 AI 모델(incTNP).
메커니즘: 대규모 언어 모델(LLM)에서 빌려온 "인과적 마스킹(단방향 어텐션)"과 "KV 캐싱(요약 저장)"을 사용함.
성능: 스트리밍 데이터에 대해 몇 배나 더 빠르면서도, 느린 기존 모델과 동일한 높은 정확도를 유지함.
일관성: 데이터를 특정 순서로 처리함에도 불구하고 수학적으로 일관성(베이지안)을 유지함.
테스트된 응용 분야: 논문은 특히 다음 분야를 테스트함:
- 합성 수학 함수 (가우시안 프로세스).
- 테이블 데이터 (발전소 출력 및 단백질 구조와 같은 실제 데이터셋).
- 온도 예측 (유럽 및 아프리카 전역의 기상 예보).

결론적으로, 이 논문은 이러한 접근 방식이 컴퓨터의 작업량 과부하로 인한 충돌 없이도 거대하고 연속적인 데이터 스트림 위에서 강력한 AI 모델을 실행하는 것을 가능하게 만든다고 설명합니다.

기술 요약: 증분형 트랜스포머 뉴럴 프로세스 (incTNP)

1. 문제 정의

뉴럴 프로세스(Neural Processes, NPs), 특히 트랜스포머 뉴럴 프로세스(Transformer Neural Processes, TNPs)는 시공간 예측부터 테이블 데이터 모델링에 이르는 메타 학습 작업에서 강력한 성능을 입증해 왔습니다. 그러나 기존의 TNP 변형 모델들은 데이터가 순차적이고 연속적으로 도착하는(예: 실시간 센서 판독값 또는 데이터베이스 업데이트) 스트리밍 시나리오에서 결정적인 병목 현상에 직면합니다.

표준 TNP는 양방향 셀프 어텐션(bidirectional self-attention) 메커니즘에 의존합니다. 새로운 관측치가 도착할 때마다, 이 모델들은 내부 표현을 업데이트하기 위해 전체 컨텍스트 이력을 다시 인코딩해야 합니다. 이는 업데이트당 이차 시간 복잡도( $O(N^2)$ )와 길이 $N$ 인 스트림에 대한 누적 복잡도( $O(N^3)$ )를 초래합니다. 타겟 포인트들이 순차적으로 예측되어 컨텍스트에 추가되는 자기회귀(autoregressive, AR) 배포 모드에서 이러한 비효율성은 더욱 악화되며, 이는 고빈도 업데이트를 실제 응용 분야에서 실행 불가능하게 만듭니다.

핵심 과제는 표준 TNP의 예측 성능이나 확률적 일관성(베이지안 코히어런스)을 희생하지 않으면서, 저렴한 증분 업데이트(선형 시간 복잡도)를 지원하는 NP 아키텍처를 설계하는 것입니다.

2. 방법론

저자들은 인과적 마스킹(causal masking)을 사용하는 대규모 언어 모델(LLM)의 발전에 기반하여 적응된 TNP 변형인 **증분형 트랜스포머 뉴럴 프로세스(Incremental Transformer Neural Process, incTNP)**를 소개합니다. 이 방법론은 세 가지 기둥을 바탕으로 합니다.

A. 인과적 마스킹 및 KV 캐싱

표준 TNP가 양방향 어텐션을 사용하는 것과 달리, incTNP는 셀프 어텐션 메커니즘에 **인과적 마스킹(causal masking)**을 채택합니다. 이는 토큰 $i$ 가 토큰 $j \leq i$ 인 토큰들만 참조할 수 있도록 하는 하삼각 어텐션 마스크를 강제합니다.

메커니즘: 인과적 마스킹을 키-값(Key-Value, KV) 캐싱과 결结合함으로써, 모델은 과거 토큰들의 키 및 값 행렬을 저장합니다.
이점: 새로운 데이터 포인트가 도착하면, 모델은 캐시된 이력에 대해서만 새로운 토큰을 처리합니다. 이를 통해 컨텍스트 업데이트의 계산 비용을 $O(N^2)$ 에서 선형 시간 $O(N)$ 으로 줄입니다.

B. 밀집 자기회귀 훈련 (incTNP-Seq)

인과적 마스킹으로 인해 수용 영역(receptive field)이 제한됨으로써 발생할 수 있는 성능 저하를 방지하고 데이터 효율성을 극대화하기 위해, 저자들은 밀집 자기회귀 훈련 전략(incTNP-Seq로 명명)을 제안합니다.

접근 방식: 데이터를 서로 분리된 컨텍스트와 타겟 세트로 나누는 대신, 전체 데이터셋을 단일 시퀀스 $D_{seq} = [(x_1, y_1), \dots, (x_N, y_N)]$ 로 취급합니다.
마스킹: 인과적 마스킹은 셀프 어텐션뿐만 아니라 크로스 어텐션 블록에도 적용됩니다. 이는 $n$ 번째 타겟에 대한 예측이 오직 이력 $(x_{1:n}, y_{1:n})$ 에만 의존하도록 보장합니다.
결과: 이를 통해 모델은 모든 가능한 프리픽스(prefix) 컨텍스트를 단일 포워드 패스(forward pass) 내에서 동시에 계산할 수 있으며, 모든 컨텍스트 크기에 걸쳐 학습 비용을 분담하고 더 밀도 높은 감독 신호(supervision signal)를 제공합니다.

C. 이론적 프레임워크: 암묵적 베이지안성 (Implicit Bayesianness)

본 논문은 인과적 마스킹이 표준 NP의 고유한 특성인 **치환 불변성(permutation invariance)**을 깨뜨린다는 우려를 다룹니다. 확률적 일관성에 미치는 영향을 정량화하기 위해, 저자들은 "암묵적 베이지안성" 지표(Mlodozeniec et al., 2024)를 채택합니다.

저자들은 모델의 예측 규칙이 조건부 교환 가능한(conditionally exchangeable) 분포로부터 벗어나는 정도를 측정하기 위해 **KL 갭(KL Gap)**을 정의합니다.
이 프레임워크는 모델의 예측과 실제 데이터 분포 사이의 쿨백-라이블러(Kullback-Leibler) 발산을 "교환 가능화된(exchangeabilified)" 버전의 발산과 갭 항으로 분해합니다. 갭이 0이라는 것은 완벽한 조건부 교환 가능성을 의미합니다.

3. 주요 기여

아키텍처: 인과적 마스킹과 KV 캐싱을 활용하여 선형 시간 컨텍스트 업데이트를 가능하게 하는 TNP 변형인 incTNP를 제안하며, 이를 통해 팩터화(factorized) 및 자기회귀 모드 모두에서 명령 단위의 속도 향상을 실현했습니다.
훈련 전략: **밀집 자기회귀 훈련 전략(incTNP-Seq)**이 표준 TNP와 동일한 훈련 예산 하에서 표준 TNP의 예측 성능을 대등하게 유지하거나 능가할 수 있음을 입증하여, 인과적 마스킹의 한계를 효과적으로 완화했습니다.
일관성 분석: 새로운 암묵적 베이지안성 지표를 사용하여 실험적으로 검증했습니다. 연구 결과, 인과적 구조에도 불구하고 incTNP는 표준 치환 불변 TNP와 유사한 수준의 베이지안 일관성을 가진 예측 규칙을 유지함을 보여주었습니다.

4. 실험 결과

저자들은 1D 가우시안 프로세스 회귀, 테이블 데이터 회귀(UCI 벤치마크), 그리고 스테이션 온도 예측(HadISD 데이터셋)을 포함한 합성 및 실제 작업에 대해 incTNP를 평가했습니다.

예측 성능:
- 정적 컨텍스트 설정에서, incTNP-Seq는 합성 및 실제 작업 전반에서 표준 TNP-D 베이스라인과 대등하거나 이를 능가하는 성능을 달성했습니다.
- 자기회귀(AR) 모드에서, incTP-Seq는 계산 비용을 줄이면서도 TNP-D보다 성능이 크게 향상되었습니다. 예를 들어, 온도 예측 작업에서 정확도를 희생하지 않으면서 TNP-D 대비 3.5배의 속도 향상을 달实现了했습니다.
- 모델은 강력한 길이 일반화(length generalization) 능력을 보여주며, 1,024 포인트까지의 컨텍스트로 훈련되었음에도 30,000 포인트 이상의 컨텍스트 스트림에 대해 우수한 성능을 보였습니다.
계산 효율성:
- 스트리밍 업데이트: incTNP는 단계당 업데이트 비용을 $O(N^2)$ 에서 $O(N)$ 으로 줄였습니다.
- 누적 비용: 길이 $N$ 인 스트림에 대해, incTNP의 누적 비용은 이차적( $O(N^2)$ )으로 스케일링되는 반면, 표준 TNP는 삼차적( $O(N^3)$ )으로 스케일링됩니다.
- AR 추론: AR 배포 시, incTNP는 복잡도를 $O(N_t \cdot N_s^2)$ 에서 $O(N_t \cdot N_s)$ 로 줄여, 긴 스트림에 대한 고정밀 AR 추론을 가능하게 합니다.
확률적 일관성:
- KL 갭 지표를 사용하여, 저자들은 incTNP-Seq가 비인과적 TNP-D와 대등한 KL 갭을 보인다는 것을 발견했습니다. 이는 스트리밍 설정에서의 주요 불일치 원인이 incTNP의 특정 인과적 마스킹 메커니즘보다는 많은 NP 변형에서 공통적으로 나타나는 조건부 일관성의 부재에 있음을 시사합니다.
- incTNP는 예측 정확도와 베이지안 일관성 모두에서 확장 가능한 스트리밍 가우시안 프로세스 베이스라인(WISKI 등)보다 뛰어난 성능을 보였습니다.

5. 의의 및 주장

본 논문은 incTNP가 계산 가능성과 확률적 코히어런스 사이의 간극을 성공적으로 메웠다고 주장합니다.

확장성: 인과적 마스킹과 KV 캐싱을 활용함으로써, incTNP는 긴 이력 스트림을 포함하는 복잡한 작업에 대해 고빈도 실시간 업데이트를 계산적으로 실현 가능하게 만들었습니다. 이는 기존 TNP 변형 모델들이 갖지 못했던 능력입니다.
성능: 인과적 마스킹이 성능을 저하시킬 수 있다는 직관과 달리, 밀집 훈련 전략을 통해 incTNP-Seq는 표준 TNP와 대등하거나 심지어 전이 시나리오(Sim-to-Real)에서 이를 능가하는 성능을 보여줍니다.
일관성: 본 연구는 인과적 마스킹이 반드시 "합리적인" 베이지안 업데이트를 저해한다는 가설에 도전합니다. 실험 결과는 incTNP가 치환 불변 베이스라인과 유사한 수준의 암묵적 베이지안성을 유지함을 나타내며, 이는 데이터 순서가 시간으로 고정된 스트리밍 추론에서 incTNP의 사용을 정당화합니다.

저자들은 결론적으로 incTNP가 역사적 정보를 버리지 않으면서도, 대규모의 진화하는 데이터셋에 대해 구조화된 데이터(테이블 또는 시계열 데이터 등)를 위한 파운데이션 모델을 확장할 수 있는 실질적인 경로를 제공한다고 밝힙니다.