🤖 machine learning

NEST: Nested Event Stream Transformer for Sequences of Multisets

이 논문은 기존 평탄화 모델의 계산 비효율성과 표현 한계를 극복하기 위해 이벤트 시퀀스(다중 집합의 시퀀스)의 계층적 구조를 보존하는 NEST(중첩 이벤트 스트림 트랜스포머)를 소개하며, 사전 학습 효율성과 하류 작업 성능을 모두 향상시키기 위해 새로운 마스킹 집합 모델링 패러다임을 활용합니다.

원저자: Minghui Sun, Haoyu Gong, Xingyu You, Jillian Hurst, Benjamin Goldstein, Matthew Engelhard

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minghui Sun, Haoyu Gong, Xingyu You, Jillian Hurst, Benjamin Goldstein, Matthew Engelhard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

환자의 병력을 이해하거나 고객의 쇼핑 습관을 파악하려 한다고 상상해 보세요. 현실 세계에서는 이러한 사건들이 줄에 꿰인 구슬처럼 완벽하게 한 줄로 하나씩 일어나지 않습니다. 대신, 사건들은 그룹 단위로 발생합니다.

병원에서: 의사가 환자를 진료합니다 (이를 '진료 encounter'라고 합니다). 그 진료 동안 환자는 혈액 검사, 처방전, 진단을 동시에 받을 수 있습니다. 이 세 가지 사건의 정확한 순서는 중요하지 않을 수 있으며, 기록이 정리되지 않았을 수도 있습니다. 하지만 그 사건들의 그룹은 그 특정 진료에 속합니다.
식료품점에서: 고객이 쇼핑을 합니다. 그들은 우유, 빵, 계란을 카트에 담습니다. 그 '장바구니'가 바로 그룹입니다. 사물을 집어 올린 순서는 중요하지 않으며, 중요한 것은 장바구니 전체입니다.

대부분의 기존 AI 모델 (Transformer 라고 불림) 은 이러한 그룹들을 단일한 긴 사건 열로 평평하게 만들려고 시도합니다. 그들은 우유, 빵, 계란이 같은 쇼핑 trip 의 일부였음을 무시한 채, 마치 그 사물들이 하나씩 차례로 발생했다고 간주합니다. 이는 영화의 각 장면이 어떻게 연결되는지 알지 못한 채 모든 프레임의 목록만 보고 영화를 이해하려는 것과 같습니다. 이는 계산 비용이 많이 들며 종종 더 큰 그림을 놓치게 만듭니다.

NEST(Nested Event Stream Transformer) 의 등장입니다.

이 논문의 저자들은 이러한 자연스러운 그룹을 존중하는 새로운 AI 모델인 NEST를 개발했습니다. 간단한 비유를 들어 작동 방식을 설명해 보겠습니다.

1. 두 단계 춤 (아키텍처)

데이터를 평평하게 만드는 대신, NEST 는 (병원 진료나 쇼핑 장바구니와 같은) '그룹'들을 그대로 유지합니다. 이는 모델의 두뇌 내 모든 레이어에서 다음과 같은 교묘한 두 단계 과정을 사용합니다.

단계 A: 그룹 회합 (Set-Wise Encoder): 먼저, 모델은 한 그룹 (예: 한 번의 병원 진료) 을 보고 그 그룹 내의 모든 사건들이 서로 대화하도록 합니다. 모델은 그 진료 내에서 무엇을 발생했는지 파악합니다. 이는 각자가 특정 업무를 논의하는 팀 회의와 같습니다.
단계 B: 글로벌 라운드테이블 (Cross-Set Encoder): 다음으로, 모델은 각 그룹의 '캡틴'들 ( [CLS] 라고 불리는 특수 토큰) 을 살펴봅니다. 이 캡틴들은 각자 속한 그룹에서 일어난 일들을 나머지 타임라인과 공유하기 위해 만납니다. 이를 통해 모델은 진료 A 가 진료 B 와 어떻게 관련되는지 이해하는 데 도움을 받습니다.

마법 같은 트릭: 대부분의 모델은 모든 그룹에 대해 단계 A 를 수행한 후, 모든 그룹에 대해 단계 B 를 수행합니다. 하지만 NEST 는 이를 **교차 (interleaved)**로 수행합니다. 조금씩 단계 A 를 수행하고, 조금씩 단계 B 를 수행한 뒤 다시 단계 A 로 돌아갑니다.

이것이 중요한 이유: 계주 경기를 상상해 보세요. 만약 계봉을 넘기기 전에 전체 1 구역을 먼저 달린다면, 그 과정에서 일부 정보를 잃을 수 있습니다. NEST 는 계봉을 끊임없이 오가며 넘깁니다. 이는 모델이 큰 그림을 이해하려 할 때 특정 사건에서 나온 세부 사항이 손실되지 않도록 보장합니다. 이 논문은 수학적으로 이러한 '우회 (bypass)' 방식이 기존 방식보다 더 많은 정보를 살아있게 유지한다는 것을 증명했습니다.

2. '캡틴의 보고서' (마스크드 세트 모델링)

기존 방식에서는 AI 가 모든 데이터를 처리한 후, 전체 진료를 단일 점수로 요약하는 방법을 추측해야 했습니다. 이는 학생에게 vague 한 힌트만 주고 책 한 장을 읽은 후 전체 장을 요약하라고 요구하는 것과 같습니다.

NEST 는 **마스크드 세트 모델링 (Masked Set Modeling, MSM)**이라는 새로운 학습 게임을 도입합니다.

작동 방식: 모델은 사건 그룹 (예: 쇼핑 장바구니) 을 보지만, 실제 항목들은 숨겨진 채로 '캡틴' 토큰을 기반으로 그 그룹의 내용을 추측해야 합니다.
결과: 이로 인해 '캡틴' 토큰은 전체 그룹의 완벽한 요약본이 되도록 강요받습니다. 나중에 messy 한 추측성 요약이 필요해지는 대신, 모델은 향후 어떤 작업이든 사용할 수 있는 고품질 요약본을 이미 준비하고 있게 됩니다.

3. 왜 더 나은가 (결과)

저자들은 NEST 를 실제 세계 데이터로 테스트했습니다.

의료 기록 (EHR): 병원 데이터 (MIMIC-IV) 와 사립 소아과 데이터베이스를 사용했습니다.
쇼핑: 식료품 데이터 (Instacart) 를 사용했습니다.

연구 결과:

더 빠르고 가벼움: NEST 는 그룹을 존중하기 때문에, 모든 단일 사건 간의 연결을 계산할 필요가 없습니다. 그룹 내부와 그룹 캡틴 간의 연결만 계산하면 됩니다. 이는 더 많은 '두뇌 능력 (파라미터)'을 가지고 있음에도 불구하고 기존 모델보다 더 빠르고 컴퓨터 메모리를 적게 사용합니다.
더 똑똑한 예측: NEST 는 다음과 같은 것들을 예측하는 데 더 뛰어났습니다.
- 환자가 입원 중 사망할까요?
- 환자가 30 일 이내에 재입원할까요?
- 고객이 다음에 무엇을 구매할까요?
추가 '후처리' 불필요: 모델이 학습 중에 그룹을 요약하는 법을 배웠기 때문에, 데이터를 이해하기 위해 학습 후 어색한 휴리스틱 트릭을 사용할 필요가 없었습니다. 요약본은 바로 사용할 준비가 되어 있었습니다.

요약

NEST 는 문맥이 중요하다는 것을 마침내 이해하는 모델이라고 생각하세요. NEST 는 같은 병원 진료 중에 이루어진 혈액 검사와 처방전이 하나의 팀이며, 그 팀이 환자의 삶이라는 더 큰 이야기의 일부임을 알고 있습니다. 이러한 그룹들을 함께 유지하고 효율적으로 소통하게 함으로써, NEST 는 모든 것을 단일한 긴 줄로 강제로 밀어 넣으려 하는 모델들보다 더 빠르게 학습하고, 에너지를 적게 사용하며, 더 나은 예측을 수행합니다.

기술 요약: NEST - 다중집합 시퀀스를 위한 중첩 이벤트 스트림 트랜스포머

1. 문제 정의

전자 건강 기록 (EHR) 이나 사용자 구매 이력과 같은 이벤트 스트림 데이터는 종종 특정 시간 창 (예: 임상 진료 또는 쇼핑 장바구니) 내에서 여러 이벤트가 공존하는 계층적 구조를 보입니다. 이 구조는 공식적으로 **다중집합 시퀀스 (SeqSet)**로 정의됩니다. 이러한 시퀀스 내에서 집합 (다중집합) 내부의 이벤트 순서는 알려지지 않았거나, 신뢰할 수 없거나, 관련이 없을 수 있는 반면, 집합 간의 시간적 순서는 결정적입니다.

기존의 이벤트 스트림용 파운데이션 모델 (FM) 은 일반적으로 이 계층 구조를 1 차원 시퀀스로 평탄화합니다. 이 접근 방식은 두 가지 주요 한계를 초래합니다:

계산 비효율성: 평탄화는 전체 토큰 수에 대해 이차적인 복잡도를 갖는 밀집 어텐션 메커니즘을 초래하여, 데이터 구조의 고유한 희소성을 무시합니다.
표현 품질: 표준 모델은 토큰 수준에서만 표현을 학습합니다. 집합 수준의 표현 (예: 진료 후 환자의 상태) 은 명시적인 감독 없이 평균 풀링이나 [CLS] 토큰 사용과 같은 휴리스틱 사후 학습 풀링을 통해서만 복구되며, 이전 연구들은 이것이 최적이지 않음을 보여주었습니다. furthermore, 평탄화는 모델이 존재하지 않을 수 있는 집합 내부의 우연한 관계를 학습하도록 강제합니다.

2. 방법론

2.1 아키텍처: 중첩 이벤트 스트림 트랜스포머 (NEST)

NEST 는 SeqSet 데이터에 특화된 계층적 트랜스포머입니다. 이의 핵심 혁신은 별도의 단계에서 스택하는 것이 아니라, 각 레이어 내에서 두 가지 서로 다른 인코더 유형의 교차 (interleaved) 구성입니다.

집합 단위 인코더 (SWE): 각 다중집합 내에서 독립적으로 작동합니다. 해당 집합에 특정한 학습 가능한 [CLS] 토큰과 함께 토큰 (이벤트) 을 처리합니다. SWE 는 집합 내 토큰에 대해 치환 불변성을 강제합니다 (세밀한 타임스탬프가 있는 경우 Rotary Positional Embeddings (RoPE) 를 적용할 수 있음). SWE 는 집합 수준의 특징을 [CLS] 토큰에 집계합니다.
집합 간 인코더 (CSE): 모든 집합의 [CLS] 토큰 시퀀스에서만 작동합니다. CSE 는 집합 간 시간 간격을 인코딩하기 위해 RoPE 를 사용하여 진료 간의 시간적 역학을 모델링합니다. 비 [CLS] 토큰 은닉 상태는 CSE 를 우회합니다.
교차 및 우회: SWE 와 CSE 는 레이어별로 교차됩니다 (총 $L$ 개 레이어). 핵심적으로, 비 [CLS] 토큰 상태는 CSE 블록 주위의 우회 경로를 통해 전파됩니다. 이는 집합 수준 처리에서 시퀀스 수준 처리로 전달될 때 토큰 수준 정보가 복구 불가능하게 손실되지 않도록 보장합니다.

정보 이론적 정당성: 이 논문은 명제 1을 통해 모든 SWE 를 모든 CSE 전에 스택하는 순차적 설계가 SWE 에서 CSE 로의 경계에서 토큰 수준 정보를 폐기함으로써 데이터 처리 부등식을 위반한다고 주장합니다. 교차 설계는 이 정보를 보존하여 모델이 각 레이어에서 집합 간 맥락을 고려하여 원시 토큰 상태를 재검토할 수 있게 합니다.

2.2 사전 학습 목표: 마스킹 집합 모델링 (MSM)

표준 마스킹 언어 모델링 (MLM) 목표를 보완하기 위해, 저자들은 **마스킹 집합 모델링 (MSM)**을 도입합니다.

메커니즘: 사전 학습 중 전체 다중집합 (진료) 이 40% 확률로 마스킹됩니다. 마스킹된 집합 내에서는 모든 비특수 토큰이 [MASK]로 대체됩니다.
목표: 모델은 [CLS] 토큰의 표현을 사용하여 마스킹된 집합의 토큰 분포를 예측해야 합니다.
의의: 이는 [CLS] 토큰이 명시적으로 집합 수준 정보를 집계하고 즉시 사용할 수 있는 집합 표현을 학습하도록 강제하여, 휴리스틱 사후 풀링의 필요성을 제거합니다. 이는 세밀한 토큰 수준의 맥락화에 초점을 맞춘 MLM 을 보완합니다.

3. 주요 기여

SeqSet 을 위한 아키텍처 원시: NEST 는 SeqSet 데이터의 반대되는 대칭성 (집합 내 교환 가능성과 집합 간 시간적 순서) 을 존중하는 계층적 파운데이션 모델입니다.
우회를 통한 정보 보존: 이 논문은 교차 인코더가 순차적 설계가 폐기하는 토큰 수준 정보를 어떻게 보존하는지 기술하며, 위상 분리 시뮬레이션 연구를 통해 이를 확인했습니다.
집합 수준 사전 학습: [CLS] 토큰이 다중집합 토큰 분포를 예측하도록 명시적으로 훈련하는 치환 불변 목표인 MSM 의 공식화는 이전 EHR 파운데이션 모델에 없던 기능입니다.
효율성과 성능: NEST 는 구조화된 희소성을 달성하여 어텐션 복잡도를 $O(N^2)$ 에서 $O(Nn + m^2)$ 로 줄입니다 (여기서 $N$ 은 총 토큰 수, $n$ 은 집합 크기, $m$ 은 집합 수). 이는 밀집 어텐션 베이스라인에 비해 더 높은 처리량과 더 낮은 메모리 사용량을 초래합니다.

4. 실험 결과

저자들은 Instacart(다음 장바구니 추천), MIMIC-IV(EHR 임상 예측), 그리고 전용 기관 EHR(소아 위험 예측) 의 세 가지 실제 데이터셋에서 NEST 를 평가했습니다.

계산 효율성: 단일 NVIDIA H200 GPU 에서 NEST 는 더 많은 파라미터 수 (~120M) 를 가졌음에도 불구하고 BERT 스타일 및 근사 어텐션 모델 (예: Longformer, Nyströmformer) 에 비해 훨씬 높은 처리량 (90.46k 토큰/초) 과 더 낮은 피크 메모리 (34.9 GiB) 를 보여주었습니다.
하류 성능:
- MIMIC-IV: NEST 는 입원 사망률, 30 일 재입원, 입원 기간, ICD 장/카테고리 분류 등 다섯 가지 작업에서 최첨단 결과를 달성하여 Hi-BEHRT, CORE-BEHRT, GT-BEHRT 와 같은 강력한 베이스라인을 능가했습니다. 예를 들어, NEST 는 사망률 예측에서 95.57% AUROC 를 달성한 반면 GT-BEHRT 는 93.80% 였습니다.
- Instacart: NEST 단독으로 BERT4Rec 과 경쟁력이 있었으나, NEST 의 사전 학습된 표현을 반복 인식 모델 (ReCANet) 과 결합한 것은 NDCG@10 에서 모든 베이스라인을 능가하여 사용자 - 항목 역동성을 더 잘 포착함을 나타냈습니다.
- 전용 EHR: NEST 는 선형 프로빙과 전체 미세 조정 모두에서 소아 위험 예측 작업 (rAOM, ASD, 30 일 재입원) 에서 LightGBM 과 CORE-BEHRT 를 능가했습니다.
애블레이션 연구:
- CSE 를 제거하거나 SWE 를 평균 풀링으로 대체하면 성능이 크게 저하되어 두 인코더의 필요성을 확인했습니다.
- 미세 조정 시 진료의 시간적 순서를 무작위화하면 CSE 를 제거한 수준으로 성능이 저하되어 CSE 가 중요한 시간적 구조를 인코딩함을 증명했습니다.
- MSM 목표는 집합 수준 표현 학습을 향상시키는 것으로 나타났으며, 그 이점은 작업 헤드가 아닌 인코더 표현에 존재했습니다.

5. 의의 및 주장

이 논문은 이벤트 스트림 파운데이션 모델에 대한 올바른 귀납적 편향은 평탄화하는 것이 아니라 데이터의 중첩 집합 구조를 반영하는 것이라고 주장합니다. 다중집합 경계를 보존하고 구조화된 희소성을 유도함으로써 NEST 는 다음과 같은 이중 이점을 달성합니다:

효율성: 밀집 어텐션과 관련된 계산 비용을 줄입니다.
품질: 사후 풀링 없이 고품질의 즉시 사용 가능한 집합 수준 표현을 생성합니다.

저자들은 NEST 를 의료 및 상업과 같은 실제 세계 이벤트 스트림의 구조적 현실을 존중하는 파운데이션 모델로 나아가는 한 걸음으로 위치시킵니다. 그들은 생성적 궤적 모델링이 아닌 판별적 표현 학습에 초점을 맞추는 것, 그리고 의료 및 소매를 넘어선 추가적인 교차 도메인 검증의 필요성과 같은 한계를 명시적으로 지적합니다.