기술 요약: 제로 카피 시맨틱 컨태전 (Zero-Copy Semantic Contagion)

문제 정의

금융 예측 모델들은 현재 각 티커를 고립된 시계열로 취급하는 사일로(silo) 구조로 운영되고 있습니다. 수치적 신호(가격 틱, 거래량)는 마이크로초 단위로 차익 거래가 이루어지는 반면, 질적 정보(뉴스)는 가격에 영향을 미치기 전 의미론적 파싱 과정을 거쳐야 하며, 이는 20~60분의 시간 지평을 두고 전개됩니다. 기존 방식은 **기업 간 전파(cross-company propagation)**를 포착하는 데 실패합니다. 예를 들어, 공급망 중단(예: 대만의 파운드리 이슈)이 발생했을 때, 해당 자산의 가격이 움직이거나 텍스트에 해당 자산이 명시적으로 언급되기 전까지는 단일 자산 모델에서 이를 감지할 수 없습니다.

두 가지 엔지니어링 장벽이 마이크로초 단위의 지연 시간 내에 이를 해결하는 것을 가로막고 있습니다:

1. 지연 시간(Latency): 기성 시맨틱 추출기(semantic extractors)는 예측 지평을 초과하는 수백 밀리초의 지연 시간을 유발합니다.
2. 표현(Representation): 정적 그래프는 어텐션(attention)을 제대로 표현하지 못합니다. 어텐션은 이벤트 사이에서 빠르게 감쇠하며, 명시적인 연속 시간 역학(continuous-time dynamics)을 필요로 합니다.

방법론

저자들은 텍스트로부터 직접 구동되는 연속 시간 그래프로서 기업 간 어텐션을 매핑하는 이종 Rust-Python 스트리밍 아키텍처를 제안합니다. 이 시스템은 마이크로초 규모의 인제스션 엣지(ingestion edge)와 밀리초 규모의 추론 엔진으로 분리됩니다.

1. 시스템 아키텍처

• 인제스션 엣지 (Rust): 제로 카피 파서(zero-copy parser)가 힙 할당 없이 CSV/FIX 레코드를 처리하며, 입력 버퍼에 대한 바이트 슬라이스 참조를 반환합니다. 이는 단조 증가하는 타임스탬프를 강제하며, 코사인 유사도를 기반으로 중복 헤드라인을 필터링하기 위한 시맨틱 클러스터링 게이트를 수행합니다.
  • 성능: 레코드를 약 100 ns 내에 파싱하며, 47개 티커 유니버스를 약 1.2 µs 내에 스캔합니다.
• 추론 엔진 (PyTorch): $N=47$개의 주식 노드에 대해 메모리 내 연속 시간 어텐션 그래프를 업데이트하는 **다변량 뉴럴 호크스 프로세스(Multivariate Neural Hawkes Process)**를 사용합니다.
  • 연속 시간 LSTM (c-LSTM): 각 노드는 이벤트 사이에 지수적으로 감쇠하고, 이벤트 도착 시 투영된 텍스트 임베딩에 조건화되어 표준 LSTM 게이트를 통해 업데이트되는 은닉 상태(hidden state)를 유지합니다.
  • 쌍선형 잠재 투영 (Bilinear Latent Projection): 방향성 흥분($\alpha_{ij}$)은 쌍선형 어텐션 메커니즘을 통해 계산됩니다. 이를 통해 비대칭적 에지 가중치($\alpha_{ij} \neq \alpha_{ji}$)를 산출할 수 있으며, 이는 단순한 대칭적 상관관계가 아닌 방향성 있는 전파(예: 공급업체에서 고객사로의 전파)를 포착할 수 있게 합니다.
  • 적응형 에지 프루닝 (Adaptive Edge Pruning): 순간적 흥분이 임계값 아래로 떨어질 때 에지를 제거하는 알고리즘 규칙을 적용하여, 스트림의 길이에 관계없이 유계된 그래프 밀도($O(1)$ amortized cost per node)를 보장합니다.

2. 그래프 구축

초기 인접 행렬은 데이터 기반의 세 가지 소스의 학습 가능한 볼록 결합(convex combination)으로 구성됩니다:

1. 공동 언급 (Co-Mention, $A_{cm}$): 기사 내에서의 공동 언급 빈도.
2. 의미론적 유사도 (Semantic Similarity, $A_{sem}$): 평균된 기사 임베딩의 코사인 유사도.
3. 수익률 상관관계 (Return Correlation, $A_{corr}$): 일간 로그 수익률의 피어슨 상관계수.
   이 가중치들은 최대 가능도(maximum likelihood) 훈련 과정에서 모델 파라미터와 함께 최적화됩니다.

3. 훈련 목적 함수

파라미터는 관측된 이벤트 시퀀스의 로그 가능도를 최대화함으로써 최적화됩니다. 손실 함수는 관측된 이벤트에서의 높은 강도(intensity)를 보상하는 동시에, 무의미한 활성화가 발생하는 정적 기간(quiescent periods) 동안의 배경 활성화를 억 penalty 함으로써 사소한 강도 상승을 방지합니다.

주요 기여

1. 제로 카피 Rust 인제스션: 일반적인 하드웨어(Apple M2)에서 약 100 ns의 파싱과 1.2 µs의 티커 스캐닝을 달성하는 파서를 구현하였으며, RDTSC 및 커널 바이패스 네트워킹을 통해 x86-64 환경에서 추가적인 성능 향상이 가능합니다.
2. 비대칭 뉴럴 호크스 프로세스: 노드별 c-LSTM 상태와 쌍선형 잠재 투영을 특징으로 하는 연속 시간 모델로, 대칭적 구조가 갖지 못한 방향성 있고 문맥을 인식하는 에지 가중치를 가능하게 합니다.
3. 유계된 계산 비용: 적응형 프루닝 규칙(Proposition 1)을 통해 그래프 밀도를 유계하도록 보장하며, 이를 통해 지속적인 스트리밍 상황에서도 확장성을 유지합니다.
4. 컨태전 탐지 프로토콜: 개별 티커의 가격 예측과는 구별되는 평가 프레임워크로, 특정 뉴스 이벤트 발생 시 어떤 다른 기업들이 비정상적인 수익률을 경험할 것인지를 식별하는 데 집중합니다.

실험 결과

시스템은 FNSPID 코퍼스(638개 기사, 47개 티커, 2022년 7월)의 1개월 템포럴 홀드아웃(temporal holdout) 데이터셋을 통해 평가되었습니다.

• 정밀도 향상 (Precision Lift): 익일 수익률 상위 90 백분위수 임계값에서, 전체 모델은 15.1%의 정밀도를 달성했습니다.
  • 이는 균등 무작위 선택(8.9%) 대비 1.70배의 향상을 의미합니다.
  • 이는 동일 섹터 휴리스틱(4.5%) 대비 3.36배의 향상을 의미합니다.
• 절제 연구 (Ablation Studies):
  • 그래프 토폴로지: 그래프를 제거(인접 행렬을 0으로 설정)했을 때 모든 임계값에서 정밀도가 0.000으로 급락하였으며, 이는 그래프가 교차 기업 신호의 유일한 동력임을 입증합니다.
  • 쌍선형 투영: 본 코퍼스에서는 쌍선형 가중치가 정적 인접 행렬에 비해 정밀도를 유의미하게 개선하지는 못했으나, 구조적 방향성을 제공하는 데 필수적이었습니다.
  • 프루닝: 자연적으로 희소한 본 코퍼스에서 프루닝은 정밀도에 실질적인 영향을 미치지 않았으나, 최악의 경우를 대비한 계산적 보장을 위해 여전히 중요합니다.
• 지연 시간: 단일 CPU 기준 레코드당 엔드 투 엔드 처리 지연 시간은 ~13 ms입니다. Rust 인제스션 레이어는 이 전체의 0.02% 미만을 차지합니다.
• 포트폴리오 신호: 강도 가중치 기반 롱/숏 전략(강도 상위 10개 롱, 하위 10개 숏)은 홀드아웃 기간 동안 57.1%의 일일 승률과 함께 양(+)의 연간 수익률을 기록했습니다.

의의 및 주장

본 논문은 전통적인 개별 티커 예측의 보완적 과제, 즉 한 기업에 충격이 가해졌을 때 어떤 다른 기업들이 언제 움직일 것인지를 예측하는 문제를 다룹니다.

• 아키텍처 불변성: 수학적 모델은 배포 대상에 대해 불변적입니다. 인제스션 레이어만이 다른 하드웨어(예: 커널 바이패스 네트워킹을 사용하는 x86-64로의 이동)에 따라 재컴파일이 필요합니다.
• 신호원: 실험 결과, 동적 어텐션 네트워크가 이 아키텍처에서 교차 기업 신호의 독점적인 동력임을 확인했습니다. 그래프 토폴로지가 없다면 c-LSTM 역학 및 베이스라인 비율은 교차 티커 식별 능력을 전혀 제공하지 못합니다.
• 확장성: 시스템은 단일 ARM 코어에서 초당 400,000개 이상의 레코드를 처리할 수 있을 것으로 예상되며, 배치 계산을 통해 더 큰 유니버스에서도 10 ms 미만의 추론이 가능합니다.

저자들은 익일 수익률의 복잡성으로 인해 절대적인 정밀도(15.1%)는 완만해 보일 수 있으나, 베이스라인 대비 체계적인 향상은 본 아키텍처가 고립된 모델이 놓치는 구조적 전파를 성공적으로 포착하고 있음을 보여준다고 언급했습니다. 향리 작업으로는 인트라데이(intraday) 평가 및 고차 전파 모델링이 제시되었습니다.