A scalable online machine learning approach for Stock Recommendation

기술 요약: 확장 가능한 온라인 머신러닝 기반 주식 추천 방식

문제 정의
주식 추천 시스템은 두 가지 과제에 직면해 있습니다: 급변하는 시장 상황(개념 드리프트, concept drift)에 적응해야 하는 필요성과 동시에, 최종 사용자에게 저지연(low-latency) 예측을 제공해야 한다는 점입니다. 기존의 배치 학습(batch-trained) 모델은 사용자의 선호도 변화나 시장 트렌드를 실시간으로 포착하지 못하며, 단일 구조(monolithic) 아키텍처는 과부하 상황에서 결함 허용(fault tolerance) 능력이 떨어지는 경우가 많습니다. 본 논문은 가용성을 저해하지 않으면서도 확장 가능하고 지속적인 학습이 가능한 온라인 주식 추천 시스템을 구축하는 구체적인 방법에 대해 다룹니다.

방법론
제안된 솔루션은 Kubernetes, Docker, RabbitMQ를 사용하는 마이크로서비스 아키텍처 기반의 분산형 온라인 딥러닝 시스템입니다. 시스템의 핵심은 하이브리드 리더-팔로워(leader-follower) 아키텍처입니다:

• 데이터 수집: 시스템은 Alpha Vantage Pro API를 통해 S&P 500 종목의 정량적 펀더멘털 및 기술적 데이터(주당순이익[EPS], MACD-K, MACD-S, 현재가, 종목명)를 수집합니다.
• 모델 아키텍처: 추천 엔진은 TensorFlow Recommenders를 활용하여 다층 퍼셉트론(MLP)을 구현합니다. 사용자가 주식에 대해 명시적 평점(1~5점)을 제공하는 콘텐츠 기반 접근 방식을 채택합니다.
  • 리더(The Leader): 단일 기본 모델 인스턴스가 스트리밍 데이터에 대해 지속적으로 학습합니다. 관측치를 처리한 후, 모델 가중치를 업데이트하고 이를 Google Cloud Object Storage에 즉시 저장합니다. 장애 발생 시, 리더는 PostgreSQL에 기록된 관측 로그로부터 재학습을 수행할 수 있습니다.
  • 팔로워(The Followers): 여러 개의 상태 비저장(stateless) 복제 모델들이 병렬로 사용자 대상 추천을 서비스합니다. 이들은 디스크에 직접 쓰지 않으며, 대신 초기화 또는 재시작 시 리더의 스토리지에서 최신 가중치를 로드합니다. 이 설계는 학습 루프와 추론 루프를 분리하여 수평적 확장을 가능하게 합니다.
• 데이터 흐름: 들어오는 사용자 요청과 주식 데이터는 RabbitMQ를 통해 큐잉되며, 이는 리더와 팔로워 모두에게 팬아웃(fan-out)됩니다. 시스템은 역사적 주식 데이터 저장에는 BigQuery를, 사용자 포트폴리오 데이터에는 PostgreSQL을 사용합니다.
• 학습 메커니즘: 모델은 점진적으로 업데이트됩니다. 새로운 관측치마다 Adagrad 옵티마이저를 사용하여 3 에포크(epoch) 동안 학습합니다. 전이 학습(transfer learning)을 활용하며, 새로운 평점에 지속적으로 적응하는 동시에 오래된 데이터를 점진적으로 "망각"함으로써 개념 드리프트에 대응합니다.

주요 기여
본 논문은 온라인 금융 추천 시스템 분야에 대한 다섯 가지 주요 기여를 설명합니다:

1. 하이브리드 리더-팔로와 아키텍처: 지속적인 학습과 저지연 서빙을 분리하는 혁신적인 설계입니다. 이를 통해 팔로워는 모델의 신선도를 해치지 않고 수평적으로 확장할 수 있으며, 가중치 영속성 및 메시지 내구성을 통해 명확한 장애 복구 경로를 제공합니다.
2. 명시적 평점 기반 온라인 학습: 명시적 사용자 평점(1~5점)을 사용하는 온라인 딥러닝 모델이 전체 재학습 없이도 효과적으로 추천을 개인화하고 사용자의 위험 감수 성향에 따른 개념 드리프트를 포착할 수 있음을 입증했습니다.
3. 최소 기능 세트의 효용성: EPS, MACD-K, MACD-S, 가격, 종목명이라는 단 5개의 파라미터만으로도 의미 있는 실시간 추천 생성이 가능함을 보여주며, 이는 온라인 학습 모델에서 광범위한 피처 엔지니어링이 항상 필수적인 것은 아님을 시사합니다.
4. 프로덕션 준비 완료된 참조 아키텍처: Kubernetes, Docker, RabbitMQ, PostgreSQL, TensorFlow Recommenders로 구성된 완전히 구현된 오픈 소스 스택과 경험적으로 측정된 성능 특성을 제공하여 실무자들에게 근거 있는 로드맵을 제시합니다.
5. 한계점 문서화: 리더 복구 의미론, 콜드 스타트(cold start) 동작, 서비스 메시 보안 부재 등 실제적인 실패 모드에 대한 투명성을 제공하여 향후 연구 방향을 안내합니다.

결과 및 성능
시스템은 추천 서비스 능력과 처리량(throughput)을 기준으로 평가되었습니다:

• 지연 시간(Latency): 시스템은 요청당 2~3초 내에 주식 추천을 생성합니다.
• 처리량(Throughput): 각 팔로워 인스턴스는 초당 300~500개의 포트폴리오 추가 요청을 처리할 수 있습니다.
• 가용성(Availability): 아키텍처는 높은 가용성을 보장합니다. 팔로워는 장애 발생 시 가중치를 원활하게 복구하고 로드할 수 있으며, RabbitMQ는 다운타임 중에도 데이터 손실을 방지합니다.

의의 및 한계점
본 논문은 금융 맥락에서 일관성, 가용성, 확장성의 균형을 맞추는 실질적인 참조 아키텍처로서의 역할을 수행합니다. 또한, 시스템이 기능적이긴 하지만 다음과 같은 트레이드오프(trade-offs)가 존재함을 인정합니다:

• 데이터 노후화(Data Staleness): API 호출 제한(Pro 플랜 기준 분당 75회 요청)으로 인해 주식 데이터는 150분마다 갱신되므로, 지표의 최신성이 떨어질 수 있습니다.
• 보안: 현재 구현에는 클러스터 간 보안을 위한 서비스 메시(service mesh) 및 IAM(Identity and Access Management)이 결여되어 있습니다.
• 병목 현상: 리더의 클라우드 스토리지 쓰기 속도(2~5초)와 스레드 안전성을 위한 busy-wait 락(lock) 사용이 최대 처리량을 제한합니다.

저자들은 본 시스템이 주식 추천을 위한 확장 가능한 온라인 학습의 타당성을 성공적으로 입증했으나, 프로덕션 수준의 요구사항을 충족하기 위해서는 향후 데이터 지연 시간, 보안 격차, 그리고 검색 효율성(예: 브루트 포스 탐색에서 SCANN 알고리즘으로의 전환) 문제를 해결해야 한다고 결론지었습니다.