Byte-token Enhanced Language Models for Temporal Point Processes Analysis

이 논문은 연속적인 시간 간격을 특수한 바이트 토큰으로 변환하여 대규모 언어 모델 (LLM) 과 시계열 점 과정 (TPP) 을 통합한 'Language-TPP'프레임워크를 제안함으로써, 웹 이벤트 시퀀스의 시간적 동역학과 텍스트 패턴을 동시에 효과적으로 모델링하고 기존 TPP 벤치마크에서 최첨단 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"웹상에서 일어나는 사건들 (예: 쇼핑, SNS 게시글, 리뷰 등) 을 분석할 때, '언어'와 '시간'을 동시에 잘 이해하는 새로운 인공지능"**을 소개합니다.

기존의 기술들은 시간 흐름을 계산하는 데는 능숙했지만, 그 사건에 담긴 '말 (텍스트)'을 이해하는 데는 서툴렀고, 반면 최신의 거대 언어 모델 (LLM) 은 글을 잘 쓰지만 '시간의 흐름'을 계산하는 데는 약점이 있었습니다. 이 논문은 이 두 가지의 단점을 보완한 **'Language-TPP'**라는 새로운 모델을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "시간"과 "말"을 따로따로 보는 두 명의 형제

웹에서 일어나는 일은 마치 연속된 영화 장면과 같습니다.

• A 형제 (기존 TPP 모델): 시간 계산은 천재입니다. "어제 3 시에 커피를 마셨고, 오늘 5 시에 빵을 샀다"는 시간 간격을 정확히 계산합니다. 하지만 "왜 커피를 마셨지?"라는 **이유 (텍스트)**나 감정은 전혀 이해하지 못합니다.
• B 형제 (기존 LLM): 글쓰기와 대화는 천재입니다. "커피가 맛있어서 마셨다"는 문장을 아주 자연스럽게 이해하고 생성합니다. 하지만 "어제 3 시에 마셨고 오늘 5 시에 마셨다"는 시간의 간격을 계산하는 데는 서툴러서, "내일 100 년 뒤에 커피를 마실지도 몰라" 같은 엉뚱한 예측을 하기도 합니다.

이 두 형제를 합쳐서 시간도 계산하고, 내용도 이해하며, 미래의 사건까지 예측할 수 있는 '슈퍼 형제'를 만들자는 것이 이 연구의 목표입니다.

2. 핵심 아이디어: "시간"을 "알파벳"으로 바꾸기 (Byte-token)

가장 혁신적인 부분은 시간을 어떻게 표현하느냐입니다.

• 기존 방식: 시간을 숫자 (예: 0.075999237) 로 그대로 텍스트에 넣으면, AI 는 이 긴 숫자를 읽는 데 많은 '알파벳 (토큰)'을 써야 합니다. 마치 긴 전화번호를 하나하나 외우느라 머리가 지치는 것과 같습니다.
• 이 연구의 방식 (Byte-token): 시간을 **4 개의 작은 조각 (바이트)**으로 잘게 쪼개서, 마치 새로운 알파벳처럼 취급합니다.
  • 비유: 시간을 숫자로 쓰면 "075999237"이라는 긴 문장을 외워야 하지만, 이 연구는 이를 "A, B, C, D"라는 4 개의 짧은 기호로 바꿉니다.
  • 효과: AI 가 시간을 읽을 때 훨씬 빠르고 효율적이 됩니다. 마치 긴 전화번호 대신 "119"처럼 짧은 기호로 기억하는 것과 같습니다. 이렇게 하면 AI 가 시간을 '문자'처럼 자연스럽게 다루면서, 기존에 잘하던 글쓰기 능력을 잃지 않게 됩니다.

3. Language-TPP 가 하는 일: "시간이 흐르는 이야기"를 완성하다

이 모델은 과거의 사건들을 읽어서 미래의 사건을 예측합니다.

• 입력: "어제 오후 3 시 (시간), '신발' 카테고리 (종류), '이 신발 너무 편해요!' (내용)"
• 학습: AI 는 이 정보들을 모두 연결해서 "다음에 어떤 일이 일어날까?"를 학습합니다.
• 출력:
  1. 언제 일어날까? (시간 예측)
  2. 무슨 일일까? (종류 예측)
  3. 무슨 말을 할까? (내용 생성)

예시:
사용자가 "이 신발 너무 편해요!"라고 리뷰를 남긴 후, AI 는 "다음 리뷰는 3 일 뒤에 '의자' 카테고리에서 '의자도 편안하네요'라는 내용으로 올라올 것"이라고 예측할 수 있습니다.

4. 왜 이것이 중요한가요? (실제 효과)

이 연구는 실제 데이터 (아마존 리뷰, 트위터, 택시 호출 기록 등) 로 실험해 보았는데 놀라운 결과를 보였습니다.

• 더 정확한 예측: 시간을 숫자가 아닌 '문자'로 처리했기 때문에, 기존 모델들보다 언제 다음 사건이 일어날지 훨씬 정확하게 맞췄습니다.
• 더 자연스러운 글쓰기: 단순히 시간만 예측하는 게 아니라, 다음에 올라올 리뷰 내용을 생성할 때, 시간 흐름을 고려하면 훨씬 더 자연스럽고 감정이 실린 글을 썼습니다.
  • 비유: 시간을 무시하고 글을 쓰면 "오늘도 신발 샀어요"라고 평범하게 쓰지만, 시간을 고려하면 "어제 신발을 신고 산책했는데, 오늘도 그 신발이 너무 좋아서 다시 샀어요"처럼 맥락이 살아있는 글을 씁니다.

5. 결론: 웹의 흐름을 읽는 새로운 눈

이 논문은 "시간"과 "말"을 하나로 묶어서 웹상의 사용자 행동을 더 깊이 이해할 수 있는 길을 열었습니다.

• 기존: "언제 일어났나?" (시간) 또는 "무슨 말인가?" (내용)
• 이 연구: "언제, 무슨 일로, 어떤 말을 했으며, 그 다음에는 어떤 일이 일어날까?" (종합적 이해)

이 기술이 발전하면, 쇼핑몰이 사용자의 다음 구매를 더 정확하게 추천하거나, SNS 에서 사용자의 감정을 더 잘 파악하여 맞춤형 콘텐츠를 제공하는 등 웹 서비스의 질이 한 단계 업그레이드될 것으로 기대됩니다.

한 줄 요약:

"이 연구는 AI 에게 '시간'을 '문자'처럼 쉽게 읽히게 만들어, 과거의 사건들을 바탕으로 미래의 '언제', '무엇', '어떤 말'을 모두 예측할 수 있게 한 획기적인 기술입니다."

기술 요약

1. 문제 정의 (Problem)

• 배경: 웹 환경 (이커머스 리뷰, 소셜 미디어, 온라인 거래 등) 에서 발생하는 이벤트 시퀀스는 시간적 동역학 (Temporal Dynamics) 과 풍부한 텍스트 정보 (이벤트 설명, 리뷰 내용 등) 를 동시에 포함합니다.
• 기존 모델의 한계:
  • 전통적인 TPP (Temporal Point Process) 모델: 시간과 이벤트 유형 (Category) 을 효과적으로 모델링하지만, 이벤트에 수반되는 풍부한 텍스트 정보를 통합하는 데 어려움을 겪습니다.
  • 대형 언어 모델 (LLM): 탁월한 텍스트 생성 및 이해 능력을 갖췄지만, 웹 이벤트 시퀀스 고유의 연속적인 시간 동역학을 처리할 수 있는 메커니즘이 부족합니다.
• 핵심 과제: 기존 TPP 모델의 시간 예측 능력과 LLM 의 텍스트 생성/이해 능력을 통합하여, 연속적인 시간 정보와 텍스트 정보를 동시에 처리하고 생성할 수 있는 통일된 프레임워크를 구축하는 것입니다.

2. 방법론 (Methodology)

저자들은 Language-TPP라는 새로운 프레임워크를 제안하며, 이는 표준 LLM 아키텍처를 수정 없이 TPP 작업에 적용할 수 있게 합니다.

가. 바이트 토큰 기반 시간 인코딩 (Byte-token Temporal Encoding)

• 핵심 아이디어: 연속적인 시간 간격 (Continuous Time Intervals) 을 LLM 이 처리할 수 있는 **특수 바이트 토큰 (Special Byte-tokens)**으로 변환합니다.
• 구현 방식:
  • 이벤트 시간 (Timestamp) 을 32 비트 부동 소수점 (Float32) 숫자로 표현합니다.
  • 이 숫자를 4 개의 바이트 (Byte) 로 분해하고, 각 바이트 값을 <|byte_x|> 형태의 특수 토큰으로 매핑합니다 (예: 0.075999237 → 4 개의 바이트 토큰).
  • 기존 LLM (Qwen2.5) 의 어휘집에 256 개의 새로운 바이트 토큰을 추가하여 사용합니다.
  • 효과: 텍스트로 직접 시간 값을 표현할 때보다 토큰 효율성이 극대화되어 (11 토큰 → 4 토큰), 모델의 처리 효율성을 높이고 시간 패턴 학습의 정밀도를 개선합니다.

나. 이벤트 템플릿 및 프롬프트 구성

• 각 이벤트는 이벤트 유형 (Type), 설명 (Description), 시간 (Time) 을 포함하는 텍스트 템플릿으로 변환됩니다.
• 예시 구조: <|start_of_event|> <|type_prefix|> [유형] <|description_prefix|> [내용] <|time_prefix|> [바이트 토큰] <|end_of_event|>
• 이 템플릿을 통해 시퀀스 데이터가 LLM 의 자연어 입력 형식으로 변환됩니다.

다. 학습 전략 (Two-Stage Training)

1. Stage 1 (연속 사전 학습, Continued Pre-training): 이벤트 시퀀스 전체를 다음 토큰 예측 (Next-token Prediction) 과 함께 학습하여 모델이 시간적 의존성과 텍스트 패턴을 동시에 이해하도록 합니다.
2. Stage 2 (다음 이벤트 미세 조정, Next-event Fine-tuning): 특정 이벤트 시퀀스를 프롬프트로 주고, 다음 이벤트 (시간, 유형, 설명) 를 정답으로 하는 쌍 (Prompt-Response Pairs) 을 생성하여 다운스트림 작업을 수행하도록 학습합니다.

3. 주요 기여 (Key Contributions)

1. 멀티모달 통합 프레임워크 (Language-TPP): TPP 와 LLM 을 통합하여 이벤트 시간 예측, 유형 예측, 그리고 **이벤트 설명 생성 (Description Generation)**을 모두 수행할 수 있는 최초의 프레임워크 중 하나를 제안했습니다.
2. 혁신적인 시간 인코딩: 연속 시간을 LLM 토크나이저와 호환되는 바이트 토큰으로 변환하는 방식을 도입하여, TPP 전용 아키텍처 수정 없이 표준 LLM 을 활용할 수 있게 했습니다.
3. 새로운 연구 방향 제시: 기존 TPP 연구에서 간과되었던 "시간 정보를 활용한 이벤트 설명 생성" 능력을 입증했습니다. 시간적 맥락이 포함된 LLM 이 더 정확한 텍스트를 생성함을 보였습니다.

4. 실험 결과 (Results)

저자들은 아마존 리뷰, 트위터, 스택오버플로우, 타오바오 등 5 개의 실제 웹 데이터셋을 사용하여 실험을 수행했습니다.

• 전통적 TPP 작업 (시간 및 유형 예측):
  • 시간 예측 (RMSE): Language-TPP 는 Retweet, Stackoverflow, Taobao 등 대부분의 데이터셋에서 기존 최첨단 모델 (NHP, SAHP, AttNHP, TPP-LLM 등) 보다 우수한 성능을 보였습니다. (예: Retweet 데이터셋에서 RMSE 18.1 로 기존 최강자 대비 15% 이상 개선).
  • 유형 예측 (ACC): 여러 데이터셋에서 높은 정확도를 기록했습니다.
• 이벤트 설명 생성 (Description Generation):
  • ROUGE-L 점수: 시간 정보를 포함한 Language-TPP 는 시간 정보가 없는 일반 LLM (Qwen2.5-0.5B) 보다 더 높은 ROUGE-L 점수 (24.78 vs 22.60) 를 기록하여, 시간적 동역학이 텍스트 생성 품질을 향상시킨다는 것을 증명했습니다.
  • 감정 분석 (Sentiment Analysis): 생성된 리뷰의 감정 분포가 실제 데이터 (Ground Truth) 와 더 잘 일치함을 확인했습니다.
• 확장성 및 분석:
  • 길이 확장성: 3,000 개의 이벤트 시퀀스까지 처리 가능하며, 긴 시퀀스에서도 퍼플렉시티 (Perplexity) 가 점진적으로만 증가하여 실용성을 입증했습니다.
  • 분포 학습: 모델이 실제 데이터의 시간 간격 분포 (Right-skewed) 와 이벤트 유형 분포를 정확하게 학습하고 재현함을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

• 웹 사용자 행동 이해의 심화: 단순한 시간 예측을 넘어, 사용자가 "언제 (When)", "무엇을 (What)", "어떤 내용으로 (How)" 상호작용하는지 종합적으로 이해할 수 있는 새로운 도구를 제공합니다.
• 콘텐츠 생성 및 추천 시스템: 시간적 맥락을 고려한 고품질 이벤트 설명 생성은 개인화된 추천, 콘텐츠 생성, 사용자 행동 예측 등 다양한 웹 애플리케이션에 적용 가능합니다.
• 기술적 패러다임 전환: TPP 연구에 LLM 을 통합하는 새로운 접근법을 제시하며, 바이트 토큰을 이용한 시간 인코딩은 연속적인 시계열 데이터를 언어 모델에 적용하는 효율적인 표준이 될 수 있습니다.

이 논문은 시간적 동역학과 텍스트 정보를 통합하여 웹 이벤트 시퀀스를 더 정교하게 모델링하고 생성할 수 있는 강력한 프레임워크를 제시함으로써, 웹 데이터 분석 및 생성 분야에서 중요한 진전을 이루었습니다.