TransactionGPT

이 논문은 세계 최대 결제 네트워크 중 하나의 소비자 거래 데이터를 기반으로 한 새로운 3D-Transformer 아키텍처를 도입하여 이상 거래 탐지 및 미래 거래 생성 등 다양한 하위 작업에서 기존 모델보다 우수한 성능과 효율성을 입증한 'TransactionGPT'라는 거래 데이터 전용 파운데이션 모델을 제안합니다.

핵심

비자 (Visa) 의 'TransactionGPT': 당신의 지갑을 이해하는 초지능 AI

이 논문은 세계 최대 결제 네트워크 중 하나인 비자 (Visa) 연구팀이 개발한 새로운 AI 모델, TransactionGPT(TGPT) 에 대한 이야기입니다.

기존의 AI 가 글을 쓰거나 그림을 그리는 데 뛰어나다면, 이 TGPT 는 **"사람들이 돈을 어떻게 쓰고, 어디로 이동하는지"**를 완벽하게 이해하고 예측하는 데 특화된 AI 입니다.

이 복잡한 기술을 일상적인 언어와 비유로 쉽게 설명해 드리겠습니다.

---

1. 왜 이런 AI 가 필요할까요? (문제 상황)

우리가 스마트폰으로 커피를 사거나, 여행 가서 호텔을 예약할 때 남기는 결제 기록은 단순한 숫자가 아닙니다.

• 언제 (시간), 얼마 (금액), 누구와 (상점), 어디서 (위치) 샀는지 등 다양한 정보가 섞여 있습니다.

기존의 AI 모델들은 이 복잡한 정보를 처리하는 데 한계가 있었습니다.

• **LLM(대형 언어 모델)**은 글을 잘 쓰지만, 숫자나 데이터 테이블을 다루는 데는 비효율적이고 느립니다. (마치 "수학 문제를 풀기 위해 시를 쓰는 것"과 같습니다.)
• 기존 데이터 분석 도구는 너무 단순해서 복잡한 패턴을 놓칩니다.

비유하자면:
기존 AI 들은 "사람이 커피를 마셨다"는 사실만 알았지, "그 사람이 출근길에 급하게 커피를 사서 3 분 뒤에 회사로 갔다"는 맥락과 흐름을 이해하지 못했습니다. TGPT 는 이 **흐름 (Trajectory)**을 이해하는 새로운 뇌를 가진 AI 입니다.

---

2. TGPT 의 핵심 기술: 3 차원 (3D) 구조의 마법

이 모델의 가장 큰 특징은 3 차원 (3D) 아키텍처를 사용한다는 점입니다. 이를 쉽게 이해하기 위해 **'레고 조립'**에 비유해 보겠습니다.

🧱 1 차원 (1D): 시간의 흐름만 봄

단순히 "어제 커피를 마셨고, 오늘 빵을 샀다"는 시간 순서만 보는 단계입니다.

🧱 2 차원 (2D): 한 번의 거래를 자세히 봄

"커피를 산 그 순간"을 자세히 봅니다. 금액, 시간, 상점 이름 등 한 장의 영수증에 있는 모든 정보를 서로 연결해서 이해합니다.

🧱 3 차원 (3D): 시간 + 영수증 + 특수한 정보의 완벽한 조화

이것이 TGPT 의 핵심입니다. 세 가지 정보를 동시에 처리합니다.

1. 시간 (Temporal): 과거의 소비 패턴.
2. 메타데이터 (Metadata): 상점 이름, 카테고리 등 기본 정보.
3. 특수 기능 (Features): 사기 탐지나 추천을 위해 만든 복잡한 계산 데이터.

💡 핵심 아이디어: '가상 토큰 (Virtual Token)'
여러 정보가 섞이면 데이터가 너무 커져서 AI 가 처리하기 힘들어집니다. TGPT 는 **'가상 토큰'**이라는 마법 같은 도구를 사용합니다.

• 비유: 방대한 양의 서류 (데이터) 를 한 장의 요약본 (가상 토큰) 으로 압축하되, 중요한 내용은 하나도 잃지 않고 AI 가 읽기 편한 형태로 바꾸는 것입니다.
• 이 덕분에 AI 는 엄청난 양의 데이터를 빠르게 처리하면서도, 중요한 패턴을 놓치지 않습니다.

---

3. 이 AI 가 할 수 있는 놀라운 일들

TGPT 는 단순히 데이터를 저장하는 것을 넘어, 다음과 같은 일을 해냅니다.

🕵️‍♂️ 1. 사기 거래 탐지 (Anomaly Detection)

• 상황: 평소에는 주말에만 커피를 사던 사람이, 평일 새벽 3 시에 갑자기 고가의 명품을 결제했습니다.
• TGPT 의 역할: "이건 평소 패턴과 너무 다르다!"라고 바로 감지합니다.
• 결과: 기존 시스템보다 22% 더 정확하게 사기 거래를 찾아냅니다. (비자의 실제 운영 모델보다 훨씬 뛰어납니다.)

🔮 2. 미래 예측 (Generation)

• 상황: "다음에 이 사람은 어디에 갈까?"
• TGPT 의 역할: 과거의 이동 경로 (집 → 회사 → 헬스장 → 식당) 를 분석해, "아, 헬스장에 갔으면 이제 식당에 갈 확률이 높다"라고 예측합니다.
• 결과: 식당이나 상점을 예측하는 정확도가 매우 높습니다.

🗣️ 3. LLM 보다 빠르고 똑똑한 결제 AI

• 비유: 거대한 언어 모델 (LLM) 이 "전체 도서관의 책을 다 읽어서 답을 찾는다"면, TGPT 는 "결제 데이터 전문 도서관의 책만 빠르게 훑어서 정답을 찾습니다."
• 결과: LLM 보다 300 배 더 빠르고, 파라미터 (머리 크기) 는 92% 더 작으면서도 결제 관련 예측에서는 더 높은 정확도를 보입니다.

---

4. 왜 이 연구가 중요한가요?

이 연구는 **"결제 데이터라는 특수한 언어를 위한 AI"**를 만들었다는 점에서 의미가 큽니다.

• 개인정보 보호: 모든 데이터는 익명화되어 처리되며, 개인의 신원은 보호됩니다.
• 실용성: 이론적인 모델이 아니라, 실제 비자의 결제 네트워크에서 작동하며 사기를 막고 소비 경험을 개선하는 데 쓰입니다.
• 미래 지향: 앞으로 우리가 남기는 모든 디지털 흔적 (웹, 앱, IoT 등) 을 이해하는 '기초 모델 (Foundation Model)'의 새로운 기준을 제시합니다.

📝 한 줄 요약

TransactionGPT 는 방대한 결제 기록을 '시간', '영수증 내용', '복잡한 분석 데이터'라는 3 가지 렌즈로 동시에 들여다보고, 당신의 소비 습관을 완벽하게 이해하여 사기를 막고 더 나은 서비스를 제안하는 초지능 AI 입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 기반 모델 (Foundation Models) 은 자연어 처리 (NLP) 나 컴퓨터 비전 (CV) 분야에서 성공을 거두었으나, 결제 데이터와 같은 **다중 모달 - 시계열 - 테이블형 **(Multi-Modal-Temporal-Tabular, MMTT)데이터에는 적용이 제한적이었습니다. 결제 데이터는 다음과 같은 고유한 도전 과제를 가지고 있습니다:

• 복잡한 구조: 단일 거래 시퀀스는 메타데이터 (시간, 금액), 엔티티 (가맹점 ID, 카테고리), 그리고 하위 작업에 특화된 수백 개의 특징 (Features) 으로 구성됩니다.
• 기존 모델의 한계:
  • LLM: 언어적 풍부함이 부족하여 거래 데이터의 수치/범주형 필드 처리에 비효율적이고 비용이 높음.
  • 표준 Tabular 모델: 대규모 데이터 처리에 부적합하거나 의미 있는 열 이름이 필요하며, 시퀀스 모델링 유연성이 부족함.
  • 시계열 모델: 단일 스칼라 값 위주라 거래 데이터의 고차원적이고 이질적인 메타데이터를 처리하기 어려움.
• 요구사항: MMTT 데이터의 이질성, 다양한 하위 작업 요구사항, 그리고 엄격한 효율성 및 지연 시간 (Latency) 제약을 동시에 충족하는 모델이 필요함.

2. 방법론 (Methodology)

TransactionGPT 는 이러한 문제를 해결하기 위해 **3 차원 **(3D)과 **가상 토큰 **(Virtual Token)을 도입했습니다.

2.1 3D-Transformer 아키텍처

거래 데이터의 세 가지 차원 (시계열, 메타데이터, 특징) 을 계층적으로 인코딩하기 위해 세 개의 상호 연결된 Transformer 를 사용합니다.

1. **Temporal Transformer **(TF(S)) 거래 시퀀스 간의 시간적 의존성을 모델링합니다. 디코더 전용 (Decoder-only) Transformer 를 사용하여 다음 거래를 autoregressive 방식으로 생성합니다.
2. **Metadata Transformer **(TF(tr)) 단일 거래 내의 메타데이터 (시간, 금액 등) 와 엔티티 (가맹점 ID 등) 간의 상호작용을 인코딩합니다. 양방향 어텐션을 사용하는 인코더 전용 구조를 사용합니다.
3. **Feature Transformer **(TF(F)) 하위 작업에 특화된 수백 개의 특징 (Features) 을 인코딩합니다. 메타데이터와 특징은 임베딩 크기와 특성이 다르므로 별도의 Transformer 를 사용하여 최적의 크기로 처리합니다.

2.2 모달리티 퓨전 및 가상 토큰 (Virtual Token)

세 가지 Transformer 에서 생성된 임베딩을 효율적으로 융합하기 위해 **가상 토큰 레이어 **(Virtual Token Layer, VTL)를 도입했습니다.

• 문제: 메타데이터 임베딩은 크지만 수가 적고, 특징 임베딩은 작지만 수가 많습니다. 이를 직접 연결하면 계산 비용이 급증하거나 정보 손실이 발생합니다.
• **해결 **(VTL) 선형 (Linear) 과 비선형 (Non-linear) 채널을 결합하여 임베딩을 임의의 개수와 크기의 '가상 토큰'으로 변환합니다.
  • Feature Tokenization: 특징 임베딩을 고차원의 가상 특징 토큰으로 변환하여 메타데이터와 융합합니다.
  • Transaction Tokenization: 융합된 정보를 다시 가상 거래 토큰으로 변환하여 Temporal Transformer 에 입력합니다.
• 효과: 정보 대역폭을 유지하면서 계산 복잡도를 낮추고, 시퀀스 모델링에 최적화된 구조를 제공합니다.

2.3 학습 전략

• **자기지도 학습 **(Self-Supervised) 미래 거래의 핵심 필드 (시간 간격, 금액, 가맹점, MCC) 를 예측하도록 학습합니다.
• **지도 학습 **(Supervised) 사기 탐지 (Anomaly Detection) 등 하위 작업 라벨을 함께 최적화합니다.
• 스케일링 기술: 고차원 엔티티 (가맹점) 임베딩을 위한 **구성적 임베딩 **(Compositional Embedding)과 **가중치 타이 **(Weight Tying)를 사용하여 파라미터 수와 메모리 사용량을 대폭 줄였습니다.

3. 주요 기여 (Key Contributions)

1. TransactionGPT 개발: 수십억 건의 실제 거래 데이터로 학습된 최초의 MMTT 전용 기반 모델. 3D-Transformer 와 가상 토큰 메커니즘을 통해 복잡한 거래 패턴을 효과적으로 포착합니다.
2. 확장성 및 효율성 기술: 실제 배포를 위한 다양한 최적화 기법 (로컬 어텐션, 가중치 타이, 구성적 임베딩 등) 을 제안하고 그 성능 영향을 정량화했습니다.
3. LLM 대비 우월한 성능: LLM 기반 모델과 비교하여 더 높은 예측 정확도와 훨씬 빠른 추론 속도를 입증했습니다.

4. 실험 결과 (Results)

Visa 의 실제 데이터셋 (T-JGC, T-RES, T-MCC) 을 기반으로 한 광범위한 평가에서 TGPT 는 뛰어난 성능을 보였습니다.

• **사기 탐지 **(Anomaly Detection)
  • 기존 생산 모델 (Production Model) 대비 **22% 상대적 개선 **(Relative Improvement)을 달성했습니다.
  • 3D-FMT 아키텍처가 시퀀스 정보와 특징 정보를 모두 활용하여 가장 높은 성능을 보였습니다.
• 거래 생성 및 예측:
  • 미래 거래의 MCC(가맹점 분류 코드) 및 가맹점 예측에서 기존 시퀀스 추천 모델 (Transformers4Rec) 보다 높은 정확도를 기록했습니다.
  • 특히, 가맹점 예측 (300 만 개 중 선택) 에서 Top-1 정확도가 30% 이상, Top-50 정확도가 45% 이상을 기록했습니다.
• **LLM 대비 효율성 **(MCC 예측 태스크)
  • 파라미터 수: Llama2-7B(70 억 파라미터) 대비 92% 적은 5600 만 파라미터로 동급 이상의 성능을 냈습니다.
  • 추론 속도: LLM 대비 300 배 빠른 (0.27ms vs 84.9ms) 추론 속도를 기록했습니다.
• 데이터 스케일링 법칙: 학습 데이터 양이 증가함에 따라 TGPT 의 성능이 지속적으로 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

TransactionGPT 는 결제 데이터와 같은 MMTT 데이터를 위한 새로운 기반 모델의 표준을 제시했습니다.

• 실용성: 대규모 데이터 처리와 엄격한 지연 시간 요구사항을 모두 충족하여 실제 산업 환경 (Visa 네트워크) 에서 즉시 적용 가능한 솔루션입니다.
• 기술적 혁신: 단순한 Transformer 확장을 넘어, 이질적인 데이터 모달리티를 효율적으로 융합하는 3D 아키텍처와 가상 토큰 메커니즘은 향후 유사한 데이터 (금융, IoT 등) 모델링에 중요한 통찰을 제공합니다.
• 미래 방향: LLM 과의 결합, 더 나은 멀티모달 인코더 개발, 그리고 MMTT 기반 모델의 공동 최적화 연구의 기반이 될 것으로 기대됩니다.

이 연구는 결제 네트워크 데이터의 복잡성을 해결하고, 사기 탐지 및 고객 행동 예측 등 핵심 비즈니스 가치 창출에 기여할 수 있는 강력한 AI 기반을 마련했다는 점에서 의미가 큽니다.