PRAGMA: Revolut Foundation Model

이 논문은 다양한 은행 이벤트 시퀀스를 기반으로 사전 학습된 트랜스포머 기반의 금융 전용 기초 모델 'PRAGMA'를 제안하며, 이를 통해 신용평가, 사기 탐지, 생애 가치 예측 등 다양한 하위 작업에서 우수한 성능을 입증했습니다.

핵심

🏦 PRAGMA: 은행의 '초능력'을 가진 AI 두뇌

이 논문은 **Revolut(리볼럿)**과 NVIDIA가 함께 개발한 **'PRAGMA'**라는 새로운 인공지능 모델에 대해 설명합니다.

상상해 보세요. 은행은 매일 수백만 명의 고객이 하는 일 (송금, 카드 결제, 앱 사용, 문의 등) 을 기록합니다. 이 데이터는 너무 방대하고 복잡해서 기존 컴퓨터 프로그램으로는 제대로 이해하기 어려웠습니다. PRAGMA 는 바로 이 복잡한 은행 기록들을 한 번에 읽고, 이해하고, 미래를 예측할 수 있는 '초지능' 두뇌입니다.

---

1. 기존 방식의 문제점: "모든 것을 텍스트로 바꾸는 실수"

기존에 은행 데이터를 AI 에게 가르치려 할 때, 사람들은 마치 레시피를 적듯이 모든 숫자와 정보를 글자로 바꿔서 AI 에게 주었습니다.

• 문제: "100 달러"라는 숫자를 "일 - 공 - 공 - 달러"라는 글자로 나누어 주면, AI 는 "100"이라는 크기나 순서를 잊어버립니다. 마치 "100 만 원"과 "100 원"을 구별하지 못하는 것과 같습니다.
• 결과: AI 는 중요한 금융 신호를 놓치고, 매번 새로운 문제 (사기 탐지, 대출 심사 등) 가 나올 때마다 새로운 AI 를 처음부터 만들어야 하는 번거로움이 생겼습니다.

2. PRAGMA 의 해결책: "레고 블록처럼 딱 맞는 언어"

PRAGMA 는 은행 데이터를 글자로 바꾸지 않고, 은행 고유의 언어로 직접 이해합니다.

• 키 - 값 - 시간 (Key-Value-Time) 방식:
  • 키 (Key): "무엇인가?" (예: 카드 결제, 송금)
  • 값 (Value): "얼마나?" (예: 100 달러, 0 원)
  • 시간 (Time): "언제?" (예: 어제 오후 3 시)
  • 이 세 가지를 레고 블록처럼 정확하게 조립해서 AI 에게 보여줍니다. 숫자는 숫자 그대로, 날짜는 날짜 그대로 이해하게 하는 것이죠.

3. 두 개의 다리를 가진 다리 (아키텍처)

PRAGMA 는 사용자의 정보를 이해하기 위해 두 개의 다리를 사용합니다.

1. 프로파일 다리 (Profile State): 사용자의 고정된 정보를 봅니다. (예: "금속 플랜 회원", "영국 거주", "25~35 세")
   • 비유: 사람의 신분증을 보는 것과 같습니다.
2. 이벤트 다리 (Event History): 사용자의 행동 기록을 봅니다. (예: "어제 커피 샀음", "지난달 주식 매수함")
   • 비유: 사람의 일기장을 읽는 것과 같습니다.

이 두 다리가 만나서 역사 (History) 다리로 합쳐집니다. 즉, "신분증 정보"와 "일기장 내용"을 동시에 보고 그 사람을 완전히 이해하는 것입니다.

4. 어떻게 배우는가? "숨은 그림 찾기" (Masked Modelling)

PRAGMA 는 처음부터 모든 것을 다 알지 못합니다. 대신 거대한 은행 기록 데이터를 보며 스스로 공부합니다.

• 학습 방법: AI 가 기록의 일부 (예: "어제 100 달러를 보냈음" 중 '100 달러' 부분) 를 가리고, **"어떤 값이 들어갔을까?"**를 맞춰보게 합니다.
• 효과: 이 과정을 수조 번 반복하면서, AI 는 "아, 보통 이런 상황에서는 이런 행동을 하겠구나"라는 금융의 패턴을 스스로 터득하게 됩니다.

5. 실전 능력: "한 번 배우면 모든 일을 잘함"

PRAGMA 는 한 번 학습을 마치면, 다양한 업무에 바로 적용할 수 있습니다.

• 신용 점수 평가: "이 사람이 대출을 잘 갚을까?"
• 사기 탐지: "이 거래는 이상한가?"
• 고객 유지: "이 고객이 앱을 떠날까? 다시 끌어당길 수 있을까?"
• 제품 추천: "이 사람에게 어떤 상품을 추천할까?"

놀라운 점: 기존에는 각 업무마다 따로따로 AI 를 만들어야 했지만, PRAGMA 는 하나의 두뇌로 모든 일을 처리합니다. 그리고 아주 작은 부분만 수정 (LoRA 파인튜닝) 하면, 기존에 따로 만든 AI 들보다 더 좋은 성능을 냅니다.

6. 크기와 효율성

PRAGMA 는 세 가지 크기로 나뉩니다.

• 작은 것 (10M): 간단한 작업에 적합하고 빠릅니다.
• 중간 (100M): 대부분의 은행 업무에 적합합니다.
• 거대 (1B): 가장 복잡한 문제 (예: 정교한 신용 평가) 를 해결합니다.
• 비유: 스마트폰용 앱 (작은 것) 부터 슈퍼컴퓨터 (거대) 까지, 필요한 상황에 맞춰 골라 쓸 수 있습니다.

7. 한계점: "혼자서 할 수 없는 일"

PRAGMA 는 한 사람의 기록만 보고 판단합니다. 하지만 자금 세탁 (AML) 같은 사기는 여러 사람의 기록이 서로 연결되어 있을 때 발생합니다.

• 비유: PRAGMA 는 "한 사람의 일기장"을 완벽하게 읽을 수 있지만, "수백 명의 일기장을 연결해서 음모를 찾아내는 것"은 아직 서툴러서 기존 전문 프로그램보다 성능이 떨어질 수 있습니다.

---

🌟 요약

PRAGMA는 은행의 복잡한 데이터 (숫자, 날짜, 텍스트) 를 자연스럽게 이해하는 AI입니다.

• 기존: 모든 일을 글자로 바꿔서 이해하려다 실패하거나, 일일이 새 공부를 시켜야 함.
• PRAGMA: 은행 고유의 언어로 직접 이해하고, 한 번 배운 지식을 모든 업무에 적용함.
• 결과: 사기 탐지, 대출 심사, 고객 서비스 등 모든 분야에서 더 빠르고, 더 정확하며, 더 똑똑한 결정을 내릴 수 있게 되었습니다.

이 기술은 은행이 고객에게 더 안전하고, 더 개인화된 서비스를 제공하는 미래의 핵심 기술이 될 것입니다.

기술 요약

PRAGMA: 다중 소스 은행 이벤트 시퀀스를 위한 파운데이션 모델 (기술 요약)

이 논문은 Revolut 연구팀과 NVIDIA 가 공동 개발한 PRAGMA를 소개합니다. PRAGMA 는 은행의 다양한 소스 (카드 거래, 이체, 앱 내 탐색, 고객 문의 등) 에서 발생하는 이질적인 이벤트 스트림과 정적 프로필 데이터를 통합하여 학습하는 엔코더 기반의 파운데이션 모델 패밀리입니다.

1. 문제 정의 (Problem)

현대 금융 시스템은 방대한 양의 트랜잭션 및 이벤트 데이터를 생성하지만, 이를 효율적으로 모델링하는 데는 다음과 같은 어려움이 존재합니다.

• 데이터의 이질성과 복잡성: 은행 데이터는 고정된 스키마가 아닌, 범주형, 수치형, 자유 텍스트가 혼합된 가변 길이의 레코드 (이벤트) 로 구성됩니다. 또한, 이벤트는 시간적으로 불규칙하며 일/주 단위의 주기성을 가집니다.
• 기존 방법론의 한계:
  • 텍스트 직렬화: 구조화된 데이터를 텍스트로 변환하여 기존 LLM 에 입력하는 방식은 시퀀스 길이를 불필요하게 늘리고, 숫자의 크기 (magnitude) 와 순서 정보를 왜곡합니다.
  • 작업별 (Task-specific) 파이프라인: 기존에는 각 업무 (신용평가, 사기 탐지 등) 마다 별도의 특징 공학 (Feature Engineering) 과 모델을 구축해야 했으며, 이는 도메인 간 통계적 힘 (Statistical Strength) 공유를 어렵게 만들었습니다.
  • 기존 금융 모델의 부족: 기존 금융 파운데이션 모델들은 주로 텍스트나 일반적인 시계열에 집중하거나, 단일 이벤트 소스만 다루며 정적 프로필 상태를 고려하지 않았습니다.

2. 방법론 (Methodology)

2.1 토큰화 전략 (Tokenisation)

PRAGMA 는 텍스트 기반 토큰화가 아닌, Key-Value-Time 토큰화 방식을 채택하여 금융 데이터의 구조를 보존합니다.

• 의미적 타입 (Key): 필드 이름 (예: Amount, Currency) 을 단일 토큰으로 인코딩합니다.
• 값 (Value): 데이터 타입에 따라 차별화된 인코딩을 적용합니다.
  • 수치형: 학습 데이터에서 배운 백분위수 구간 (Percentile Buckets) 으로 매핑.
  • 범주형: 고유값 수가 임계치 이하인 경우 단일 토큰으로 매핑 (예: MCC 코드).
  • 텍스트: BPE(Subword) 토크나이저 사용.
• 시간 (Time): 최근 이벤트와의 시간 차이 (로그 스케일) 와 일/주/월 등의 주기적 특징 (Calendar Features) 을 함께 인코딩합니다.

2.2 모델 아키텍처

PRAGMA 는 세 가지 주요 블록으로 구성된 엔코더 전용 (Encoder-only) 아키텍처입니다.

1. 프로필 상태 인코더 (Profile State Encoder): 계정 만료일, 잔액, 가입 플랜 등 정적 프로필 데이터를 처리합니다.
2. 이벤트 인코더 (Event Encoder): 각 이벤트를 독립적으로 처리하여 임베딩을 생성합니다.
3. 히스토리 인코더 (History Encoder): 프로필 상태와 이벤트 시퀀스를 결합하여 최종 사용자 기록 임베딩을 생성합니다.

• 크기: 10M(S), 100M(M), 1B(L) 파라미터의 3 가지 스케일로 제공됩니다.

2.3 사전 학습 (Pre-training)

• 목표: 대규모 비정형 은행 이벤트 코퍼스 (26M 사용자, 24B 이벤트, 207B 토큰) 에 대한 마스킹 언어 모델링 (MLM) 을 수행합니다.
• 마스킹 전략: 개별 토큰, 전체 이벤트, 또는 의미적 키 (Key) 단위로 마스킹하여 모델이 문맥과 키를 기반으로 값을 복원하도록 학습시킵니다.
• 효율성: 시퀀스 패킹 (Sequence Packing) 과 동적 배칭 (Dynamic Batching) 을 통해 가변 길이의 긴 사용자 기록을 효율적으로 처리합니다.

2.4 하류 작업 적응 (Downstream Adaptation)

• 임베딩 프로빙 (Embedding Probe): 백본을 고정하고 추출된 임베딩 위에 가벼운 선형 모델을 학습합니다.
• LoRA (Low-Rank Adaptation): 사전 학습된 백본의 가중치 중 소수 (2~4%) 만을 업데이트하여 특정 작업에 맞춰 미세 조정합니다. 이는 catastrophic forgetting 을 방지하고 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 은행 이벤트 엔코더: 10M 에서 1B 파라미터까지 확장 가능한, 소비자 은행 이벤트 시퀀스를 위한 최초의 공개 엔코더 백본을 제시했습니다.
2. 효율적인 사전 학습 레시피: 가변 길이의 긴 은행 기록을 처리하기 위한 키 - 값 - 시간 토큰화, 시퀀스 패킹, 동적 배칭 기법을 제안했습니다.
3. 범용 표현 계층: 단일 사전 학습된 백본으로 신용 점수, 사기 탐지, 고객 생애 가치 (LTV), 제품 추천 등 6 가지 이상의 다양한 금융 작업을 수행하며, 기존 작업별 모델보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

내부 벤치마크에서 PRAGMA 는 기존 작업별 모델 (Task-specific Baselines) 보다 일관되게 우수한 성능을 보였습니다. (상대 개선율 기준)

• 신용 평가 (Credit Scoring): PR-AUC 에서 130.2% 개선. (희귀한 디폴트 사례 식별 능력 향상)
• 사기 탐지 (External Fraud): Recall 에서 64.7% 개선.
• 고객 참여 (Communication Engagement): PR-AUC 에서 79.4% 개선.
• 제품 추천 (Product Rec.): mAP 에서 40.5% 개선.
• 생애 가치 (LTV) 및 반복 거래: modest 하지만 유의미한 개선.

추가 발견:

• LoRA 의 효과: 처음부터 학습 (From Scratch) 하는 것보다 LoRA 를 통한 미세 조정이 모든 작업에서 동등하거나 더 나은 성능을 보였습니다.
• 스케일 효과: 신용 평가와 같은 복잡한 작업에서는 모델 크기 증가 (1B) 가 성능을 크게 향상시켰으나, LTV 나 반복 거래와 같은 작업에서는 작은 모델 (10M) 만으로도 경쟁력 있는 성능을 발휘했습니다.
• 프로필 상태의 중요성: 정적 프로필 정보가 중요한 작업 (신용 평가, 사기 탐지) 에서는 프로필 상태 인코더가 성능을 크게 향상시켰으나, 이벤트 패턴만으로 해결 가능한 작업에서는 영향이 적었습니다.
• 한계 (AML): 반자금세탁 (AML) 과 같이 레코드 간 관계 (Network-level signals) 가 중요한 작업에서는 PRAGMA 가 기존 베이스라인보다 성능이 떨어졌습니다. 이는 단일 기록만 처리하는 현재 아키텍처의 한계입니다.

5. 의의 및 결론 (Significance)

PRAGMA 는 이질적이고 불규칙한 금융 이벤트 데이터가 텍스트나 이미지와 마찬가지로 전이 가능한 표현 (Transferable Representations) 을 가질 수 있음을 입증했습니다.

• 효율성: 여러 개의 고비용 유지 관리가 필요한 작업별 모델을 단일 공유 시스템으로 통합하여 운영 효율성을 높였습니다.
• 일반성: 수동 특징 공학의 필요성을 줄이고, 원시 이벤트 데이터에서 직접 강력한 표현을 학습할 수 있는 범용 계층을 제공합니다.
• 미래 방향: 향후 레코드 간 상호작용을 포착할 수 있는 아키텍처 확장 (예: AML 과 같은 관계형 작업 대응) 이 중요한 연구 과제로 남았습니다.

결론적으로 PRAGMA 는 금융 분야에서 대규모 파운데이션 모델의 실용성을 입증한 중요한 사례로, 데이터의 이질성과 규제적 제약을 극복하면서도 다양한 금융 의사결정 작업을 위한 강력한 기반을 제공합니다.