💻 컴퓨터 과학

Efficient HMM-Based Interpretable Customer Representation for Customer Segmentation in Banking

본 논문은 합성 및 실제 데이터셋 모두에서 경쟁력 있는 클러스터링 성능과 직접적인 시각화 가능성을 달성하며, 뱅킹 세분화를 위한 고객 행동의 순차적 역학을 효과적으로 포착하는 해석 가능한 은닉 마르코프 모델 기반의 SASI 프레임워크를 제안한다.

원저자: KELY MAXIME MOTUE DJOKO, SYLVAIN ILOGA

게시일 2026-11-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: KELY MAXIME MOTUE DJOKO, SYLVAIN ILOGA

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 금융 생태계의 거대하고 활기찬 흐름 속에서, 카드를 한 번 긁거나 디지털 송금을 할 때마다 흔적이 남습니다. 수십 년 동안 금융 기관들은 고객을 범주로 묶는 '세그멘테이션(segmentation)'이라는 관행을 통해 이러한 흔적들을 이해하려고 노력해 왔습니다. 이러한 분류는 단순한 행정적 업무가 아닙니다. 이는 은행이 누구에게 대출을 해줄지, 누구에게 특별 혜을 제공할지, 그리고 누가 사기 위험에 처해 있는지를 결정하는 기초가 됩니다. 전통적으로 이러한 분류는 사람의 활동에 대한 단순하고 정적인 스냅샷, 즉 얼마나 최근에 돈을 썼는지, 얼마나 자주 썼는지, 그리고 총 얼마를 썼는지에 의존했습니다. 이 방법은 이해하기 쉽지만, 고객의 이력을 단 한 장의 사진처럼 취급하여 그들의 일상적인 금융 생활이 가진 리듬과 흐름을 무시합니다. 이 방식은 총 지출액이 동일하더라도, 1년 동안 꾸준히 소비하는 사람과 한 번의 거액 결제 후 몇 달간 사라져 버리는 사람을 구별하지 못합니다. 뱅킹이 더욱 디지털화되고 복잡해짐에 따라, 실제 사건의 순서, 즉 숫자 뒤에 숨겨진 이야기를 이해해야 할 필요성이 절실해졌습니다.

카메룬과 프랑스의 대학 연구진들은 그 이야기를 들려줄 새로운 방법을 제안했습니다. 그들은 'SASI(Sequential Amounts and Sequential Intensity, 순차적 금액 및 순차적 강도)'라고 불리는 시스템을 개발했습니다. 이 접근 방식은 정적인 스냅샷을 찍는 대신, 시간이 흐름에 따라 나타나는 고객 거래의 리듬에 귀를 기울입니다. 연구진은 은행 고객을 진정으로 이해하려면 두 가지 특정 요소, 즉 들어오고 나가는 돈의 규모와 그 움직임 사이의 시간 간격을 살펴봐야 한다는 점을 깨달았습니다. 이를 포착하기 위해 그들은 '은닉 마르코프 모델(Hidden Markov Model)'이라는 수학적 도구를 사용했습니다. 간단히 말해, 이 도구는 일련의 사건 속에 숨겨진 패턴을 학습하는 확률적 지도 역할을 합니다. 이 모델은 단순히 거래 횟수를 세는 것이 아니라, 긴 대기 후에 큰 금액이 입금될 가능성이나, 빠른 연속 구매 후에 소액 인출이 일어날 가능성 등을 학습합니다. 이러한 패턴을 분석함으로써, 이 시스템은 수백 건의 거래가 담긴 복잡한 이력을 하나의 읽기 쉬운 2차원 그래프 상의 점으로 변환합니다.

연구진은 이 아이디어를 두 가지 다른 출처의 실제 데이터로 테스트했습니다. 하나는 나이지리아의 모바일 뱅킹 특성과 지역적 소비 패턴을 반영하여 1,503명의 고객 습관을 모사한 합성 데이터셋이었습니다. 다른 하나는 체코의 한 은행에서 가져온 역사적 실측 데이터로, 2,039명의 고객에 대한 6년간의 거래 기록을 포함하고 있습니다. 두 경우 모두, SASI 시스템은 행동 리듬에 따라 고객을 뚜렷한 클러스터(군집)로 성공적으로 분류했습니다. 결과는 놀라웠습니다. 나이지리아 데이터의 경우, 시스템은 기존의 많은 방식보다 더 높은 내부 일관성을 보이며 서로 매우 구별되는 그룹들을 만들어냈습니다. 체코 데이터에서는 테스트된 방법들 중 가장 높은 그룹화 정확도를 달enc했습니다. 결정적으로, 복잡하고 읽기 어려운 코드 속에 결과를 숨기는 많은 현대 인공지능 시스템과 달리, SASI 시스템은 명확한 시각적 지도를 생성했습니다. 은행 분석가는 그래프를 보고 각 그룹이 무엇을 의미하는지 즉각적으로 이해할 수 있었습니다. 예를 들어, 돈을 빈번하고 큰 금액으로 움직이는 '매우 집약적인 기여자'나, 은행과 거의 상호작용하지 않는 '휴면 소비자' 등을 식별할 수 있는 것입니다.

또한 이 연구는 데이터 과학의 흔한 문제인 '정확도와 이해도 사이의 절충(trade-off)' 문제를 다루었습니다. 많은 첨단 컴퓨터 모델은 고객을 매우 잘 분류하지만, 인간이 추가적인 처리 없이 시각화할 수 없는 고차원 공간으로 정보를 압축하여 처리합니다. 이러한 모델들은 종-종 왜 특정 그룹화가 일어났는지 이유를 알 수 없는 '블랙박스'처럼 작동합니다. SASI 프레임워크는 설계 단계부터 이를 피합니다. 이 모델은 데이터를 가로축은 순차적 금액을, 세로축은 활동의 강도나 빈도를 나타내는 2차원 공간으로 강제 배치합니다. 이는 최종 결과가 단순한 숫자 목록이 아니라, 이야기를 들려주는 하나의 그림이 된다는 것을 의미합니다. 연구진은 이 접근 방식이 정확할 뿐만 아니라 효율적이라는 사실도 발견했습니다. 수천 명의 고객을 처리하는 데 표준 컴퓨터로 한 시간도 걸리지 않았으며, 작업을 여러 프로세서로 분산했을 때 시간은 현저히 줄어들어, 이 방법이 실제 뱅킹 환경에서 수백만 명의 고객을 처리할 수 있을 만큼 확장 가능하다는 것을 시사했습니다.

하지만 연구진은 자신들의 작업에 대한 경계점을 신중하게 언급했습니다. 현재 시스템은 특정 기간 동안의 고객 행동이 미래의 행동을 나타내는 신뢰할 만한 지표라는 가정을 전제로 합니다. 또한, 거래 금액을 정규화하여 데이터를 단순화하는데, 이는 서로 다른 고객들을 비교하는 데 도움이 되지만 극단적인 이상치(outlier)에는 민감할 수 있습니다. 나아가, 현재 버전은 고객을 구형(spherical) 형태로 그룹화하는데, 이는 많은 경우에 잘 작동하지만 고객 행동의 더 복잡하고 불규칙한 패턴을 놓칠 수도 있습니다. 이러한 한계에도 불구하고, 이번 연구 결과는 은행이 고객을 바라보는 방식에 있어 강력한 변화를 시사합니다. 정적인 거래 횟수에서 벗어나 행동 순서에 대한 역동적인 이해로 나아감으로써, 금융 기관은 고객에 대한 더 명확하고 인간이 읽을 수 있는 그림을 얻을 수 있습니다. 이러한 명확성은 특정 라이프스타일에 맞춘 금융 상품을 설계하거나, 사기를 암시하는 비정상적인 활동을 포착하는 등 더 나은 의사결정을 가능하게 합니다. 이 연구는 정교한 분석 도구를 구축하면서도 투명성과 해석 가능성을 유지하는 것이 가능하며, 복잡한 데이터와 인간의 이해 사이의 간극을 메울 수 있음을 보여줍니다.

기술 요약: 은행 고객 세분화를 위한 효율적인 HMM 기반 해석 가능 고객 표현 방식

1. 문제 정의

고객 세분화는 타겟 마케팅, 리스크 관리, 부정 결제 탐지를 용이하게 하는 은행 의사결정 지원 시스템의 핵심 요소입니다. 그러나 기존 방식들은 고객 행동 표현에 있어 다음과 같은 중대한 한계를 가집니다:

정적 RFM (Recency–Frequency–Monetary): 해석 가능하고 효율적이지만, 거래 데이터를 단일 통계치로 집계하여 시퀀스의 순차적 구조와 시간적 역동성을 무시합니다. 동일한 RFM 삼중항을 가진 고객이라도 (예: 초기 활동 집중형 vs 후기 활동 집중형) 매우 다른 행동 패턴을 보일 수 있으나, RFM은 이를 구분하지 못합니다.
동적 RFM 및 딥러닝: 동적 RFM은 슬라이딩 윈도우 내에서 집계된 통계치를 사용하여 시간적 진화를 포착하지만, 여전히 제한적입니다. 딥러닝 모델(예: VAE, LSTM, Transformer)은 복잡한 순차적 의존성을 포착할 수 있지만, 종종 해석하기 어려운 고차원 잠재 표현을 생성하며, 시각화를 위한 추가적인 차원 축소가 필요하고 상당한 계산 자원을 요구합니다.

따라서 거래 금액과 거래 강도의 순차적 역동성을 포착하면서도, 해석 가능성, 저차원 시각화, 전통적인 클러스터링과의 호환성, 그리고 계산 효율성을 동시에 제공하는 방법론에 대한 공백이 존재합니다.

2. 방법론: SASI 프레임워크

저자들은 HMM(Hidden Markov Models)을 활용하여 해석 가능한 2차원 고객 임베딩을 생성하는 SASI (Sequential Amounts and Sequential Intensity) 프레임워크를 제안합니다.

2.1 데이터 전처리 및 마르코프 체인 구축

관측 기간 $w = (d_1, a_1), \dots, (d_T, a_T)$ 를 가진 고객 $U$ 에 대해, 프레임워크는 다음 변환을 수행합니다:

윈도우 확장: 비활성 기간을 고려하기 위해 관측 기간의 시작( $d_{start}$ )과 끝( $d_{end}$ )에 두 개의 더미 제로 금액 거래를 삽입합니다.
의사 마르코프 체인 ( $\hat{\delta}$ ): 윈도우를 날짜가 상태(state)이고 거래 금액이 관측값(observation)인 의사 마르코프 체인으로 매핑합니다.
이산화 및 정규화:
- 강도 (상태): 날짜를 거래 간 지연 시간( $D(d_i, d_j)$ )으로 변환하고, "당일"부터 "6개월 이상"까지 7단계의 활동 수준으로 이산화합니다. 이 단계들이 HMM의 은닉 상태( $N=7$ )를 형성합니다.
- 금액 (관측값): 거래 금액을 고객의 최대 절대 거래 금액으로 정규화하고, $2M+1$ 개의 구간(입금은 양수, 출금은 음수, 제로는 null)으로 이산화합니다. 이는 관측 심볼이 됩니다.

2.2 HMM 초기화 및 학습

무작위 초기화와 달리, SASI는 데이터 기반 초기화 전략을 사용합니다:

전이 행렬( $A$ ), 방출 행렬( $B$ ), 초기 상태 분포( $\pi$ )를 이산화된 마르코프 체인에서 관찰된 경험적 빈도로 직접 계산합니다.
영 확률(zero probability) 발생을 방지하기 위해 스무딩 상수( $\epsilon$ )를 적용합니다.
이후 **바움-웰치 알고리즘(Baum–Welch algorithm, Expectation-Maximization)**을 사용하여 학습된 HMM( $\lambda$ )이 고객 행동의 순차적 패턴을 확률적으로 학습하도록 합니다.

2.3 메타 데이터 추출 및 점수 산정

장기적인 행동 특성은 학습된 HMM에서 도출된 두 가지 정상 상태 분포를 사용하여 요약됩니다:

정상 상태 분포 ( $\phi$ ): 각 활동 강도 상태에 머무는 시간의 비율을 나타냅령다.
정상 심볼 분포 ( $\bar{\phi}$ ): 특정 정규화된 거래 금액을 관측하는 데 소요되는 시간의 비율을 나타냅니다.

이 분포들은 두 가지 해석 가능한 점수로 변환됩니다:

점수 $x$ (순차적 금액): 입금과 출금을 구분하고 규모 차이를 강조하기 위해 이차 분리(quadratic separation)를 적용한 $\bar{\phi}$ 의 가중 합입니다. 결과는 최대 거래 금액에 의해 스케일링되며, 스케일 불변성을 위해 로그 스케일로 매핑됩니다.
점수 $y$ (순차적 강도): $\phi$ 의 가중 합으로, 활동 상태의 빈도를 강조합니다. 결과는 총 거래 횟수에 의해 스케일링되며 $[0, 100]$ 구간으로 정규화됩니다.

최종 출력물은 각 고객에 대한 2D 임베딩 $(x, y)$ 이며, 이는 추가적인 차원 축소 없이 즉시 시각화 및 클러스터링(예: K-means)이 가능합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 명시합니다:

해석 가능한 HMM 기반 표현: 수기로 설계된 집계 통계량을 피하고, 오직 거래 이력만을 사용하여 순차적 거래 금액과 강도를 결합하여 포착하는 새로운 방법론을 제시합니다.
2차원 행동 임베딩: 의미론적 해석 가능성(축이 각각 금액과 강도에 대응)을 보존하고 즉각적인 시각화를 허용하는 직접적인 2D 표현을 제공합니다.
파이프라인 호환성: 본 표현 방식은 기존의 클러스터링 알고리즘과 완전히 호환되어, 기존의 세분화 파이프라인에 원활하게 통합될 수 있습니다.
실증적 검증: 합성 데이터인 나이지리아 데이터셋과 실제 데이터인 Berka 데이터셋을 통해 프레임워크의 효과성과 계산 효율성을 입증했습니다.

4. 실험 결과

프레임워크는 다음 데이터셋을 대상으로 평가되었습니다:

나이지리아 데이터셋: 1,503명의 고객 (합성 데이터, 2년치 데이터).
Berka 데이터셋: 2,039명의 고객 (실제 체코 은행 데이터, 6년치 데이터).

4.1 클러스터링 성능

$K=5$ 인 K-means를 사용하여 SASI를 Static RFM, Dynamic RFM(다양한 집계 방식 및 LSTM 인코더 포함), 그리고 VAE 기반 표현과 비교했습니다.

나이지리아 데이터셋: SASI는 **최고의 DBI (0.418718)**와 **최고의 CHI (6578.11)**를 달성했으며, **두 번째로 높은 실루엣 계수 (0.650635)**를 기록했습니다.
Berka 데이터셋: SASI는 최고의 SC (0.507139), 최고의 DBI (0.500209), 그리고 **두 번째로 높은 CHI (3309.01)**를 달랐습니다.

참고: 일부 딥러닝 모델(예: LSTM2, VAE2)이 더 높은 SC 또는 CHI 점수를 보였으나, 저자들은 이러한 결과가 중복 임베딩 생성(퇴행 현상)이나 매우 불균형한 클러스터 생성으로 인해 발생하는 오도된 결과이며, 실무적 세분화에는 덜 신뢰할 수 있다고 언급했습니다.

4.2 해석 가능성 및 시각화

결과로 도출된 2D 임베딩은 명확한 계층 구조를 보여주었습니다:

x-축은 고객을 "소비자(consumers, 음수 값)"와 "기여자(contributors, 양수 값)"로 구분했습니다.
y-축은 이 그룹들을 활동 강도(예: 매우 집약적, 규칙적, 휴면 상태)에 따라 다시 세분화했습니다.
이를 통해 플롯에서 직접 의미 있는 프로필(예: "매우 집약적인 소비자")을 생성할 수 있었습니다.

4.3 계산 효율성

순차 실행: 1,503명의 나이지리아 고객을 처리하는 데 약 1,075초가 소요되었고, 2,039명의 Berka 고객은 약 597초가 소요되었습니다 (고객당 약 1초 미만).
병렬 실행: 8개의 프로세서에서 MPI 기반 병렬 구현을 사용했을 때 실행 시간이 약 3.1배 단축되어 대규모 데이터셋에 대한 확장성을 입증했습니다.

5. 의의 및 주장

본 논문은 SASI를 RFM의 단순함과 딥러닝의 표현력 사이의 간극을 메우는 효과적인 운영 프레임워크로 자리매김합니다. 그 의의는 다음과 같습니다:

성능과 해석 가능성의 균형: "블랙박스" 잠재 공간을 생성하는 딥러닝 모델과 달리, SASI는 축이 직접적인 의미를 갖는 완전한 해석 가능 2D 공간을 제공합니다.
순차적 역동성 포착: HMM을 통해 거래의 순서와 타이밍을 모델링함으로써, 정적 RFM이 동일하게 취급할 수 있는 고객들을 구분해냅니다.
운영 가능성: SASI는 계산 효율적이고 병렬화를 통해 확장 가능하며, 복잡한 하이퍼파라미터 튜닝이나 차원 축소 단계가 필요하지 않아 은행의 의사결정 지원 시스템에 통합하기 적합합니다.

저자들은 정규화 과정에서의 극단적인 거래 금액에 대한 민감도와 현재 K-means에 대한 의존성(구형 클러스터 가정)과 같은 한계를 인정하면서도, 프레k워크가 은행 고객 세분화를 위한 강력하고 투명하며 효율적인 솔루션을 제공한다고 주장합니다.