기술 요약: 클릭에서 의도로 (From Clicks to Intent)

문제 정의

금융 서비스 분야에서는 로그인 전 웹 상호작용과 로그인 후 인증된 경험 사이에 결정적인 격차가 존재한다. 풍부한 행동 신호가 로그인 후에 발생하는 이커머스나 소셜 플랫폼과 달리, 금융 상품 탐색, 비교 및 신청 시작은 종종 인증 전의 공개 웹사이트에서 빈번하게 일어난다. 그러나 현재의 추천 시스템은 다음과 같은 이유로 이러한 로그인 전 신호를 버리는 경우가 많다:

1. 컨텍스트 손실: 로그인 전 사용자를 식별하려면 복잡한 엔티티 해상도(entity resolution)가 필요하며, 이 데이터를 로그인 후 계정과 연결하는 것이 어려워 표현된 의도(intent)의 손실로 이어진다.
2. 기존 표현 방식의 한계: 현재의 의도 표현은 대개 임시적이고 협소하다(예: 단순 페이지 방문 로그). 이는 미묘한 행동 신호를 포착하지 못하며, 금융 부문에서 요구되는 정성적 분석, 사용자 세분화 및 규제 준수를 위한 해석 가능성이 부족하다.

핵심 과제는 가공되지 않은 다중 모달(multi-modal) 웹 클릭스트림을, 다운스트림 랭킹 작업에는 정량적으로 강력하고, 인간의 이해 측면에서는 정성적으로 해석 가능한 표현으로 변환하는 것이며, 동시에 크로스 플랫폼 엔티티 해상도 문제를 해결하는 것이다.

방법론

저자들은 두 가지 상호 보완적인 출력물, 즉 정량적 작업을 위한 조밀한 세션 임베딩(dense session embedding)과 정성적 이해를 위한 인간이 읽을 수 있는 의도 레이블(intent labels)을 생성하는 확장 가능한 이중 목적 프레임워크를 제안한다.

1. 다중 모달 세션 임베딩 (정량적 출력)

시스템은 자기 지도 학습(self-supervised) 트랜스포머를 사용하여 가공되지 않은 클릭스트림 이벤트를 압축된 세션 임베딩으로 인코딩한다.

• 입력: 이질적인 특징(페이지 정보, 체류 시간, 이벤트 유형(클릭, 스크롤, 뷰), 의미론적으로 풍부한 특징(페이지 HTML 콘텐츠))을 포함하는 시간 순서대로 정렬된 이벤트 시퀀스 ($x_1, \dots, x_T$).
• 특징 인코딩:
  • 이산 특징(Discrete features): 학습된 임베딩 테이블을 통해 매핑.
  • 페이지 콘텐츠: 사전 학습된 문장 트랜스포머를 사용하여 HTML 텍스트로부터 유도된 사전 계산된 벡터를 임베딩 차원으로 투영.
  • 위치(Position): 학습된 위치 임베딩.
• 아키텍처: 특징들은 MLP를 통해 융합되고, 위치 임베딩이 더해지며, 트랜스포머 인코더가 시퀀스를 처리한다.
• 학습: 라벨링된 데이터 없이 (다음 또는 마스크된 이벤트/제목을 예측하는) 자기 지도 학습을 통해 모델을 학습시킨다. 최종 모델은 추론 시 전체 세션이 사용 가능하다는 점을 고려하여, 전체 컨텍스트를 포착하기 위해 양방향 어텐션(bidirectional attention)과 평균 풀링(mean pooling)을 사용한다.

2. LLM 증류된 분류 체계 (정 qualitative 출력)

조밀한 벡터와 인간의 이해 사이의 간극을 메우기 위해, 시스템은 의도 분류 체계(taxonomy)를 생성하고 이를 경량 분류기로 증류(distill)한다.

• 클러스터링 기반 샘플링: 세션 임베딩을 클러스터링(K-Means 사용)하여 층화 샘플링(stratified sampling)을 수행한다. 이는 LLM이 무작위 부분 집합이 아닌, 사용자 행동의 전체 다양성을 볼 수 있도록 보장한다.
• 반복적 분류 체계 생성: TnT-LLM에서 영감을 받아, LLM은 반복적인 미니배치를 통해 의도 분류 체계를 생성, 업데이트 및 검토한다. 이 과정은 관찰된 패턴을 바탕으로 고정된 의도 카테고리(예: "신용카드 사전 승인", "사기 방지")를 정교화하여 의미론적 일관성과 도메인 관련성을 확보한다.
• 레이블 할당 및 증류:
  • LLM은 제로샷 프롬프팅을 통해 샘플링된 세션에 신뢰 점수와 함께 여러 의도 레이블을 할당한다.
  • 경량 MLP 학생(student) 모델은 세션 임베딩(64차원 벡터)으로부터 이러한 레이블을 직접 예측하도록 학습되며, 이때 LLM의 신뢰 점수를 소프트 타겟(soft targets)으로 사용한다.
  • 이를 통해 추론 시 LLM 호출이나 별도의 텍스트 인코딩 없이도 대규모로 해석 가능한 레이블을 생성할 수 있다.

주요 기여

1. 이중 목적 의도 예측 시스템: 본 프레임워크는 하나의 공유된 표현으로부터 두 가지 출력을 생성한다: 정량적 작업(랭킹, 전환 예측)을 위한 조밀한 임베딩과 정성적 이해(세분화, 분석)를 위한 인간이 읽을 수 있는 레이블이다.
2. 클러스터링 강화 LLM 분류 체계 생성: 임베딩을 기준으로 샘플링 전 클러스터링을 수행함으로써, 분류 체계 생성 단계에서 LLM이 사용자 행동의 전체 스펙트럼을 관찰할 수 있게 하여 결과적인 의도 카테고리의 견고함과 커버리지를 향상시킨다.
3. 임베딩 공간 내 의도 증류: 시스템은 LLM이 생성한 레이블을 원시 텍스트가 아닌 고정 차원 벡터에서 작동하는 분류기로 증류한다. 이는 LLM의 의미론적 풍부함을 유지하면서도, 대규모 환경에서 초저지연 추론(10M+ 일일 세션)을 가능하게 한다.

실험 결과

시스템은 주요 금융 서비스 기관의 데이터(약 1,000만 건의 일일 세션, 10만 건의 크로스 플랫폼 세션으로 필터링됨)를 사용하여 두 가지 다운스트림 작업에 대해 평가되었다.

1. 모바일 홈 화면 타일 랭킹

• 작업: 로그인 후 모바일 앱 홈 화면에서 사용자가 클릭할 콘텐츠 타일을 예측하는 것.
• 베이스라인: 로그인 후 특징 및 거친 수준의 로그인 전 사이트 리타겟팅 특징(페이지 방문 횟수)을 사용하는 LightGBM 모델.
• 성능: 세션 임베딩을 추가했을 때 베이스라인 대비 Macro Recall@1이 1.88% 개선되었고 Log Loss가 13.38% 감소했다.
• 결과: 양방향 어텐션과 평균 풀링 변형 모델이 가장 우수한 성능을 보였으며, 이는 로그인 전 세션이 단순 페이지 횟수 이상의 풍부한 신호를 포함하고 있음을 확인시켜 준다.

2. 사용자 전환 예측

• 작업: 로그인 전 신호를 바탕으로 로그인 후 행동(예: 신용카드 신청)을 예측하는 것.
• 성능 비교:
  • 수작업 특징 (SRF): LLM 기반 표현보다 현저히 낮은 성능(F1 점수 35.8% 낮음)을 보였다.
  • 증류된 학생 모델 (MLP): LLM 교사(teacher) 성능의 93%를 달성했다(F1 7% 하락). 이는 효과적인 지식 전수를 입증한다.
  • 세션 임베딩: LLM 교사보다 Micro F1에서 4.3% 더 높은 성능을 보였다. 이는 임베딩이 가장 풍부한 신호를 포착함을 확인시켜 주며, 증류 레이어가 해석 가능성을 위해 약간의 정확도를 희생하면서도 효율적임을 보여준다.
• 레이블 품질: 수동 검토 결과, 인간 주석가와 LLM 할당 레이블 간의 엄격한 일치도는 97.0%, 완화된 일치도는 99.5%를 기록했다.

3. 추론 효율성

• 10만 건의 세션에 대해 직접 LLM 추론을 수행할 경우 직렬 처리 시 80시간 이상이 소요된다.
• 제안된 파이프라인(Transformer 인코딩 + 증류된 MLP)은 10만 건의 세션을 61초 미만에 처리하며, 이는 단 7%의 성능 저하만으로 3,000배 이상의 처리량 향상을 나타낸다.

의의 및 주장

본 논문은 이 접근 방식이 금융 서비스에서 가공되지 않은 행동 신호와 의미론적 이해 사이의 간극을 성공적으로 메운다고 주장한다.

• 실용적 유용성: 자기 지도 학습 기반의 클릭스트림 표현과 LLM 증류 분류 체계가 고도의 정밀도가 요구되는 정량적 작업(랭킹, 전환 예측)과 필수적인 정성적 유스케이스(세분화, 설명 가능성)를 실제 운영 환경에서 동시에 수행할 수 있음을 입증한다.
• 확장성: 증류 레이어를 통해 시스템은 LLM 직접 추론의 막대한 비용과 지연 시간 문제 없이 수백만 건의 일일 세션으로 확장 가능하다.
• 데이터 효율성: 시스템은 로그인 전 데이터를 활용하여, 인증되지 않은 잠재 고객에 대해 유일하게 가용한 신호를 바탕으로 개인화 및 전환 예측을 수행함으로써, 로그인 전 컨텍스트가 흔히 버려지는 금융업의 특정 한계를 해결한다.

저자들은 현재 시스템이 단일 기관의 데이터로 평가되었으며, 다른 도메인으로의 일반화 가능성은 추가 검증이 필요함을 인정한다. 향후 연구에는 온라인 A/B 테스트, 자동화된 분류 체계 정교화, 그리고 여러 세션에 걸친 사용자 수준의 의도 예측 확장이 포함된다.