SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay
SeqLLM은 소형 이산 어휘집, 2단계 정렬 프로젝터, 그리고 프리픽스 가이드 방식의 능력 주입을 통해 대규모 언어 모델을 행동 시퀀스 모델링으로 강화하여, 모델 본연의 언어 능력을 유지하면서도 가맹점 리스크 관리 및 추천 벤치마크에서 최첨단 성능을 달야낸 위챗 페이(WeChat Pay)에 배포된 새로운 프레임워크입니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 미스터리를 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 글자로 된 단서(일기장이나 뉴스 기사 같은 것)를 읽는 데 매우 뛰어난 탐정이 있습니다. 이 탐정은 인간이 쓴 거의 모든 것을 학습한 컴퓨터 뇌의 일종인 대규모 언어 모델(LLM)입니다. 이 탐정은 풍자, 이야기 요약, 복잡한 개념 설명 등을 누구보다 잘 해낼 수 있습니다. 하지만 이 탐정에게는 약점이 하나 있습니다. 누군가 커피를 마셨거나, 공원을 방문했거나, 화면을 탭한 기록과 같은 긴 행동 목록, 즉 "행동 시퀀스(behavioral sequence)"를 읽는 법을 모른다는 것입니다.
현실 세계, 특히 온라인 결제 분야에서는 진실이 이 두 가지가 혼합된 곳에 숨어 있는 경우가 많습니다. 어떤 상점은 그 설명(텍스트)만 보면 완벽하게 정상적으로 보일 수 있지만, 거래 내로(행동)를 살펴보면 새벽 3시에만 여러 지역에서 운영하며 노년층을 타겟으로 삼고 있다는 사실이 드러날 수 있습니다. 설명만 읽는다면 위험을 놓치게 됩니다. 거래 목록만 본다면 맥락을 놓치게 됩니다. 과학자들이 직면한 과제는, 이 말에 능숙한 탐정이 자신의 언어 능력이나 추론 능력을 잊어버리지 않게 하면서도, 시간 순서대로 된 행동 목록을 이해할 수 있도록 가르치는 것입니다. 만약 탐정에게 수백만 개의 타임라인을 암기하도록 강요한다면, 탐정은 너무 혼란스러워져서 간단한 문장조차 쓰는 법을 잊어버릴 수도 있습니다. 이 논문은 바로 이 문제, 즉 언어 전문가에게 사고하는 능력을 잃지 않으면서도 패턴을 포착하는 초능력을 부여하는 방법에 대해 다룹니다.
논문의 이야기: 타임라인을 읽는 법을 배우는 탐정
WeChat Pay와 몇몇 대학의 연구진은 SeqLLM이라는 이름의 영리한 새로운 프레임워크를 고안해 냈습니다. 이것을 우리 단어에 능숙한 탐정을 위한 특별 훈련 캠프라고 생각하세요. 그들의 목표는 탐정이 상점의 프로필(텍스트)과 그들의 긴 거래 내역(행동)을 동시에 살펴보고 사기를 적발할 수 있게 하는 것이었습니다.
기존 방식의 문제점
이전에는 언어 모델이 행동 목록을 이해하게 하고 싶다면, 단순히 그 목록을 하나의 이야기처럼 쓰려고 시도했습니다. "먼저 사용자가 셔츠를 샀습니다. 그다음에는 신발을 샀습니다..." 하지만 이는 모든 단어가 숫자로 이루어진 소설을 읽으려는 것과 같습니다. 너무 길어지고 탐정은 과부하가 걸립니다.
또 다른 방법은 행동만을 위한 완전히 새로운 숫자 언어를 탐정에게 가르치는 것이었습니다. 하지만 여기에는 무서운 부작용이 있었습니다. 탐정이 이 새로운 언어를 배우면서 기존의 언어를 잊어버리기 시작한 것입니다. 이는 마치 학생이 새로운 과목을 너무 열심히 공부한 나머지 모국어를 잊어버리는 것과 같았습니다. 이를 "파괴적 망각(catastrophic forgetting)"이라고 합니다. 논문에 따르면 표준적인 방식으로 모델을 가르치려 할 경우, 일반적인 언어 이해 능력이 0.78이라는 높은 점수에서 0.27이라는 형편없는 점수로 급락할 수 있음을 보여줍니다.
SeqLLM의 해결책: 세 가지 마법 같은 기술
저자들은 단순히 더 많은 데이터를 쏟아붓는 대신, 세 가지 구체적인 부분으로 구성된 더 똑똑한 시스템을 구축했습니다.
- 압축된 어휘 (약어): "나는 오후 2시에 200달러짜리 물건을 샀다"라고 쓰는 대신, 그들은 특별한 약어 코드를 만들었습니다. 그들은 모든 행동을
<Time:2PM>,<Amount:200>,<Channel:QR>과 같은 작고 구체적인 토큰으로 나누었습니다. 이것은 탐정에게 모래 더미 대신 레고 블록 한 세트를 주는 것과 같습니다. 훨씬 더 작고 깔적하며, 탐정이 이미 알고 있는 단어들과 섞이지 않습니다. - 번역기 (가교): 이 새로운 레고 블록(토큰)들은 처음에는 탐정에게 아무런 의미가 없습니다. 그래서 그들은 '프로젝터(projector)'라고 불리는, 즉 각 블록이 무엇을 의미하는지 탐정에게 가르쳐주는 번кра译기(번역기)를 만들었습니다. 그들은 단순히 블록을 던져준 것이 아니라, 2단계 수업을 진행했습니다. 먼저, 모델이 블록을 일반 영어로 번역하는 법(예:
<Time:2PM>을 "2 PM"으로 바꾸는 법)을 가르쳤습니다. 모델이 의미를 이해하고 나면, 두 번째 단계인 추론으로 넘어갔습니다. 그들은 모델에게 전체 블록 시퀀스를 보고 "이 사람은 늦은 밤에만 쇼핑한다"와 같이 패턴을 설명하도록 요청했습니다. - 비밀 접두사 (학습 마스크): 이것이 가장 중요한 기술입니다. 보통 모델에게 새로운 기술을 가르치려면 그 기술을 끊임없이 연습하게 만드는데, 이는 다른 모든 것을 잊게 만듭니다. SeqLLM은 "접두사 가이드(prefix-guided)" 방식을 사용합니다. 탐정에게 매 작업 전마다 "이제 타임라인 분석가로서 행동하라"와 같은 특정 지시 카드를 준다고 상상해 보세요. 모델은 그 특정 카드가 있을 때만 타임라인 기술을 배웁니다. 카드가 사라지면, 모델은 다시 평소의 똑똑한 모습으로 돌아갑니다. 이를 통해 "타임라인 학습"이 퍼져나가서 탐정의 일반적인 지식을 망치는 것을 방지합니다.
그들이 발견한 것
결과는 인상적이었습니다. 이 새로운 방법을 테스트했을 때:
- 기억 상실 없음: 모델은 기존의 망각하는 방식만큼이나 잘 다음 행동을 예측하는 법을 배웠으며(0.806 대 0.804), 언어 능력 또한 온전히 유지했습니다(0.27로 급락하는 대신 0.789 기록).
- WeChat Pay에서의 실제 성공: 그들은 매일 수백만 명의 가맹점을 점검하기 위해 이 시스템을 배치했습니다. 이전의 최고 시스템과 비교했을 때, 새로운 SeqLLM은 97.5%의 정밀도(92.0%에서 상승)로 위험한 가맹점을 잡아냈습니다. 더 나은 점은, 억울한 가맹점들의 항의 건수가 12%에서 약 2%로 줄어들었으며, 실수로 무고한 가맹점을 통과시킨 사례도 없었다는 점입니다.
- 더 나은 사기 탐지: 그들은 이 새로운 시스템의 "이해력"을 다른 사기 탐지기에 활용했을 때, 상위 수준의 사기 탐지율을 26.8 퍼센트 포인트 향상시켰습니다. 이는 수십억 건의 거래를 처리하는 시스템으로서 엄청난 도약입니다.
- 범용적 천재성: 그들은 영화 및 도서 추천 분야에서도 테스트를 진행했습니다. 이 모델은 경쟁 모델들보다 최대 32% 더 높은 정확도로 다음 아이템을 찾아냈으며, 동시에 경쟁 모델보다 4.8배 적은 컴퓨팅 자원만을 사용했습니다.
그들이 배제한 것
논문은 행동을 긴 이야기로 단순히 쓰는 것(직렬화, serialization)이 효과가 없음을 명시적으로 보여주었습니다. 이는 오히려 시스템을 악화시켜 정밀도를 83%까지 떨어뜨렸습니다. 또한, 단순히 더 많은 언어 데이터를 추가한다고 해서 잊어버린 문제를 나중에 "고칠" 수는 없다는 점도 증명했습니다. 모델이 한 번 잊어버리면 되돌리기 어렵습니다. 유일하게 효과적인 방법은 그들의 접두사 가이드 방식을 사용하여 애초에 망각을 방지하는 것이었습니다.
요약하자면, SeqLLM은 언어 전문가에게 말을 하는 법을 잊게 하지 않으면서도, 시간의 패턴을 보는 새로운 눈을 부여하는 방법입니다. 이는 디지털 세상에서 문제를 포착하는 더 똑똑하고, 빠르고, 정확한 방법이며, 하나의 기술을 얻기 위해 다른 기술을 희생할 필요가 없다는 것을 증명합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.