AI foundation model choice and false positive variation in Anti Money Laundering transaction screening
본 연구는 자금세탁방지 거래 스크리닝을 위해 서로 다른 거대언어모델을 선택하는 것이 오탐률과 운영 업무량의 급격한 변화를 초래한다는 점을 입증하며, 모델 선택이 명시적인 거버넌스와 모니터링이 필요한 핵심적인 운영 리스크 파라미터임을 확립한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
매년 막대한 양의 자금이 글로벌 금융 시스템을 통해 이동하며, 그중 일부는 불법 수익의 출처를 숨기기 위한 목적으로 사용됩니다. 이를 차단하기 위해 은행과 기타 금융 기관들은 고객의 거래를 면밀히 감시하여 자금 세탁을 암시하는 패턴을 찾아내도록 요구받습니다. 수십 년 동안 이들은 이 초기 감시 작업을 수행하기 위해 컴퓨터 시스템에 의존해 왔습니다. 이 시스템들은 마치 체(sieve)와 같은 역할을 하여, 조금이라도 의심스러운 것이 발견되면 이를 포착해 인간 조사관이 검토할 수 있도록 표시(flag)를 남깁니다. 문제는 이러한 체가 너무 거칠 때가 많다는 점입니다. 이들은 실제 위협뿐만 아니라 엄청난 양의 무해한 활동까지 함께 걸러내어, 가짜 경보(false alarms)라는 산을 만들어냅니다. 이는 분석가들이 무고한 사람들을 조사하는 데 시간을 허비하게 만들어 자원을 낭비하고 고객에게 불필요한 스트레스를 유발합니다.
최 최근, 새로운 유형의 컴퓨터 지능이 논의의 장에 등장했습니다. 바로 대규모 언어 모델(LLM)입니다. 이들은 방대한 양의 텍스트를 학습하여, 모든 시나리오에 대한 특정 규칙을 배울 필요 없이 복잡한 상황을 이해하고 추론할 수 있는 강력한 도구입니다. 이 모델들은 거래 내역을 읽고 숫자 뒤에 숨겨진 이야기를 이해할 수 있기 때문에, 많은 전문가들은 이들이 가짜 경보 문제를 해결할 수 있기를 기대했습니다. 아이디어의 핵심은 이 모델들이 기존의 규칙 기반 시스템보다 더 똑똑하여, 정당한 사업적 결제와 의심스러운 송금을 더 높은 정확도로 구별할 수 있다는 것이었습니다. 그러나 결정적인 질문이 하나 남아 있었습니다. 만약 은행이 이 새로운 모델 중 하나를 다른 모델 대신 선택한다면, 그것이 실제로 의미가 있을까요? 아니면 이 모델들이 모두 서로 대체 가능하고 예측 가능한 동일한 도구의 다른 버전일 뿐일까요?
독립 연구팀은 모델의 선택을 단순한 소프트웨어 결정이 아니라 은행 운영의 근본적인 리스크로 간격하며 그 답을 찾고자 했습니다. 연구진은 두 주요 기술 제공업체로부터 제공된 다섯 가지의 상용 대규모 언어 모델을 수집했습니다. 연구진은 이 모델들을 은행 데이터로 학습시키거나 설정을 조정하지 않았습니다. 대신, 각 모델에게 '제로샷(zero-shot)' 스크리너로서 역할을 수행하도록 요청했는데, 이는 모델이 오직 기존 지식만을 바탕으로 판단을 내려야 함을 의미합니다. 공정한 테스트를 보장하기 위해 연구진은 600개의 합성 거래 사례로 구성된 통제된 세트를 만들었습니다. 300개의 사례는 알려진 자금 세탁 수법과 정확히 일치하도록 설계되었고, 나머지 300개는 덜 주의 깊은 시스템을 속일 만큼 충분히 의심스럽게 제작된 완벽하게 합법적인 거래였습니다. 이것들이 바로 "하드 네거티브(hard negatives)", 즉 실수로 분류되기 쉬운 무고한 거래들입니다.
연구진은 이 600개의 모든 사례를 다섯 가지 모델에 입력한 뒤, 각 모델에 해당 거래가 의심스러운지 여부를 결정하도록 요청했습니다. 결과는 놀라웠습니다. 모델들이 300개의 합법적인 거래를 검토했을 때, 그 행동은 매우 판이했습니다. 어떤 모델은 아주 적은 비율의 거래만을 의심스러운 것으로 분류한 반면, 다른 모델은 대다수를 의심스러운 것으로 분류했습니다. 실제로 최상의 성과를 낸 모델과 최악의 성과를 낸 모델 사이의 가짜 경보 발생 빈도 차이는 엄청났습니다. 동일한 무고한 거래들에 대해, 한 모델은 100번 중 한 번도 채 실수하지 않았지만, 다른 모델은 10번 중 8번 이상 실수를 저질렀습니다. 모델들은 단순히 까다로운 몇몇 사례에서 의견이 갈린 것이 아니었습니다. 그들은 합법적인 거래의 거의 90%에 대해 서로 다른 판단을 내렸습니다. 특정 무고한 고객이 조사 대상으로 분류될지 여부는 전적으로 어떤 특정 컴퓨터 모델이 스크리닝을 수행하느냐에 달려 있었습니다.
이 연구는 또한 각 회사가 제공하는 모델 제품군 내에서도 명확한 패턴을 드러냈습니다. 두 경우 모두, 규모가 작고 비용이 저렴한 모델일수록 더 공격적이어서, 더 강력하고 비싼 모델들에 비해 무고한 활동을 훨씬 더 높은 비율로 의심스러운 것으로 분류했습니다. 연구진은 이 모델들이 단순히 잘하거나 못하는 것이 아니라, 완전히 다른 '주의력의 스펙트럼' 상에서 작동하고 있다는 것을 발견했습니다. 어떤 모델은 범죄자를 잡으려는 의욕이 너무 앞선 나머지 거의 모든 사람을 범죄자로 몰아세웠고, 다른 모델은 무고한 사람들을 괴롭히지 않기 위해 의심스러운 활동을 놓치는 것을 감수하며 지나치게 신중했습니다. 이러한 트레이드오프(trade-off)는 모델을 선택하는 것이 단순한 기술적 선택이 아니라, 은행 직원이 매일 처리해야 할 가짜 경보의 양을 결정하는 선택임을 의미했습니다.
실제 은행의 상황을 이해하기 위해, 연구진은 하루에 100만 건의 거래를 처리하며 그중 매우 적은 비율만이 실제로 의심스러운 경우를 가정했습니다. 이러한 조건 하에서 모델 선택의 차이는 업무량의 막대한 차이로 직결되었습니다. 가장 신중한 모델은 조사관이 검토해야 할 관리 가능한 수준의 경보를 생성할 것입니다. 그러나 가장 공격적인 모델은 거의 200배나 더 큰 경보 대기열을 만들어낼 것입니다. 이 시나리오에서 가장 공격적인 모델은 가짜 경보의 홍수를 일으켜, 거의 모든 경보가 실수로 판명되게 함으로써 진짜 위협을 압도해 버릴 것입니다. 이는 모델의 선택이 컴플라이언스 팀의 일상을 근본적으로 바꿀 수 있음을 보여주었습니다. 즉, 집중적인 조사 상태에서 압도적인 소음의 상태로 변화시킬 수 있다는 것입니다.
연구진은 또한 이 모델들이 동일한 방식으로 실패할 것인지, 즉 모두가 같은 도구에 의존하여 같은 실수를 저지르는 '알고리즘 단일 문화(algorithmic monoculture)' 현상이 나타날 것인지도 확인했습니다. 연구 결과, 그렇지 않은 것으로 나타났습니다. 모델들은 동일한 의심스러운 거래를 놓치는 것이 아니라, 서로 다른 거래를 놓쳤습니다. 진짜 위험은 그들이 모두 범죄자를 놓치기로 합의하는 것이 아니라, 누가 무고한지를 두고 서로 다르게 판단하는 것이었습니다. 이러한 발산(divergence)은 서로 다른 모델을 사용하는 두 은행이 동일한 고객의 활동에 대해 완전히 다른 견해를 가질 수 있음을 의미합니다. 한 은행은 이를 정상적인 사업 패턴으로 볼 수 있지만, 다른 은행은 이를 범죄로 볼 수 있습니다.
연구는 이러한 대규모 언어 모델을 교체 가능한 부품처럼 취급하는 것이 위험한 실수라고 결론지었습니다. 사용자가 코드를 고정하고 제어할 수 있는 전통적인 소프트웨어와 달리, 이러한 상용 모델은 은행이 직접 알지 못하는 사이에 제공자에 의해 업데이트되거나 교체되거나 변경될 수 있습니다. 오늘 잘 작동하는 모델이 내일은 완전히 다르게 행동하는 다른 버전으로 바뀔 수 있으며, 이는 은행의 자체 시스템에 아무런 변화가 없음에도 불구하고 은행의 전체 운영을 고도의 정밀한 상태에서 혼돈의 상태로 급변시킬 수 있습니다. 연구진은 은행이 특정 모델의 정체성을 리스크 관리의 핵심 요소로 취급해야 한다고 주장했습니다. 은행은 자신이 정확히 어떤 버전을 사용하고 있는지 알아야 하며, 모델이 어떻게 행동하는지 정기적으로 모니터링해야 합니다. 또한 모델을 변경하는 것은 고객을 괴롭히지 않고 범죄를 잡아내는 능력을 급격히 변화시킬 수 있는 중대한 사건임을 이해해야 합니다. 모델의 선택은 단순한 조달 세부 사항이 아니라, 시스템이 세상을 바라보는 방식을 결정하는 바로 그 설정값입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.