Sentinelbi AI: an AI-Powered Business Intelligence System for Revenue Monitoring and Anomaly Detection

온라인 쇼핑의 활기찬 세계에서, 매초 끊임없이 거래가 흐르며 사람들이 무엇을, 언제, 얼마나 소비하는지에 대한 거대하고 복잡한 기록을 만들어냅니다. 기업가들에게 이 데이터는 보물창고와 같지만, 동시에 도전 과제이기도 합니다. 대부분의 중소기업은 단순히 총매출을 보여주는 간단한 차트에 의존하는데, 이는 마치 자동차의 현재 속도만을 표시하는 속도계와 같습니다. 이러한 차트는 관리자에게 지금 얼마나 빠르게 달리고 있는지는 알려주지만, 엔진이 털털거리며 꺼져가고 있는지 혹은 자동차가 갑자기 경로를 이탈하고 있는지는 경고해주지 않습니다. 진짜 위험은 예상치 못한 상황에 있습니다. 가격 설정 오류를 나타낼 수 있는 갑작스럽고 설명되지 않는 매출 급증, 재고 부족을 암시하는 조용한 하락, 또는 사기를 암시하는 이상한 패턴 등이 그것입니다. 이러한 문제를 포착하기 위해 기업에는 단순히 현재의 스냅샷을 넘어, 시간이 흐름에 따라 '정상'이 무엇인지를 이해하고 비즈니스의 리듬이 깨지는 순간 즉각적으로 알람을 울릴 수 있는 시스템이 필요합니다. 이것이 바로 컴퓨터가 데이터의 일반적인 패턴을 학습하여 이례적인 일이 발생하는 즉시 경보를 울리는 영역인 이상 탐지(anomaly detection)의 영역입니다.

인도의 차이타냐 바라티 연구소(Chaitanya Bharathi Institute of Technology) 출신의 두 연구자는 온라인 소매업체들을 위해 이 정확한 문제를 해결하도록 설계된 새로운 도구를 구축했습니다. 그들은 자신들의 창조물을 수익 흐름을 위한 깨어 있는 파수꾼 역할을 하는 시스템인 'SentinelBI AI'라고 부릅니다. 하나의 경직된 규칙에 의존하여 무엇이 잘못되었는지 결정하는 대신, 이 시스템은 협력하는 두 가지 유형의 인공지능을 사용합니다. 한 유형은 특정 날의 개별적인 이상 현상, 예를 들어 그날의 전형적인 프로필과 맞지 않는 갑작스럽고 고립된 매출 급증을 포착하는 데 능숙합니다. 다른 유형은 시간의 흐름을 이해하는 데 더 뛰어나며, 인간이 놓칠 수 있는 기묘한 패턴을 따르는 일련의 날들을 인식합니다. 두 가지 통찰력을 결합함으로써, 이 시스템은 정상, 경고, 심각(critical)이라는 3단계 경고 척도를 생성합니다. 이러한 접근 방식은 시스템이 일상적인 변동의 소음을 걸러내고 진정으로 주의가 필요한 날에만 집중할 수 있게 해줍니다.

연구진은 2009년 말부터 2011년 말까지의 주요 온라인 선물 소매업체의 실제 데이터셋을 사용하여 시스템을 테스트했습니다. 이 데이터셋은 백만 건 이상의 개별 거래를 포함하고 있습니다. 연구진은 이 방대한 로그 데이터를 정제하고 이를 731일간의 일일 요약본으로 구성하여 총매출, 판매 품목 수, 거래 횟수, 활성 고객 수와 같은 핵심 지표를 추적했습니다. 또한 각 날의 매출이 이전 주 평균과 얼마나 차이가 나는지도 계산했습니다. 이렇게 준비된 정보를 바탕으로 두 가지 인공지능 모델을 학습시켰습니다. '아이솔레이션 포레스트(Isolation Forest)'로 알려진 첫 번째 모델은 해당 날의 특정 숫자 조합을 살펴봄으로써 특이한 날을 식별하는 법을 배웠습니다. 두 번째 모델인 'LSTM 오토인코더(LSTM Autoencoder)'는 30일간의 매출 형태를 학습하여, 단일 날의 수치는 괜찮아 보일지라도 최근의 매출 이력이 비정상적으로 보일 때 이를 감지할 수 있게 했습니다.

시스템이 731일간의 비즈니스 이력에 대한 분석을 실행했을 때, 두 모델은 대다수의 날에 대해 의견이 일치하며 대부분의 시간을 정상적인 비즈니스로 올바르게 식тера했습니다. 그러나 진정한 가치는 모델 간에 의견이 불일치하거나 두 모델 모두 경보를 울린 날에 나타났습니다. 시스템은 두 모델 모두 무언가 심각하게 잘못되었다고 동의한 19일을 '심각(Critical)'으로 분류했습니다. 또한 한 모델은 경보를 울렸으나 다른 모델은 그렇지 않은 32일을 '경고(Warning)'로 식별했습니다. 나머지 680일은 정상으로 분류되었습니다. 이러한 이중 모델 접근 방식은 숫자가 너무 높거나 낮은지만을 살피는 단순하고 정적인 규칙보다 더 정확하다는 것이 증명되었습니다. 기본적인 규칙은 실제 특이한 사건들과 일치하는 성공률이 낮은 상태로 41일을 식별한 반면, 연구진의 더 스마트한 시스템은 더 적은 날을 식별하면서도 더 높은 비율의 실제 문제를 잡아냈으며, 두 모델은 50% 이상의 일치율을 달성했습니다.

이러한 연구 결과를 실제 비즈니스 사람들에게 유용하게 만들기 위해, 연구진은 컴퓨터 코드 단계에서 멈추지 않았습니다. 그들은 누구나 웹 브라우저에서 프로그래밍 지식 없이 사용할 수 있는 완전하고 상호작용이 가능한 대시보드를 구축했습니다. 이 대시보드는 다섯 개의 페이지로 구성됩니다. 한 페이지는 경영진을 위한 고차원적인 개요를 제공하며, 다른 페이지들은 구체적인 이상 현상을 깊이 있게 파고듭니다. 특히 혁신적인 기능은 자연어 질의 도구입니다. 이를 통해 사용자는 "특정 국가의 최고 판매 제품은 무엇인가요?"와 같이 평범한 영어 문장으로 질문을 입력할 수 있으며, 시스템은 자동으로 이 질문을 필요한 데이터베이스 명령어로 번환하여 답을 찾아냅니다. 이는 기술적인 전문 용어라는 장벽을 제거하여, 관리자들이 질문을 던지고 즉각적으로 답을 얻을 수 있게 합니다.

이 연구는 비즈니스를 모니터링하는 최선의 방법에 대한 명확한 통찰력을 보여주었습니다. 이상 징난을 포착하는 데 있어 가장 중요한 요소는 총매출액이 아니라, 그날의 매출이 최근 과거와 얼마나 차이가 나는지였습니다. 높은 매출을 기록한 날이라 할지라도 전주의 패턴과 일치한다면 문제가 되지 않습니다. 어떤 날이 이상한 것은 오직 그날이 리듬을 깨뜨릴 때뿐입니다. 또한 시스템은 데이터의 주요 시장이었던 영국이 매출을 주도하고 있음을 보여주었으며, 이는 거래량이 많은 국가에서의 이상 징후를 가장 면밀히 주의 깊게 살펴야 함을 시사합니다. 서로 다른 두 가지 인공지능 방법의 강점을 융합함으로써, 연구진은 정밀하면서도 실용적인 도구를 만들어냈습니다. 이 도구는 복잡한 비지도 학습(unsupervised machine learning)을 단순하고 실행 가능한 가이드로 전환하여, 기업들이 단순히 매출 수치를 관찰하는 것을 넘어 재무적 건강 상태를 능동적으로 이해하고 보호할 수 있도록 돕습니다.