Sentinelbi AI: an AI-Powered Business Intelligence System for Revenue Monitoring and Anomaly Detection

オンラインショッピングの活気ある世界では、毎秒絶え間なく取引の流れが生じており、人々が何を、いつ、いくらで購入したかという、巨大で複雑な記録を作り出しています。ビジネスオーナーにとって、このデータは宝の山ですが、同時に課題でもあります。多くの中小企業は、車のスピードメーターが現在の速度のみを表示するのと同様に、総売上を示す単純なチャートに頼っています。これらのチャートは、マネージャーに対して「今、どのくらいの速さで進んでいるか」は教えてくれますが、「エンジンが喘いでいる」とか「車が突然コースを外れようとしている」といった警告はしてくれません。真の危険は予期せぬ事態にあります。価格設定のミスを示す可能性のある突然の説明のつかない売上の急増、在庫不足を示唆する静かな落ち込み、あるいは不正の兆候を示す奇妙なパターンなどです。これらの問題を捉えるためには、単なる現在のスナップショット以上のもの、つまり「正常」が時間の経過とともにどのような姿をしているかを理解し、ビジネスのリズムが崩れた瞬間に即座にアラームを鳴らすことができるシステムが必要です。これは、コンピュータがデータの通常のパターンを学習し、異常が発生した瞬間に警告を発することができる分野である、アノマリー検知（異常検知）の領域です。

インドのチャイタニヤ・バラティ・インスティテュート・オブ・テクノロジーの2人の研究者が、オンライン小売業者のこの問題を解決するために設計された新しいツールを構築しました。彼らは自らの創造物を、収益の流れに対する油断のない守護者の役割を果たす「SentinelBI AI」と呼んでいます。このシステムは、何が間違っているかを判断するために単一の硬直したルールに頼るのではなく、2種類の異なる人工知能を連携させて使用します。一方のタイプは、その日の典型的なプロファイルに合わない突然の孤立した売上の急増のような、奇妙な個別の「日」を見つけることに長けています。もう一方は、時間の流れを理解することに長けており、人間が見落としがちな奇妙なパターンの連続（シーケンス）を認識します。これら両方の洞察を組み合わせることで、システムは「正常」、「警告」、「クリティカル（重大）」という3段階の警告スケールを作成します。このアプローチにより、システムは日常的な変動というノイズをフィルタリングし、真に注意が必要な日にのみ焦点を絞ることができます。

研究者たちは、2009年後半から2011年後半にかけての、大手オンラインギフト小売業者からの実世界のデータセットを使用して、100万件以上の個別の取引を含むシステムをテストしました。彼らはこの膨大なデータログをクリーニングし、総収益、販売アイテム数、取引数、アクティブ顧客数などの主要な指標を追跡する731日間の日次サマリーに整理しました。また、各日の収益が前週の平均からどれだけ乖離しているかも算出しました。この準備された情報を用いて、彼らは2つの人工知能モデルを訓練しました。Isolation Forestとして知られる最初のモデルは、その単一の日の数値の特定の組み合わせを見ることで、異常な日を特定することを学習しました。2番目のモデルであるLSTM Autoencoderは、30日間のウィンドウにおける収益の通常の形状を学習し、たとえ単一の日の数値が適切に見えても、最近の売上の履歴が異常である場合にそれを検知できるようにしました。

システムが731日間のビジネス履歴に対して分析を実行したところ、2つのモデルは大部分の日において一致しており、ほとんどの時間を正常なビジネスとして正しく識別していることがわかりました。しかし、真の価値は、モデルが意見を異にする場合や、両方がアラームを鳴らした日に現れました。システムは、両方のモデルが深刻な問題があると同意した19日を「クリティカル」としてフラグを立てました。また、片方のモデルがアラームを鳴らし、もう片方が鳴らさなかった32日を「警告」として特定しました。残りの680日は正常として分類されました。このデュアルモデル・アプローチは、数値が高すぎるか低すぎるかを見るだけの単純な静的ルールよりも正確であることが証明されました。基本的なルールは、実際の異常事象との一致率が低い状態で41日をフラグ立てしましたが、研究者のよりスマートなシステムは、より少ない日数でフラグを立てながらも、より高い割合で実際の問題を取り込み、2つのモデルは50パーセントを超える一致率を達成しました。

これらの知見を実際のビジネスパーソンに役立てるために、研究者はコンピュータコードの作成だけで終わらせませんでした。彼らは、プログラミングの知識がなくてもウェブブラウザから誰でも使用できる、完全なインタラクティブ・ダッシュボードを構築しました。このダッシュボードには5つの異なるページがあります。エグゼクティブ向けのハイレベルな概要を提供するページもあれば、特定のアノマリー（異常）を深く掘り下げるページもあります。特に革新的な機能は、自然言語クエリツールです。これにより、ユーザーは「特定の国におけるトップセラー製品は何か」といった質問を平易な英語で入力することができ、システムは自動的にその質問を必要なデータベースコマンドに翻訳して答えを見つけ出します。これにより、技術的な専門用語という障壁を取り除き、マネージャーが即座に質問し、回答を得られるようにしています。

この研究は、ビジネスを監視する最善の方法について明確な洞察を明らかにしました。アノマリーを特定するための最も重要な要因は、総収益額ではなく、その日の収益が直近の過去とどのように異なっているかでした。売上が高い日は、それが前週のパターンに適合していれば必ずしも問題ではありません。ある日が奇妙であるのは、それがリズムを破った時だけです。また、システムは、データの主要な市場であった英国が収益を支配していることを示しており、高ボリュームの国におけるアノマリーこそが最も注意を払うべきであることを示唆しています。2つの異なる人工知能手法の強みを融合させることで、研究者たちは精密かつ実用的なツールを作り上げました。それは、複雑で教師なしの機械学習を、シンプルで実行可能なガイドへと変え、企業が単に売上数値を見守る状態から、財務の健全性を能動的に理解し保護する状態へと移行させる助けとなります。