PolicyShift-AML: Auditing Selective-Label Policy Dependence in Anti-Money-Laundering Transaction Monitoring
تقدم الورقة البحثية PolicyShift-AML، وهو بروتوكول تدقيق محكوم يكشف كيف أن الأداء غير المتصل لنماذج مكافحة غسل الأموال يعكس غالباً سياسات التدقيق المؤسسي بدلاً من حالة الحدث الحقيقية، مع اقتراح مُقدِّر غير سالب للبيانات الموجبة-غير المصنفة يحسن بشكل كبير الاستدعاء الكامن في ظل اختيار الملصقات المعتمد على السياسة مقارنة بالنماذج المرجعية القياسية.
في عالم المصارف عالي المخاطر، تدور حرب صامتة في كل ثانية ضد غسيل الأموال. تستخدم البنوك أنظمة مؤتمتة لمسح ملايين المعاملات، بحثاً عن أنماط تشير إلى نشاط غير قانوني. ومع ذلك، تواجه هذه الأنظمة نقطة عمياء جوهرية: فهي نادراً ما ترى الصورة الكاملة. إنها لا ترى سوى المعاملات التي يحددها نظام التنبيه للمراجعة البشرية، بينما تمر الغالبية العظمى من المعاملات، حتى تلك التي قد تكون مشبوهة، دون أن تُلحظ. وهذا يخلق رؤية مشوهة للواقع، حيث يتعلم نموذج حاسوبي التعرف على قواعد البنك الخاصة بالتحقيق بدلاً من السلوك الفعلي للمجرمين. وإذا قام البنك بتغيير قواعده لما يتم رصده، فقد ينهار أداء النموذج، ليس لأن المجرمين تغيروا، بل لأن النموذج تدرب على شريحة ضيقة ومحددة من البيانات. هذه المشكلة، المعروفة باسم "التوسيم الانتقائي" (selective labeling)، تعني أن النظام الذي يبدو مثالياً في الاختبار قد يفشل تماماً في العالم الحقيقي لأنه حفظ عادات المحقق بدلاً من الجريمة نفسها.
قام باحث في جامعة طرابزون بتطوير طريقة جديدة لاختبار هذه الأنظمة، تجردها من الارتباك لترى مدى اعتمادها حقاً على القواعد المحددة المستخدمة لتدريبها. لا تنظر دراسة "PolicyShift-AML" إلى بيانات بنكية حقيقية، والتي غالباً ما تكون فوضوية ومقيدة قانونياً، بل تستخدم محاكاة ضخمة ومبنية بعناية لـ 3 ملايين معاملة. في هذا المختبر الرقمي، أنشأ الباحثون تدفقاً ثابتاً من الأحداث "الكامنة" (latent events)، والتي تمثل الحالة الحقيقية لما إذا كانت المعاملة مشبوهة بالفعل أم لا. ثم قاموا بتشغيل خمس سياسات تحقيق مختلفة على نفس هذا التدفق. عملت كل سياسة كبنك مختلف بقواعد مختلفة لتقرير أي المعاملات يجب التحقيق فيها، ومع ذلك صُممت السياسات الخمس جميعها لمراجعة نفس العدد الإجمالي من المعاملات. ومن خلال إبقاء الحقيقة الأساسية ثابتة مع تغيير قواعد ما يتم تصنيفه كمشبوه فقط، استطاع الفريق عزل مدى اعتماد نجاح النموذج على سياسة التحقيق التي تدرب عليها، بدلاً من قدرته الفعلية على كشف الجريمة.
كشفت النتياج عن ثغرة كبيرة في كيفية تقييم هذه النماذج حالياً. فعندما قام الباحثون بتدريب نماذج باستخدام بيانات من سياسة تحقيق واحدة محددة، ثم اختبارها على التدفق الثابت للأحداث الحقيقية، تباين الأداء بشكل كبير اعتماداً على السياسة المستخدمة للتدريب. بالنسبة لنوع شائع من النماذج، تراوحت القدرة على إيجاد أفضل 500 معاملة مشبوهة من حد أدنى بلغ حوالي 26% إلى حد أقصى يقارب 38% بمجرد تغيير سياسة التدريب. هذا التفاوت بين 26% و29% في الأداء يثبت أن النموذج لم يكن يتعلم حقيقة عالمية حول غسيل الأموال؛ بل كان يتعلم الخصائص الفريدة لطريقة التحقيق التي غُذي بها. والأكثر دلالة كان اكتشاف أن طرق التقييم القياسية متفائلة بشكل خطير؛ فعندما يُختبر نموذج باستخدام الملصقات (labels) التي تدرب عليها فقط، فإنه يظهر أداءً أفضل بكال كثير مما هو عليه في الواقع مقابل الحقيقة الأرضية (ground truth). وفي أحد السيناريوهات، أظهر نموذج قياسي معدل نجاح ظاهري أعلى بأكثر من 10 نقاط مئوية من قدرته الفعلية على إيجاد التهديدات الحقيقية، مما خلق شعوراً زائفاً بالأمان لدى المؤسسات التي تعتمد عليه.
ولمعالجة ذلك، قدمت الدراسة طريقة أكثر قوة لتدريب النماذج يمكنها التعامل مع هذه الأجزاء المفقودة من المعلومات. هذا النهج، المعروف باسم "التعلم من البيانات الإيجابية وغير المصنفة" (positive-unlabeled learning)، يعامل المعاملات التي لم تُحقق معها ليس كمعاملات غير ضارة، بل كمعلومات مجهولة تحتاج إلى وزن دقيق مقابل المعاملات المشبوهة المعروفة. وقد بنى الباحثون مُقدِّراً (estimator) جديداً يأخذ في الاعتبار احتمالية اختيار المعاملة للمراجعة، مما يصحح الانحياز الناتج عن سياسة التحقيق. وفي عمليات محاكاة تتضمن تأخيراً واقعياً لمدة ثلاثين يوماً بين المعاملة والتأكد مما إذا كانت مشبوهة حقاً، حققت هذه الطة الجديدة معدل نجاح بنحو 40% في إيجاد أفضل 500 تهديد. وكان هذا تحسناً كبيراً مقارنة بالنماذج القياسية، التي استقرت عند حوالي 23% تحت نفس الظروف. كما أثبتت الطريقة الجديدة دقة عالية في المحاكاة لدرجة أنها كادت تطابق أداء نظام "الأوراكل" (oracle)—وهو نموذج نظري مثالي يعرف الاحتمالات الحقيقية مسبقاً—مما يشير إلى أنه مع التصحيحات الرياضية الصحيحة، يمكن للنماذج أن تتعلم الرؤية وراء قيود بيانات التدريب الخاصة بها.
كما اختبرت الدراسة ما إذا كان إضافة تاريخ من التفاعلات السابقة بين الحسابات، والمتمثل في رسم بياني (graph) للارتباطات، سيجعل النماذج أكثر استقراراً. وبينما كانت هذه الميزات القائمة على الرسوم البيانية ضرورية لعمل الطريقة الجديدة بشكل جيد، إلا أنها لم تجعل النماذج محصنة ضد سياسة التدريب. فلا تزال النماذج تظهر حساسية تجاه كيفية تدريبها، مما يدحض فكرة أن بيانات الشبكة المعقدة وحدها يمكن أن تحل مشكلة الاعتماد على السياسة. علاوة على ذلك، اختبر الباحثون سيناريو يكون فيه نوع معين من السلوك الإجرامي مخفياً تماماً عن بيانات التدريب. وحتى مع التقنيات المتقدمة، لم تتمكن النماذج من تحديد هذه الأنماط المخفية بشكل موثوق دون وجود أمثلة للتعلم منها، مما يسلط الضوء على أنه لا يوجد قدر من التصحيح الإحصائي يمكنه تحديد تهديد ليس له أي وجود في سجل التدريب. وتشير النتائج إلى أنه بينما يمكن للأدوات الإحصائية الأفضل تحسين الكشف بشكل كبير، إلا أنها لا يمكن أن تحل محل الحاجة إلى بيانات متنوعة وتمثيلية.
في نهاية المطاف، يعد هذا البحث بمثابة اختبار جهد حاسم لدفاعات القطاع المالي. فهو يوضح أن أداء النموذج ليس رقماً ثابتاً، بل هو متغير يتغير بتغير القواعد المستخدمة لتوليد بيانات التدريب الخاصة به. وتجادل الدراسة بأن البنوك والجهات التنظيمية يجب أن تتجاوز مجرد درجات الدقة البسيطة، وبدلاً من ذلك، يجب تدقيق كيفية سلوك نماذجها تحت سياسات تحقيق مختلفة. ومن خلال فهم أن النظام قد يكون ممتازاً في إيجاد النوع المحدد من الاحتيال الذي تلتقطه قواعده الحالية، ولكنه ضعيف في إيجاد أنواع أخرى، يمكن للمؤسسات تجنب نشر أدوات هشة ومضللة. لا تدعي هذه الدراسة أنها حلت مشكلة غسيل الأموال، لكنها توفر إطاراً واضحاً وقابلاً للتكرار لكشف الافتراضات الخفية في الأنظمة الحالية، مما يضمن أنه عند نشر نموذج ما، فإنه يكون مستعداً لتعقيدات العالم الحقيقي، وليس فقط للرؤية الضيقة لبيانات تدريبه.
ملخص تقني: PolicyShift-AML
بيان المشكلة
تعمل أنظمة مراقبة معاملات مكافحة غسل الأموال (AML) تحت مشكلة "الملصقات الانتقائية" (selective-label problem). حيث يتم تدريب النماذج على بيانات ناتجة عن سياسات تحقيق محددة (قواعد، عتبات، أو نماذج قائمة)، بدلاً من عينة عشوائية من جميع الأنشطة غير المشروعة. وبناءً على ذلك، فإن مقاييس الأداء خارج الخط (offline) غالباً ما تعكس سياسة التدقيق التاريخية للمؤسسة بدلاً من الحالة الكامنة للمعاملات. إن معاملة المعاملات غير المرصودة على أنها سليمة قد يؤدي إلى جعل النماذج تتعلم آلية التدقيق نفسها بدلاً من أنماط غسل الأموال الكامنة. علاوة على ذلك، فإن تقييمات الانحراف الزمني التقليدية غالباً ما تخلط بين التغيرات في السلوك الإجرامي والتغيرات في سياسات التنبيه، مما يجعل من الصعب عزل تأثير آليات توليد الملصقات على أداء النموذج.
المنهجية
تقدم ورقة PolicyShift-AML بروتوكول اختبار إجهاد محكم التصميم، صُمم لتدقيق مدى اعتماد أداء النموذج على السياسة التي تكشف عن الملصقات الإيجابية.
البروتوكول التجريبي
التدفق الكامن الثابت (Fixed Latent Stream): يستخدم البروتوكول تدفق معاملات اصطناعي (TransXion و IBM AMLWorld) مع ملصقات حقيقية كامنة (Y) ثابتة.
سياسات التدقيق المتغيرة: تم محاكاة خمس سياسات تدقيق متميزة (منتظمة، تركز على المبلغ، قائمة على القواعد، تغذية راجعة للنموذج، وعمياء عن النمط/النوعية). وقد تمت معايرة كل منها لتكون لها قدرة تدقيق متوقعة متطابقة (15% من التدفق) لضمان المقارنة العادلة.
تأكيد متأخر (Delayed Confirmation): يحاكي البروتوكول تأخراً في التأكيد (τ)، حيث لا يتوفر الوكيل الإيجابي St=AtYt (حيث At هو قرار التدقيق) إلا بعد فترة تأخير (مثلاً 30 يوماً).
استراتيجية الاستبقاء (Holdout Strategy): تُستخدم مجموعة استبقاء كامنة ثابتة لتقييم جميع النماذج، مما يضمن أن الاختلافات في الأداء تنشأ فقط من سياسة التدريب، وليس من تغيرات مجتمع النشر.
المقدرات والنماذج
تُقيم الدراسة عدة نهج للتعلم:
نماذج الملصقات المرئية الأساسية (Visible-Label Baselines): نماذج LightGBM و MLP قياسية يتم تدريبها على الإيجابيات المرصودة (S=1) ومعاملة المعاملات غير المرصودة (S=0) كمعاملات سلبية.
التعلم من الملصقات الموجبة وغير المصنفة (Positive-Unlabeled - PU Learning): تم تنفيذ مُقدر التعلم من الملصقات الموجبة وغير المصنفة غير السالب (nnPU).
تقدير الميل (Propensity Estimation): يقوم مصنف LightGBM بملاءمة ميل التدقيق e(x)=P(A=1∣X) باستخدام سجل التدقيق التاريخي الكامل.
الأولوية الطبقية (Class Prior): يُستخدم مُقدر Horvitz–Thompson لتقدير الأولوية الطبقية (π) على "مجموعة ناضجة" (المعاملات التي انقضى زمن تأخير التأكيد الخاص بها).
تفكيك المخاطر (Risk Decomposition): يستخدم دالة مخاطر nnPU أوزان الميل العكسي ذاتية المعايرة للإيجابيات المرصودة، بالإضافة إلى حد مخاطر سالب مقصوص مستمد من عينة عشوائية مستقلة من المجموعة الناضجة.
هندسة الميزات (Feature Engineering): تقارن الدراسة بين ميزات المعاملات فقط وبين ميزات تاريخ الرسم البياني (graph-history features) (إجماليات عدد مرات الإرسال/الاستقبال السابقة، والمجاميع، ونطاقات النشاط المحسوبة بدقة من الأحداث الماضية لمنع التسرب المعلوماتي).
المقاييس الرئيسية
الاستدعاء الكامن عند K (Latent Recall@K): يقاس الأداء مقابل الملصقات الحقيقية الكامنة (Y) على مجموعة الاستبقاء الثابتة.
مؤشر حساسية سياسة التدريب (TPSI): يقيس الانتشار النسبي في الأداء بين سياسات التدريب المختلفة.
تفاؤل الملصقات المرئية (Visible-Label Optimism): الفرق بين المقاييس المرئية للوكلاء (S) والحقيقة الكامنة (Y).
النتائج الرئيسية
1. الملصقات الانتقائية تشوه مقارنة النماذج
في مجموعة بيانات TransXion (3,029,170 معاملة)، يغير اختيار سياسة التدريب بشكل كبير ترتيب النماذج والأداء الظاهري، حتى مع ثبات مجموعة الاستبقاء الكامنة.
انتشار الأداء: بالنسبة لـ LightGBM، تراوح الاستدعاء الكامن عند 500 (Latent Recall@500) بين 0.2655 (السياسة المنتظمة) و 0.3757 (سياسة التغذية الراجعة)، بانتشار قدره 29.3%. وبالنسبة لـ BCE/MLP، كان الانتشار 26.1% (من 0.2660 إلى 0.3600).
تحيز التفاؤل: أظهرت النماذج المدربة على سياسات "التغذية الراجعة للنموذج" تفاؤلاً كبيراً. فقد تجاوز الاستدعاء الظاهري عند 500 قيمة الاستدعاء الكامن بمقدار 0.1085 لنموذج BCE الأساسي، مما يشير إلى أن المقاييس المرئية يمكن أن تكون مضللة للغاية.
تصحيح الادعاءات السابقة: تصحح الدراسة نتيجة سابقة حول "انهيار النشر بنسبة 39.7%". يوضح التحليل المنقح أنه بينما تكون حساسية سياسة التدريب عالية، فإن انهيار النشر عبر السياسات ليس ثابتاً عالمياً؛ ففي بعض الحالات، أدت ملصقات التغذية الراجعة بالفعل إلى تحسين الترتيب الكامن.
2. فعالية مُقدر nnPU المقدر
أظهر مُقدر nnPU القابل للنشر متانة تحت فرضيات المعايرة:
التفوق على النماذج الأساسية: تحت سياسة الاختيار القائمة على القواعد مع تأخير 30 يوماً، حقق مُقدر nnPU المقدر استدعاءً كامناً عند 500 قدره 0.4021، وهو ما يتفوق بشكل كبير على LightGBM (0.2352) و BCE (0.1787).
القرب من النموذج المثالي (Oracle Proximity): كانت نتائج nnPU المقدر مطابقة تقريباً لـ "النموذج المثالي" (الذي يستخدم الميول الحقيقية)، مع متوسط فرق لا يتجاوز 0.0005.
التبعية للسياسة: ظل تفوق nnPU قائماً تحت سياسات "القواعد" و"المبالغ"، لكنه لم يكن ذا دلالة إحصائية تحت سياسات "التغذية الرجعية للنموذج" (حيث كان الفرق عن LightGBM هو 0.0168، بقيمة p=0.25).
3. تاريخ الرسم البياني واختبارات الإجهاد
ضرورة ميزات تاريخ الرسم البياني: وُجد أن ميزات تاريخ الرسم البياني ضرورية لترتيب nnPU المفيد في هذا الإعداد. ومع ذلك، تفند الدراسة الادعاء بأن ميزات الرسم البياني تضمن ثبات السياسة؛ حيث لم يكن مؤشر TPSI للنماذج التي تستخدم ميزات تاريخ الرسم البياني أقل بشكل ملحوظ من النماذج التي تستخدم ميزات المعاملات فقط في جميع الحالات.
اختبار إجهاد النوعية العمياء (Blind Typology): في اختبار الإجهاد IBM AMLWorld، حيث كان لنوع معين دعم تدقيق صفري (احتمالية الاستكشاف = 0)، حقق نموذج nnPU استدعاءً غير صفري (0.1660). توضح المؤلفة أن هذا هو نقل استقرائي (inductive transfer) من الميزات المتعلمة على أنواع أخرى، وليس دليلاً على النجاح في تحديد الفئة العمياء. ومع زيادة الاستكشاف، لم يتحسن الاستدعاء بشكل رتيب، مما يشير إلى أن الاستكشاف الاسمي لا يحسن الترتيب تلقائياً ضمن النطاق المختبر.
الأهمية والادعاءات
تضع هذه الورقة نفسها كعمل "إعادة تدقيق وتصحيح" للأعمال السابقة، مع التركيز على تصميم تجريبي صارم بدلاً من ادعاءات الاسترداد السببي في العالم الحقيقي.
التقييم الواعي بالسياسة: المساهمة الأساسية هي بروتوكول قابل لإعادة الإنتاج يعزل تأثير سياسات توليد الملصقات. تدعم النتائج الاستنتاج بأن تصميم التقييم لا يقل أهمية عن اختيار النموذج. فالقدرة التدقيقية غير المتساوية والمقدرات المصنفة خطأً يمكن أن تنتج نتائج أداء قوية ولكن زائفة.
جدوى تعلم PU: توضح الدراسة أن مُقدر nnPU الذي تم تنفيذه بعناية، باستخدام ميول التدقيق التي تم ضبطها على سجلات تاريخية كاملة وأولوية طبقية من نوع Horvitz–Thompson، يمكن أن يستعيد بفعالية الأداء الكامن في بيئات التغذية الراجعة الاصطناعية ذات التأخير.
التواضع بشأن التطبيق الواقعي: يصرح المؤلف صراحة بأن هذه النتائج لا تثبت الفعالية في التحقيقات المؤسسية الحقيقية. فالمعايير المستخدمة اصطناعية، والافتراضات مثل التحديد المثالي (S=AY) وعدم وجود متغيرات مربكة غير مقاسة قد لا تصمد في الممارسة العملية. يعمل هذا العمل كـ "اختبار إجهاد" لكشف الافتراضات والإخفاقات قبل تقديم ادعاءات النشر، بدلاً من كونه وصفة للنشر التشغيلي الفوري.
التوصيات التشغيلية: تنصح الورقة فرق التحقق بالاحتفاظ بسجلات قرارات التدقيق، والتمييز بين وقت القرار ووقت التأكيد، وتقديم اختبارات الإجهاد تحت سياسات ملصقات محتملة. كما تحذر من أن الاستكشاف العشوائي قد يساعد في تأسيس الدعم، لكنه لا يحدد نسبة مئوية عالمية، مشيرة إلى أن التدقيق الحقيقي مقيد بالمتطلبات القانونية والخصوصية والعدالة.