AI foundation model choice and false positive variation in Anti Money Laundering transaction screening
تُظهر هذه الدراسة أن اختيار نماذج لغوية كبيرة مختلفة لعمليات فحص معاملات مكافحة غسل الأموال يؤدي إلى تباينات هائلة في معدلات الإيجابيات الكاذبة وأعباء العمل التشغيلية، مما يثبت أن اختيار النموذج يعد معياراً حرجاً للمخاطر التشغيلية يتطلب حوكمة ومراقبة صريحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تتحرك كل عام مبالغ طائلة من الأموال عبر النظام المالي العالمي، ويُخصص بعضها لإخفاء أصول الأرباح غير المشروعة. ولإيقاف ذلك، يُطلب من البنوك والمؤسسات المالية الأخرى مراقبة معاملات عملائها عن كثب، بحثاً عن أنماط تشير إلى غسيل الأموال. ولقد اعتمدت هذه الأنظمة لعقود من الزمن على أنظمة حاسوبية للقيام بهذه المراقبة الأولية. تعمل هذه الأنظمة مثل الغربال، حيث تلتقط أي شيء يبدو مشبوهاً ولو قليلاً وتضع عليه علامة لمراجعته من قبل محقق بشري. تكمن المشكلة في أن هذه الغرابيل غالباً ما تكون خشنة للغاية؛ فهي تلتقط قدراً هائلاً من الأنشطة غير الضارة جنباً إلى جنب مع التهديدات الحقيقية، مما يخلق جبلاً من الإنذارات الكاذبة. وهذا يجبر المحللين على قضاء ساعات في التحقيق مع أشخاص أبرياء، مما يهدر الموارد ويتسبب في ضغوط غير ضرورية للعملاء.
مؤخراً، دخل نوع جديد من الذكاء الحاسوبي في صلب النقاش. هذه هي النماذج اللغوية الكبيرة، وهي أدوات قوية تم تدريبها على كميات هائلة من النصوص التي يمكنها فهم المواقف المعقدة والاستنتاج عنها دون الحاجة إلى تعليمها قواعد محددة لكل سيناريو. ولأن هذه النماذج يمكنها قراءة سجلات المعاملات وفهم القصة وراء الأرقام، فقد أمل العديد من الخبراء أن تتمكن من حل مشكلة الإنذارات الكاذبة. كانت الفكرة هي أن هذه النماذج يمكن أن تكون أذكى من الأنظمة القديمة القائمة على القواعد، بحيث تميز بين مدفوعات الأعمال المشروعة والتحويلات المشبوهة بدقة أكبر. ومع ذلك، ظل هناك سؤال جوهري بلا إجابة: إذا اختار بنك أحد هذه النماذج الجديدة بدلاً من نموذج آخر، فهل يهم ذلك حقاً؟ أم أنها جميعاً مجرد نسخ مختلفة من نفس الأداة، قابلة للاستبدال والمتوقع سلوكها؟
قام فريق من الباحثين المستقلين بمحاولة إيجاد الإجابة عبر التعامل مع اختيار النموذج ليس كقرار برمجي بسيط، بل كخطر جوهري على عمليات البنك. لقد جمعوا خمسة نماذج لغوية كبيرة مختلفة ومتاحة تجارياً من مزودي تكنولوجيا رئيسيين. لم يقوموا بتدريب هذه النماذج على بيانات بنكية أو تعديل إعداداتها؛ بدلاً من ذلك، طلبوا من كل منها أن يعمل كفاحص "صفر استباقي" (zero-shot)، مما يعني أنه يتعين عليه إصدار حكم بناءً على معرفته الحالية فقط. ولضمان اختبار عادل، أنشأ الباحثون مجموعة مضبوطة من ستمائة حالة معاملة اصطناعية. تم تصميم ثلاثمائة من هذه الحالات لتبدو تماماً مثل مخططات غسيل الأموال المعروفة، بينما صُممت الثلاثمائة الأخرى لتكون معاملات مشروعة تماماً ولكن تم صياغتها لتبدو مشبوهة بما يكفي لخداع نظام أقل دقة. كانت هذه هي "السوالب الصعبة"، وهي المعاملات البريئة التي غالباً ما يتم تصنيفها بالخطأ.
ثم قام الباحثون بتغذية كل نموذج من النماذج الخمسة بكل حالة من هذه الحالات الستمائة، وسألوا كل نموذج أن يقرر ما إذا كانت المعاملة مشبوهة أم لا. كانت النتائج مذهلة. فعندما نظرت النماذج في الثلاثمائ المعاملة المشروعة، تباين سلوكها بشكل هائل. فقد صنف أحد النماذج جزءاً ضئيلاً جداً منها كمعاملات مشبوهة، بينما صنف نموذج آخر الغالبية العظمى منها كذلك. في الواقع، كان الفرق في عدد مرات إطلاق الإنذارات الكاذبة بين أفضل وأسوأ النماض أداءً ضخماً. فبالنسبة لنفس المجموعة من المعاملات البريئة، ارتكب أحد النماذج خطأً أقل من مرة واحدة في كل مائة مرة، بينما ارتكب نموذج آخر خطأً أكثر من ثماني مرات من كل عشر مرات. لم تكن النماذج تختلف فقط في بعض الحالات الصعبة، بل كانت تختلف في ما يقرب من تسعين بالمائة من المعاملات المشروعة. إن مسأ-لة ما إذا كان عميل بريء معين سيخضع للتحقيق كانت تعتمد بالكامل تقريباً على النموذج الحاسوبي المحدد الذي يقوم بعملية الفحص.
كما كشفت الدراسة عن نمط واضح داخل عائلات النماذج المقدمة من كل شركة. ففي كلتا الحالتين، كانت النماذج الأصغر والأقل تكلفة أكثر عدوانية، حيث سجلت نشاطاً بريئاً بمعدل أعلى بكثير من نظيراتها الأكثر قوة وتكلفة. وجد الباحثون أن هذه النماذج لم تكن ببساطة أفضل أو أسوأ في نفس المهمة، بل كانت تعمل عند نقاط مختلفة تماماً على طيف الحذر. كان أحد النماذج شديد الحرص على ضبط المجرمين لدرجة أنه اتهم الجميع تقريباً، بينما كان نموذج آخر حذراً للغاية لدرجة أنه سمح بمرور بعض الأنشطة المشبوهة لتجنب إزعاج الأبرياء. هذا المقايضة تعني أن اختيار نموذج ليس مجرد خيار تقني؛ بل هو خيار يتعلق بعدد الإنذارات الكاذبة التي سيتعين على موظفي البنك التعامل معها كل يوم.
ولفهم ما يعنيه هذا لبنك في العالم الحقيقي، تخيل الباحثون سيناريو تقوم فيه مؤسسة بمعالجة مليون معاملة يومياً، مع وجود نسبة صغيرة جداً منها تكون مشبوهة بالفعل. وتحت هذه الظروف، تُرجم الفرق في اختيار النموذج إلى فرق هائل في حجم العمل. فالنموذج الأكثر حذراً سينتج عدداً يمكن التحكم فيه من التنبيهات لمراجعتها من قبل المحققين. أما النموذج الأكثر عدوانية، فسينتج طابوراً من التنبيهات أكبر بنحو مائتين ضعف. في هذا السيناريو، سينتج النموذج الأكثر عدوانية فيضاً من الإنذارات الكاذبة، حيث يتبين أن كل تنبيه تقريباً هو خطأ، مما يؤدي إلى إغراق التهديدات الحقيقية القليلة. وقد أظهر هذا أن اختيار النموذج يمكن أن يغير بشكل جذري الواقع اليومي لفريق الامتثال، محولاً إياهم من حالة التحقيق المركز إلى حالة من الضجيج المفرط.
تحقق الباحثون أيضاً مما إذا كانت هذه النماذج ستفشل بنفس الطريقة، وهو قلق يُعرف باسم "النمطية الخوارزمية" (algorithmic monoculture)، حيث يعتمد الجميع على نفس الأداة وبالتالي يرتكبون نفس الأخطاء. ووجدوا أن هذا لم يكن هو الحال. فلم تكن النماذج تغفل عن نفس المعاملات المشبوهة؛ بل كانت تغفل عن معاملات مختلفة. لم يكن الخطر الحقيقي هو أن تتفق جميعها على السماح للمجرم بالإفلات، بل في أنها ستختلف جميعها حول من هو بريء. هذا التباين يعني أن بنكين يستخدمان نماذج مختلفة يمكن أن يكون لديهما رؤى مختلفة تماماً لنشاط العميل نفسه. فقد يرى بنك نمط أعمال طبيعي، بينما يراه البنك الآخر جريمة.
خلصت الدراسة إلى أن التعامل مع هذه النماذج اللغوية الكبيرة كعناصر قابلة للاستبدال هو خطأ فادح. وخلافاً للبرمجيات التقليدية، حيث يكون الكود ثابتاً وتحت سيطرة المستخدم، يمكن تحديث هذه النماذج التجارية أو استبدالها أو تغييرها من قبل المزود دون علم البنك المباشر. فالنموذج الذي يعمل جيداً اليوم قد يتم استبداله بإصدار مختلف يتصرف بشكل مختلف تماماً، مما يغير عملية البنك بأكملها من حالة الدقة العالية إلى حالة من الفوضى دون أي تغيير في أنظمة البنك نفسها. وجادل الباحثون بأن البنوك يجب أن تعامل الهوية المحددة للنموذج كجزء حيوي من إدارة المخاطر لديها. إذ يتعين عليهم معرفة الإصدار المحدد الذي يستخدمونه بالضبط، ومراقبة سلوكه بانتظام، وفهم أن تغيير النموذج هو حدث رئيسي يمكن أن يغير بشكل جذري قدرتهم على ضبط الجريمة دون مضايقة عملائهم. إن اختيار النموذج ليس مجرد تفصيل في عملية الشراء؛ بل هو الإعداد الذي يحدد كيف يرى النظام العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.