FraudBench: Stress-Testing Policy-Grounded Banking Agents Against Adaptive Fraud
تقدم هذه الورقة FraudBench، وهو معيار اختبار تنفيذي مبتكر صُمم لاختبار قدرة الوكلاء المصرفيين القائمين على السياسات تحت الضغط في مواجهة سيناريوهات احتيال تكيفية ومعتمدة على التاريخ، وذلك عبر محاكاة التفاعلات الديناميكية بين الوكلاء والمتصلين ذوي النوايا الخبيثة عبر حالات حسابية متغيرة ووثائق سياسات داخلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم المال الحديث، لم يعد ممثل خدمة العملاء في البنك مجرد شخص يجيب على الهاتف. فبشكل متزايد، أصبح هذا الممثل برنامج حاسوبي، أو عميل ذكاء اصطناعي، مصممًا لإجراء محادثة، وفهم الطلبات المعقدة، واتخاذ الإجراءات. تُمنح هذه الوكلاء أدوات قوية: يمكنهم البحث عن رصيد حساب العميل، أو التحقق من كلمة مرور مفقودة، أو تجميد بطاقة ائتمان مسروقة، أو حتى نقل الأموال من حساب إلى آخر. كما أن لديهم إمكانية الوصول إلى كتب القواعد الداخلية للبنك، وهي آلاف الصفحات من الوثائق التي تحدد بدقة ما يُسمح للوكيل بفعله وما يجب عليه رفضه. إن الوعد الذي تقدمه هذه التكنولوجيا هو الراحة؛ حيث يمكن للمتصل حل أزمة في دقائق دون انتظار على الخط. ومع ذلك، فإن الخطر يكمن في أن نفس الأدوات القوية التي تساعد عميلاً شرعيًا يمكن أن تُستخدم ضد البنك إذا عرف المتصل كيفية التلاعب بالمحادثة. فإذا استطاع شخص ما خداع الوكيل ليعتقد أنه شخص آخر، أو ليتجاهل قاعدة أمان بسبب قصة صيغت ببراعة، فقد يقوم الوكيل بإجراء يتسبب في خسارة مالية حقيقية. والسؤال المركزي للباحثين ليس ما إذا كانت هذه الوكلاء تستطيع فهم اللغة، بل ما إذا كان بإمكانها فهم الخطر عندما يحاول إنسان خداعهم بنشاط.
لقد بنى فريق من الباحثين ميدان اختبار جديدًا للإجابة على هذا السؤال، وهو نظام يسمونه "FraudBench". فبدلاً من مجرد مطالبة الذكاء الاصطناعي بقراءة قائمة من المعاملات المشبوهة أو تحديد بريد إلكتروني احتيالي، أنشأوا محاكاة حية حيث يلعب برنامج حاسوبي دور وكيل بنكي، ويلعب برنامج حاسوبي آخر دور محتال. يخوض البرنامجان محادثة طويلة متعددة الجولات، تمامًا مثل مكالمة هاتفية حقيقية. هدف المحتال هو التلاعب بالوكيل لجعله يقوم بفعل غير آمن، مثل تحويل الأموال إلى حساب إجرامي أو الكشف عن معلومات خاصة. ومهمة الوكيل هي الاستماع، والتحقق من قواعد البنك، والتحقق من هوية المتصل، واتخاذ قرار بشأن المساعدة أو إيقاف الطلب. ووجد الباحثون أنه بينما تجيد هذه الوكلاء اتباع التعليمات، إلا أنها غالبًا ما تفشل عندما تكون تلك التعليمات جزءًا من قصة خداعية طويلة.
تعتمد المحاكاة على أساس واقعي؛ حيث يعمل الوكيل ضمن بيئة بنكية رقمية تحتوي على 125 عميلًا وهميًا، وحساباتهم، وسجلات معاملاتهم. كما أن لديه إمكانية الوصول إلى مكتبة ضخمة تضم 698 وثيقة سياسة داخلية، والتي يجب عليه البحث فيها للعثور على القاعدة الصحيحة لأي موقف معطى. ويمتلك الوكيل 17 أداة مختلفة يمكنه استخدامها، تتراوح بين عمليات البحث البسيطة والإجراءات عالية المخاطر مثل إعادة تعيين رقم التعريف الشخصي أو إلغاء تجميد بطاقة. أما المحتال، الذي يتحكم فيه برنامج منفصل، فلا يكتفي بطلب المال فحسب؛ بل يحاول استغلال ثقة الوكيل. قد يبدأ المحتال بطرح سؤال غير ضار لبناء علاقة ودية، ثم يُدخل ببطء شعورًا زائفًا بالاستعجال، أو يعترف بكذبة صغيرة لاختبار رد فعل الوكيل. وأكثر الهجمات خطورة هي تلك التي تتسم بالقدرة على التكيف، مما يعني أن المحتال يغير استراتيجيته بناءً على رد فعل الوكيل. فإذا رفض الوكيل طلبًا ما، فقد يحاول المحتال زاوية أخرى، أو إذا ارتكب الوكيل خطأً صغيرًا في وقت سابق من المحادثة، فقد يستخدم المحتال ذلك الخطأ لتبرير طلب أكبر وغير آمن لاحقًا.
لاختبار الوكلاء، أنشأ الباحثون 150 سيناريو محددًا، صُمم كل منها لاستهداف نوع مختلف من الاحتيال. وتشمل هذه السيناريوهات محاولات لسرقة حساب، وحيل لتجاوز فحوصات الهوية، ومخططات لنقل الأموال عبر سلسلة من الحسابات الوهمية. كما تضمنت مجموعة من هجمات "السلسلة"، حيث تؤدي سلسلة من الخطوات الصغيرة التي تبدو بريئة إلى خرق أمني كبير. ثم قام الباحثون بتشغيل أربعة نماذج مختلفة من الذكاء الاصطناعي عبر هذه السيناريوهات الـ 150 لمعرفة مدى قدرتها على حماية البنك. وكانت النتائج متباينة؛ فالنموذج الأفضل أداءً تمكن من إيقاف المحتالين في حوالي 65 بالمائة من الحالات، بينما نجح النموذج الأضعف في حوالي نصف الحالات فقط. وهذا يعني أنه في عدد كبير من عمليات المحاكاة، تم خداع الوكيل للقيام بفعل كان يجب عليه رفضه. ووجد الباحثون أن الوكلاء واجهوا صعوبة أكبر مع نوعين محددين من الخداع: مخططات "الوسيط المالي" (money mule)، حيث يحاول المحتال استخدام حساب الضحية لتحريك أموال مسروقة، وهجمات "السلسلة"، حيث يختبئ الخطر في تاريخ المحادثة بدلاً من الطلب الحالي.
تسلط الدراسة الضوء على خلل جوهري في كيفية تقييم هذه الوكلاء حاليًا. فكثير من الاختبارات الموجودة تنظر فقط إلى الرسالة النهائية في المحادثة لتقرير ما إذا كان الوكيل قد فعل الشيء الصحيح. ومع ذلك، أظهر "FraudBench" أن الأمان يعتمد على التاريخ الكامل للتفاعل. فقد يرفض الوكيل بشكل صحيح طلبًا لتحويل مبلغ كبير، ولكن إذا كشف بالخطأ عن رمز سري في وقت سابق من الدردشة، فإن المحادثة تكون قد تعرضت للاختراق بالفعل. ووجد الباحثون أن الوكلاء غالبًا ما يفشلون في تذكر هذه الأخطاء السابقة أو ربطها بالطلب الحالي. كما اكتشفوا أن الوكلاء واجهوا صعوبة في العثور على القاعدة الصحيحة في مكتبة الوثائق المكونة من 698 وثيقة عندما كان عليهم البحث عنها بأنفسهم، بدلاً من تزويدهم بالوثيقة مباشرة. وعندما أجبر الباحثون الوكلاء على البحث عن قواعدهم بأنفسهم، انخفض معدل نجاح أفضل نموذج بمقدار 13 نقطة مئوية، مما يوضح أن القدرة على العثور على المعلومات لا تقل أهمية عن القدرة على التفكير المنطقي بشأنها.
ولعل الاكتشاف الأكثر أهمية هو أن الأمان والمساعدة في حالة تضاد. فالوكيل الذي يكون شديد الرغبة في مساعدة العميل قد يُخدع للقيام بشيء ضار، بينما الوكيل الذي يكون شديد الحذر قد يرفض مساعدة عميل شرعي يمر بمجرد يوم سيء. لم يجد الباحثون نموذجًا واحدًا مثاليًا في كل من منع الاحتيال ومساعدة الناس الحقيقيين. وبدلاً من ذلك، لاحظوا وجود مقايضة: النماذج التي كانت أفضل في صد الهجمات كانت أكثر عرضة لرفض الطلبات الصالحة. وهذا يشير إلى أن بناء وكيل مصرفي آمن حقًا ليس مجرد مسألة جعل البرمجيات أكثر ذكاءً، بل يتعلق بموازنة دقيقة بين رغبتها في العمل وقدرتها على كشف الخداع. ويؤكد الباحثون أن عملهم هو محاكاة باستخدام بيانات خيالية، لذا فإن النتائج لا تتنبأ بدقة بكيفية أداء البنوك الحقيقية، لكنها توفر خارطة طريق واضحة للأماكن التي تظهر فيها نقاط ضعف التكنولوجيا الحالية. ومن خلال كشف نقاط الضعف هذه في بيئة محكومة، تقدم الدراسة مسارًا للمطورين لبناء وكلاء يمكنهم التنقل في المشهد المعقد والخطير للاحتيال المصرفي الحديث دون فقدان قدرتهم على خدمة الجمهور.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.