The Checking Problem: What must be true before AI ships in a regulated firm
تُثبت هذه الورقة أن جدوى الذكاء الاصطناعي للمؤسسات في الخدمات المالية الخاضعة للتنظيم تعتمد على سمات قابلة للقياس مثل الإسناد القابل للتحقق وإشارات الثقة، أكثر من اعتمادها على الدقة الخام، وهو ما يمكن أن يقلل بشكل كبير من عبء المراجعة البشرية المطلوبة للنشر في بيئة الإنتاج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قبطان سفينة فضاء، وقد وظفت للتو مساعد طيار آلي ذكي للغاية لمساعدتك في الملاحة. أجريت اختباراً سريعاً؛ طلبت من الروبوت الإشارة إلى نجم على خريطة، ففعل ذلك بإتقان. قمت بـ "هاي فايف" مع زميلك، وهتف الطاقم، وأصبحت مستعداً للإطلاق. لكن هنا تكمن العقبة: في العالم الحقيقي للسفر عبر الفضاء (أو في عالم الخدمات المصرفية والمالية عالي المخاطر)، لا يكفي اختبار مثالي واحد. أنت بحاجة لمعرفة ما إذا كان بإمكان الروبوت الإشارة إلى ذلك النجم نفسه في كل مرة تطلبه فيها، وما إذا كان بإمكانه إظهار مكان رؤيته للنجم بالضبط في الخريطة، وما إذا كان بإمكانه أن يخبرك بصدق: "أنا لست متأكداً بشأن هذا".
هذا هو جوهر دراسة جديدة للباحث بريت أهوجا (Prerit Ahuja)، والتي تغوص في الواقع الفوضوي لـ "ذكاء المؤسسات الاصطناعي" (Enterprise AI). فكر في هذا الأمر كأنه علم اكتشاف سبب محاولة الكثير من الشركات استخدام الذكاء الاصطناعي لإنجاز أعمالها الورقية ثم اصطدامها بحائط مسدود. تركز الورقة البحثية على بعض الأفكار الرئيسية وهي: الدقة (الوصول إلى الإجابة الصحيحة)، القابلية للتكرار (الحصول على نفس الإجابة مرتين)، التأصيل/الاستناد (القدرة على إظهار طريقة عملك)، والقابلية للاكتشاف (معرفة متى تكون مخطئاً). السؤال الكبير ليس فقط "هل الذكاء الاصطناعي ذكي؟" بل "هل هو آمن بما يكفي لتركه يعمل دون مراقبة بشرية لكل خطوة؟"
"فخ العرض التوضيحي" مقابل "الواقع الحقيقي"
تبدأ الورقة بالإشارة إلى مشكلة خفية تسمى "فخ العرض التوضيحي" (Demonstration Trap). تخيل أنك تعرض خدعة سحرية لمجموعة من المستثمرين. تخرج أرنباً من القبعة، وتكون الخدعة مثالية. ينبهرون بك. لكن إذا حاولت القيام بنفس الخدعة 100 مرة متتالية، فربما يتعب الأرنب، أو تعلق القبعة، أو تسحب حذاءً بدلاً من الأرنب عن طريق الخطأ.
في عالم التمويل المنظم (حيث القواعد صارمة والأخطاء تكلف الملايين)، تسمح الشركات غالباً للذكاء الاصطناعي بتجاوز "حاجز العرض التوضيحي". هذه الحاجة منخفضة: يكفي أن يحصل الذكاء الاصطناعي على إجابة واحدة صحيحة في وثيقة واحدة، لمرة واحدة. وجدت الدراسة أن 57 من أصل 72 من إعدادات الذكاء الاصطناعي المختلفة اجتازت هذا الاختبار السهل. بدا الأمر وكأنه انتصار!
لكن بعد ذلك، ترفع الورقة البحثية "حاجز الإنتاج" (Production Bar). هذا هو الاختبار الحقيقي. لتجاوز هذا الحاجز، يجب على الذكاء الاصطناعي أن:
- يكون مصيباً بنسبة 99% من الوقت، في كل مرة.
- يعطي نفس الإجابة تماماً إذا سألته نفس السؤال مرتين.
- يستشهد بمصادره بشكل مثالي (يوضح بالضبط أين وجد المعلومات).
- يقدم إشارة ثقة ذات معنى (يخبر البشر: "أنا متأكد بنسبة 90% أن هذا صحيح" أو "أنا أخمن").
عندما اختبر الباحثون نفس إعدادات الذكاء الاصطناعي مقابل هذا الحاجز الأصعب، كانت النتائج صادمة. فقط 32 من أصل 72 من التكوينات نجحت في التأهل. وهذا يعني أن 43.9% من أدوات الذكاء الاصطناعي التي بدت مثالية قد فشلت تماماً عندما طُلب منها القيام بالمهمة الحقيقية. "الخدعة السحرية" لم تنجح عندما أُضيئت الأنوار وكان الجمهور يراقب عن كثب.
تكلفة التحقق: لماذا لا يكفي أن تكون "مصيباً" فحسب؟
هذا هو الجزء الأكثر إثارة للدهشة في الورقة. حتى لو كان الذكاء الاصطناعي مصيباً في معظم الأحيان، فقد يظل عديم الفائدة إذا كان على البشر مراجعة كل ما يفعله.
لقد قاس الباحثون "عبء المراجعة" (Review Burden). تخيل أن المراجع البشري هو حارس بوابة. إذا قال الذكاء الاصطناعي: "أنا متأكد بنسبة 99% أن هذا صحيح"، فقد يتجاوز الحارس عملية التحقق. ولكن إذا لم يذكر الذكاء الاصطناعي شيئاً عن مدى تأكده، فسيتعين على الحارس فحص 100% من العمل.
اختبرت الدراسة ثلاثة طرق مختلفة لبناء هذه الأدوات:
- الأداة المجردة (C1): تقوم بالمهمة فقط. النتيجة؟ لا تقدم أي إشارة ثقة. يتعين على البشر فحص 100% من المخرجات. إنه يشبه توظيف روبوت لا يتحدث أبداً، لذا عليك قراءة كل كلمة يكتبها.
- الأداة الخاضعة للحوكمة (C2): هذه الأداة مجبرة على إظهار طريقة عملها وقول مدى ثقتها. النتيجة؟ يحتاج البشر فقط إلى فحص 49% من المخرجات. هذا فوز كبير! الأداة ليست بالضرورة أكثر دقة، لكنها تخبر البشر بالأجزاء التي يمكن تجاهلها بأمان.
- الأداة المتحقق منها (C3): تقوم هذه الأداة بالمهمة، ثم تقرأ عملها مرة أخرى لتصحيح الأخطاء. قد تعتقد أن هذا هو الخيار الأفضل، لكن الدراسة وجدت أنه كان أسوأ صفقة على الإطلاق. لقد استغرق تشغيلها وقتاً أطول بمقدار 2.3 مرة، وقلل معدل الفحص إلى 44% فقط. والأسوأ من ذلك، أنها كانت الإعداد الوحيد الذي فشل في الحفاظ على معدل خطأ منخفض بما يكفي.
مفاجأة "التسوية" (Reconciliation)
أحد أكثر الأمثلة وضوحاً في الورقة يتعلق بمهمة تسمى "التسوية". تخيل أن لديك قائمتين من الأرقام (مثل أرصدة بنكية) وتحتاج إلى معرفة ما إذا كانت متطابقة.
- أحد نماذج الذكاء الاصطناعي (Open-weights A) بدا مذهلاً في العرض التوضيحي. كان بإمكانه رصد وجود عدم تطابق.
- ولكن عندما سأله الباحثون عن مقدار الفرق بين الأرقام، كان في الواقع يخمن فقط. لقد أصاب في الإجابة بنسبة 31.9% فقط في هذه المهمة المحددة، رغم أنه بدا رائعاً في مهام أخرى.
هذا يثبت أن الأداة يمكن أن تكون "لاعباً بمهارة واحدة فقط". قد تجتاز عرضاً توضيحياً برصد مشكلة ما، لكنها تفشل في اختبار الإنتاج لأنها لا تستطيع حساب الحل.
ماذا يعني هذا للمستقبل؟
تخلص الورقة إلى تحول بسيط ولكنه قوي في كيفية تفكيرنا في الذكاء الاصطناعي.
- لا تسأل فقط: "كم مرة يكون مصيباً؟"
- اسأل بدلاً من ذلك: "هل يعرف متى يكون مخطئاً؟ هل يمكنه إظهار واجباته المدرسية؟ كم من عمله سيظل البشر مضطرين للتحقق منه؟"
تشير الدراسة إلى أن قيمة الذكاء الاصطناعي لا تكمن فقط في مدى ذكائه، بل في مقدار ما يوفره من وقت البشر عن القيام بعمليات التحقق المملة والمتكررة. إذا كان الذكاء الاصطناعي لا يستطيع إخبارك عندما يكون غير متأكد، فسيتعين عليك التحقق من كل شيء، وهذا يكلف الكثير من الوقت والمال.
يؤكد الباحثون بحذر أن هذا هو "أول قياس" وأن الوثائق في العالم الحقيقي أكثر فوضوية من تلك التي اختبروها، لذا فإن المشكلات قد تكون أكبر في الواقع. لكن الرسالة واضحة: قبل أن نسمح للذكاء الاصطناعي بالانطلاق في العالم الحقيقي، يجب أن نتوقف عن النظر إلى "الخدعة السحرية" ونبدأ في فحص الرياضيات، والمصادر، والثقة. لأنه في النهاية، الأداة التي تصيب بنسبة 99% من الوقت ولكن تجعلك تتحقق من 100% من عملها هي مجرد آلة كاتبة باهظة الثمن وبطيئة جداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.