Uncertainty Quantification for LLM Function-Calling
تقدم هذه الورقة أول تقييم لطرق تقدير عدم اليقين (UQ) لاستدعاء الدوال في النماذج اللغوية الكبيرة (LLM)، حيث اكتشفت أنه بينما لا تقدم طرق العينات المتعددة سوى فائدة ضئيلة مقارنة بطرق العينة الواحدة في هذا السياق، إلا أنه يمكن تحسين أدائها بشكل كبير من خلال الاستفادة من الخصائص الهيكلية والدلالية المحددة لمخرجات استدعاء الدوال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك خادماً آلياً متطوراً للغاية. هذا الخادم مذهل في اتباع التعليمات، لكن لديه سمة خطيرة واحدة: إنه لا يكتفي بالكلام فحسب، بل يفعل. إذا طلبت منه "تنظيف المطبخ"، فقد يرمي بالخطأ أواني الخزف الثمينة والموروثة إلى غسالة الأطباق لأنه لم يكن متأكداً تماماً من الأطباق الهشة.
هذه الورقة البحثية تدور حول تعليم ذلك الخادم كيف يقول: "انتظر، لست متأكداً بنسبة 100% أنني فهمت ذلك بشكل صحيح. هل يمكنك التحقق قبل أن أشرع في التنفيذ؟"
في عالم الذكاء الاصطناعي، يسمى هذا تقدير عدم اليقين (Uncertainty Quantification - UQ) لـ استدعاء الدوال (Function-Calling).
المشكلة: "الأحمق الواثق"
تم تصميم معظم النماذج اللغوية الكبيرة (مثل ChatGPT) لتكون مفيدة وحازمة. عندما تطلب من الذكاء الاصطناعي تنفيذ مهمة ما — مثل "حول 500 دولار إلى أمي" — فإنه ينشئ كوداً برمجياً محدداً (استدعاء دالة) للقيام بذلك.
المشكلة هي أن الذكاء الاصطناعي يمكن أن يكون "أحمقاً واثقاً". فقد ينشئ أمراً يبدو صحيحاً تماماً ولكنه يحتوي على خطأ طفيف وكارثي (مثل تحويل 5,000 دولار بدلاً من 500 دولار). ولأن الذكاء الاصطناعي واثق جداً في خطئه، فإنه لا يدرك أنه على وشك التسبب في كارثة.
التجربة: اختبار "الشعور الداخلي"
أراد الباحثون معرفة ما إذا كان بإمكاننا قياس "الشعور الداخلي" للذكاء الاصطناعي (عدم اليقين لديه) لمنع هذه الأخطاء. لقد اختبروا طريقتين رئيسيتين لقياس ذلك:
- طريقة "التخمين الواحد" (السريع): تسأل الذكاء الاصطناعي مرة واحدة، وتنظر إلى مدى "تردده" أثناء الكتابة. إذا كان يختار كلمات ذات احتمالية منخفضة جداً، فهذا يشبه الشخص الذي يتلعثم — وهي علامة على الشك.
- طريقة "العصف الذهني المتعدد" (اللجنة): تسأل الذكاء الاصطناعي نفس السؤال 10 مرات مختلفة. إذا كانت جميع الإجوات العشر مختلفة قليلاً، فإن "اللجنة" في حالة خلاف، مما يعني أن الذكاء الاصطناعي مشوش على الأرجح.
الاكتشاف المفاجئ:
قد تعتقد أن "اللجنة" (الطريقة الأكثر تكلفة وتعقيداً) ستكون أذكى. لكن الباحثين وجدوا أنه بالنسبة لهذه المهام التقنية المحددة، كانت طريقة "التخمين الواحد" (السريع) جيدة بقدر الطريقة الأخرى، إن لم تكن أفضل! لم تضف عملية العصف الذهني المعقدة الكثير من القيمة لأن أخطاء الذكاء الاصطناعي في البرمجة غالباً ما تكون محددة جداً ولا تظهر كثيراً في شكل "خلاف" بين العينات.
الحل: خدعة "التمييز" (Highlighter)
أدرك الباحثون أن ليست كل الكلمات في الأمر متساوية في الأهمية.
تخيل أنك تتبع وصفة طعام. إذا قالت الوصفة: "أضف ملعقتين كبيرتين من الملح،" وأنت لست متأكداً ما إذا كانت "ملعقتين كبيرتين" أم "ملعقتين صغيرتين"، فهذا أمر جلل. ولكن إذا لم تكن متأكداً ما إذا كانت كلمة "أضف" يجب أن تبدأ بحرف كبير أم لا، فذلك لا يهم على الإطلاق.
ابتكر الباحثون طريقة جديدة تسمى SMT (الرموز ذات المعنى الدلالي - Semantically Meaningful Tokens). فبدلاً من مراقبة ثقة الذكاء الاصطناعي في كل رمز منفرد (مثل الفواصل والأقواس والمسافات)، علموا النظام أن يعمل مثل أداة التمييز (Highlighter). فهو يتجاهل "التركيبات المملة" (مثل الفواصل والأقوش) ويقيس فقط ثقة الذكاء الاصطناعي في الكلمات "عالية المخاطر" — أي أسماء الدوال الفعلية، والأرقام، والأسماء المحددة للأشخاص أو الأماكن.
النتيجة: خادم أكثر أماناً
من خلال التركيز فقط على الأجزاء "عالية المخاطر" من الأمر، أصبح الذكاء الاصطناعي أفضل بكثير في تحديد أخطائه.
باخت-القول: توفر هذه الورقة البحثية مخططاً لبناء "حواجز حماية" حول الذكاء الاصطناعي. وهي تخبرنا أنه بدلاً من جعل الذكاء الاصطناٍ يقوم بكميات هائلة من التفكير الإضافي، يمكننا جعله أكثر أماناً ببساة عبر تعليمه أن يولي اهتماماً أكبر للأجزاء من تعليماته التي تهم حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.