UQLM: A Python Package for Uncertainty Quantification in Large Language Models
تقدم الورقة البحثية حزمة UQLM، وهي حزمة برمجية بلغة بايثون تستفيد من تقنيات قياس عدم اليقين الحديثة لتوليد درجات ثقة للكشف عن الهلوسة وتعزيز موثوقية مخرجات النماذج اللغوية الكبيرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً عبقرياً وسريعاً للغاية، يمكنه كتابة المقالات، والإجابة على الأسئلة المعقدة، وصياغة رسائل البريد الإلكتروني في ثوانٍ معدودة. هذا المساعد هو ذكاء اصطناعي (نموذج لغوي كبير). ولكن هناك مشكلة: أحياناً، يكون هذا المساعد واثقاً ومبدعاً لدرجة أنه يختلق الأمور. قد يخبرك أن القمر مصنوع من الجبن الأخضر، أو أن حدثاً تاريخياً شهيراً وقع في يوم الثلاثاء بينما وقع في الواقع يوم الجمعة. في عالم الذكاء الاصطناعي، نسمي هذه الأكاذيب الواثقة "الهلوسات" (Hallucinations).
المشكلة هي أن هذه الأكاذيب غالباً ما تبدو حقيقية ومنطقية جداً لدرجة أنه يصعب تمييز أنها مزيفة. إذا استخدمت هذا الذكاء الاصطناعي في أمور جادة مثل النصائح الطبية، أو العقود القانونية، أو التخطيط المالي، فقد تكون الهلوسة كارثية.
تقدم هذه الورقة أداة جديدة تسمى uqlm (تكميم عدم اليقين للنماذج اللغوية). فكر في uqlm كـ "مقياس للثقة" أو "جهاز كشف الكذب" لمساعدك الذكي. هي لا تكتفي بالتحقق مما إذا كانت الإجابة صحيحة (وهو أمر صعب القيام به فوراً)؛ بل تسأل الذكاء الاصطناعي: "ما مدى تأكدك من أن هذه الإجابة صحيحة؟"
إليك كيف تعمل uqlm، مقسمة إلى أربع استراتيجيات بسيطة باستخدام تشبيهات من الحياة اليومية:
1. خدعة "اسأل نفس السؤال خمس مرات" (التحقق من الصندوق الأسود - Black-Box UQ)
تخيل أنك تسأل صديقاً: "ما هي عاصمة فرنسا؟"
- إذا أجاب بـ "باريس" في كل مرة تسأله فيها، فهو على الأرجال واثق ومحق.
- إذا أجاب بـ "باريس"، ثم "لندن"، ثم "برلين"، ثم "باريس" مرة أخرى، فهو مرتبك ويخمن.
تقوم uqlm بفعل ذلك تماماً. فهي تسأل الذكاء الاصطناعي نفس السؤال عدة مرات. إذا أعطى الذكاء الاصطناعي إجابات مختلفة، تقول الأداة: "مهلاً، هذا الذكاء الاصطناعي غير متأكد!" وتمنحه درجة ثقة منخفضة. أما إذا أعطى نفس الإجابة في كل مرة، فإنه يحصل على درجة عالية.
2. خدعة "قراءة العقل" (التحقق من الصندوق الأبيض - White-Box UQ)
أحياناً، يمكنك معرفة ما إذا كان شخص ما يكذب من خلال طريقة حديثه. هل يتردد؟ هل يتلعثم؟ هل يبدو غير متأكد؟
تمتلك uqlm وضعاً خاصاً حيث يمكنها التلصص داخل "عقل" الذكاء الاصطناعي (رياضياته الداخلية). إنها تنظر إلى احتمالية كل كلمة يختارها الذكاء الاصطناعي.
- إذا كان الذكاء الاصطناعي متأكداً بنسبة 99% أن الكلمة التالية هي "باريس"، فهو واثق.
- إذا كان الذكاء الاصطناعي متأكداً بنسبة 50% فقط ومحتاراً بين "باريس" و"لندن" و"روما"، فهو متوتر.
تقيس uqlm هذا التوتر فورياً دون الحاجة لطرح أسئلة إضافية. الأمر يشبه فحص نبضات القلب لمعرفة ما إذا كان شخص ما يشعر بالتوتر.
3. خدعة "لجنة الحكام" (النموذج اللغوي كحكم - LLM-as-a-Judge)
تخيل أنك طالب وكتبت مقالاً. بدلاً من قراءته بنفسك فقط، تطلب من ثلاثة معلمين آخرين تقييمه.
- المعلم (أ) يقول: "هذا مثالي!"
- المعلم (ب) يقول: "هذا يحتوي على بعض الأخطاء."
- المعلم (ج) يقول: "هذا محض اختلاق."
تستخدم uqlm نماذج ذكاء اصطناعي أخرى كـ "حكام". تأخذ الإجابة وتسأل هؤلاء الحكام: "هل هذا صحيح؟" يعطي الحكام درجة. إذا اتفق جميع الحكام على أنها كذبة، تنخفض درجة الثقة. هذا يشبه وجود لجنة من الخبراء لمراجعة العمل قبل الوثوق به.
4. "اجتماع الفريق" (المجموعات - Ensembles)
أحياناً، لا تكفي طريقة واحدة. ربما تكون خدعة "اسأل خمس مرات" بطيئة جداً، أو أن خدعة "قراءة العقل" لا تعمل مع جميع نماذج الذكاء الاصطناعي.
يمكن لـ uqlm دمج كل هذه الطرق في فريق خارق واحد. تأخذ الدرجات من فحص التكرار، وفحص قراءة العقل، ولجنة الحكام، وتقوم بمتوسطها لتعطيك في النهاية "درجة ثقة" نهائية فائقة الدقة تتراوح بين 0 (لا تثق بهذا!) و1 (ثق بهذا تماماً!).
لماذا يعد هذا أمراً بالغ الأهمية؟
قبل uqlm، إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي يكذب، كان عليك أن تكون عالماً في الحاسوب أو تمتلك "ورقة غش" تحتوي على الإجابات الصحيحة (والتي لا تملكها عادةً في الحياة الواقعية).
uqlm تشبه إعطاء الجميع جهاز تحكم عن بعد عالمي لسلامة الذكاء الاصطناعي. إنها أداة مجانية وسهلة الاستخدام تتيح لأي شخص — من الطبيب الذي يتحقق من تشخيص طبي إلى الطالب الذي يكتب بحثاً — أن يعرف فوراً ما إذا كان الذكاء الاصطناعي واثقاً أم أنه مجرد يهذي. إنها تجعل الذكاء الاصطناعي أكثر أماناً، وأكثر موثوقية، وأقل عرضة لخداعنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.