Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models
تقيم هذه الورقة مقاييس عدم اليقين المختلفة أثناء الاستدلال في النماذج اللغوية الكبيرة، وتجد أن العديد من المقاييس تظهر توافقاً قوياً مع عدم اليقين البشري ومعايرة متوسطة إلى قوية للنموذج، حتى عندما لا ترتبط بتفضيلات الإجابة البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توجه سؤالاً إلى روبوت ذكي جداً ومطلع. أنت تريد معرفة شيئين:
- هل الروبوت محق بالفعل؟ (وهذا ما يسمى المعايرة - Calibration).
- هل "يشعر" الروبوت بعدم اليقين بنفس الطريقة التي يشعر بها البشر؟ (وهذا ما يسمى المحاذاة - Alignment).
لفترة طويلة، برع الباحثون في بناء روبوتات تعرف متى تكون مصيبة أو مخطئة (المعايرة)، لكنهم لم يتحققوا حقاً مما إذا كان "شعورها الداخلي" بعدم اليقين يتطابق مع شعور مجموعة من البشر. هذه الورقة البحثية تشبه قصة بوليسية تحاول اكتشاف ما إذا كان الروبوت والبشر على نفس الموجة العاطفية فيما يتعلق بعدم اليقين.
العمل التحري: كيف اختبروا ذلك؟
عامل الباحثون الروبوت كأنه طالب يؤدي اختباراً من نوع الاختيار من متعدد. لم يكتفوا بسؤال الروبوت عن الإجابة فحسب؛ بل طلبوا منه إظهار "خطوات عمله" عبر الكشف عن مدى ثقته في كل إجابة ممكنة.
استخدموا "فصلين دراسيين" رئيسيين (مجموعات بيانات) للاختبار:
- الفصل الصغير: مجموعة صغيرة مكونة من 38 سؤالاً من منظمة استطلاع شهيرة (Pew Research).
- الفصل الكبير: مجموعة ضخمة تضم ما يقرب من 3,000 سؤال من استطلاعات الرأي العام (Roper Center).
في هذين الفصلين، قارنوا بين إجابات الروبوت ومستويات ثقته وبين ما قالته مجموعات من البشر الحقيقيين.
المفاجأة الكبرى: "الشعور" مقابل "التفكير"
إليك المنعطف الذي اكتشفته الورقة، وهو يشبه اكتشاف أن طالباً ومعلماً يخضعان لاختبارين مختلفين لكنهما يحصلان على نفس "الانطباع":
- لا يتفقان على الإجابة: إذا سألت مجموعة بشرية وروبوتاً نفس السؤال، فغالباً ما يختاران إجابات مختلفة. "ترتيب التفضيل" لدى الروبوت (أي الإجابة التي يفضلها أولاً، ثم ثانياً، وهكذا) عادة ما يكون مختلفاً تماماً عن ترتيب البشر.
- لكنهما يتفقان على الشعور: رغم اختلافهما في اختيار الإجابات، إلا أن "مقياس عدم اليقين" لدى الروبوت غالباً ما يرتفع وينخفض في نفس الوقت الذي يتغير فيه عدم اليقين لدى البشر.
التشبيه: تخيل أنك وصديقك تخمنان نتيجة مباراة رياضية. كلاكما يخمن نتائج مختلفة (ربما تقول أنت 24-20، وهو يقول 21-19). ومع ذلك، كلاكما يشعر بنفس القدر من التوتر بشأن تخميناته. كلاكما يفكر: "أنا لست متأكداً، يمكن أن تسير الأمور بأي اتجاه". وجدت الورقة أن النماذج اللغوية الكبيرة (LLMs) تشبه ذلك الصديق: قد تخمن النتيجة الخاطئة، لكن "توترها" يطابق توتر البشر تماماً.
الأدوات التي استخدموها (مقاييس عدم اليقين)
اختبر الباحثون طرقاً عديدة لقياس هذا "التوتر". فكر في هذه الطرق كأنها أنواع مختلفة من موازين الحرارة لقياس قلق الروبوت:
- احتمالية الترتيب الأول (Top-1 Probability): "ما مدى تأكدي من أن تخميني الأول هو الصحيح؟" (هذا لم يعمل بشكل جيد كمقياس للمحاذاة مع البشر).
- الاعتلاج أو "الإنتروبي" (Entropy - مقياس الفوضى): يقيس مدى تشتت تخمينات الروبوت. إذا كان الروبوت متأكداً بنسبة 90% من إجابة واحدة، فهو هادئ (اعتلاج منخفض). أما إذا كان منقسماً بنسبة 25% بين أربع إجابات، فهو في حالة فوضى (اعتلاج مرتفع).
- الفائزون: وجدوا أن قياس "الفوضى" تحديداً بين الإجابات الصحيحة (ما يسمى Choice Entropy) والنظر في أكثر 10 تخمينات احتمالية (ما يسمى Top-10 Entropy) كانا الأفضل في مطابقة المشاعر البشرية.
- أخذ عينات Top-P (Top-P Sampling): هذا يشبه قول الروبوت: "سأقوم بسحب الجزء العلوي من الإجابات التي تشكل 90% من ثقتي". حجم هذا الجزء يخبرنا بمدى عدم يقينه.
هل عرف الروبوت حقاً متى كان مخطئاً؟ (المعايرة)
مجرد أن الروبوت يشعر بعدم اليقين مثل البشر لا يعني أنه يكون مصيباً عندما يشعر باليقين. تحقق الباحثون من ذلك باستخدام اختبار قياسي يسمى MMLU (مجموعة ضخمة من الأسئلة الصعبة من نوع الاختيار من متعدد).
- النتيجة: "مقاييس عدم اليقين" التي طابقت المشاعر البشرية (مثل Choice Entropy) تبين أنها جيدة أيضاً في التنبؤ بمتى يكون الروبوت مخطئاً بالفعل.
- العائق: لم يكن الروبوت "معايراً" بشكل مثالي. كان "جيداً بشكل متوسط". الأمر يشبه توقعات الطقس التي تقول "احتمال سقوط المطر 50%" ثم تمطر في نصف الحالات؛ إنها مفيدة، لكنها ليست كرة بلورية.
لحظة الاستنتاج (Aha! Moment)
تجري الورقة بحثية ربطاً ذكياً لم يلاحظه أحد من قبل:
- أخذ عينات Top-P (وهي طريقة شائعة لتوليد النصوص في الروبوتات) تشبه رياضياً مفهوماً في الإحصاء يسمى "المجموعة الاعتقادية البايزية" (Bayesian Credible Set). أدرك المؤلفون أن هذا الربط يساعد في شرح لماذا يعد النظر في "حجم" مجموعة Top-P وسيلة جيدة لقياس عدم اليقين.
الخلاصة
تخبرنا هذه الورقة أن النماذج اللغوية الكبيرة لديها "حس بشري" بعدم اليقين، حتى لو لم تتفق دائماً مع البشر على الإجابة النهائية.
- ما الذي ينجح بشكل أفضل: قياس مدى "تشتت" ثقة الروبوت بين الإجابات الصحيحة (Choice Entropy) أو ضمن أفضل 10 تخمينات.
- لماذا يهم ذلك: إذا استطعنا استخدام هذه "المقاييس" المحددة، فيمكننا منح المستخدمين إشارة تبدو بديهية. بدلاً من رقم مربك، يمكن للروبوت أن يقول: "أنا أشعر بعدم يقين شديد تجاه هذا"، بطريقة تتوافق مع شعور الإنسان. هذا يساعد في بناء الثقة، حتى لو لم يكن الروبوت على صواب بنسبة 100%.
ما لم تفعله الورقة:
- لم تختبر هذا في المحادثات المفتوحة (مثل كتابة قصيدة)، بل فقط في أسئلة الاختيار من متعدد.
- لم تختبر هذا على أكبر وأغلى نماذج الحواسيب الفائقة، بل فقط على نماذج ذات 8 مليارات بارامتر أو أقل.
- لم تجرِ تجربة سريرية أو دراسة مستخدمين لمعرفة ما إذا كان هذا يجعل الناس أكثر سعادة؛ بل قامت فقط بقياس الرياضيات والمحاذاة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.