Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models
تكشف هذه الورقة أنه في حين تُظهر النماذج اللغوية الكبيرة كفاءة في الاستدلال الاحتمالي الصريح عبر أسئلة الاختيار من متعدد، فإن استدلالها الاحتمالي الضمني أثناء توليد النصوص غالباً ما يبتعد بشكل كبير عن الحقيقة المطلقة بسبب قابليتها للتأثر بعوامل سياقية متنوعة، مما يسلط الض الضوء على قصور حاسم في طرق التقييم التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تجري مقابلة مع طالب عبقري ومطلع لشغل وظيفة. تسأله سؤالاً رياضياً صعباً: "إذا رميت نردين، فما هي احتمالية أن يكون مجموع الرقمين 7؟"
ترفع الطالب يده بثقة وتقول: "1 من 6!" وهي إجابة صحيحة. يمكنه شرح الرياضيات بشكل مثالي. تفكر في نفسك: "رائع، هذا الشخص يفهم الاحتمالات!"
لكن بعد ذلك، تطلب منه لعب لعبة. تقول له: "حسناً، لنفترض أننا رمينا نردين للتو. سأكتب النتيجة. ما هو الرقم الذي تعتقد أنني كتبته؟"
بدون تفكير مرتين، يكتب الطالب "7" في كل مرة. ولكن هناك خدعة؛ فهو يكتب أيضاً "2" أو "12" بشكل متكرر أكثر مما ينبغي، رغم أنها نتائج أقل شيوعاً بكثير. يبدو وكأنه نسي الرياضيات التي أثبت لتوّه أنه يعرفها.
هذا هو بالضبط ما اكتشفته ورقة بحثية بعنوان "الاستدلال الاحتمالي الضمني لا يعكس الإجابات الصريحة في النماذج اللغوية الكبيرة" حول الذكاء الاصطنا de.
إليك تفصيل الدراسة باستخدام تشبيهات بسيطة:
1. الطريقتان في الاختبار (الـ "اختبار" مقابل الـ "قصة")
وجد الباحثون أن نماذج الذكاء الاصطناعي (LLMs) تمتلك شخصية منقسمة عندما يتعلق الأمر بالاحتمالات.
- الاستدلال الصريح (الاختبار): هذه هي الطريقة القياسية لاختبار الذكاء الاصطناعي. أنت تعطيه سؤالاً من نوع الاختيار من متعدد (مثل مثال النرد أعلاه). يتصرف الذكاء الاصطناعي كطالب يؤدي امتحاناً. يختار الإجابة الصحيحة، وغالباً بثقة تصل إلى 99%. إنه يعرف القواعد.
- الاستدلال الضمني (القصة): هذا هو الاختبار الجديد الذي ابتكره الباحثون. بدلاً من طرح سؤال، تطلب من الذكاء الاصطناعي إكمال قصة. تعطيه سيناريو (مثلاً: "رُمي نردان...") وتطلب منه التنبؤ بالكلمة التالية.
- التشبيه: تخيل أن الذكاء الاصطناعي هو طاهٍ. في "الاختبار"، يحدد الطاهي بشكل صحيح أن الكعكة تحتاج إلى بيضتين. لكن في "القصة"، عندما يقوم بالفعل بخبز الكعكة، يرمي الطاهي عشوائياً 10 بيضات لأنه تشتت بسبب رائحة الفرن.
الاكتشاف الكبير: الذكاء الاصطناعي بارع في "الاختبار"، لكنه سيء في "القصة". عندما يقوم الذكاء الاصطناعي فعلياً بـ توليد نص (وهو ما يفعله معظم الوقت في الحياة الواقعية)، فإنه غالباً ما يتجاهل الرياضيات التي يدعي معرفتها.
2. فخ "التشخيص الطبي"
تستخدم الورقة البحثية مثالاً طبياً لتوضيح سبب خطورة هذا الأمر.
- السيناريو: تخبر الذكاء الاصطناعي أن "الاحتراق النفسي" شائع في جناح مستشفى معين (16%)، بينما "القلق" أقل شيوعاً قليلاً (13%). وتخبره أيضاً أن المريض، "سام"، يعمل في ذلك الجناح.
- الاختبار: تسأل: "ما هي الحالة الأكثر احتمالاً لسام؟" يقوم الذكال الاصطناعي بحساب الأرقام بشكل صحيح ويقول: "الاحتراق النفسي".
- القصة: تبدأ جملة: "بناءً على البيانات، فإن سام يعاني على الأرجح من..." وتترك الذكاء الاصطناعي يكمل الجملة.
- النتيجة: يكمل الذكاء الاصطناعي الجملة بكلمة "القلق".
لماذا؟ على الرغم من أن الذكاء الاصطناعي عرف الرياضيات، إلا أنه عندما حان وقت كتابة الكلمة التالية، تشتت انتباهه. لقد تمسك بكلمة "القلق" لأنها بدت "مألوفة" أو "بارزة" في بيانات التدريب الخاصة به، متجاهلاً الأرقام المحددة التي قدمتها له للتو. الأمر يشبه طبيباً يعرف الإحصائيات، لكنه لا يزال يخمن المرض الخاطئ لأنه سمع عن ذلك المرض كثيراً في الأفلام.
3. خلل "مغالطة المقامر"
اختبر الباحثون أيضاً ما إذا كان بإمكان الذكاء الاصطناعي تجاهل المعلومات غير ذات الصلة.
- الإعداد: تخبر الذكاء الاصطناعي: "نحن نرمي نردًا عادلاً. إنها بداية جديدة."
- التحول: تضيف جملة: "الرمية السابقة كانت 6." (على الرغم من أن الرمية الجديدة مستقلة ولا ينبغي أن تهتم بالرمية السابقة).
- النتيجة: يبدأ الذكاء الاصطناعي في الاعتقاد بأن الرمية التالية أقل احتمالاً لأن تكون 6، أو أكثر احتمالاً لأن تكون 6. إنه يرتبك بسبب "شبح" الرمية السابقة.
التشبيه: تخيل شخصاً يرمي عملة معدنية وحصل للتو على "صورة". إذا سألته: "ما هي فرصة ظهور الصورة في المرة القادمة؟" سيقول 50%. لكن إذا همست له: "المرة الأخيرة كانت صورة"، سيبدأ فجأة في المراهنة على "الكتابة"، ظناً منه أن الكون "مدين" بتغيير. الذكاء الاصطناعي يفعل ذلك أيضاً؛ لا يمكنه تجاهل "الضجيج" الموجود في النص (Prompt).
4. انحياز "الخيار الأول"
أخيراً، وجد الباحثون أن لدى الذكاء الاصطناعي عادة غريبة في تفضيل أول شيء يراه.
- الإعداد: تعطي الذكاء الاصطناعي قائمة من الخيارات: أ، ب، ج، د. وتخبره أنها جميعاً متساوية الاحتمال.
- الاختبار: يختار الذكاء الاصطناعي الإجابة الصحيحة.
- القصة: عند طلب توليد النتيجة، يختار الذكاء الاصطناعي "أ" بشكل متكرر جداً، حتى لو قمت بتغيير الترتيب إلى "ج، ب، أ، د" وظل يختار الأول الذي يراه.
إنه يشبه طالباً، عندما يخمن في اختبار، يقوم دائماً بوضع دائرة حول الحرف الأول الذي يقع عليه بصره، بغض النظر عن الرياضيات الفعلية.
لماذا يجب أن نهتم؟
نحن نعتقد عادة أن الذكاء الاصطناعي ذكي لأنه يحصل على درجات عالية في الاختبارات (الأسئلة متعددة الخيارات). لكن في العالم الحقيقي، نحن لا نستخدم الذكاء الاصطناعي ليؤدي اختبارات؛ بل نستخدمه لكتابة القصص، وتشخيص المرضى، واتخاذ القرارات.
إذا قال الذكاء الاصطناعي: "أنا أعرف أن الاحتمالات هي 1 من 6"، ولكنه كتب قصة تكون فيها الاحتمالات 1 من 2، فنحن في ورطة. هذا يعني أن الذكاء الاصطناعي "يهلوس" واقعه الخاص، متجاهلاً الحقائق التي عالجها للتو.
الخلاصة:
مجرد قدرة الذكاء الاصطناعي على إخبارك بالإجابة الصحيحة لا يعني أنه يفهم الاحتمالات جيداً بما يكفي لـ العمل بناءً عليها. تجادل الورقة البحثية بأنه يجب علينا التوقف عن مجرد سؤال الذكاء الاصطناعي "ما هي الإجابة؟" والبدء في مراقبة "كيف يكتب القصة؟" لأن هذا هو المكان الذي يحدث فيه التفكير الحقيقي (أو انعدامه).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.