Humans and LLMs Diverge on Probabilistic Inferences
تقدم هذه الورقة ProbCOPA، وهي مجموعة بيانات من الاستدلالات الاحتمالية المشروحة بأحكام بشرية، لتوضيح أن نماذج اللغات الكبيرة المتطورة في مجال الاستدلال تفشل باستمرار في محاكاة الطبيعة المتدرجة والمتنوعة للاستدلال الاحتمالي البشري، مما يسلط الضوء على فجوة حرجة في تقييم النماذج بما يتجاوز المهام الحتمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "البشر والنماذج اللغوية الكبيرة يختلفون في الاستدلال الاحتمالي"، مترجمة إلى لغة بسيطة ويومية مع بعض التشبيهات الإبداعية.
الفكرة الكبرى: "آلة الـ ربما" مقابل "إنسان الـ ربما"
تخيل أنك تقف على طريق سريع وتراقب حادث سيارة.
- تفكير بشري: "أوه لا، حادث! من المحتمل أن تكون حركة المرور سيئة للغاية." (أنت تشعر باليقين نوعاً ما، لكنك تعلم أنه من الممكن أن تكون الشرطة قد أخلت الطريق فوراً، أو أن الجميع سلك طريقاً مختلفاً. لذا، أنت تعتقد أن الأمر محتمل، لكنه ليس مضموناً بنسبة 100%.)
- تفكير النماذج اللغوية الكبيرة (LLM): تجادل الورقة البحثية بأن نماذج الذكاء الاصطناعي الحالية تعاني مع كلمة "ربما" هذه. فهي تميل للتصرف مثل روبوت لا يرى إلا الأبيض والأسود؛ فإما أن تعتقد أن "المرور سيكون سيئاً بالتأكيد" أو "المرور سيكون جيداً بالتأكيد"، وغالباً ما تتخطى المنطقة الرمادية المربكة وغير المؤكدة حيث تحدث الحياة الواقعية.
قام الباحثون ببناء اختبار جديد يسمى PROBCOPA لمعرفة مدى براعة الذكاء الاصطناعي في التعامل مع هذه التخمينات في "المنطقة الرمادية" مقارنة بالبشر الحقيقيين.
1. الاختبار: نوع جديد من الألغاز
أخذ الباحثون مجموعة بيانات ألغاز كلاسيكية تسمى COPA (والتي تسأل أشياء مثل: "لقد أمطرت. هل ابتل العشب؟") وحولوها إلى اختبار احتمالات.
بدلاً من السؤال بـ "صح أم خطأ؟"، سألوا: "على مقياس من 0 إلى 100، ما مدى احتمالية حدوث هذه النتيجة؟"
- 0 = مستحيل.
- 100 = مضمون.
- 50 = رمية عملة (احتمال متساوٍ).
سألوا 30 شخصاً مختلفاً لتقييم 210 سيناريوهات مختلفة. ثم طلبوا من 8 من أذكى نماذج الذكاء الاصطناعي (مثل GPT-5، وGemini، وClaude) القيام بنفس الشيء تماماً، 30 مرة لكل منها.
2. ما فعله البشر: منطقة "الاعتدال" (Goldilocks)
عندما نظر البشر إلى هذه السيناريوهات، كانت إجاباتهم متدرجة ومتنوعة.
- التشبيه: تخيل البشر كجوقة غنائية تؤدي نغمة واحدة. البعض يغني بنبرة أعلى قليلاً، والبعض الآخر بنبرة أقل قليلاً، لكنهم جميعاً يتجمعون حول نغمة محددة.
- النتيجة: اتفق البشر على الحالات القصوى (0 أو 100). ولكن بالنسبة للأمور المتوسطة، قدموا نطاقاً واسعاً من الإجابات. البعض قال "محتمل بنسبة 70%"، والبعض الآخر قال "محتمل بنسبة 40%". هذا التباين في الإجابات هو في الواقع أمر جيد—فهو يظهر أن البشر يفهمون أن العالم غير مؤكد.
3. ما فعله الذكاء الاصطناعي: الروبوت "الكل أو لا شيء"
تصرفت نماذج الذكاء الاصطناعي بشكل مختلف تماماً.
- التشبيه: تخيل أن الذكاء الاصطناعي هو مفتاح ضوء. إما أن يكون مضاءً (متأكد بنسبة 100%) أو مطفأً (متأكد بنسبة 0%). نادراً ما يترك الضوء خافتاً.
- النتيجة: نادراً ما أعطى الذكاء الاصطناعي إجابات في المنتصف (مثل 40% أو 60%). بل كان يقفز مباشرة إلى "محتمل جداً" أو "غير محتمل جداً".
- المشكلة: حتى عندما كان البشر مشوشين وقدموا إجابات مختلفة، كان الذكاء الاصطناعي يعطي نفس الإجابة في كل مرة. لقد افتقر إلى "التباين البشري" الناجم عن عدم اليقين الحقيقي.
4. عملية "التفكير": لماذا يفعل الذكاء الاصطناعي ذلك؟
ألقى الباحثون نظرة داخل "عقل" الذككاء الاصطناعي (سلسلة الاستدلال الخاصة به) ليروا كيف يفكر.
- التشبيه: عندما يكون الإنسان غير متأكد، قد يقول: "حسناً، قد يكون هذا، أو ربما ذاك... أنا لست متأكداً".
- خدعة الذكاء الاصطناعي: الذكاء الاصطناعي يذكر بالفعل البدائل. يقول: "ربما تكون حركة المرور قد انفتحت، وربما لم تنفتح". ولكن بدلاً من أن يقول "أنا حائر"، فإنه يختار جانباً فوراً ويتصرف بثقة 100% في هذا الخيار.
- النتيجة: يقضي الذكاء الاصطناعي وقتاً أطول في "التفكير" (توليد المزيد من النصوص) عندما يكون البشر مشوشين، لكنه لا ينتج نطاقاً من الإجابات. إنه فقط يفكر بجهد أكبر في الشيء الخاطئ: كيف يكون حاسماً، بدلاً من كيف يكون غير متأكد.
5. تجربة "درجة الحرارة" (Temperature): هل يمكننا إصلاحه؟
حاول الباحثون إجبار الذكاء الاصطناعي على أن يكون أكثر "شبهاً بالبشر" عن طريق تغيير إعداداته (مثل رفع "درجة الحرارة" لجعله أكثر عشوائية، أو إعطائه شخصية وهمية مثل "أنت محقق متشكك").
- النتيجة: لم ينجح الأمر.
- رفع "العشوائية" جعل الذكاء الاصطناعي يبدأ في الهلوسة أو تكرار كلام بلا معنى.
- إعطاؤه "شخصية" لم يجعله يغير إجاباته بما يكفي.
- جعله "يفكر لفترة أطول" لم يساعد أيضاً.
الخلاصة: نحن بحاجة إلى التفكير "الرمادي"
تخلص الورقة البحثية إلى أنه بينما يعد الذكاء الاصطناعي مذهلاً في الرياضيات والمنطق (حيث تكون الإجابة صحيحة بنسبة 100% أو خاطئة بنسبة 100%)، إلا أنه سيء جداً في الاستدلال الاحتمالي (حيث تكون الإجابة "محتمل، ولكن ربما لا").
- التفكير البشري: "أعتقد أن هناك احتمال 60% لهطول المطر، لكني سأحضر مظلة للاحتياط".
- تفكير الذكاء الاصطناعي: "إنها تمطر". (حتى لو كانت البيانات تقول إن الاحتمال هو 60% فقط).
لماذا يهم هذا؟
بينما بدأنا نستخدم الذكاء الاصطناعي في أمور مثل التشخيص الطبي، أو المشورة القانونية، أو السيارات ذاتية القيادة، فنحن بحاجة إلى آلات تفهم عدم اليقين. إذا قال الذكاء الاصطناه إن عملية جراحية لديها "نسبة نجاح 99%" بينما هي في الواقع مجرد احتمال متساوٍ (50/50)، فإن ذلك أمر خطير. توضح هذه الورقة أنه في الوقت الحالي، لا تزال أفضل نماذج الذكاء الاصطناعي لدينا واثقة جداً وجامدة جداً بحيث لا تستطيع حقاً فهم الطبيعة الفوضوية وغير المؤكدة للحياة البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.