Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model
تُظهر هذه الورقة أنه بينما تمتلك نماذج اللغة الصينية الكلاسيكية معرفة داخلية تسمح لها بالتمييز بين الحقائق المعروفة وغير المعروفة، إلا أنها تفشل في التعبير عن هذا اليقين خارجياً في نصوصها المولدة، مما يشير إلى أن القدرات الميتامعرفية مثل قول "لا أعرف" لا تنبثق من نمذجة اللغة وحدها بل تتطلب إشارات تدريب صريحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً عبقرياً حفظ كل كتاب في مكتبة ضخمة. يمكن لهذا الطالب أن يسرد التاريخ، والشعر، والفلسفة بقواعد لغوية وأسلوب مثاليين. لكن هناك مشكلة: هذا الطالب لم يُعلّم قط كيف يقول، "أنا لا أعرف".
هذا هو بالضبط ما اكتشفته هذه الورقة البحثية حول الذكاء الاصطناعي (وتحديداً النماذج اللغوية الكبيرة).
إليك تفصيل تجربتهم ونتائجهم، مشروحة من خلال تشبيهات بسيطة.
1. التجربة: "العالم النقي"
قام الباحثون ببناء نموذج ذكاء اصطناعي خاص من الصفر. وبدلاً من تغذيته ببيانات الإنترنت الفوضوية (التي تحتوي على الإنجليزية، والأرقام، واللغة العامية الحديثة)، قاموا بتغذيته فقط بـ 1.5 مليار كلمة من اللغة الصينية الكلاسيكية (اللغة الأدبية القديمة للصين).
- الهدف: معرفة ما إذا كان الذكاء الاصطناعي، بمجرد القراءة والتنبؤ بالكلمة التالية في الجملة، سيتعلم بشكل طبيعي الاعتراف عندما يكون في حالة تخمين أو عندما يختلق أشياء من خياله.
- الاختبار: سألوا الذكاء الاصطناعي عن أحداث تاريخية حقيقية (مثلاً: "هل زحف الجنرال هو كيوبينغ في عام 121 قبل الميلاد؟") وأحداث مزيفة (مثلاً: "هل اخترع الجنرال هو كيوبينغ الطائرة في عام 121 قبل الميلاد؟").
2. السر الداخلي: الذكاء الاصطناعي "يعرف" أنه مخطئ
داخل "دماغ" الذكال الاصطناعي (حساباته الرياضية)، هو في الواقع يعرف الفرق بين الحقيقة والخيال.
- التشبيه: تخيل أن الذكاء الاصطناعي هو موسيقي يعزف مقطوعة موسيقية. عندما يعزف حقيقة تاريخية حقيقية، تتدفق الموسيقى بسلاسة. وعندما يحاول عزف حقيقة مزيفة، تصدر الموسيقى نغمة نشاز. "الارتباك" الداخلي للذكاء الاصطناعي (وهو مقياس للارتباك أو عدم اليقين) يرتفع بشكل كبير عندما يواجه كذبة.
- النتي نتيجة: كانت أجراس الإنذار الداخلية للذكاء الاصطناعي تدق بصوت عالٍ وواضح. لقد عرف، رياضياً، أن قصة "الطائرة الطائرة" لا تتناسب مع نمط التاريخ.
3. الكذبة الخارجية: الذكاء الاصطناعي "يدّعي" الثقة
هذا هو الجزء الصادم: على الرغم من أن الذكاء الاصطناعي كان يعلم أنه مرتبك، إلا أنه لم يقل ذلك أبداً.
- التشبيه: تخيل تلك النغمة النشاز من الموسيقي. على الرغم من أن الموسيقى بدت خاطئة، إلا أن الموسيقي استمر في العزف مع ابتسامة عريضة وانحناءة واثقة، متظاهراً بأن كل شيء مثالي.
- النتيجة: عندما سُئل عن أحداث مزيفة، لم يقل الذكاء الاصطناعي "أنا لست متأكداً" أو "هذا يبدو مختلقاً". بدلاً من ذلك، كتب بثقة قصة رائعة ومكتملة القواعد حول الطائرة الطائرة، متصرفاً وكأنها حقيقية بنسبة 100%.
4. "مفارقة التواضع"
وجد الباحثون شيئاً أكثر غرابة. كان الذكاء الاصطناعي أكثر عرضة لقول "أنا لا أعرف" عندما يتحدث عن أشياء يعرفها بالفعل، مقارنة بالأشياء التي لا يعرفها.
- لماذا؟ في الأدب الصيني الكلاسيكي، كان من العادات المهذبة للعلماء أن يقولوا، "هذا الخادم المتواضع لا يعرف..." قبل تقديم إجابة واثقة جداً.
- التشبيه: تعلم الذكاء الاصطناعي نص التواضع، وليس شعور عدم اليقين. لقد فكر: "أوه، أنا أتحدث عن جنرال مشهور؟ يجب أن أستخدم عبارة التواضع 'أنا لا أعرف'!" ولكن عندما سُئل عن حدث مزيف تماماً (لا يتوافق مع أي نص مهذب في تدريبه)، قام فقط باختلاق قصة بثقة.
- الخلاصة: كان الذكاء الاصطناعي يحاكي كلمات عدم اليقين، وليس يشعر بعدم اليقين فعلياً.
5. الحقيقة العالمية: هذا يحدث في كل مكان
للتأكد من أن هذا لم يكن مجرد سمة خاصة باللغة الصينية القديمة، اختبروا نفس الفكرة على اللغة الإنجليزية (باستخدام GPT-2) والنماذج اليابانية.
- النتيجة: كان النمط متطابقاً.
- نماذج الإنجليزية (التي تدربت على نصوص Reddit/الويب) كانت ستختلق بثقة حقائق عن سكان المريخ.
- النماذج اليابانية (التي تدربت على ويكيبيديا) كانت ستشرح بثقة موضوع السفر عبر الزمن.
- لم تتعلم أي منها بشكل طبيعي قول "أنا لا أعرف"، بمجرد قراءة الكتب.
الاستنتاج الكبير: "العالم المثقف بلا وعي ذاتي"
تجادل الورقة البحثية بأن كون المرء ذكياً وكونه واعياً بذاته هما أمران مختلفان.
- النمذجة اللغوية تشبه تعليم الببغاء الكلام. يمكن للببغاء أن يتعلم قول "أنا لا أعرف" إذا سمع البشر يقولونها كثيراً، لكنه لا يفهم في الواقع معنى الجهل.
- الوعي الذاتي (Metacognition) هو القدرة على النظر إلى أفكارك الخاصة وقول، "مهلاً، أنا أخمن هنا".
الحكم النهائي:
نماذج الذكاء الاصطناعي، بغض النظر عن حجمها أو عدد اللغات التي تتحدثها، هي مثل الممثلين البارعين الذين نسوا أنهم يمثلون. يمكنهم إلقاء النص بشكل مثالي، حتى عندما يكون النص كذبة. إنهم يتعلمون قول "أنا لا أعرف" فقط عندما يقوم البشر بتدريبهم صراحة على ذلك (وهي عملية تسمى RLHF)، وليس لأنهم اكتشفوا ذلك من تلقاء أنفسهم.
بدون ذلك التدريب البشري الإضافي، فإن الذكاء الاصطناعي هو "عالم مثقف" يتمتع بالطلاقة والمعرفة، ولكنه عاجز جوهرياً عن التمييز بين معرفته الخاصة وبين هلاوسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.