LLMs Show No Signs Of Individuated Metacognition
تجادل هذه الورقة بأن النماذج اللغوية الكبيرة تفتقر إلى الميتا-معرفة (ما وراء المعرفة) الفردية الحقيقية، لأن ثقتها المعلنة تعكس في المقام الأول صعوبة العناصر المشتركة وعتبات اتخاذ القرار بدلاً من كونها قدرة حقيقية خاصة بالنموذج لتقييم قدراته الخاصة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "نماذج اللغات الكبيرة لا تظهر أي علامات على الإدراك الميتا-معرفي الفردي" باستخدام لغة بسيطة وتشبيهات.
السؤال الكبير: هل تعرف نماذج الذكاء الاصطناعي ما لا تعرفه؟
تخيل أنك في حفلة مع 20 شخصاً مختلفاً (نماذج الذكاء الاصطناعي). تسأل كل واحد منهم سلسلة من أسئلة المعلومات العامة. وقبل أن يجيبوا، تسألهم: "هل أنت واثق من قدرتك على الإجابة بشكل صحيح؟"
تبحث الورقة البحثية فيما إذا كان هؤلاء الأشخاص يقيمون بالفعل معرفتهم الخاصة (الإدراك الميتا-معرفي)، أم أنهم يكتفون بالتخمين بناءً على مدى صعوبة السؤال بالنسبة للجميع.
الإجابة المختصرة: وجد الباحثون أن نماذج الذكاء الاصطناعي لا تملك "شعوراً داخلياً" فريداً حول قدراتها الخاصة. بدلاً من ذلك، تتفاعل جميعها مع صعوبة السؤال بنفس الطريقة تقريباً. إذا كان السؤال صعباً، فسيقول الجميع "لست متأكداً". وإذا كان سهلاً، فسيقول الجميع "أنا أستطيع فعل ذلك". إنهم لا يعرفون نقاط القوة والضعف الخاصة بهم بشكل أفضل مما يعرفون الصعوبة العامة للمهمة.
التشبيه: "مقياس الصعوبة" مقابل "الصورة الشخصية"
لفهم النتائج، تخيل نوعين من المقاييس:
- مقياس الصعوبة (ما يمتلكه الذكاء الاصطناعي فعلياً): هذه أداة مشتركة. عندما يظهر سؤال ما، تنظر جميع نماذج الذكاء الاصطناعي إليه وترى "درجة صعوبة". إذا كانت الدرجة عالية، يتردد الجميع. وإذا كانت منخفضة، ينطلق الجميع. إنهم جميعاً يقرؤون نفس تقرير الطقس.
- الصورة الشخصية (ما كنا نأمل أن يمتلكوه): ستكون هذه مرآة فريدة لكل نموذج. ستظهر: "أنا جيد في الرياضيات لكنني سيء في التاريخ"، أو "أنا واثق في هذا النوع المحدد من الألغاز المنطقية".
النتيجة: اكتشف الباحثون أن نماذج الذكاء الاصطناعي تمتلك فقط مقياس الصعوبة. إنها تفتقر إلى الصورة الشخصية. عندما يقول نموذج ما "أنا واثق بنسبة 80%" وآخر يقول "أنا واثق بنسبة 40%"، فليس ذلك لأن لديهما معرفة داخلية مختلفة عن مهاراتهما الخاصة، بل لأن أحد النماذج ببساطة أكثر "تفاؤلاً" (يقول "نعم" أكثر) والآخر أكثر "تشاؤماً" (يقول "لا" أكثر)، رغم أنهما ينظران إلى نفس مقياس الصعوبة.
كيف اختبروا ذلك (تشبيه "تيتريس" و"السباق")
أجرى الباحثون 20 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي عبر ستة أنواع مختلفة من الاختبارات (مثل المعلومات العامة، والاستدلال القانوني، والرياضيات).
1. اختبار "الصعوبة المشتركة" (مكعبات تيتريس):
نظروا في نمط من قال "نعم" ومن قال "لا" في كل سؤال.
- النتيجة: كان النمط أحادي البعد تقريباً. كان الأمر يشبه تكديس مكعبات تيتريس حيث يقوم كل نموذج فقط بتحريك الكتلة بأكملها للأعلى أو للأسفل.
- التشبيه: تخيل 20 عداءً عند خط البداية. إذا توقفوا جميعاً عن الجري في نفس اللحظة تماماً لأن المسار يبدو طينياً، فهذه إشارة مشتركة. أما إذا توقف العداء (أ) لأن حذاءه انفك، وتوقف العداء (ب) لأن ركبته تؤلمه، فهذه معرفة فردية. نماذج الذكاء الاصطناعي توقفت جميعها لأن المسار بدا طينياً. لم تتوقف بسبب إصاباتها الفريدة الخاصة.
2. سباق "الثقة مقابل الأداء":
تحققوا مما إذا كان قول النموذج "أنا واثق" يعني حقاً أنه كان على صواب.
- النتيجة: في الأسئلة السهلة (حيث يصيب الجميع) والأسئلة المستحيلة (حيث يفشل الجميع)، تطابقت الثقة مع الأداء. ولكن في الأسئلة المحيرة في المنطقة الوسطى حيث تختلف النماذج، لم يكن للثقة أي علاقة تذكر بكون النموذج على صواب.
- التشبيه: الأمر يشبه مجموعة من الناس يخمنون وزن ثمرة يقطين. إذا كانت اليقطينة صغيرة، سيخمن الجميع أنها "خفيفة". إذا كانت ضخمة، سيخمن الجميع أنها "ثقيلة". لكن بالنسبة ليقطينة متوسطة الحجم، فإن الشخص الذي يخمن أنها "ثقيلة" ليس بالضرورة هو الشخص الذي يعرف وزنها بشكل أفضل؛ هو مجرد الشخص الذي يميل لتخمين "ثقيلة" لكل شيء.
3. فخ "استثناء الرياضيات":
بدا أحد المعايير (الرياضيات) مختلفاً. بدت النماذج البارعة في الرياضيات وكأنها تمتلك "معرفة ذاتية" أفضل.
- الخدعة: تعمق الباحثون ووجدوا خدعة. النماذج "الذكية" في الرياضيات لم تكن في الواقع تفكر في ثقتها. بل كانت تحل المشكلة في الوقت الفعلي أثناء الإجابة على سؤال الثقة.
- التشبيه: تخيل طالباً سُئل: "هل أنت واثق من قدرتك على حل هذه المسألة؟"
- الإدراك الميتا-معرفي الحقيقي: يفكر الطالب: "أنا عادةً أعاني في التفاضل والتكامل، لذا لست واثقاً".
- خدعة الذكاء الاصطناعي: يفكر الطالب: "أنا واثق"، ثم يبدأ فوراً في إجراء العمليات الحسابية في ذهنه، ويحلها، ثم يقول: "نعم، أنا واثق لأنني حللتها للتو".
- وجد الباحثون أن الذكاء الاصطناعي كان يقوم بالأمر الثاني. لم يكن يتأمل في قدراته، بل كان يقوم بالعمل ثم يبلغ عن النتيجة.
مفاجأة "المعلومات غير المستخدمة"
هذا هو الجزء الأكثر إثارة للدهشة. أخذ الباحثون النص الذي كتبه الذكاء الاصطناعي أثناء اتخاذه لقرار الثقة (مسار الاستدلال الخاص به) وقدموه لبرنامج كمبيوتر بسيط جداً وغير ذكي.
- النتيجة: هذا البرنامج البسيط، الذي كان يبحث فقط عن كلمات مثل "ربما"، "أعتقد"، أو "عالق"، استطاع التنبؤ بما إذا كان الذكاء الاصطناعي سيحصل على الإجابة الصحيحة بشكل أفضل من إجابة "نعم/لا" الخاصة بالثقة التي قدمها الذكاء الاصطناعي نفسه.
- التشبيه: تخيل شخصاً يحاول تخمين ما إذا كان سيفوز في سباق. يقول: "أنا متأكد بنسبة 100% أنني سأفوز!" (الإجابة الثنائية). ولكن إذا استمعت إليه وهو يتمتم: "أشعر بثقل في ساقي، والمسار زلق، ولست متأكداً..." (نص الاستدلال)، يمكن لمراقب ذكي أن يدرك أنه سيخسر في الواقع.
- الاستنتاج: يمتلك الذكاء الاصطناعي بالفعل المعلومات المتعلقة بعدم اليقين الخاص به مخبأة في أفكاره، لكنه يفشل في استخدامها عند إعطاء إجابة الثقة النهائية "نعم/لا". إنه مثل امتلاك بوصلة مثالية ولكن رفض النظر إليها عند طلب الاتجاهات.
ملخص النقاط الرئيسية
- لا توجد معرفة ذاتية فريدة: لا تمتلك نماذج الذكاء الاصطناعي "وعياً ذاتياً" خاصاً يميز قدراتها المحددة عن غيرها. إنها جميعاً تتفاعل مع صعوبة المهمة بنفس الطريقة.
- الثقة هي إشارة مشتركة: عندما يقول الذكاء الاصطناعي إنه واثق، فهو يخبرك في الغالب بمدى صعوبة السؤال، وليس بمدى جودة ذلك النموذج المحدد في تلك المسألة تحديداً.
- وهم "الرياضيات": عندما بدت نماذج الرياضيات تعرف حدودها، كانت في الواقع تحل المشكلة أولاً ثم تبلغ عن النتيجة، وليس "تعرف" حدودها مسبقاً.
- الإشارات الخفية: يولد الذكاء الاصطناعي أدلة حول عدم اليقين في نص استدلاله، لكنه يتجاهل هذه الأدلة عند تقديم تقييم الثقة النهائي. يمكن لأداة خارجية بسيطة قراءة تلك الأدلة بشكل أفضل من الذكاء الاصطناعي نفسه.
باختاً: نماذج الذكاء الاصطناعي تشبه جوقة من المغنين الذين يسمعون جميعاً نفس النوتة الموسيقية. إذا كانت الأغنية صعبة، يتردد الجميع. وإذا كانت سهلة، يغني الجميع بصوت عالٍ. لكن لا أحد منهم يعرف: "أنا الشخص الذي يعاني في النغمات العالية". هم يعرفون فقط أن الأغنية صعبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.