Do Language Models Align with Brains? Prediction Scores Are Not Enough
باستخدام إطار عمل L-PACT الصارم، تُثبت هذه الدراسة أنه على الرغم من درجات التنبؤ الإيجابية، فإن النماذج اللغوية الحالية لا تتوافق حقاً مع التمثيلات الدماغية البشرية، حيث يمكن تفسير نجاحاتها الظاهرية بالكامل من خلال ظروف الضبط بدلاً من التشابه الهيكلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول اكتشاف ما إذا كان روبوت جديد فائق الذكاء (نموذج لغوي) يفكر مثل العقل البشري.
لسنوات، حاول العلماء الإجابة على هذا السؤال عبر طرح سؤال: "إذا قدمنا للروبوت قصة، هل يمكنه تخمين أي جزء من الدماغ البشري سيضيء بعد ذلك؟" إذا خمن الروبوت بشكل صحيح في كثير من الأحيان، يقول العلماء: "آها! لا بد أن الروبوت يفكر مثل البشر!"
تجادل هذه الورقة البحثية، التي تحمل عنوان "هل تتوافق النماذج اللغوية مع الأدمغة؟ درجات التنبؤ ليست كافية،" بأن هذه الطريقة في التفكير معيبة. تقول المؤلفة، شياو جيا، إن مجرد قدرة الروبوت على تقديم تخمين جيد لا يعني أنه يفهم بالفعل الآليات الداخلية للدماغ. قد يكون الأمر مجرد تخمين بناءً على أنماط محظوظة، مثل مذيع أرصاد جوية يتوقع هطول المطر لمجرد أنه يوم الثلاثاء، وليس لأنه يفهم علم الأرصاد الجوية.
لإثبات ذلك، صممت المؤلفة "امتحاناً" صارماً يسمى L-PACT. فكر في L-PACT ليس كمجرد اختبار واحد، بل كـ نقطة تفتيش أمنية مكونة من أربعة مستويات يجب على الروبوت اجتيازها ليثبت أنه يتوافق حقاً مع العقل البشري.
بوابات امتحان L-PACT الأربع
تخيل روبوتاً يحاول دخول نادٍ عالي الأمن (نادي الدماغ). يتعين عليه المرور عبر أربع بوابات. إذا فشل في واحدة منها، يتم طرده.
البوابة الأولى: فحص "أفضل من رمي العملة" (الكفاية التنبؤية)
- الاختبار: هل يستطيع الروبوت التنبؤ بنشاط الدماغ بشكل أفضل من التخمين العشوائي غير المجدي أو "الأساس المزعج" (مثل راديو معطل)؟
- الفخ: يجب ألا يتفوق الروبوت على التخمين العشوائي فحسب، بل أيضاً على "ضابط صارم". تخيل ضابطاً هو عبارة عن روبوت تم بعثرة بياناته؛ حيث تم خلط كلماته، أو عكس جمله، أو خلط طبقاته. إذا لم يستطع الروبوت الحقيقي التغلب على هذه النسخة المبعثرة، فهو مجرد يخمن بناءً على الضجيج، وليس بناءً على فهم حقيقي.
- النتيجة: فشلت الروبوتات في هذه الدراسة. لم تستطع التغلب على النسخ المبعثرة.
البوابة الثانية: "فحص الخريطة" (الكفاية العلاقاتية)
- الاختبار: لا يكفي تخمين الإجابة الصحيحة؛ بل يجب على الروبوت تنظيم معرفته بنفس الطريقة التي ينظم بها الدماغ معلوماته.
- التشبيه: تخيل خريطتين. إحداهما خريطة لمدينة رسمها العقل البشري؛ والأخرى رسمها الروبوت. حتى لو أوصلتك كلتا الخريطتين إلى الوجهة الصحيحة، إلا أنهما مختلفتان إذا كانت الخريطة البشرية تظهر حديقة بجوار مدرسة، بينما تضع خريطة الروبوت حديقة بجوار بركان.
- الفخ: يجب أن يظهر الروبوت أن "خريطته" الداخلية للعلاقات تتطابق مع خريطة الدماغ البشري، وليس فقط أنه يحقق الدرجة المطلوبة.
- النتيجة: فشلت الروبوتات. كانت خرائطها الداخلية منظمة بشكل مختلف عن العقل البشري.
البوابة الثالثة: "فحص الجراحة" (نزع الآلية)
- الاختبار: هذا هو اختبار "الواقع المضاد". إذا قمنا باستئصال جزء معين من دماغ الروبوت جراحياً (مثل قدرته على فهم المفاجأة أو القواعد)، هل سينخفض أداؤه فقط عندما يقوم الدماغ البشري بهذا الشيء المحدد؟
- التشبيه: إذا نزعت المحرك من سيارة، فلا ينبغي لها أن تسير. إذا نزعت جزء "القواعد" من الروبوت، فيجب أن يفشل في مهام القواعد ولكنه يظل جيداً في المهام الأخرى. أما إذا أدى إزالة الجزء إلى تعطيل كل شيء بالتساوي، فإن الروبوت لم يكن يستخدم ذلك الجزء لتلك الوظيفة المحددة فعلياً.
- النتيجة: فشلت الروبوتات. عند إزالة الأجزاء، لم يكن الضرر محدداً بما يكفي لإثبات أنها كانت تستخدم ذلك الجزء لتلك المهمة المحددة.
البوابة الرابعة: "فحص السقف" (الارتباط بالموثوقية)
- الاختبار: ما مدى قرب الروبوت من الحد الأقصى لما هو ممكن؟
- التشبيه: تخيل أن الدماغ البشري هو كاميرا. حتى أفضل الكاميرات لها حد في مدى وضوح الصورة (بسبب التحبب أو الضجيج). إذا كانت صورة الروبوت ضبابية، فهل السبب هو أن الروبوت سيء، أم لأن الكاميرا (الدماغ) مليئة بالضجيج بطبيعتها؟ نحن بحاجة لمعرفة ما إذا كان الروبوت يصل إلى "سقف" الموثوقية البشرية.
- النتيجة: لم تكن الروبوتات قريبة من السقف. كانت درجاتها منخفضة جداً بحيث لا يمكن اعتبارها توافقاً حقيقياً.
"الضوابط الإيجابية": إثبات نجاعة الامتحان
قد تتساءل، "ربما الامتحان معطل؟ ربما هو صعب للغاية؟"
أثبتت المؤلفة أن الامتحان يعمل عبر اختباره على أشياء يُفترض أن تجتاز الاختبار:
- اختبار "الدماغ مقابل الدماغ": قارنت بين جزء من دماغ بشري وجزء آخر من نفس الدماغ البشري. وقد اجتاز هذا الاختبار (لأنه نفس الدماغ!).
- اختبار "الإشارة المزيفة": زرعت إشارة مثالية مزيفة في البيانات. وقد حدد الامتحان وجودها كإشارة مطابقة.
- اختبار "المستوى المنخفض": تحققت مما إذا كان الامتحان يمكنه اكتشاف أشياء بسيطة مثل "بدء كلمة جديدة". وقد استطاع ذلك.
هذا يثبت أن الامتحان ليس معطلاً؛ بل إن الروبوتات في هذه الدراسة هي التي لم تجتزه.
الخلاصة الكبرى
حللت الورقة بيانات من تجارب واقعية (أشخاص يستمعون إلى بودكاست، يقرأون قصصاً، إلخ) واختبرت عدة نماذج لغوية شهيرة (مثل GPT-2 و Qwen).
الحكم:
- 0 من أصل 146 محاولة اجتازت جميع البوابات الأربع.
- في كل مرة بدا فيها الروبوت وكأنه يؤدي بشكل جيد، أظهر فحص أدق أنه كان مجرد "إيجابي كاذب". لقد تفوق على أساس ضعيف ولكنه فشل أمام "الضوابط الصارمة" (النسخ المبعثرة).
- تسمي المؤلفة هذه النتائج "المفسرة بالضوابط" (control-explained). وهذا يعني أن النجاح الظاهري يمكن تفسيره بالكامل من خلال حقيقة أن الروبوت كان يلتقط فقط أنماطاً بسيطة غير بشرية (مثل تكرار الكلمات أو التوقيت)، وليس من خلال محاكاة كيفية عمل الدماغ فعلياً.
الخلاصة المستفادة
تخلص الورقة إلى أن درجات التنبؤ ليست كافية. مجرد قدرة نموذج حاسوبي على تخمين ما سيفعله دماغك تالياً لا يعني أنه يفكر مثلك. قد يكون مجرد مخمن جيد جداً.
للتوافق حقاً مع الدماغ، يجب على النموذج اجتياز هذا الفحص الأمني الصارم المكون من أربعة مستويات. وفي هذه الدراسة المحددة، وباستخدام البيانات والنماذج المختبرة، لم يجتز أي نموذج لغوي الاختبار. التشابهات الظاهرة كانت مجرد أوهام خلقتها حيل إحصائية بسيطة، وليس توافقاً هيكلياً عميقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.