ملخص تقني: فجوة التجذير (The Grounding Gap)

بيان المشكلة

تبحث الورقة البحثية فيما إذا كانت النماذج اللغوية الكبيرة (LLMs) تُجذّر المفاهções المجردة (مثل: العدالة، النظرية، التوافر) بطريقة مشابهة للبشر. بينما تفترض المعرفة البشرية أن المفاهيم المجردة تستمد معناها من شبكة من التجارب الحسية الحركية، والعواطف، والسياقات الاجتماعية (الإدراك المُجذّر)، فإن النماذج اللغوية الكبيرة تتدرب حصرياً على النصوص. السؤال المركزي هو ما إذا كانت هذه النماذج تعتمد مجرد علاقات إحصائية بين الكلمات، أم أنها تمثل داخلياً المفاهيم المجردة من خلال الأبعاد التجريبية ذاتها (الحسية الحركية، الحالة الداخلية، الاجتماعية) التي تشكل الفهم البشري.

المنهجية

يستخدم المؤلفون نهجاً متعدد الأوجه يجمع بين محاكاة السلوك، وتجارب التقييم، والتفسير الآلي:

1. محاكاة توليد الخصائص (سلوكي):

   • قام المؤلفون بمحاكاة تجربتين في العلوم المعرفية (Harpaintner et al., 2018; Kelly et al., 2024) على 21 نموذجاً من النماذج اللغوية الكبيرة الرائدة والمفتوحة الأوزان.
   • المهمة: تم توجيه النماذج عبر "برومبت" لتوليد خصائص أو مواقف أو ارتباطات حرة للأسماء المجردة.
   • التحليل: تم ترميز المخرجات المولدة إلى فئات تجذير (مثل: حسية حركية، حالة داخلية، اجتماعية، ارتباط لفظي) ومقارنتها بالأسس البشرية باستخدام معامل ارتباط بيرسون ($r$).
   • النطاق: غطت التجارب 293 اسماً مجرداً (التجربة 1) و236 اسماً مجرداً بما في ذلك مجموعات فرعية للعواطف وغير العواطف (التجربة 2).

2. تجربة التقييم (الاستعلام الصريح):

   • للتمييز بين نقص المعرفة بأبعاد التجذير مقابل الفشل في استدعائها، كرر المؤلفون دراسة تقييم (Troche et al., 2017).
   • المهمة: قامت النماذج بتقييم الكلمات صراحةً بناءً على 14 بُعداً للتجذير (مثل: اللون، العاطفة، الاجتماعي، الزمن) باستخدام مقياس ليكرت.
   • الهدف: تحديد ما إذا كانت النماذج قادرة على التعرف على هذه الأبعاد عند استدعائها صراحةً، وذلك لمقارنة ذلك مع مهمة توليد الخصائص العفوية.

3. التفسير الآلي (المشفّرات التلقائية المتفرقة - SAEs):

   • استخدم المؤلفون المشفّرات التلقائية المتفرقة (SAEs) على نماذج Gemma 3 (بمعلمات 4 مليار و12 مليار) لفحص الميزات الداخلية.
   • الطريقة: حددوا الميزات الكامنة التي ترتبط تنشيطاتها بأبعاد التجذير (حسية حركية، حالة داخلية، اجتماعية) أثناء توليد الأسماء.
   • التحقق: قاموا بإجراء "توجيه الميزات" (تثبيت التنشيطات) لملاحظة ما إذا كان تضخيم هذه الميزات اصطناعياً سيزيد من توليد الخصائص في الفئات المقابلة.

النتائج الرئيسية

1. فجوة التجذير في توليد الخصائص

• توافق منخفض: عبر جميع النماذج الـ 21، هناك فجوة ثابتة وكبيرة بين التجذير البشري وتجذير النماذج. لم يحقق أي نموذج معامل ارتباط بيرسون ($r$) مع الاستجابات البشرية يتجاوز 0.37، في حين يتجاوز السقف البشري-البشري 0.9.
• تحيز منهجي: تنتج النماذج باستمرار ارتباطات لفظية بشكل مفرط، وتقلل من إنتاج خصائص الحالة الداخلية والعاطفة مقارنة بالبشر.
• تجانس النماذج: ترتبط النماذج ببعضها البعض بقوة أكبر مما ترتبط به مع البشر، مما يشير إلى وجود نمط مشترك غير بشري لتمثيل المفاهيم المجردة يستمر عبر مختلف البنى والجهات المزودة.
• حدود التوسع: لا يؤدي زيادة عدد معاملات النموذج (من 4 مليار إلى 120 مليار) إلى سد هذه الفجوة بشكل كبير؛ فالاختلاف ليس عنق زجاجة في القدرة يمكن حله من خلال التوسع وحده.

2. التوافق في مهام التقييم

• توافق صريح مرتفع: على عكس توليد الخصائص، تؤدي النماذج أداءً أفضل بكثير عندما تُسأل صراحةً عن تقييم الكلمات بناءً على أبعاد التجذير. تصل أفضل النماذج إلى متوسط $r \approx 0.76$ مقابل سقف بشري يبلغ $\approx 0.89$.
• الاستنتاج: يشير هذا إلى أن النماذج اللغوية الكبيرة تمتلك المعرفة بفئات التجذير (يمكنها التعرف عليها عند الاستعلام عنها) لكنها تفشل في استدعائها عفوياً أثناء التوليد الحر.

3. الأدلة الآلية

• الميزات الداخلية: حدد تحليل SAE ميزات داخلية محددة في نماذج Gemma ترتبط بأبعاد التجذير (مثل: "حسية حركية"، "اجتماعية"، "حالة داخلية").
• توجيه الميزات: أدى توجيه هذه الميزات إلى زيادة توليد الخصائص في الفئات المستهدفة (على سبيل المثال، أدى توجيه ميزات "الداخلية" إلى زيادة خصائص الحالة الداخلية بنسبة +9.4%).
• القصور: هذه الميزات ليست معزولة تماماً؛ فهي تلتقط أنماطاً دلالية أوسع بدلاً من فئات تجذير بشرية نقية.

المساهمات الرئيسية

1. تكميم الفجوة: تقدم الورقة دليلاً تجريبياً على وجود "فجوة تجذير" قوية حيث تفشل النماذج اللغوية الكبيرة الحالية في تجذير المفاهيم المجردة بطريقة تشبه البشر، بغض النظر عن حجم النموذج أو عائلته.
2. التمييز بين القدرات: توضح أن الفجوة ليست ناتجة عن عدم القدرة على التعرف على أبعاد التجذير (كما أظهرت تجربة التقييم) ولكنها ناتجة عن الفشل في استدعاء هذه الأبعاد عفوياً أثناء التوليد.
3. الاكتشاف الآلي: تحدد الميزات الداخلية لـ SAE في نماذج Gemma التي تتبع أبعاد التجذير، مما يشير إلى أن المعلومات الهيكلية موجودة داخل النموذج ولكنها لا يتم التعبير عنها سلوكياً بطريقة تشبه البشر.

الأهمية والادعاءات

تخلص الورقة إلى أن فجوة التجذير الملحوظة من غير المرجح أن تُحل من خلال التوسع أو تحسين التدريب القائم على النصوص وحده، حيث أن الاعتماد على الارتباطات اللفظية هو نتيجة طبيعية للتدريب التنبئي (autoregressive) على السياق اللغوي.

• ادعاء متواضع: يذكر المؤلفون أن النماذج اللغوية الكبيرة الحالية "تفهم فئات التجذير الأساسية تقريباً — ولكن ليس تماماً — كما يفعل البشر"، ومع ذلك فهي "لا تستدعيها بطريقة تشبه البشر عند التوليد بحرية".
• الاتجاه المستقبلي: تشير النتائج إلى أن تحقيق توافق معرفي حقيقي مع البشر قد يتطلب تحولات جذرية في تقنيات التدريب أو البنى (مثل التعلم المتجسد أو أهداف تدريب جديدة) بدلاً من التحسينات التدريجية للنماذج الحالية.
• المعيارية: يقترح المؤلفون أن توافق التجذير هو كمية جديدة غير مرئية حالياً في معايير الاختبار القياسية وتستحق الاهتمام في المستقبل.

لا تدعي الورقة أن النماذج اللغوية الكبيرة تمتلك وعياً أو فهماً حقيقياً، بل تسلط الضدد على اختلاف منهجي ونظامي في كيفية تمثيل واستخدام المفاهيم المجردة مقارنة بالإدراك البشري.