The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models
تخلص هذه المراجعة المنهجية لـ 337 دراسة إلى أن النماذج اللغوية القائمة على تقنية "ترانسفورمر" (Transformer) ترمز معرفة نحوية كبيرة، لا سيما في الظواهر الصورية واللغة الإنجليزية، ومع ذلك تواجه قيوداً في التعميم عبر اللغات وفي الواجهة بين النحو والدلالة، مع تسليط الض الضوء على الحاجة الماسة إلى المزيد من الأبحاث الآلية والمتنوعة لفهم عملياتها الحسابية الكامنة بشكل كامل.
تخيل أن لديك روبوتًا عملاقًا وذكيًا للغاية، قد قرأ كل كتاب تقريبًا على الإنترنت. تسأله سؤالًا، فيجيبك بشكل مثالي. ولكن هنا يكمن اللغز الكبير: هل يفهم هذا الروبوت حقًا قواعد النحو، أم أنه مجرد بارع في تخمين الكلمة التالية بناءً على الأنماط التي رآها من قبل؟
هذه الورقة البحثية، التي تحمل عنوان "قواعد النحو في نماذج المحولات (Transformers)"، تشبه تقرير محقق ضخم. لم يكتفِ المؤلفون بقراءة دراسة أو اثنتين؛ بل جمعوا 337 ورقة بحثية مختلفة ونظروا في أكثر من 3,000 قطعة صغيرة من الأدلة (مثل درجات الاختبارات والتجارب) للإجابة على ذلك السؤال.
إليك ما وجدوه، مشروحًا ببساة:
1. الروبوت يعرف قواعد النحو (لكنه ليس مثاليًا)
تخيل عقل الروبوت كمكتبة. وجد الباحثون أن الروبوت قد تعلم بالتأكيد قدرًا هائلًا من قواعد النحو.
الأشياء "السهلة": الروبوت بارع في القواعد الرسمية، مثل التأكد من مطابقة الفعل للفاعل (على سبيل المثال: "The cat runs" مقابل "The cat run"). إنه يشبه طالبًا حفظ جداول الضرب بشكل مثالي.
الأشياء "الصعبة": يعاني الروبوت أكثر عندما تختلط قواعد النحو بالمعنى. على سبيل المثال، فهم إلى من يعود الضمير "هو" في جملة معقدة، أو كيفية عمل النفي في سياقات مخادعة. إنه يشبه الطالب الذي يمكنه حل المسائل الحسابية، لكنه يرتبك إذا كُتبت المسألة في شكل لغز.
2. انحياز "اللغة الإنجليزية فقط"
لاحظ الباحثون مشكلة كبيرة في الأدلة التي جمعوها.
"نادي الإنجليزية فقط": تخيل مسابقة للطبخ حيث أن 9 من أصل 10 حكام يتحدثون الإنجليزية فقط ويتذوقون أطباقًا من بلد واحد محدد. هذا هو حال هذا المجال. فمعظم الدراسات اختبرت الروبوت على اللغة الإنجليزية.
فجوة "اللغات الغنية والفقيرة": يؤدي الروبوت بشكل أفضل بكثير في اللغات التي تمتلك الكثير من الأدوات والبيانات الرقمية (مثل الإنجليزية، الإسبانية، أو الفرنسية). أما بالنسبة للغات ذات الدعم الرقمي الأقل، تنخفض مهارات الروبوت في قواعد النحو بشكل كبير. إنه يشبه سائحًا يعرف المدينة جيدًا لأن لديه خريطة رائعة، لكنه يضيع في الريف حيث الخريطة مفقودة.
3. كيف نختبر الروبوت (الأدوات الثلاث)
تشرح الورقة أن العلماء يستخدمون ثلاث طرق رئيسية للتحقق مما إذا كان الروبوت يعرف قواعد النحو:
الاختبار "السلوكي": هذا يشبه الامتحان النهائي. تعطي الروبوت جملة وتسأله: "هل هذه صحيحة؟" إذا أجاب بـ "نعم" للجمل الصحيحة و"لا" للجمل الخاطئة، فقد نجح.
اختبار "المسبار" (Probing): هذا يشبه الأشعة السينية. ينظر العلماء داخل عقل الروبوت (طبقاته الداخلية) ليروا ما إذا كان لديه "ملف قواعد" محدد مخزن هناك. وقد وجدوا أن "الطبقات الوسطى" للروبوت هي المكان الذي تعيش فيه معرفة القواعد عادةً.
الاختبار "الميكانيكي": هذه هي الأداة الأكثر تقدمًا. إنها تشبه تفكيك الروبوت لمعرفة أي التروس (النيورونات) تدور بالضبط أثناء معالجته للجملة. ما المشكلة؟ معظم الدراسات تكتفي بمراقبة دوران التروس (ملاحظة) بدلاً من سحب ترس بالفعل لترى ما إذا كان الروبوت سيتعطل (تدخل). نحن نعرف أين توجد قواعد النحو، لكننا لا نفهم تمامًا كيف تعمل بعد.
4. "القوة الخارقة" للروبوت و"كعب أخيل" الخاص به
القوة الخارقة: يبدو أن الروبوت يمتلك "حسًا عامًا" بالقواعد. إذا كان جيدًا في نوع واحد من قواعد النحو، فإنه عادة ما يكون جيدًا في الأنواع الأخرى. إنه لا يحفظ جملًا محددة فحسب؛ بل يبدو أنه تعلم نظامًا عامًا.
كعب أخيل: يعتمد الروبوت بشكل كبير على البيانات التي غُذي بها. إذا كانت البيانات غير منظمة أو كانت اللغة نادرة، فإن أداء الروبوت ينهار. كما تشير الورقة إلى أنه بينما يتفوق الروبوت في قواعد اللغة الإنجليزية، فإننا لا نعرف ما إذا كان يفهم قواعد النحو بنفس الطريقة التي يفهم بها البشر، أم أنه يستخدم مجرد طرق مختصرة ذكية.
الخلاصة
تخلص الورقة إلى أن نعم، هذه النماذج الذكية قد تعلمت قدرًا حقيقيًا (غير ضئيل) من قواعد النحو. إنهم ليسوا مجرد مخمنين عشوائيين. ومع ذلك، فإن فهمنا لـ كيفية قيامهم بذلك لا يزال غامضًا بعض الشيء لأننا:
نختبرهم غالبًا باللغة الإنجليزية.
نركز غالبًا على "ماذا" (النتائج) بدلاً من "كيف" (الميكانيكا الداخلية).
لم نقم بتوحيد اختباراتنا بما يكفي لمقارنة اللغات المختلفة بشكل عادل.
يقول المؤلفون في جوهر كلامهم: "لقد أكدنا أن الروبوت يمكنه التحدث بلغة القواعد، لكننا بحاجة إلى التوقف عن اختباره بالإنجليزية فقط، والبدء في النظر بعمق أكبر في كيفية عمل عقله، وبناء خرائط أفضل للغات التي لم نستكشفها بعد".
ملخص تقني: قواعد النحو في نماذج المحولات (Transformers)
بيان المشكلة
منذ ملاحظة غولوردافا وآخرون (2018) أن النماذج اللغوية (LMs) تكتسب معرفة نحوية غير بديهية رغم تدريبها حصرياً على التنبؤ بالرموز (tokens)، سعى جسم متنامٍ من الأبحاث إلى توصيف طبيعة ومدى هذه المعرفة. ومع ذلك، يفتقر المجال إلى صورة كمية عامة للمعرفة النحوية في نماذج المحولات اللغوية (TLMs). تتكون الأدبيات الحالية إلى حد كبير من مراجعات سردية (على سبيل المثال: ليميسليوز وماريتشيك، 2020؛ لينزن وباروني، 2021؛ كولميزيف ونيفري، 2022) والتي، رغم قيمتها، هي مراجعات تفسيرية وتفتقر إلى التركيب الكمي الشفاف الضروري لرسم خارطة النتائج عبر النطاق المتوسع بسرعة للأبحاث الحديثة. علاوة على ذلك، يتسم المجال بعدم تجانس منهجي وتركيز كثيف على اللغة الإنجليزية وبنيات نماذج محددة (لا سيما BERT)، مما يحد من قوة وتعميم الاستنتاجات الحالية.
المنهجية
أجرى المؤلفون مراجعة منهجية باتباع إرشادات PRISMA (بيج وآخرون، 2021)، وهي منهجية لا تُطبق بشكل شائع في اللغويات الحاسوبية (CL) ومعالجة اللغات الطبيعية (NLP). تضمنت العملية ما يلي:
جمع البيانات (صيف 2025): استُخدم نهج مزدوج الاستراتيجية لتحديد المرشحين: بحث بالكلمات المفتاحية في Google Scholar يجمع بين "البنية النحوية/المعرفة النحوية" مع "LLMs/LMs/transformer"، واستراتيجية كرة الثلج (snowballing) بالاستناد إلى ست مراجعات سابقة. أسفر ذلك عن 636 مقالاً أولياً.
تقييم الأهلية: تمت تصفية المقالات لتشمل فقط تلك التي تركز على بنيات المحولات (مع استبعاد RNNs وLSTMs ونماذج الترجمة الآلية من نوع encoder-decoder)، وتقييم المعرفة النحوية تجريبياً، والمنشورة في منصات محكمة أو مسودات بحثية (preprints). نتج عن ذلك مجموعة نهائية مكونة من 337 مقالاً.
التوسيم (Annotation): حدد المؤلفون 33 متغيراً للتوسيم موزعة على خمس فئات:
البيانات الوصفية (Meta-data): تفاصيل النشر وأسباب الدخول/الخروج.
المتعلق بالنموذج: أسماء النماذج، أنواعها (ثنائية الاتجاه مقابل سببية)، حالة الضبط الدقيق (fine-tuning)، والتغطية اللغوية.
التصميم التجريبي: الظواهر النحوية (تم تصنيفها إلى 11 تسمية عبر نهج من الأسفل إلى الأعلى)، اللغات المختبرة، والمواد المستخدمة.
تقنيات التفسير (Interpretability Techniques): صُنفت كتقنيات سلوكية، أو استقصائية (probing)، أو ميكانيكية (تبعاً لـ ميليير، 2024)، مع توسيم إضافي حول الطبيعة السببية (رصدية مقابل تدخلية)، مرحلة التدريب، والمحلية (locality).
ملاحظة: تم توسيم 28 فئة يدوياً؛ و5 فئات باستخدام سير عمل مدعوم بالذكاء الاصطناعي تم التحقق من صحته مقابل معيار ذهبي يدوي.
المساهمات الرئيسية
تركيب كمي: تقدم الورقة أول مراجعة منهجية كمية للمعرفة النحوية في نماذج المحولات اللغوية، حيث تجمع 3,074 نقطة بيانات فردية عبر اللغات، والظواهر، والأساليب.
مورد مفتوح: يساهم المؤلفون بقاعدة بيانات موسومة ومتاحة للجمهور للدراسات التي تمت مراجعتها وكود التحليل المرتبط بها، والمصمم ليكون قابلاً للتوسع.
تصنيف الظواهر: يضع العمل تصنيفاً (typology) من الأسفل إلى الأعلى لـ 11 ظاهرة نحوية معترف بها لدى مجتمعات اللغويات ومعالجة اللغات الطبيعية على حد سواء، مما يسهل المقارنة بين الدراسات.
تدقيق منهجي: تقيم المراجعة بشكل نقدي توزيع أساليب التفسير (سلوكية، استقصائية، ميكانيكية) وتسلط الضوء على الاعتماد المفرط للمجال على الأساليب الرصدية بدلاً من الأساليب السببية.
النتائج الرئيسية
1. مشهد المجال والتحيز
الاتجاهات الزمنية: ارتفع الاهتمام بالموضوع بعد ظهور BERT (2019)، وبلغ ذروته في عام 2022. بينما ركزت الأعمال المبكرة على النماذج ثنائية الاتجاه، هيمنت النماذج السببية (causal models) في السنوات الأخيرة.
تحيز النموذج: تتركز الأدبيات بكثافة على BERT ومتغيراته، والتي تشكل 58% من جميع نقاط البيانات. وتستحوذ أكثر أربعة نماذج مدروسة على 62%.
تحيز اللغة: تهيمن اللغة الإنجليزية بشكل ساحق (69% من المقالات بالإنجليزية فقط؛ 91% تتضمن الإنجليزية). الدراسات حول اللغات غير الإنجليزية نادرة، والدراسات متعددة اللغات ممثلة تمثيلاً ناقصاً (20%).
تحيز الظواهر: يركز البحث بكثافة على الظواهر النحوية الشكلية (مثل المطابقة، ترتيب الكلمات، البنية الهرمية، ووسم أجزاء الكلام) التي يسهل التقاطها بواسطة أدوات معالجة اللغات الطبيعية الحالية. أما الظواهر عند الواجهة بين النحو والدلالة (مثل الربط/binding، المرجع/coreference، النفي، والحذف/ellipsis) والجوانب التصنيفية (typological) فتتلقى اهتماماً أقل بكثير.
2. الأداء السلوكي
اختبار BLiMP المرجعي: في اختبار BLiMP الإنجليزي، تؤدي نماذج المحولات اللغوية بشكل جيد للغاية، حيث تضاهي أفضل النماذج الأداء البشري أو تتجاوزه في 7 من أصل 11 فئة. ومع ذلك، يختلف الأداء بشكل كبير بين النماذج، مدفوعاً بشكل أساسي بالقدرة العامة للنموذج بدلاً من نقاط القوة الخاصة بكل ظاهرة.
الشكل مقابل الواجهة: تؤدي نماذج المحولات اللغوية باستمرار بشكل أفضل في العلاقات النحوية الشكلية (متوسط > 85% للمطابقة) مقارنة بظواهر الواجهة بين النحو والدلالة (متوسط < 75% للربط/binding، والبنية الحجاجية، والكلمات التي تعتمد على السياق/NPIs).
العوامل عبر اللغات: يكشف تحليل الانحدار لـ 1,557 نقطة بيانات غير مرجعية عبر 113 لغة أن النماذج السببية تتفوق على النماذج ثنائية الاتجاه بنسبة ~10%، ويتناسب الأداء طردياً مع الدعم الرقمي للغة (زيادة بنسبة 5% لكل مستوى دعم). وتظهر اللغات ذات الموارد المنخفضة أداءً متراجعاً.
3. الآليات الداخلية (الدراسات الاستقصائية والميكانيكية)
الاستقصاء (Probing): يبلغ 85% من الدراسات الاستقصائية عن نجاح في استعادة المعلومات النحوية من تمثيلات النماذج. وتُحدد الطبقات الوسطى غالباً كمركز للمعرفة النحوية، مما يدعم وجهة النظر القائلة بالتوزيع التمثيلي.
الدراسات الميكانيكية: 79% من الأوراق الميكانيكية تجد أدلة واضحة تدعم وجود المعرفة النحوية. ومع ذلك، فإن هذه الدراسات رصدية في الغالب (81%)؛ حيث تستخدم 19% فقط من الدراسات أساليب تدخلية لإقامة روابط سببية بين التمثيلات الداخلية والسلوك.
الفجوات المنهجية: يوجد انفصال بين نجاح الاستقصاء (معدلات استعادة عالية) والأداء السلوكي (متغير عبر الظواهر)، مما يشير إلى أن الاستقصاء الناجح لا يعني بالضرورة الاستخدام الوظيفي للتمثيلات في عملية التنبؤ.
الأهمية والادعاءات
تدعي الورقة أن الأدبيات الحالية تدعم بقوة الرأي القائل بأن نماذج المحولات اللغوية تشفر قدراً غير بديهي من المعرفة النحوية، لا سيما فيما يتعلق بالعلاقات النحوية الشكلية. ومع ذلك، يؤكد المؤلفون أن استنتاجات المجال مقيدة حالياً بـ:
نقص الأدلة السببية: تمنع هيمنة الأساليب الرصدية الفهم العميق لكيفية استخدام التمثيلات النحوية حاسوبياً. la محدودية التعميم: يحد التركيز الشديد على الإنجليزية ونماذج شبيهة بـ BERT من إمكانية تطبيق النتائج على المشهد الأوسع للغات والبنيات.
تجزؤ الظواهر: لا تزال الواجهة بين النحو والدلالة غير مستكشفة بشكل كافٍ رغم إظهار النماذج أداءً أضعف في هذه المجالات.
يخلص المؤلفون إلى أنه بينما تمتلك نماذج المحولات اللغوية قدرات نحوية رائعة، فإن فهم اكتساب هذه المعرفة واستخدامها وعموميتها يتطلب مزيداً من التوافق المنهجي، والتزامات نظرية أكثر صراحة، ومشهد تجريبي أوسع يتجاوز اللغة الإنجليزية والدراسات الرصدية البحتة. ويضعون هذه المراجعة كأساس للعمل المستقبلي، داعين المجتمع للمساهمة في قاعدة البيانات المفتوحة واعتماد معايير التوسيم المقترحة.