💬 NLP

Model Internal Sleuthing: Finding Lexical Identity and Inflectional Features in Modern Language Models

تستقصي هذه الورقة بشكل منهجي ٢٥ نموذجاً من نماذج اللغات الحديثة عبر ست لغات لتكشف أنه بينما تظل السمات التصريفية قابلة للفك الخطي عبر الشبكة، فإن تمثيلات الهوية المعجمية تضعف مع العمق حيث تستبدل النماذج هوية الكلمة المحددة ببنى مدمجة وتنبؤية.

المؤلفون الأصليون: Michael Li, Nishant Subramani

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Michael Li, Nishant Subramani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغوي كبير (LLM) حديث ليس كدماغ آلي ضخم ومخيف، بل كـ ناطحة سحاب متعددة الطوابق حيث تنتقل المعلومات من الطابق الأرضي وصولاً إلى الطابق العلوي (البنتهاوس).

هذه الورقة البحثية، التي تحمل عنوان "التنقيب الداخلي للنماذج" (Model Internal Sleuthing)، تشبه فريقاً من المحققين (الباحثين) الذين يدخلون تلك الناطحة ليروا كيف ينظم النموذج أفكاره. أرادوا الإجابة على سؤالين محددين:

الهوية المعجمية (Lexical Identity): هل يتذكر المبنى ماهية الكلمة (مثل "يمشي")؟
السمات التصريفية (Inflectional Features): هل يتذكر المبنى قواعد الكلمة (مثل "مشى" = ماضٍ، "يمشي" = مستمر)؟

لقد اختبروا 25 "مبنى" مختلفاً (نماذج تتراوح بين القديمة مثل BERT والعمالقة الجدد مثل Llama-3 وQwen) عبر ست لغات (الإنجليزية، الصينية، الألمانية، الفرنسية، الروسية، والتركية).

إليك ما وجدوه، مشروحاً ببعض التشبيهات من الحياة اليومية:

1. "بطاقة الاسم" مقابل "الزي الرسمي"

فكر في الهوية المعجمية (كلمة "يمشي") كأنها بطاقة اسم شخص، والتصريف (اللاحقة في "مشى" مثلاً) كأنها زيه الرسمي.

النتيجة: عندما تدخل كلمة إلى المبنى (الطوابق الأولى)، تكون بطاقة الاسم ساطعة وواضحة جداً. النموذج يعرف بالضبط ما هي الكلمة.
التحول: مع انتقال المعلومات إلى الطوابق العليا (الطبقات الأعمق)، تبدأ بطاقة الاسم في التلاشي. بحلول الوقت الذي تصل فيه إلى الأعلى، يهتم النموذج أقل بالكلمة المحددة "يمشي" ويركز أكثر على سياق الجملة. الأمر يشبه الشخص الذي ينزع بطاقة اسمه ليندمج مع الحشد.
أما الزي الرسمي، فلا يتلاشى أبداً. تظل القواعد (الماضي، الجمع، إلخ) مرئية وسهلة القراءة في كل طابق، من الردهة إلى البنتهاوس. يحتفظ النموذج بمعلومات "الزي الرسمي" في جيب ثابت وسهل الوصول إليه طوال الطريق للأعلى.

2. "المصعد الخطي" مقابل "المتاهة"

حاول الباحثون "قراءة" أفكار النموذج باستخدام أداتين: مصعد خطي بسيط (مسار مستقيم) ومتاهة معقدة (مسار غير خطي).

القواعد (الزي الرسمي): يمكنك استخدام المصعد الخطي للعثور على معلومات القواعد في أي طابق. إنه مسار مستقيم. النموذج يبقي القواعد منظمة في خط مستقيم ومرتب.
معنى الكلمة (بطاقة الاسم): في الطوابق السفلية، يعمل المصعد بشكل جيد. ولكن في الطوابق العليا، يتوقف المصعد عن العمل. للعثور على معنى الكلمة المحدد هناك، عليك التنقل عبر متاهة. المعلومات لا تزال موجودة، لكنها ملتوية ومتشابكة مع السياق الآخر.

3. "غرفة الضغط"

تمتلك بعض النماذج الأحدث والأسرع (مثل Qwen وPythia) ميزة غريبة في منتصف المبنى: غرفة ضغط.

تخيل ممرًا يضيق فجأة ليصبح نفقًا صغيرًا قبل أن يتوسع مرة أخرى.
في هذه النماذج، تقوم الطبقات الوسطى بضغط البيانات بقوة تجعل "الأبعاد" تنهار. الأمر يشبه محاولة وضع مكتبة كاملة في صندوق أحذية ثم إخراجها مرة أخرى.
النتيجة: على الرغم من أن النموذج لا يزال بإمكانه تخمين القواعد بشكل صحيح في هذه الغرفة، إلا أنه يصبح من الصعب جداً توجيه أو التحكم في سلوك النموذج هناك. إنه كمن يحاول قيادة سيارة بينما العجلات عالقة في الطين؛ المحرك يعمل، لكن التوجيه لا يعمل بنفس الكفاءة.

4. "موقع البناء" (مرحلة ما قبل التدريب)

راقب الباحثون عملية بناء المبنى (أثناء مرحلة التدريب).

القواعد تُبنى أولاً. يتم إنشاء "الزي الرسمي" (قواعد اللغة) في وقت مبكر جداً من العملية. بمجرد وضع الأساس، تظل القواعد صلبة ولا تتغير كثيراً.
معنى الكلمة يُبنى أخيراً. "بطاقات الأسماء" تستمر في التغير والتطور كلما زاد ارتفاع المبنى. يقضي النموذج وقتاً طويلاً في صقل معاني الكلمات في سياقات مختلفة، وغالباً ما يضحي بالهوية الخام للكلمة لجعل التنبؤ بما سيأتي لاحقاً أفضل.

5. عامل "صعوبة اللغة"

اختبروا هذا في ست لغات.

الإنجليزية، الألمانية، الفرنسية، الروسية: تعامل النموذج معها بشكل جيد.
التركية: هذه اللغة تشبه مجموعة "ليجو" ذات قطع لانهائية (هي لغة "إلصاقية" للغاية، مما يعني أنه يمكنك لصق العديد من القطع النحوية بكلمة واحدة). عانى النموذج منها أكثر من غيرها. "بطاقة الاسم" تتلاشى بسرعة كبيرة هنا، و"الزي الرسمي" كان من الصعب الحفاظ على انتظام لونه. الأمر يشبه محاولة تنظيم كومة فوضوية من قطع الليجو؛ كلما كانت القطع أكثر تعقيداً، زادت صعوبة بقاءها مرتبة بالنسبة للنموذج.

الخلاصة الكبرى

النماذج الذكية الحديثة ذكية للغاية، لكن لديها مقايضة محددة:

هم يحافظون على القواعد (التصريف) صلبة وسهلة الوصول لأنها تمثل الهيكل العظمي للغة.
هم يتخلون عن هويات الكلمات المحددة (المعجمية) كلما تعمقوا، لأنهم بحاجة للتركيز على الصورة الأكبر (السياق والتنبؤ).

باختصار: إذا سألت ذكاءً اصطناعياً حديثاً: "ما هو الماضي من الفعل 'يجري'؟" سيجيبك فوراً، بغض النظر عن مدى عمق البحث. ولكن إذا سألته: "أي كلمة 'يجري' نتحدث عنها الآن تحديداً؟" فإن الإجابة تصبح ضبابية كلما تعمقت، لأن النموذج مشغول بالتفكير في القصة، وليس فقط في الكلمة.

1. بيان المشكلة

بينما تهيمن النماذج اللغوية الكبيرة (LLMs) على معالجة اللغات الطبيعية الحديثة، إلا أن الآليات الداخلية التي تشفر من خلالها المعلومات اللغوية لا تزال غير مفهومة بشكل جيد، لا سيما في النماذج الأحدث من BERT وGPT-2. وقد أثبتت الأبحاث السابقة وجود تنظيم هرمي في النماذج المبكرة (على سبيل المثال، الطبقات الدنيا للمورفولوجيا/الصرف، والطبقات العليا للدلالة/السيمانتيك)، ولكن من غير الواضح ما إذا كانت هذه الأنماط صالحة للمعماريات الحديثة (المعتمدة على فك التشفير فقط own-decoder، أو مشفر-فك تشفير encoder-decoder)، وتفاوت المقاييس (من 100 مليون إلى أكثر من 8 مليارات معلمة)، وأنظمة التدريب المتنوعة.

يتقصى المؤلفون تحديداً خاصيتين لغويتين متمايزتين:

الهوية المعجمية (Lexical Identity): شكل الكلمة المحدد أو الجذر (على سبيل المثال، التمييز بين "walk" و "jump").
السمات التصريفية (Inflectional Features): الخصائص النحوية مثل الزمن، أو العدد، أو الحالة الإعرابية (على سبيل المثال، التمييز بين "walked" و "walks").

سؤال البحث الجوهري هو: أين وكيف تشفر النماذج اللغوية الحديثة هذه الخصائص، وكيف يختلف ذلك باختلاف مقياس النموذج، والمعمارية، والنمط اللغوي؟

2. المنهجية

أجرى المؤلفون دراسة استقصائية منهجية عبر 25 نموذجاً مدرباً مسبقاً (تتراوح من BERT Base إلى Qwen2.5-7B وLlama-3.1-8B) وست لغات متنوعة نمطياً (الإنجليزية، الصينية، الألمانية، الفرنسية، الروسية، التركية).

أ. إعداد الاستقصاء (Probing Setup)

البيانات: استُخدمت مجموعات بيانات "Universal Dependencies" لاستخراج الكلمات المستهدفة وما يرتبط بها من جذور ووسوم تصريفية.
استخراج التمثيل: تم استخراج تنشيطات الحالة المخفية (hidden state activations) من المجرى المتبقي (residual stream) عند موضع الكلمة المستهدفة (باستخدام آخر وحدة فرعية للكلمة في المدخلات المقطعة).
أدوات الاستقصاء (Probes): تم تدريب نوعين من المصنفات في كل طبقة:
1. مسبار الانحدار الخطي (Linear Regression Probe): لقياس القابلية للفصل الخطي.
2. مسبار MLP (غير الخطي): عبارة عن مدرك حسي (perceptron) بطبقتين لاختبار ما إذا كانت الحدود غير الخطية تحسن عملية فك التشفير.
المقاييس:
- الانتقائية (Selectivity): تُعرف بأنها $Acc_{real} - Acc_{control}$ ، حيث تستخدم مهمة التحكم تسميات عشوائية. هذا يضمن أن المسبار يستخرج بنية لغوية حقيقية بدلاً من حفظ الارتباطات السطحية.
- فجوة القابلية للفصل الخطي (Linear Separability Gap): الفرق في الانتقائية بين مسبار MLP ومسبار الانحدار الخطي. تشير الفجوة السالبة إلى أن MLP يلتقط ارتباطات زائفة بدلاً من التحسينات الهيكلية.

ب. تحليلات إضافية

الهندسة (Geometry): قياس الأبعاد الفعالة الخطية باستخدام تحليل المكونات الرئيسية (PCA) لمعرفة عدد المكونات المطلوبة لتفسير التباين عبر الطبقات.
مقارنة المكونات: مقارنة تنشيطات المجرى المتبقي (Residual Stream) مقابل مخرجات رؤوس الانتباه (Attention Head).
التوجيه (Steering): تطبيق متجهات التوجيه (steering vectors) (الفرق بين متوسطات الفئات التصريفية) لاختبار القدرة على التحكم السببي.
ديناميكيات التدريب المسبق: تحليل نقاط التفتيش الوسيطة لـ OLMo-2 وPythia لتتبع تطور التمثيلات أثناء التدريب.

3. المساهمات الرئيسية

تحليل شامل عبر المعماريات: أول دراسة واسعة النطاق تقارن بين التشفير المعجمي والتصريفي عبر 25 نموذجاً حديثاً (مشفرات، وفكاكات تشفير، ومشفر-فك تشفير) وست لغات.
مسارات تمثيلية متباينة: اكتشاف أن الهوية المعجمية والسمات التصريفية تتبع مسارات مختلفة جوهرياً عبر عمق الشبكة.
الارتباط بين الهندسة والتوجيه: ربط ضغط الأبعاد الشديد في الطبقات المتوسطة بانخفاض فعالية التوجيه، رغم دقة المسبار العالية.
ديناميكيات التدريب: أدلة على أن الهياكل التصريفية تستقر مبكراً في التدريب المسبق، بينما تستمر تمثيلات الهوية المعجمية في التطور وتصبح أكثر تجريداً (وأقل قابلية للفك الخطي) مع تقدم التدريب.

4. النتائج الرئيسية

أ. الهوية المعجمية مقابل السمات التصريفية

الهوية المعجمية:
- الطبقات المبكرة: سهلة الوصول وقابلة للفك الخطي بدرجة عالية (دقة عالية).
- الطبقات العميقة: تنخفض الدقة بشكل كبير، وتصبح المعلومات غير خطية بشكل متزايد.
- الانتقائية: تظل قريبة من الصفر عبر الأعماق، مما يشير إلى أن الدقة العالية المبكرة مدفوعة بالارتباطات السطحية بدلاً من التشفير الهيكلي المتين.
السمات التصريفية:
- الاتساق: تظل قابلة للفك الخطي ودقيقة للغاية (0.9–1.0) عبر جميع الطبقات والمعماريات.
- الانتقائية: موجبة باستمرار (0.4–0.6)، مما يشير إلى تشفير هيكلي متين.
- التباين اللغوي: تختلف قوة التشفير حسب النمط المورفولوجي، حيث أظهرت اللغة التركية (التركيبية للغاية/agglutinative) أكبر انخفاض في الدقة المعجمية مع الحفاظ على خطية تصريفية قوية.

ب. هندسة التمثيل والتوجيه

ضغط الأبعاد: تظهر نماذج مثل GPT-2 وQwen2.5 وPythia "انهياراً في الطبقة المتوسطة" حيث تنخفض الأبعاد الفعالة بشكل حاد (عدد قليل من مكونات PCA تفسر معظم التباين).
فعالية التوجيه: في النماذج ذات انهيار الطبقة المتوسطة، تنخفض فعالية التوجيه (القدرة على تغيير التصريف عبر تدخل التنشيط) في تلك الطبقات المحددة، على الرغم من بقاء دقة المسبار عالية. هذا يشير إلى أنه بينما تكون المعلومات موجودة، إلا أنها مضغوطة بطريقة تجعل من الصعب التلاعب بها سببياً.
تنشيطات القيم المتطرفة: يتزامن انهيار الأبعاد مع "تنشيطات ضخمة" (أبعاد متطرفة ذات قيم كبيرة بشكل غير عادي) في الطبقات الوسطى.

ج. المجرى المتبقي مقابل رؤوس الانتباه

المجرى المتبقي (Residual Streams): يحتوي على معلومات لغوية أكثر بكثير (سواء المعجمية أو التصريفية) من مخرجات رؤوس الانتباه.
رؤوس الانتباه (Attention Heads): تظهر دقة وانتقائية أقل، خاصة للهوية المعجمية في الطبقات الوسطى. وهذا يدعم الرؤية القائلة بأن الانتباه يركز على التجميع السياقي، بينما يحافظ المجرى المتبقي على التفاصيل المورفولوجية للكلمة.

د. ديناميكيات التدريب المسبق

التصريف: يستقر في وقت مبكر جداً من التدريب؛ حيث تصل الدقة والانتقائية إلى القيم النهائية بسرعة.
الهوية المعجمية: تظهر مقايضة. تمتلك نقاط التفتيش المبكرة دقة خطية عالية، ولكن مع تقدم التدريب، يتجرد النموذج من الهويات السطحية الجامدة. تنخفض الدقة الخطية، لكن الانتقائية (التمييز بين البنية الحقيقية والضجيج) تزدادة، مما يشير إلى التحول نحو تمثيلات أكثر سياقية وغير خطية.

5. الأهمية والآثار المترتبة

متانة المورفولوجيا: رغم التقدم السريع في مقياس النماذج ومعماريتها، تتلاقى نماذج Transformer على تمثيل داخلي متين للخصائص المورفولوجية الأساسية (التصريف). هذه السمات قابلة للفك الخطي ومستقرة، على عكس الهوية المعجمية.
حدود التفسير: تشير النتيجة التي تفيد بأن المسبار الخطي غالباً ما يمتلك انتقائية أعلى من مسبار MLP (فجوة قابلية الفصل الخطي السالبة) إلى أن إضافة القدرة غير الخطية غالباً ما تؤدي إلى الإفراط في التخصيص (overfitting) أو حفظ الارتباطات الزائفة بدلاً من الكشف عن بنية أعمق.
التحكم الميكانيكي: تسلط الدراسة الضوء على أن دقة المسبار العالية لا تضمن القابلية للتوجيه. النماذج ذات ضغط الأبعاد الشديد قد تشفر المعلومات بطريقة تكون "مقروءة" ولكن يصعب "تحريرها" عبر تدخلات التنشيط البسيطة.
الاتجاهات المستقبلية: تشير النتائج إلى أنه للمهام التي تتطلب تحكماً مورفولوجياً، فإن المجاري المتبعة (residual streams) هي الهدف الأساسي للتدخل، وأن مراحل التدريب المبكرة حاسمة لتأسيس البنية النحوية.

باختصار، تكشف الورقة أن النماذج اللغوية الحديثة تعامل التصريف كسمة مستقرة، خطية، وقابلة للتوجيه يتم الحفاظ عليها طوال الشبكة، بينما الهوية المعجمية هي سمة مرحلية مبكرة تصبح متشابكة وغير خطية مع بناء النموذج للتمثيلات السياقية.