ملخص تقني: الترميز النحوي والدلالي المتمايز في النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تتقصى هذه الدراسة كيفية ترميز النماذج اللغوية الكبيرة (LLMs) للمعلومات النحوية (الهيكلية) والدلالية (المعنى) ضمن تمثيلاتها الداخلية عالية الأبعاد. وبينما أثار نجاح هذه النماذج الاهتمام بكيفية وأين يتم تخزين الكفاءة اللغوية، لا يزال هناك خلاف كبير بشأن العلاقة بين النحو والدلالة. تفترض التقاليد التوليدية غالبًا استقلالية صارمة للنحو، بينما ترى المناهج الوظيفية أنهما متشابكان بعمق. تهدف الورقة إلى حل هذا الأمر من خلال تحديد ما إذا كان هذان المكونان مرمّزين خطيًا، وكيف يتوزعان عبر طبقات الشبكة، وإلى أي مدى يمكن فصلهما في نماذج تم تدريبها دون أولويات لغوية صريحة.

المنهجية

يستخدم المؤلفون نهجًا هندسيًا يعتمد على العمليات الخطية لاستقصاء تمثيلات نموذج DeepSeek-V3 (بـ 671 مليار معلمة)، مع تكرار نوعي على نماذج أصغر (Qwen2-7b، Gemma3-12b، Pythia-6.9b).

1. بناء مجموعة البيانات

تعتمد الدراسة على أزواج جمل متطابقة تم إنشاؤها باستخدام نماذج لغوية أخرى (Gemini، ChatGPT):

• المطابقة النحوية: أزواج من الجمل التي تشترك في قالب أقسام الكلام (POS) ولكنها تعبر عن معانٍ غير مرتبطة ("التوائم النحوية").
• المطابقة الدلالية: أزواج من الجمل تتكون من جملة أصلية وإعادة صياغتها باللغة الإنجليزية، بالإضافة إلى ترجمات الجملة الأصلية إلى ست لغات (العربية، الصينية، الألمانية، الإيطالية، الإسبانية، التركية).

2. بناء المركز (Centroid) والاستئصال

لعزل أنواع معلومات محددة، يقوم المؤلفون ببناء "مراكز" عبر متوسط التمثيلات المخفية:

• المركز النحوي ($S_i$): متوسط تمثيلات جميع "التوائم النحوية" التي تشترك في قالب أقسام كلام (POS) معين. هذا يعمل على متوسط التباين الدلالي مع الحفاظ على البنية النحوية.
• المركز الدلالي ($T_i$): متوسط تمثيلات جميع ترجمات الجملة $X_i$ (باستثناء الجملة الأصلية وإعادة صياغتها بالإنجليزية). هذا يعمل على متوسط التباين النحوي والمعجمي مع الحفاظ على المحتوى الدلالي.

إجراء الاستئصال: يقوم المؤلفون بإزالة معلومات محددة من متجه الجملة $X_i$ عن طريق طرح إسقاطه على المركز المعني.

• استئصال النحو: $X_i \perp S_i = X_i - \frac{X_i \cdot S_i}{|S_i|^2} S_i$
• استئصال الدلالة: $X_i \perp T_i = X_i - \frac{X_i \cdot T_i}{|T_i|^2} T_i$

3. قياس التشابه

بدلاً من المقاييس الخطية مثل محاذاة النواة المركزية (CKA)، والتي يشير المؤلفون إلى أنها توفر إشارات ضعيفة في الأبعاد العالية، يستخدمون مقياس تشابه قائم على الرتبة مشتق من عدم توازن المعلومات (Information Imbalance). يحدد هذا المقياس مدى قدرة أقرب الجيران في فضاء تمثيل واحد على التنبؤ بأقرب الجيران في فضاء آخر.

4. تجميع التمثيل

يستخدم المؤلفان طريقتين لتجميع حالات التوكن المخفية على مستوى الجملة إلى متجهات على مستوى الجملة:

• التسلسل (Concatenation): دمج آخر $N$ من التوكنات (يحافظ على المعلومات الموضعية).
• المتوسط (Averaging): حساب متوسط تمثيلات آخر $N$ من التوكنات (يزيل المعلومات الموضعية).

النتائج الرئيسية

1. الترميز الخطي للنحو والدلالة

تجد الدراسة أن كلاً من النحو والدلالة مرمزان جزئيًا على الأقل بشكل خطي. إن طرح المراكز النحوية أو الدلالية من متجهات الجمل يقلل بشكل كبير من التشابه بين الأزواج المتطابقة (التوائم النحوية أو إعادة الصياغة)، على التوالي. يشير هذا إلى أن نسبة كبيرة من المعلومات ذات الصلة يتم التقاطها بواسطة هذه الاتجاهات الخطية.

2. ملفات التعريف المتباينة للطبقات

تختلف ملفات تعريف الترميز عبر الطبقات لكل من النحو والدلالة:

• النحو: يكون التشابه النحوي مرتفعًا في الطبقات المبكرة ويظل ثابتًا نسبيًا طوال الشبكة. وهو أكثر بروزًا في التمثيلات المتسلسلة (Concatenated)، مما يشير إلى الاعتماد على المعلومات الموضعية.
• الدلالة: يكون التشابه الدلالي منخفضًا في الطبقات المبكرة، ويرتفع ليصل إلى ذروته في الطبقات المركزية، ثم ينخفض قليلاً في طبقات المخرجات النهائية. ويكون التشابه الدلالي أقوى في التمثيلات المتوسطة (Averaged).

3. الفصل غير المتماثل

هناك نتيجة حاسمة تتعلق بعدم التماثل في كيفية تأثير النحو والدلالة على بعضهما البعض:

• إزالة الدلالة: استئصال المركز الدلالي من التوائم النحوية لا يقلل بشكل كبير من تشابهها النحوي. يظل النحو قويًا حتى عند إزالة المعلومات الدلالية.
• إزالة النحو: استئصال المركز النحوي من إعادة الصياغة يقلل بشكل كبير من تشابهها الدلالي، خاصة في الطبقات المركزية.
• التفسير: يشير هذا إلى أنه بينما يمكن فصل الدلالة جزئيًا عن النحو، فإن النحو أكثر استقلالية. إزالة البنية النحوية (مثل ترتيب الكلمات) تضعف القدرة على استعادة المعنى، في حين أن إزالة المعنى لا تدمر الهيكل النحوي.

4. تفكيك المعيار (Norm Decomposition)

يكشف تفكيك المعيار المربع لمتجهات الجمل أن:

• المكون النحوي يهيمن في الطبقات المبكرة.
• المكون الدلالي يهيمن في الطبقات المركزية.
• معًا، تغطي هذه المراكز جزءًا كبيرًا ولكن ليس كليًا (حوالي 40% في الطبقات المركزية) من معيار المتجه، مما يترك "مكونًا متبقيًا" كبيرًا.

5. تأثيرات الاختبار اللاحق (Downstream Probe Effects)

تؤثر طرق الاستئصال على مهام الاختبار اللاحقة كما هو متوقع:

• تصنيف أقسام الكلام (POS Classification): يؤدي استئصال المراكز النحوية إلى تقليل الدقة بشكل حاد؛ بينما يكون لاستئصال المراكز الدلالية تأثير ضئيل.
• استدعاء إعادة الصياغة (Paraphrase Recall): يؤدي استئصال المراكز الدلالية إلى تقليل الاستدعاء بشكل حاد؛ بينما يكون لاستئصال المراكز النحوية تأثير سلبي أصغر (وإن كان موجودًا).

الأهمية والادعاءات

تدعي الورقة ثلاث مساهمات رئيسية لمجالات التفسير في النماذج اللغوية الكبيرة واللغويات الحاسوبية:

1. تحديد نواة دلالية: تؤكد النتائج وجود "نواة دلالية" في معالجة النماذج اللغوية الكبيرة، تتركز تحديدًا في الطبقات الداخلية للشبكة، وهي متميزة عن المعالجة النحوية الأكثر استقرارًا والتي تمتد عبر الطبقات.
2. دليل على التراكب الخطي (Linear Superposition): تقدم الدراسة دليلًا إضافيًا على أن التراكب الخطي البسيط هو آلية أساسية لترميز السمات اللغوية المجردة (النحو والمعنى) في الشبكات العميقة.
3. الاستقلالية الناشئة للنحو: إن ملاحظة الفصل غير الكامل ولكنه الواضح بين النحو والدلالة في النماذج المدربة دون أولويات لغوية صريحة تشير إلى أن استقلالية النحو قد تكون خاصية متأصلة ومثالية للتمثيلات اللغوية. يربط هذا الاكتشاف الفجوة بين النظريات اللغوية التوليدية (النحو المستقل) والمناهج الوظيفية، مما يعني أن هذا التمييز قد ينشأ عالميًا في الأنظمة الإدراكية، من الأدمغة البشرية إلى النماذج اللغوية الكبيرة.

يحافظ المؤلفون على موقف متواضع، معترفين بأن نهجهم الخطي يلتقط فقط جوانب جزئية من هذه السمات المعقدة، وأن جزءًا كبيرًا من معيار التمثيل يظل غير مفسر بواسطة هذه المراكز. ويقترحون أن العمل المستقبلي يجب أن يستكشف استخراج السمات غير الخطية والديناميكيات الزمنية لهذه الترميزات.