ملخص تقني: كيف تتعلم المحولات (Transformers) الربط بين الرموز (Tokens): الحدود الرائدة للتدرج تمنح قابلية التفسير الآلي

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) القائمة على آلية الانتباه الذاتي (self-attention) قدرات مذهلة في التقاط المعرفة الواقعية وتوليد نصوص متماسكة، مدفوعة بشكل كبير بقدرتها على تعلم الارتباطات الدلالية (على سبيل المثال، الرابط بين "طائر" و"طار" أو قابلية التبادل بين "سيارة" و"شاحنة"). وبينما حددت الدراسات الحديثة آليات محددة مثل "رؤوس الاستقراء" (induction heads) أو العلاقات الدلالية الخطية، لا يزال هناك نقص في وجود تفسير نظري رصين ومبني على أسس متينة حول كيفية ظهور هذه الارتباطات أثناء تدريب المحولات القائمة على الانتباه على بيانات لغة طبيعية من العالم الحقيقي.

تعتمد الأعمال النظرية السابقة غالباً على افتراضات غير واقعية، مثل اللغة الاصطناعية المهيكلة، أو البنى المبسطة (التي تفتقر إلى الترميز الموضعي أو اتصالات المتبقي/residual connections)، أو أنظمة تدريب غير قياسية (مثل التدريب المتسلسل للمكونات). هذه الانحرافات عن الممارسة العملية تحد من إمكانية تعميم رؤاها على النماذج اللغوية الكبيرة الحديثة. تعالج هذه الورقة الفجوة من خلال طرح السؤال التالي: كيف تظهر الارتباطات الدلالية أثناء تدريب نماذج اللغة القائمة على الانتباه على بيانات اللغة الطبيعية؟

المنهجية

يقترح المؤلفون إطاراً نظرياً قائماً على ديناميكيات التدريب، وتحديداً من خلال تحليل التقريب للحدود الرائدة للتدرجات (leading-term approximation of gradients) خلال المراحل الأولى من التدريب.

1. إعداد النموذج: تركز الدراسة على نموذج محول (transformer) قياسي مكون من $L$ من الطبقات، مع ترميز موضعي (نسبي)، وقناع سببي (causal masking)، واتصالات متبقية (residual streams)، يتم تدريبه عبر التدرج الكامل للدفعة (full-batch gradient descent) على مجموعات نصوص لغوية طبيعية.
2. تقريب الحد الرائد: إدراكاً منها بأن المحولات تكتسب السلوكيات الجوهرية (بما في ذلك العلاقات الدلالية) في مراحل مبكرة من التدريب، استنتج المؤلفون تعبيرات مغلقة (closed-form expressions) لمصفوفات الأوزان (مخرجات $W_O$، والقيمة $V^{(l)}$، والاستعلام-المفتاح $W^{(l)}$، والترميز الموضعي $P^{(l)}$) عبر تقريب تحديثات التدرج. وقد أثبتوا أنه لعدد كافٍ من الخطوات $s$ (حيث $s \leq \eta^{-1} \min(\dots)$)، تظل الأوزان قريبة من حدودها الرائدة للتدرج.
3. تفكيك الدوال الأساسية: يكشف التحليل النظري أن الأوزان المتعلمة يمكن التعبير عنها كتراكيب بسيطة لثلاث دوال أساسية مشتقة من إحصائيات المتون (corpus statistics):
   • رسم خرائط الثنائيات (Bigram Mapping - $\bar{B}$): يلتقط تبعيات الرمز التالي للرمز الحالي ($P(e_j|e_i)$).
   • رسم خرائط قابلية التبادل (Interchangeability Mapping - $\Sigma \bar{B} = \bar{B}^\top \bar{B}$): يلتقط التشابه الوظيفي بين الرموز بناءً على تشابه توزيعات الرموز السابقة لها (مثل المترادفات أو الأدوار القواعدية المشتركة).
   • رسم خرائط السياق (Context Mapping - $\bar{\Phi}$): يشفر التزامن طويل المدى بين البادئة واللاحقة، ممثلاً متوسط السياق الذي يظهر فيه الرمز.

المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات رئيسية:

1. توصيف صريح للأوزان: تقدم أول توصيف صريح ومغلق الأشكال لأوزان المحولات القائمة على الانتباه المدربة على متون نصية حقيقية تحت خسارة التنبؤ بالرمز التالي. وقد أظهرت أن الأوزان هي تركيبات من دوال الأساس الثلاث المذكورة أعلاه.
2. التفسير الآلي للارتباطات الدلالية: يفسر المؤلفون الميزات المتعلمة في الأوزان كتركيبات محددة من خرائط الثنائيات، وقابلية التبادل، وخرائط السياق. كما يوضحون كيف تسمح هذه التركيبات للنموذج بالتقاط الارتباطات الدلالية (على سبيل المثال، كيف يرتبط "السمك" بـ "البركة" عبر رسم خرائط السياق، أو كيف يرتبط "أحمر" بـ "شاحنة" عبر رسم خرائط الثنائيات).
3. التحقق التجريبي: تم التحقق من التنبؤات النظرية على كل من نموذج محول بسيط مكون من 3 طبقات مدرب على مجموعة بيانات TinyStories، وعلى نموذج لغوي كبير وعملي (Pythia-1.4B) مدرب على OpenWebText.

النتائج

• التوافق النظري: تظهر التجارب على محول مكون من 3 طبقات مدرب على TinyStories أن التشابه الجيبي (cosine similarity) بين الحدود الرائدة المتوقعة نظرياً والأوزان المتعلمة فعلياً يظل مرتفعاً للغاية (على سبيل المثال، >0.99 لمصفوفات الانتباه والقيمة) حتى بعد 100 حقبة تدريبية.
• البنية الدلالية: يؤكد التحليل النوعي أن دوال الأساس تلتقط بنى لغوية ذات معنى. فعلى سبيل المثال، تربط خريطة الثنائيات $\bar{B}$ الصفات بالأسماء التي تعدلها، بينما تربط خريطة السياق $\bar{\Phi}$ الكيانات ببيئاتها النموذجية (مثل ربط "السمك" بـ "البركة").
• التعميم على النماذج اللغوية الكبيرة الحقيقية: عند تطبيقها على Pythia-1.4B، تظهر ميزات الحد الرائد النظرية توافقاً قوياً مع التضمينات (embeddings) المتعلمة وارتباطات الانتباه، خاصة في المراحل الأولى من التدريب. ويكشف التحليل أنه بينما تنحرف الأوزان نحو تمثيلات معرفية أغنى مع تقدم التدريب، فإنها تحتفظ بالميزات الارتباطية الأساسية التي يتنبأ بها النظر لمدّة زمنية طويلة.
• تعاون المكونات: يوضح تحليل حساب النموذج الكامل (المعادلة 12) كيف يوفر المجرى المتبقي (residual stream) تنبؤاً متوسطاً للرمز التالي، بينما يقوم بلوك الانتباه الذاتي (المدفوع بـ $\bar{Q}$ و $\bar{\Phi}^\top \Sigma \bar{B}$) بتنقيح هذا التنبؤ من خلال التركيز انتقائياً على الرموز الأكثر دلالة على الرمز التالي بناءً على إحصائيات المتون.

الأهمية

تزعم الورقة أنها توفر أساساً آلياً لتعلم التمثيل في النماذج اللغوية الكبيرة من خلال ربط ديناميكيات التعلم العميق بالنظرية اللغوية. ومن خلال تأصيل التحليل في توزيعات النصوص الطبيعية وإجراءات التدريب القياسية، يقلل هذا العمل بشكل كبير من الفجوة بين التحليل النظري الرسمي والاستخدام العملي للنماذج اللغوية الكبيرة.

ويرى المؤلفون أن نتائجهم تقدم طريقة رصينة لسياق وظيفة كل مكون في المحول. فبدلاً من النظر إلى النموذج كصندوق أسود، تقترح النظرية أن سلوك النموذج يتطور من خلال إنشاء هذه الميزات الارتباطية الأساسية أولاً (الثنائيات، قابلية التبادل، السياق)، والتي تعمل كركائز لتعلم علاقات دلالية أكثر تعقيداً. يفتح هذا العمل مسارات لأبحاث قابلية التفسير من خلال اقتراح أن مصفوفات الأوزان عبر المكونات المختلفة يمكن تفكيكها إلى دوال بسيطة لإحصائيات المتون المشتركة، مما يسمح بفرضيات أوسع حول كيفية نشوء المفاهيم في النماذج بما يتجاوز آليات محددة.