ملخص تقني: رؤوس لابلاتسيان (Laplacian Heads) تُحسن نماذج الترانسفورمر عبر تنعيم تمثيلات الرموز (Tokens)

بيان المشكلة

تقوم بنية "الترانسفورمر" القياسية بتحديث تمثيلات الرموز من خلال الانتباه متعدد الرؤوس والاتصالات المتبقية (residual connections). في هذه الصيغة، يقوم كل رأس انتباه $i$ بحساب مصفوفة انتباه "سوفت ماكس" $P^{(i)}$ ويقوم بتحديث المدخل $X$ عبر مجموع مرجح لعمليات إسقاط القيمة: $X \leftarrow X + \sum_i P^{(i)}XW_{Vi}W_{oi}$.

وعلى الرغم من فعالية هذه الآلية، إلا أنها تفتقر إلى التحكم الصريح في التباين داخل التسلسل (within-sequence variance) لتمثيلات الرموز. إن الرؤية السائدة في الأدبيات، لا سيما فيما يتعلق بالشبكات العصبية الرسومية (GNNs) ونماذج الترانسفورمر العميقة، تعامل "التنعيم المفرط" (oversmoothing) — حيث تصبح تمثيلات الرموز متشابهة للغاية وتفقد تميزها — كنمط فشل ضار. وبناءً على ذلك، يركز معظم العمل السابق على منع التنعيم من خلال التطبيع (normalization)، أو إسقاط الحواف (edge dropping)، أو خسائر التنوع (diversity losses). تتحدى هذه الورقة الافتراض القائل بأن التنعيم المفرط للرموز هو أمر ضار بطبيعته، وتقترح بدلاً من ذلك أن التنعيم المحكوم يمكن أن يكون مفيداً لتعلم التمثيلات.

المنهجية

يقترح المؤلفون تعديلاً معمارياً خالياً من المعلمات (parameter-free): استبدال مجموعة فرعية من رؤوس الانتباه القياسية بـ رؤوس لابلاتسيان (Laplacian heads).

مؤثر لابلاتسيان (The Laplacian Operator)

في التحديث القياسي، يقوم الرأس بحساب $P^{(i)}X$، وهو متوسط مرجح بالانتباه للرموز. يستبدل رأس لابلاتسيان المقترح مصفوفة الانتباه $P^{(i)}$ بمؤثر لابلاتسيان الرسم البياني (graph Laplacian operator) $I - P^{(i)}$، حيث $I$ هي مصفوفة الوحدة. تصبح معادلة التحديث:
$$X \leftarrow X + \sum_{i \in A} P^{(i)}XW_{Vi}W_{oi} + \sum_{i \in L} (I - P^{(i)})XW_{Vi}W_{oi}$$
حيث $A$ هي مجموعة رؤوس الانتباه القياسية و $L$ هي مجموعة رؤوس لابلاتسيان.

الدوافع

تقدم الورقة دافعين نظريين لهذا التعديل:

1. التحكم المباشر في المتوسط والتباين: تقوم رؤوس الانتباه القياسية بتحديث متوسط تمثيلات الرموز. في المقابل، يحسب الحد $(I - P^{(i)})X$ الفرق بين كل رمز والمتوسط المرجح بالانتباه الخاص به. إضافة هذا الفرق تسمح للنموذج بالتحكم مباشرة في التباين داخل التسلسل لتمثيلات الرموز، وهي قدرة تفتقر إليها نماذج الترانسفورمر القياسية.
2. الانتشار الرسومي (Graph Diffusion): إذا اعتبرنا الرموز بمثابة عقد في رسم بياني بأوزان حواف محددة بواسطة $P^{(i)}$، فإن $I - P^{(i)}$ يمثل لابلاتسيان الرسم البياني الموحد للمسار العشوائي (random-walk normalized graph Laplacian). تطبيق هذا المؤثر يقابل خطوة واحدة من الانتشار الحراري (heat diffusion) على الرسم البياني للرموز، مما يؤدي إلى تنعيم الإشارة (تمثيلات الرموز) تدريجياً عبر التسلسل.

المساهمات الرئيسية

1. مقترح معماري: تعديل بسيط وخالٍ من المعلمات لبنية الترانسفورمر يدمج رؤوس لابلاتسيان جنباً إلى جنب مع رؤوس الانتباه القياسية.
2. التحقق التجريبي: إثبات أن هذا التعديل يحسن الأداء عبر ثلاثة نماذج تعلم متميزة: التصنيف الخاضع للإشراف، نمذجة اللغة، والتعلم ذاتي الإشراف.
3. التوصيف الهندسي: تحليل مفصل لكيفية تغيير رؤوس لابلاتسيان للهندسة المكتسبة لتمثيلات الرموز، موضحين أنها تحفز أشكالاً مفيدة من "الانهيار" (collapse) والتنعيم بدلاً من التنعيم المفرط الضار.

النتائج التجريبية

1. تصنيف الصور (التعلم الخاضع للإشراف)

باستخدام عائلة DeiT-3 (ViT-B) على مجموعات بيانات CIFAR-10، CIFAR-100، و ImageNet-1k:

• الأداء: أدى إضافة رؤوس لابلاتسيان إلى تحسين دقة Top-1 باستمرار. كان التحسن شبه رتيب مع عدد رؤوس لابلاتسيان.
  • في ImageNet، حقق النموذج المزود بـ 12 رأس لابلاتسيان (ViT-B-12L) دقة 82.32% مقارنة بـ 81.45% للنموذج المرجعي.
  • في CIFAR-100، كانت الزيادة تقارب 2% (77.04% مقابل 75.12%).
• الهندسة:
  • تحليل التباين (ANOVA): قللت رؤوس لابلاتسيان بشكل كبير من التباين داخل التسلسل بينما زادت من التباين بين الفئات. يشير هذا إلى أن الرموز داخل نفس التسلسل تنهار نحو متوسط مشترك، بينما تتباعد متوسطات التسلسلات المختلفة بشكل أكثر فعالية.
  • الانهيار العصبي (Neural Collapse): أظهرت النماذج تقارباً أقوى نحو هندسة الانهيار العصبي. شكلت تمثيلات الرموز عناقيد منفصلة جيداً (Simplex ETF) لكل فئة، مع محاذاة متوسطات التسلسلات مع الهندسة العالمية للفئة.

2. نمذجة اللغة (التوليد التلقائي)

باستخدام نماذج بأسلوب GPT-2 (561 مليون معلمة) مدربة مسبقاً على FineWeb-Edu ومعدلة بدقة على اختبارات الاستدلال والبرمجة:

• الأداء: تفوقت النماذج المزودة برؤوس لابلاتسيان على النموذج المرجعي في المتوسط عبر ARC-Easy، ARC-Challenge، MMLU، GSM8K، و HumanEval.
  • حقق النموذج المزود بـ 5 رؤوس لابلاتسيان أعلى متوسط أداء (30.06%)، مع مكاسب كبيرة في ARC-Easy (+16%) و ARC-Challenge (+7%).
• الهندسة:
  • الاضمحلال الطيفي (Spectral Decay): أنتجت رؤوس لابلاتسيان تمثيلات رموز ذات اضمحلال طيفي أسرع. انخفض عدد المكونات الرئيسية المطلوبة لتفسير 99% من التباين بنسبة 21% (من 547.7 إلى 430.4) عندما كانت جميع الرؤوس هي رؤوس لابلاتسيان.
  • الانهيار اللغوي: أظهرت النماذج زيادة في القدرة على الفصل بين الرموز التي تشترك في نفس التنبؤ بالرمز التالي، مما يشير إلى شكل أقوى من "الانهيار اللغوي" حيث تتجمع الرموز ذات الأدوار الدلالية المتشابهة معاً.

3. التعلم ذاتي الإشراف (DINO)

باستخدام نماذج ViT-S على ImageNet-1k للتدريب المسبق بنظام DINO:

• الأداء: حسنت رؤوس لابلاتسيان دقة الاختبار الخطي (linear probing) على ImageNet وأداء التجزئة (segmentation) على ADE20K.
  • حقق ViT-S-5L أفضل mIoU في ADE20K (32.27%) مقارنة بالنموذج المرجعي (29.81%).
• الهندسة:
  • التجزئة: أظهرت تصورات PCA أن رؤوس لابلاتسيان أنتجت حدود أجسام أكثر حدة وحافظت على تفاصيل أدق (مثل أشكال الخوذات، أو أرقام القمصان) مقارنة بالنموذج المرجعي.
  • الاضمحلال الطيفي: على غرار نمذجة اللغة، أظهرت هذه النماذج اضمحلالاً طيفياً أسرع، مما ركز تمثيلات الرموز داخل الصورة في فضاء فرعي ذي أبعاد أقل.

الأهمية والادعاءات

تجادل الورقة بأن الرؤية السائدة — وهي أن التنعيم المفرط للرموز ضار دائماً — هي رؤية غير مكتملة. بدلاً من ذلك، يزعم المؤلفون أن التنعيم هو آلية لتعلم التمثيلات ويمكن أن يكون مفيداً عندما يتم التحكم فيه.

• الفوائد الخاصة بالمهام: "التنعيم" الناجم عن رؤوس لابلاتسيان ليس نمط فشل بل هو ميزة تتوافق مع أهداف المهام:
  • في التصنيف الخاضع للإشراف، يسهل الانهيار العصبي عبر جعل الرموز تنهار داخل التسلسلات ومحاذاة متوسطات التسلسلات مع هندسة الفئة.
  • في نمذجة اللغة، يعزز الانهيار اللغوي، مما يحسن القدرة على الفصل بين الرموز ذات الأهداف المستقبلية المتطابقة.
  • في التعلم ذاتي الإشراف، يركز التمثيلات في فضاءات فرعية ذات أبعاد أقل، مما يساعد المهام اللاحقة مثل التجزئة.
• الآلية: من خلال دمج الانتشار الرسومي (عبر لابلاتسيان) صراحةً في البنية، يكتسب النموذج القدرة على التحكم مباشرة في التباين داخل التسلسل، مما يؤدي إلى تمثيلات أكثر قوة وهيكلية هندسية.

يخلص المؤلفون إلى أنه على الرغم من أن تنفيذهم القائم على استراتيجية ثابتة قد يكون غير مثالي، إلا أن النتائج تشير إلى ضرورة دراسة التنعيم بشكل أكبر كعنصر أساسي في تعلم التمثيلات، بدلاً من اعتباره مجرد مشكلة يجب التخفيف من حدتها.