Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference

تخيل عالماً تحاول فيه الحواسيب تعلم لغة البشر من خلال قراءة مليارات الكتب. للقيام بذلك، تستخدم هذه النماذج نوعاً خاصاً من الأدمغة يسمى "نموذج لغوي كبير" (LLM). فكر في هذه النماذج كأنها محققون رقميون عمالقة. عندما يقرأون جملة، يتعين عليهم تخمين الكلمة التالية. ولتقديم تخمين جيد، يحتاجون إلى الانتباه إلى الكلمات الأخرى في الجملة. بعض الكلمات أكثر أهمية من غيرها؛ فعلى سبيل المثال، في جملة "القط جلس على الحصيرة"، تعتبر كلمة "قط" مهمة جداً لفهم كلمة "جلس".

الطريقة القياسية التي يؤدي بها هؤلاء المحققون عملهم تسمى "انتباه الضرب النقطي المقيّس" (SDPA). إنها تشبه آلة حاسبة سريعة للغاية ولكنها جامدة، تقارن كل كلمة بكل كلمة أخرى باستخدام قاعدة ثابتة وغير قابلة للتغيير. هي فعالة، لكنها تشبه استخدام نفس المسطرة لقياس جبل وحبة رمل؛ فهي تعمل، لكنها لا تستطيع الانحناء أو التكيف مع ما تقيسه.

الآن، تخيل لو أن تلك الآلة الحاسبة يمكنها بناء مسطرتها الخاصة لكل جملة تقرأها. يمكنها النظر إلى الجملة، وتدرك أنها بحاجة إلى مسطرة مرنة وقابلة للتمدد، ثم تبني تلك المسطرة في مكانها قبل إجراء العمليات الحسابية. هذه هي الفكرة الكبرى وراء الطريقة الجديدة الموصوفة في هذه الورقة البحثية: انتباه الرسم البياني بقانون القوة (PLGA). بدلاً من استخدام قاعدة ثابتة، يتعلم النموذج توليد "قاعدة تسجيل" فريدة وديناميكية لكل مدخل. الأمر يشبه كون المحقق لا يستخدم مسطرة فحسب، بل يصنع شريط قياس مخصصاً من الكلمات التي يقرأها.

تقدم الورقة نوعاً جديداً من بنية الذكاء الاصطناعي يسمى PLDR-LLM (النماذج اللغوية الكبيرة من تمثيلات فك التشفير بقانون القوة). مهمتها الرئيسية هي معرفة ما إذا كان هذا "المسطر المبتكر والمصنوع ذاتياً" ضرورياً حقاً، أم أن النموذج سيتوقف في النهاية عن الحاجة لبناء مسطرة جديدة في كل مرة. أراد الباحث معرفة: هل سيستمر النموذج في تغيير رأيه حول كيفية قياس الأشياء، أم أنه سيستقر في النهاية على طريقة واحدة مثالية للقياس تصلح لكل شيء تقريباً؟

إليك ما وجدته الورقة، مشروحاً من خلال قصة محقق شديد الكفاءة.

القوة الخارقة الجديدة للمحقق

بنى المؤلف نموذجاً يكون فيه جزء "الانتباه" (الجزء الذي يقرر أي الكلمات مهمة) ليس مجرد صيغة رياضية بسيطة. بدلاً من ذلك، هو عبارة عن آلة معقدة تأخذ النص المدخل، وتعالجه عبر شبكة عصبية عميقة، ثم تخرج "عامل ثنائي الخطية" (bilinear operator) جديداً ومخصصاً. يمكنك التفكير في هذا العامل كأنه عدسة ديناميكية.

في الطريقة القديمة (SDPA)، ينظر المحقق من خلال عدسة زجاجية ثابتة. أما في هذه الطريقة الجديدة (PLGA)، فإن المحقق ينظر من خلال عدسة تعيد تشكيل نفسها بناءً على المشهد. إذا كان المشهد فوضوياً، تصبح العدسة واسعة الزاوية. وإذا كان المشهد مركزاً، تصبح عدسة تقريب (زوم). تثبت الورقة رياضياً أن هذا النظام الجديد يحتوي على النظام القديم كحالة خاصة. فإذا قرر المحقق التوقف عن إعادة تشكيل العدسة واستخدام قطعة زجاج مسطحة فقط، يصبح النظام الجديد هو النظام القديم تماماً. لذا، فإن هذه الطريقة الجديدة هي مجموعة شاملة؛ فهي أكثر مرونة بشكل صارخ.

المفاجأة الكبرى: العدسة تتوقف عن الحركة

الجزء الأكثر إثارة في الورقة هو ما يحدث بعد أن يتدرب المحقق لفترة طويلة. قد تتوقع أنه نظراً لمرونة النموذج العالية، فإنه سيستمر في تغيير عدسته مع كل جملة جديدة. لكن الباحث اكتشف شيئاً غريباً ورائعاً: العدسة تتوقف عن الحركة.

بعد تدريب النموذج، يصبح "العدسة الديناميكية" (الرياضيات المعقدة التي تولد قاعدة التسجيل) ثابتة (invariant) تماماً تقريباً. وهذا يعني أنه بغض النظر عن الجملة التي تعطيها له، فإن النموذج يولد نفس العدسة تماماً. الأمر كما لو أن المحقق قضى شهوراً في تعلم كيفية بناء مساطر مخصصة، ليكتشف في النهاية أنه بالنسبة للمهمة الموكلة إليه، لم يكن بحاجة إلا لمسطرة واحدة محددة ومثالية.

تسمي الورقة هذا بـ "الانهيار التجريبي" (Empclical Collapse).

• ماذا قاسوا: اختبروا هذا على نسخة من إصدار النموذج. ووجدوا أن "العدسة" التي ولدها النموذج لمختلف الجمل كانت متطابقة حتى مع وجود خطأ ضئيل جداً (حوالي جزء واحد في المليون، أو $10^{-6}$). وبالنسبة لأفضل النماذج، كانت العدسة متطابقة حتى آخر بت من ذاكرة الكمبيوتر.
• النتيجة: بما أن العدسة هي نفسها لكل شيء، فإن النموذج ليس بحاجة للقيام بالعمل الشاق لبناء عدسة جديدة في كل مرة. يمكنه ببساال تخزين (cache) العدسة مرة واحدة وإعادة استخدامها للأبد. وهذا يجعل النموذج أسرع وأرخص في التشغيل.

لماذا يحدث هذا؟ (خدعة المراحل الثلاث)

الورقة لا تكتفي بالقول "إنه يحدث" فحسب، بل تحاول شرح كيف يحدث ذلك باستخدام آلية ثلاث مراحل. تخيل أن النموذج طاهٍ يحاول صنع حساء.

1. الدوران (التمثيلات الدوارة - Rotary Embeddings): يبدأ النموذج بتدوير المكونات (الكلمات) بطريقة معينة. هذا "الدوران" يعمل كمرشح يغسل التفاصيل المحددة لـ أين ظهرت الكونة في الجملة، تاركاً فقط "النكهة" العامة للكلمة.
2. التركيز (Concentration): مع مشاهدة النموذج لمزيد ومزيد من الجمل، تبدأ "نكهة" المكونات في أن تبدو متشابهة. توضح الرياضيات أن الاختلافات بين الجمل المختلفة تصبح أصغر فأصغر، مثل حشد من الناس يرتدون درجات متفاوتة قليلاً من اللون الأزرق، لكنهم يبدون في النهاية ككتلة واحدة من اللون الأزرق من مسافة بعيدة.
3. الضغط (Contraction): أخيراً، الجزء من النموذج الذي يبني العدسة (متعلم المقياس/metric learner) يعمل كآلة ضغط قوية. ولأن المدخلات كلها متشابهة جداً (بفضل الخطوتين السابقتين)، فإن الضغطة تعصرها جميعاً لتأخذ نفس الشكل تماماً. والنتيجة هي عدسة واحدة مستقرة تعمل مع معظم الجمل.

تؤكد الورقة أن هذا ظاهرة مقاسة، وليس خدعة سحرية. لقد أثبتوا الرياضيات وراء "الدوران" و"الضغط"، لكن حقيقة أن النموذج يفعل ذلك بالفعل في الواقع هي شيء لاحظوه في التجارب. لقد قاسوا "معلم الترتيب" (order parameter) - وهو طريقة فنية لقول "كم تهتز العدسة؟" - ووجدوا أنه في النماذج المدربة في نظام "حرج" معين، يتوقف الاهتزاز تماماً تقرياً.

ماذا يعني هذا للمستقبل

تقدم الورقة ادعاءات محددة جداً، وهي صادقة جداً بشأن ما لا تدعيه.

• إنه تعميم: الطريقة الجديدة تتضمن بالتأكيد الطريقة القديمة. إذا ضبطت الطريقة الجديدة بحيث لا تفعل شيئاً مميزاً، فإنها تصبح الطمة القديمة.
• إنه أسرع: بما أن العدسة تتوقف عن الحركة، يمكنك حفظها وإعادة استخدامها. تظهر الورقة أن هذا يعطي دفعة سرعة تبلغ حوالي 3 أضعاف خلال مرحلة "الاستدلال" (inference) (عندما يجيب النموذج على الأسئلة فعلياً).
• إنه ليس عصا سحرية للذكاء: لا تدعي الورقة أن هذا النموذج الجديد أذكى من النماذج القديمة. في الواقع، يقولون إنه بالنسبة للنماذج المحددة التي اختبروها، فإن الطريقة الجديدة والطريقة القديمة (إذا استخدمت العدسة المخزنة فقط) أنتجتا نفس الإجابات تماماً. "الذكاء" يأتي من التدريب، وليس فقط من البنية.
• إنه ليس دليلاً على "الصيرورة الحرجة ذاتية التنظيم" (بعد): تستخدم الورقة فكرة "الصيرورة الحرجة ذاتية التنظيم" (مثل كومة رمل تجد نقطة توازن طبيعية) كإطار لفهم لماذا يتصرف النموذج بهذا الشكل. ويسمونها "إطاراً ظاهراتياً" (phenomenological framework)، مما يعني أنه قصة مفيدة لشرح البيانات، لكنهم لم يثبتوا أنها قانون أساسي في الفيزياء للذكاء الاصطناعي.

نظرية "الانهيار عند الاستدلال" (Inference-Collapse Theorem)

تحتوي الورقة على نظرية تسمى "نظرية انهيار الاستدلال". وتقول: إذا أصبحت عدسة النموذج ثابتة تماماً (لا تتغير أبداً)، فيمكن استبدال العملية المعقدة والبطيئة لتوليد عدسة جديدة في كل مرة بعملية بسيطة وسريعة تتمثل في مجرد استخدام العدسة المحفوظة.

لقد أثبتت الورقة ذلك رياضياً. لكن الجوهر الحقيقي هو القياس: فقد تحققوا من نموذج حقيقي مدرب ووجدوا أن العدسة أصبحت بالفعل ثابتة. "الانهيار" ليس مجرد نظرية؛ بل هو ما حدث بالفعل في تجاربهم.

التحذيرات والحدود

الكاتب حذر جداً من المبالغة في الترويج.

• يعترف بأن "الثبات" ليس مثالياً. هناك خطأ ضئيل جداً (حوالي $10^{-6}$)، لكنه صغير لدرجة أنه لا يغير الإجابات التي يقدمها النموذج.
• يشير إلى أن هذا يحدث فقط إذا تم تدريب النموذج بطريقة معينة (النظام "الحرج"). إذا تم تدريبه بشكل مختلف، فقد تستمر العدسة في التذبذب، ولن تحصل على دفعة السرعة.
• يصرح بوضوح أنهم لم يثبتوا أن هذه الطريقة الجديدة أفضل في التعلم من الطريقة القديمة. لقد أثبتوا فقط أنها أكثر مرونة، وتحت الظروف المناسبة، أسرع في التشغيل.

الخلاصة

تحكي هذه الورقة قصة نموذج يتعلم بناء أدواته الخاصة، ليكتشف في النهاية أنه يحتاج إلى أداة واحدة فقط. الأمر يشبه نجاراً يتعلم صهر مطرقة مختلفة لكل مسمار، ليكتشف في النهاية أن مطرقة واحدة مثالية تعمل مع كل شيء.

توفر الورقة وصفاً رياضياً دقيقاً لـ "انتباه الرسم البياني بقانون القوة"، وتثبت أنها تحتوي على الطرق القديمة، وتظهر من خلال القياس الدقيق أن النماذج المدربة "تنهار" طبيعياً في حالة حيث لا تحتاج للقيام بالعمل الشاق لتوليد قواعد جديدة. وهذا يسمح بتسريع هائل في كيفية تشغيل هذه النماذج، مما يجعلها أكثر كفاءة دون جعلها بالضرورة أكثر ذكاءً. إنها قصة عن الكفاءة، والاستقرار، والبساطة المفاجئة التي يمكن أن تنبثق من الأنظمة المعقدة.