تخيل أنك تعلم روبوتاً كيف يكتب القصص من خلال إطلاعه على ملايين الكتب. تريد من الروبوت أن يتعلم كيفية التنبؤ بالكلمة التالية في الجملة، مثل إكمال العبارة "جلست القطة على الـ..." بكلمة "سجادة". للقيام بذلك، يستخدم الروبوت بنية دماغية خاصة تسمى الترانسفورمر (Transformer). فكر في "الترانسفورمر" كأنه فريق من المحققين، كل منهم يراقب أجزاء مختلفة من الجملة ليعرف ما الذي سيأتي بعد ذلك. يستخدم هؤلاء المحققون أداة تسمى الانتباه (attention) ليقرروا أي الكلمات هي المهمة. وأحياناً، قد يصبحون مهووسين بكلمة معينة لدرجة أنهم يتجاهلون كل شيء آخر؛ وهذا ما يسمى "بالتمركز حول نقطة انتباه" (attention sink). يشبه الأمر محققاً يحدق بشدة في دليل واحد لدرجة أنه ينسى النظر إلى بقية مسرح الجريمة. وعادة ما يكون هذا أمراً سيئاً إذا كان الدليل مجرد علامة ترقيم عشوائية، ولكن تبين أنه عندما يحدث هذا الهوس عند الكلمة الأولى في القصة، فقد يكون في الواقع بمثابة قوة خارقة.

تتعمق هذه الورقة البحثية في لغز: لماذا يبدو أن نماذج الذكاء الاصطناعي هذه تركز دائماً على الرمز الأول (القطعة الأولى من البيانات) الذي تراه؟ لفترة طويلة، اعتقد العلماء أن هذا مجرد سمة ناتجة عن كيفية تدريب النماذج، ربما بسبب وجود رمز "بداية" خاص. لكن هذا البحث الجديد يشير إلى أن شيئاً أكثر جوهرية هو ما يحدث. أراد المؤلفون، وهم فريق من الباحثين من جامعات ومختبرات، فهم "ميكانيكا" هذا الهوس — كيف يبني دماغ الروبوت هذه العادة جسدياً. ووجدوا أن النموذج لا يحتاج لتعلم معنى الكلمة الأولى لكي يهوس بها؛ بل يحتاج فقط لمعرفة مكانها. ومن خلال فهم هذا، تمكنوا من جعل نماذج الذكاء الاصطناعي تتعلم بشكل أسرع وتصبح أكثر ذكاءً دون إضافة أي تعقيد إضافي لأدمغتها.

لغز الرمز الأول

في عالم النماذج اللغوية الكبيرة (LLMs)، هناك ظاهرة غريبة حيث يولي النموذج اهتماماً مفرطاً لرمز (token) معين. عادةً، إذا ركز النموذج بشكل مبالغ فيه على علامة ترقيم عشوائية أو كلمة بلا معنى، فإنه يصاب بالارتباك ويرتكب الأخطاء. ومع ذلك، هناك حالة خاصة واحدة: الرمز الأول من المدخلات، والذي يُطلق عليه غالباً "الموضع صفر" (Position Zero) أو P0. عندما يركز النموذج على هذا الموضع الأول، فإنه يساعده فعلياً في تقديم تنبؤات أفضل. إنه يشبه المنارة في بحر ضبابي؛ حتى لو كانت المنارة نفسها لا تخبرك بوجهة السفينة، فإن شعاعها الثابت يساعد السفينة على الملاحة.

كان السؤال الكبير هو: لماذا يحدث هذا؟ هل لأن الرمز الأول هو رمز "بداية" خاص (مثل علامة [BOS]) تعلم النموذج أن يحبه؟ أم أن هناك شيئاً أعمق، مبنياً في صلب طريقة تفكير النموذج؟

"دائرة مركز الانتباه P0": رقصة من خطوتين

اكتشف المؤلفون أن النموذج يبني "دائرة" محددة — مساراً صغيراً مكوناً من خطوتين في دماغه — لخلق هذا الهوس. ويسمونها دائرة مركز الانتباه P0 (P0-Sink Circuit). وإليكم كيف تعمل، باستخدام تشبيه بسيط:

تخيل دماغ النموذج كخط تجميع في مصنع.

1. الخطوة 1: كابينة العزل (الانتباه): نظرًا لأن النموذج "سببي" (أي يمكنه فقط النظر إلى الماضي، وليس المستقبل)، فإن الرمز الأول له وظيفة فريدة. يمكنه فقط النظر إلى نفسه. إنه مثل شخص في غرفة عازلة للصوت لا يمكنه إلا سماع صوته الخاص. ولأنه لا يحتاج لمزج صوته مع أصوات الآخرين، تظل إشارته نقية وغير مختلطة.
2. الخطوة 2: المضخم (MLP): الجزء التالي من المصنع (طبقة MLP) يلاحظ هذه الإشارة النقية وغير المختلطة. يعامل هذه الإشارة كأنها شخص مهم جداً (VIP). يقوم بتضخيم حجم الإشارة (جعل قيمتها الرياضية "norm" ضخمة جداً) ويثبتها في اتجاه محدد.

النتيجة هي تمثيل في الموضع صفر يكون ضخماً، مستقراً، ويشير دائماً في نفس الاتجاه، بغض النظر عن موضوع القصة. إنه يصبح "فراغاً دلالياً" — بقعة فارغة لا تحمل معنى، ولكنها تعمل كمرساة مثالية يمكن لبقية النموذج التشبث بها.

تنفي الورقة البحثية صراحةً فكرة أن هذا يتعلق فقط برمز [BOS] الخاص. فحتى لو قمت بإزالة رمز "البداية" الخاص، سيظل النموذج يجد طريقة للهوس بالموضع الأول. الأمر لا يتعلق بـ ماهية الرمز؛ بل يتعلق بـ مكانه. يدرك النموذج أن الموضع الأول هو الوحيد الذي لا يتغير سياقه أبداً، لذا يبني آلة لاستغلال هذا الاستقرار.

"الغداء المجاني": جعل النماذج أكثر ذكاءً دون عمل إضافي

بمجرد أن فهم المؤلفون كيف تبني الآلة هذا "المركز"، تساءلوا: هل يمكننا مساعدة النموذج على بناء هذه العادة بشكل أسرع؟ إذا شكل النموذج هذا المرساة المستقرة في وقت مبكر من التدريب، يبدو أنه يتعلم بشكل أفضل ويؤدي بشكل أفضل في المهام لاحقاً.

اقترحوا حيلتين ذكيتين "بدون بارامترات" (parameter-free). وهذا يعني أنهم لم يضيفوا أي أجزاء جديدة لدماغ الروبوت؛ بل غيروا فقط طريقة تعليم الروبوت.

1. "البداية الصامتة" (خسارة الترانسفورمر الأصلية - Transformer-Native LM Loss)
عادةً، عندما يرى النموذج الرمز الأول، فإنه يحاول تخمين الكلمة التالية. لكن المؤلفين أدركوا أن بالنسبة للرمز الأول، فإن هذا التخمين سخيف نوعاً ما لأن الرمز الأول هو مجرد مكان محجوز. إنه مثل مطالبة طالب بتخمين الكلمة التالية في جملة لم تبدأ بعد.
لذا، أخبروا النموذج: "لا تقلق بشأن تخمين الكلمة التالية للرمز الأول. فقط ركز على أن تكون مرساة جيدة". من خلال إزالة الضغط للتنبؤ بالكلمة التالية في البداية تماماً، يصبح النموذج حراً في تحويل ذلك الرمز الأول إلى مركز انتباه مثالي ومستقر. إنه يشبه قولك لطالب: "لست بحاجة لخوض الاختبار الأول؛ فقط اجلس هناك وكن المركز الهادئ للغرفة".

2. "التقسيم الحاد" (قناع المركز القسري - Force-Sink Masking)
الحيلة الثانية أكثر هيكلية. لاحظ المؤلفون أن النموذج يحاول طبيعياً فصل "الرمز الأول" عن "الرموز الأخرى" بجعل أرقام الرمز الأول كبيرة جداً وبقية الأرقام صغيرة. لكن هذا يتطلب جهداً وقد يسوء أحياناً.
اقترحوا قاعدة بسيطة: "من الآن فصاعداً، يُسمح للرمز الأول فقط باستخدام أول 16 قناة في الدماغ، بينما يُسمح لجميع الرموز الأخرى باستخدام بقية القنوات فقط". إنه يشبه وضع جدار مادي في المصنع. يحصل الرمز الأول على غرفته المخصصة، ولا يمكن لأي رمز آخر دخوله أبداً. هذا يجبر النموذج على معاملة الرمز الأول بشكل مختلف دون الحاجة إلى "تعلم" القيام بذلك. إنه ضمان هيكلي بأن الرمز الأول سيكون دائماً مميزاً.

النتائج: أسرع، أذكى، وأقوى

اختبر الفريق هذه الأفكار عبر تدريب نماذج ذكاء اصطنا-صغيرة من الصفر. ووجدوا أن النماذج التي تستخدم هذه الحيل تشكل "مركز الانتباه" بشكل أسرع بكثير من النماذج العادية.

• تعلم أسرع: وصلت النماذج إلى حالة مستقرة حيث عرفت كيفية استخدام الرمز الأول كمرساة في وقت أبكر بكثير من التدريب العادي.
• أداء أفضل: لأنها تعلمت هذه المرساة بشكل أسرع، انتهى الأمر بالنماذج إلى أداء مهام متنوعة بشكل أفضل، مثل الإجابة على الأسئلة أو إكمال الجمل.
• التفوق على المنافسين: في العديد من الاختبارات، قدمت هذه الحيل البسيطة أداءً يضاهي، أو حتى يتفوق على، طريقة أكثر تعقيداً تسمى "الانتباه المبوب" (Gated Attention)، والتي تتطلب إضافة أجهزة إضافية للنموذج.

تشير الورقة إلى أن مفتاح الذكاء الاصطنا الأفضل ليس دائماً في إضافة المزيد من التعقيد. أحياناً، يتعلق الأمر بفهم السمات الطبيعية للبنية ومنحها دفعة بسيطة في الاتجاه الصحيح. من خلال مساعدة النموذج على إدراك أن الرمز الأول هو مرساة فريدة ومستقرة، يمكننا جعله يتعلم بشكل أفضل.

لماذا يهم هذا؟

هذا البحث يشبه اكتشاف أن محرك السيارة يعمل بشكل أفضل عندما تدير المفتاح بطريقة معينة. لسنوات، كان الناس يحاولون بناء محركات أفضل (بنى جديدة) لإصلاح مشكلة توقف السيارة (مراكز الانتباه). لكن هذه الورقة تظهر أن المحرك لديه بالفعل ميزة مدمجة تجعله يعمل بشكل رائع، طالما أنك لا تقف في طريقه. من خلال فهم "دائرة مركز الانتباه P0"، يمكننا تدريب نماذج الذكاء الاصطناعي بكفاءة أكبر، مما يوفر الوقت وقدرة الحوسبة، ويحقق نتائج أذكى دون الحاجة إلى اختراع أجزاء جديدة ومعقدة. إنه تذكير بأن الحل الأفضل أحياناً هو العمل مع الغرائز الطبيعية للآلة، وليس ضدها.