تخيل عالم الذكاء الاصطناائي كمكتبة ضخمة وصاخبة حيث تحاول روبوتات عملاقة (تسمى النماذج اللغوية الكبيرة) أن تتعلم القراءة والكتابة والتحليل. وللقيام بذلك، يتعين عليها معالجة جبال من المعلومات، مما يتطلب كمية هائلة من الطاقة والذاكرة. الأمر يشبه محاولة تشغيل حاسوب خارق ببطارية واحدة من نوع AA؛ هذا ببساطة لا يعمل بشكل جيد. يحاول العلماء جعل هذه الروبوتات أكثر كفاءة من خلال تعليمها التفكير باستخدام أرقام "أبسط". فبدلاً من استخدام أرقام عشرية معقدة وعالية الدقة (مثل قياس مسافة إلى جزء من المليون من المليمتر)، يحاولون استخدام أرقام خشنة مكونة من 4 بت (مثل القياس بالبوصات الكاملة). هذا يوفر مساحة وطاقة هائلتين. ومع ذلك، هناك عقبة: عندما تحاول هذه الروبوتات التعلم باستخدام هذه الأرقام الخشنة، فإنها غالباً ما ترتبك، وترتكب الأخطاء، وتتوقف عن التعلم تماماً. الأمر يشبه محاولة التنقل في متاهة باستخدام خريطة تغير قواعدها باستمرار.

الورقة البحثية التي ستطالعها تعالج هذا الارتباك تحديداً. فهي تسأل: لماذا يتسبب تعليم روبوتات الذكاء الاصطناعي هذه باستخدام أرقام بسيطة للغاية في تعطلها؟ اكتشف المؤلفون أن المشكلة ليست مجرد كون الأرقام بسيطة؛ بل في أن الطريقة التي تنظم بها هذه الروبوتات أرقامها تتغير عندما تنتقل من "التعلم للأمام" (قراءة جملة) إلى "التعلم للخلف" (التحقق من أخطائها). الأمر كما لو أن الروبوت يقرأ كتاباً من اليسار إلى اليمين، ولكن عندما يراجع ملاحظاته، فإنه فجأة يقرأها من اليمين إلى اليسار، مما يؤدي إلى بعثرة أرقام الصفحات وفقدان تسلسل الأحداث. تقترح الورقة حلاً ذكياً: طريقة جديدة لتنظيم الأرقام بحيث تظل القواعد ثابتة، بغض النظر عن الاتجاه الذي ينظر فيه الروبوت. هذا يسمح للروبوتات بالتعلم باستقرار، حتى باستخدام أبسط الأرقام، مما يجعل تدريبها أسرع وأرخص دون فقدان ذكائها.

---

لعبة تبديل الأرقام الكبرى: إصلاح خلل ذاكرة الذكاء الاصطناعي

هل تريد بناء ذكاء اصطناعي فائق الذكاء، لكن حاسوبك ينفد منه الوقود والذاكرة؟ الحيلة المعتادة هي إخبار الذكاء الاصطناعي باستخدام رياضيات "منخفضة الدقة". فكر في الأمر على هذا النحو: عادةً، يقيس الذكاء الاصطناعي الأشياء بمسطرة فائقة الدقة تحتوي على علامات صغيرة جداً (مثل BF16 أو FP8). ولكن لتوفير المساحة، نريد منه استخدام مسطرة تحتوي فقط على أربع علامات كبيرة وخشنة (FP4). هذا أسرع بكثير ويشغل مساحة أقل. ولكن إليك المشكلة: عندما يحاول الذكاء الاصطناعي التعلم بهذه العلامات الخشنة، فإنه غالباً ما ينهار. يبدأ في تقديم تخمينات عشوائية، ويتعطل التدريب.

لفترة طويلة، اعتقد العلماء أن المشكلة تكمن فقط في أن العلامات الخشنة ليست مفصلة بما يكفي. حاولوا إصلاح ذلك عبر تجميع الأرقام ومنح كل مجموعة "مقياساً" مشتركاً (طريقة لمد أو تقليص الأرقام لتناسب النطاق). نجح هذا بشكل جيد نوعاً ما، لكن الورقة البحثية الجديدة لمهدي رحيميفار وفريقه تقول: "انتظروا لحظة! لقد وجدنا الجاني الحقيقي".

الجاني هو خلل صغير ومراوغ يسمى التبديل (transposition).

مشكلة "من اليسار إلى اليمين مقابل من اليمين إلى اليسار"

تخيل أن لديك شبكة من الملاحظات اللاصقة على حائط، مرتبة في صفوف. تكتب رقماً على كل ملاحظة وتضع ملصقاً (Label) على الصف بأكمله لتوضيح حجم الأرقام. هذه هي الطريقة التي ينظم بها الذكاء الاصطناعي بياناته عادةً.

الآن، تخيل أن الذكاء الاصطناعي يتعلم. أولاً، يقرأ الملاحظات من اليسار إلى اليمين ("التمرير الأمامي" - forward pass). يرى الأرقام والملصقات، ويتعلم. ولكن بعد ذلك، للتحقق من عمله وتصحيح الأخطاء، يتعين عليه قلب الشبكة (وهذا ما يسمى "التبديل" في الرياضيات). فجأة، تتحول الصفوف إلى أعمدة.

إليك الكارثة: في الطريقة القديمة (المعروفة باسم التكميم أحادي البعد - 1D block quantization)، عندما تنقلب الشبكة، يتم إعادة ترتيب الملاحظات اللاقة في مجموعات جديدة. الملاحظة التي كانت في "المجموعة أ" مع ملصق معين، تصبح الآن في "المجموعة ب" مع ملصق مختلف تماماً. يفكر الذكاء الاصطناعي: "مهلاً، كنت أظن أن هذا الرقم صغيراً، لكن الملصق يقول الآن إنه ضخم!". هذا التناقض بين ما رآه الذكاء الاصطناعي أثناء التعلم وما يراه أثناء التحقق يخلق إشارة مربكة ومنحازة. الأمر يشبه محاولة اتباع وصفة طبخ حيث تتغير قائمة المكونات في كل مرة تقلب فيها الصفحة. والنتيجة؟ يصاب الذكاء الاصطناعي بالدوار، ويصبح التدريب غير مستقر، ويفشل في التعلم.

حل المربعات ثنائية الأبعاد

كان لدى مؤلفي هذه الورقة فكرة عبقرية: لا تسمح للمجموعات بالتغير عندما تقلب الشبكة.

اقترحوا استخدام كتل مربعة ثنائية الأبعاد. تخيل بدلاً من صفوف طويلة من الملاحظات اللاصقة، أن تقوم بترتيبها في مربعات مثالية (مثل لوحة شطرنج 32×32). عندما تقلب شبكة مربعة، تظل المربعات مربعات. الملاحظات التي كانت في المربع العلوي الأيسر لا تزال في مربع يتوافق مع نفس المجموعة، ولكن بشكل مقلوب فقط. الملصق (المقياس) يظل كما هو تماماً لتلك الأرقام، سواء كان الذكاء الاصطناعي يقرأ للأمام أو للخلف.

من خلال فرض هذه القاعدة المقاومة للتبديل (transposition-invariant)، لا يعود الذكاء الاصطناعي يشعر بالارتباك. فالأرقام التي يراها أثناء التعلم هي نفسها الأرقام التي يراها أثناء التصحيح. هذا التغيير البسيط يزيل "الدوار" ويسمح للذكاء الاصطناعي بالتدريب باستقرار باستخدام أرقام FP4 فائقة البساطة.

شبكة الأمان: لا قص ولا تخمين عشوائي

ولكن انتظر، هناك المزيد! لم يكن مجرد إصلاح المجموعات كافياً. لأن أرقام FP4 بسيطة جداً، يمكنها بسهولة أن تصبح كبيرة جداً (تجاوز الحد - overflow) أو يتم تقريبها بطريقة تؤدي إلى انحياز (مثل التقريب للأعلى دائماً).

لإصلاح ذلك، أضاف الفريق ميزتين للأمان:

1. القياس الخالي من القص (Truncation-Free Scaling): بدلاً من قطع الأرقام التي تكون كبيرة جداً (مما يشوه البيانات)، يقومون بتعديل "المسطرة" نفسها بحيث يتسع النطاق لـ كل رقم براحة. الأمر يشبه مد المسطرة بحيث يمكن لأطول شخص في الغرفة أن يتسع له دون أن يُقطع رأسه.
2. التقريب العشوائي (Stochastic Rounding): عندما يقع رقم بين علامتين على المسطرة، بدلاً من التقريب دائماً إلى أقرب علامة (مما يخلق انحيازاً)، يقوم الذكاء الاصطناعي برمي عملة معدنية. أحياناً يقرب للأعلى، وأحياناً للأسفل. ومع مرور الوقت، يظل المتوسط دقيقاً تماماً. إنها مثل لعبة عادلة لا يغش فيها أحد.

"الخلطة السرية" لآلية الانتباه (Attention)

هناك جزء معقد في دماغ الذكاء الاصطناعي يسمى "الانتباه" (Attention)، حيث يقرر النموذج أي الكلمات في الجملة هي الأكثر أهمية. هذا الجزء حساس للغاية. إذا استخدمت أرقام FP4 البسيطة هنا، فسيصاب الذكاء الاصطناعي بالارتباك.

لذلك، ابتكر المؤلفون استراتيجية الدقة المختلطة (mixed-precision). فهم يستخدمون أرقام FP4 عالية الكفاءة للقيام بالعمليات الحسابية الثقيلة (العمل الرئيسي)، لكنهم يستخدمون تنسيقاً أكثر دقة قليلاً (MXFP8) لجزء "الانتباه" فقط. الأمر يشبه استخدام مجرفة خشنة وسريعة لحفر حفرة كبيرة، ثم الانتقال إلى أداة دقيقة للعمل في حوض الزهور الرقيق في المنتصف. هذا يحافظ على سرعة وكفاءة النظام بأكمله مع حماية الأجزاء الأكثر حساسية.

هل ينجح الأمر حقاً؟

اختبر الفريق هذه الفكرة على بعض نماذج الذكاء الاصطناعي الضخمة جداً، بما في ذلك النماذج التي تصل إلى 30 مليار معلمة (parameter) (هذا عدد هائل من الخلايا العصبية!). وقاموا بتدريبها على ما يصل إلى 100 مليار توكن (token) (كلمات ورموز).

كانت النتائج مبهرة:

• الاستقرار: تدربت النماذج بسلاسة من البداية إلى النهاية. الطرق القديمة التي لم تستخدم خدعة المربعات ثنائية الأبعاد كانت تتعطل في وقت مبكر.
• الأداء: أدت نماذج الذكاء الاصطناعي التي تدربت بهذه الطريقة الجديدة أداءً يكاد يطابق النماذج التي تدربت باستخدام الأرقام الثقيلة والبطيئة عالية الدقة. الفرق في الجودة كان ضئيلاً جداً — أقل من 1.3% في بعض الاختبارات.
• الكفاءة: وفروا قدراً هائلاً من الذاكرة (حوالي 65% أقل) ويمكن نظرياً تشغيلها بسرعة أكبر بمقدار 3.5 مرة على الأجهزة المستقبلية المصممة لهذا الغرض.

الخلاصة

تشير هذه الورقة إلى أن العقبة الأكبر أمام جعل تدريب الذكاء الاصطناعي فائق الكفاءة لا تتعلق فقط باستخدام أرقام أصغر؛ بل تتعلق بالتأكد من أن تلك الأرقام تتصرف باستمرار، بغض النظر عن كيفية نظر الذكاء الاصطناعي إليها. من خلال الانتقال من الصفوف الفوضوية والمتغيرة إلى المربعات المنظمة والمستقرة، وجد المؤلفون طريقة لجعل تدريب الذكاء الاصطناعي سريعاً جداً وصلباً للغاية.

بالطبع، لا تزال هناك بعض العقبات. اضطر الفريق لمحاكاة هذا على الحواسيب الحالية لأن الرقائق الخاصة التي يمكنها القيام بهذا النوع من الحسابات بشكل أصلي ليست متوفرة على نطاق واسع بعد. لكن الرياضيات صحيحة، والطريق نحو المستقبل واضح: إذا أردنا أن يكون الذكاء الاصطناعي أسرع وأرخص، فعلينا التوقف عن خلط الأرقام والحفاظ على اتساق القواعد.