Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning
تقدم الورقة البحثية Intern-S2-Mobius، وهي بنية نموذج تأسيسي تفصل بين تخزين المعرفة في وحدة ذاكرة مشتركة وبين الاستدلال التركيبي التكراري في أدوات استدلال مخصصة، محققة أداءً مماثلاً لنماذج Transformer المرجعية مع تقليل بيانات التدريب بشكل كبير وسرعة استنتاج تبلغ 4 أضعاف تقريباً.
تخيل أنك تحاول بناء العقل الأسمى لروبوت. طوال العقد الماضي، كانت أقوى العقول التي بنيناها تعتمد على تصميم يسمى "المحول" (Transformer). فكر في "المحول" كأنه مكتبة ضخمة متعددة الطوابق، حيث كل كتاب (قطعة من المعرفة) مغلق داخل غرفة محددة في طابق معين. ولإيجاد حقيقة ما، يتعين على الروبوت صعود السلالم، غرفة تلو الأخرى، وفحص كل كتاب في كل غرفة حتى يجد ما يحتاجه. هذا الأسلوب يعمل بشكل جيد، لكنه بطيء، ويتعين على الروبوت حمل المكتبة بأكملها معه في كل مرة يتحرك فيها. لقد حاول العلماء جعل هذه العقول أكثر ذكاءً عبر مجرد جعل المكتبات أكبر وإضافة المزيد من الكتب، لكنهم اصطدموا بحائط مسدود: الروبوتات أصبحت باهظة التكلفة في التشغيل، وهي أحياناً تتعثر في كثرة الكلام لمجرد العثور على إجابة بسيطة. السؤال الكبير الآن هو: هل يمكننا إعادة تصميم العقل نفسه بحيث لا يضطر لحمل المكتبة بأكملها، ولكن يمكنه أيضاً إيجاد الإجابات بشكل أسرع وأذكى؟
هذا هو بالضبط ما يقترحه فريق "Intern-S2-Mobius" من مختبر شنغهاي للذكاء الاصطناعي في ورقتهم البحثية الجديدة. إنهم يقدمون بنية جديدة تسمى "موبيوس" (Mobius)، والتي تحاول حل المشكلة عن طريق تقسيم العقل إلى جزأين متميزين: "مستودع معرفة" ضخم ومشترك، وفريق من "عمال الاستنتاج". بدلاً من حبس المعرفة داخل غرف مبنى متعدد الطوابق، يضع "موبيوس" كل المعرفة في قاعدة بيانات ضخمة ومشتركة يمكن لكل عامل الوصول إليها فوراً. هؤلاء العمال (الذين يُطلق عليهم اسم المستنتجين - Reasoners) لا يكتفون بقراءة كتاب ثم المضي قدماً؛ بل يمكنهم التنقل ذهاباً وإياباً، وسؤال المستودع عن حقائق محددة، والتفكير فيها، وتكرار صياغة إجابتهم في حلقة مستمرة قبل أن ينطقوا بكلمة واحدة.
تشير الورقة البحثية إلى أن هذا التصميم "المفكك" يعد تغييراً جذرياً لقواعد اللعبة. ففي تجاربهم، وجدوا أن نموذج "موبيوس" يمكنه التعلم بنفس كفاءة "المحول" التقليدي ولكن باستخدام 62.6% فقط من بيانات التدريب. والأكثر إثارة للإعجاب هو أنه عندما قاموا بترقية نموذج ضخم مكون من 35 مليار معلمة لاستخدام تصميم "موبيوس"، لم يكتفِ بمجرد مواكبة النمط القديم، بل أصبح أسرع بنحو 4 مرات في تقديم الإجابات. يبدو أن "الخلطة السرية" تكمن في أن "موبيوس" يمنع الروبوت من الثرثرة بصوت عالٍ أثناء تفكيره. فبدلاً من توليد سلسلة طويلة ومسهبة من الأفكار (مثل "الخطوة 1، الخطوة 2، الخطوة 3...")، يقوم نموذج "موبيوس" بالعمل الشاق في مساحة خفية وصامتة، ويقوم بتنقيح أفكاره حتى يصبح جاهزاً لإخراج إجابة قصيرة ومثالية.
ومع ذلك، فإن المؤلفين حذرون من القول بأن هذا ليس عصا سحرية تحل كل شيء بعد. فهم يشيرون إلى أنه بينما يعد هذا التصميم رائعاً من حيث الكفاءة والسرعة، إلا أنه قد يحتاج إلى أجهزة (Hardware) جديدة ليعمل بشكل مثالي في المستقبل، ولا يزال قيد الاختبار لمعرفة ما إذا كان بإمكانه حقاً "التطور" من تلقاء نفسه أو نمذجة العالم المادي المستمر. ولكن في الوقت الحالي، تظهر النتائج مساراً واعداً: فمن خلال الفصل بين ما نعرفه وكيف نفكر، قد نتمكن أخيراً من بناء ذكاء اصطناعي يتسم بالذكاء الشديد والكفاءة المذهلة في آن واحد.
ملخص تقني: Intern-S2-Mobius: نموذج تأسيسي بمعرفة واستدلال منفصلين
1. بيان المشكلة
يواجه تطوير النماذج التأسيسية (Foundation Models) حالياً عقبة مزدوجة. أولاً، تقترب قوانين القياس (Scaling Law) السائدة من مرحلة العوائد المتناقصة؛ فمجرد زيادة معلمات النموذج، أو بيانات التدريب، أو أطوال سلاسل الاستدلال لا يؤدي إلا إلى مكاسب قدرات متزايدة التضاؤل مقابل تكاليف تزداد بشكل أسّي. ثانياً، في حين أدت سلاسل التفكير الطويلة (CoT) إلى تحسين الأداء في مجالات مثل الرياضيات والبرمجة، إلا أنها غالباً ما تؤدي إلى مخرجات فضفاضة ومكررة تُضعف كفاءة الاستدلال.
وعلى العكس من ذلك، فإن محاولات تقليل التعقيد المعماري (مثل آلية الانتباه الخطي أو نماذج الحالة الفراغية SSMs) لتحسين الكفاءة غالباً ما جاءت على حساب فقدان كبير في القدرات، مما يجعلها غير مناسبة للنشر التجاري. وتتمثل المشكلة الجوهرية المحددة في الارتباط الوثيق بين تخزين المعرفة (شبكات التغذية الأمامية - FFN) وعمليات الاستدلال (الانتباه الذاتي - Self-Attention) ضمن الهيكل الهرمي أحادي الاتجاه لنموذج الـ Transformer. هذا الارتباط يجبر النماذج على الاعتماد على التوليد المتكرر عبر الوسيط الرمزي (token-mediated)، مما يؤدي إلى استهلاك غير فعال للحوسبة وتكرار مفرط للرموز (tokens).
2. المنهجية: بنية Mobius
لمعالجة هذه القيود، يقترح المؤلفون Mobius، وهي بنية تفصل بين المعرفة والاستدلال. يعتمد التصميم على ابتكارين رئيسيين:
2.1. فصل المعرفة عن الاستدلال
على عكس نموذج Transformer، حيث ترتبط شبكات التغذية الأمامية (FFN) بطبقات محددة، يقدم Mobius ما يلي:
ذاكرة مشتركة عالمية (FFN): قاعدة بيانات متجهة ضخمة للمعرفة يتم مشاركتها عبر جميع الطبقات، ويتم بناؤها عبر التوصيل الأفقي (مع تقسيم كتلي مشابه لنموذج Mixture of Experts عند المقاييس الأكبر) لمتجهات المعرفة. تعمل هذه القاعدة كمستودع لمتجهات المعرفة.
مستدللات متعددة (الانتباه الذاتي): عدة وحدات من "الانتباه الذاتي" تقوم بالاستعلام بشكل متكرر من الذاكرة المشتركة.
الآلية: تستخدم المستدرلات (Reasoners) الحالات الخفية (hidden states) كذاكرة مؤقتة وحامل للمعلومات، حيث تقوم بالاستعلام المتكرر من الذاكرة للحصول على متجهات المعرفة المطلوبة. تُنقل المعرفة مرة أخرى إلى عمليات الاستدلال، مما يسمح باستدلال تركيبي دون القيود الصارمة للطبقة تلو الأخرى الموجودة في نماذج Transformer.
2.2. المواهب المعمارية الفطرية
يمكّن هذا الفصل من قدرتين محددتين:
الاتصال المتبقي الخلفي (Backward Residual Connection): في نماذج Transformer القياسية، تكون الاتصالات المتبقية أحادية الاتجاه (من الضحل إلى العميق). تسمح الذاكرة المشتركة في Mobius للطبقات العميقة بالوصക്ക് إلى معرفة الطبقات الضحلة (والعكس صحيح) أثناء الانتشار الأمامي. ويتحقق ذلك بشكل غير مباشر من خلال منح جميع الطبقات إمكانية الوصول إلى نفس المستودع العالمي، مما يعزز التعميم التركيبي ويسرع عملية تخليق المعلومات.
الاستدلال الكامن الديناميكي (Dynamic Latent Reasoning): يقوم Mobius بدمج عمليات التروي، والتجربة والخطأ، والتحسين داخل تحسين المتجهات المستمرة بدلاً من الرموز المنفصلة.
تردد حلقات أعلى: تحدث التكرارات ضمن عدد أقل بكثير من الطبقات مقارنة بالاستدلال الكامن التقليدي.
الكمونات عالية الكثافة: يكتسب النموذج تمثيلات مشتركة لعدة رموز (tokens) في آن واحد عبر متجهات مستمرة ومدمجة.
التخصيص الديناميكي: يتم تخصيص الميزانية الحسابية ديناميكياً لمختلف الرموز، مما يسمح للنموذج بفك تشفير رموز متعددة في دفعة واحدة بعد تحسين الكمونات ذات الكثافة المعلوماتية العالية.
2.3. تفاصيل التنفيذ
بناء مستودع المعرفة: يتم بناء الـ FFN عبر التوصيل الأفقي لمتجهات المعرفة. ولإدارة حجم المعلمات وكفاءة التنشيط، يستخدم المؤلفون تقنية التقسيم الكتلي (المشابهة لـ MoE) مع التنشيط المتفرق (sparse activation) أثناء الانتشار الأمامي.
استراتيجية التدريب: قيم المؤلفون Mobius عبر مسارين:
التدريب من الصفر (TFS): نموذج بقدرة 7 مليار معلمة (7B) تم تدريبه على 1 تريليون رمز (1TB tokens).
التدريب المسبق المستمر (CPT): البدء من نقطة تفتيش Qwen3.5-35B، مع مواصلة التدريب المسبق على 1 تريليون رمز، يليه ضبط دقيق تحت الإشراف (SFT) وتعلم تعزيزي (RL).
3. النتائج الرئيسية
3.1. كفاءة البيانات (التدريب من الصفر)
حقق نموذج Mobius بقدرة 7B، المدرب من الصفر، درجات MMLU مماثلة لنموذج Transformer بقدر 7B.
والأهم من ذلك، وصل Mobius إلى هذا الأداء باستخدام 62.6% فقط من بيانات التدريب التي تطلبها نموذج Transformer المرجعي، مما يظهر تحسناً بمقدار 1.6× في كفاءة البيانات.
تساوي الأداء: حقق Intern-S2-Mobius-35B (المدرب باستمرار من Qwen3.5-35B) درجات في المهام اللاحقة مماثلة أو متفوقة على نموذج Qwen3.5-35B المرجعي عبر الاختبارات العامة والعلمية (مثل MMLU Pro، GPQA Diamond، IMO Bench، AIME 2026).
تسريع الاستدلال: قدم Intern-S2-Mobius تسريعاً في الاستدلال النهائي (end-to-end) بنسبة تقارب 4× مقارنة بنموذج Transformer المرجعي الذي يمتلك نفس عدد المعلمات.
تقليل طول المخرجات: يعود هذا التسريع بشكل أساسي إلى سلاسل الاستدلال الأقصر بشكل ملحوظ. في المتوسط، أنتج Mobius رموزاً أقل بمقدار 1.2 إلى 5.0 ضعف مقارنة بنموذج Transformer عبر مختلف الاختبارات (أقصر بمقدار 4.6× في MMLU Pro).
كفاءة الرموز (Tokens): في مقارنة متوافقة الخطوات لمسألة في الجبر الخطي، أتم Mobias خطوات الاستدلال نفسها باستخدام 516 رمزاً مقارنة بـ 2,364 رمزاً لنموذج Transformer، وذلك بشكل أساسي عبر إلغاء الاشتقاقات المتكررة والتحققات الزائدة.
4. الأهمية والادعاءات
يزعم البحث أن Mobius يمثل مساراً بديلاً لتوسيع نطاق الذكاء الاصطناعي: زيادة التعقيد المعماري لرفع سقف ذكاء النموذج، وبالتالي تقليل التكاليف التشغيلية النهائية.
الكفاءة عبر الكثافة: من خلال الانتقال من الاستدلال القائم على الرموز (tokens) إلى الاستدلال القائم على الكمونات (latents) عالية الكثافة، يحقق Mobius مكاسب كبيرة في الكفاءة دون التضحية بالقدرة.
الوصول الثنائي للمعرفة: إن إدخال "الاتصال المتبقي الخلفي" عبر الذاكرة المشتركة يحل مشكلة تدفق المعلومات أحادي الاتجاه في نماذج Transformer، مما يسمح باسترجاع أكثر مرونة وكفاءة للمعرفة.
الإمكانات المستقبلية: يرى المؤلفون أن فصل المعرفة عن الاستدلال يوفر خصائص أولية يمكن أن تدعم:
الأنظمة ذاتية التطور: تمكين النماذج من اكتساب مهارات جديدة دون النسيان الكارثي للمعرفة السابقة، وإن كان ذلك يتطلب تصميماً مشتركاً للنماذج التأسيسية، والأنظمة الوكيلية (agentic systems)، والتغذية الراجعة من البيئة.
نماذج العالم (World Models): تقديم "أولوية" (prior) أقوى لنمذجة مدخلات الفضاء المستمر مقارنة بنماذج Transformer، رغم أن المؤلفين يشيرون إلى أن أولوية الاستدلال الكامن "قد تكون بعيدة عن الكفاية" وتتطلب إعادة هندسة آلية الانتباه.
الاكتشاف العلمي: تسهيل تركيب وتعميم المعرفة عبر المجالات لتوليد فرضيات ثورية، وإن كان الأداء في العالم الحقيقي يتطلب تحسيناً مشتركاً للبيانات، والبنية التحتية، والخوارزميات.
التصميم المشترك بين الأجهزة والبرمجيات (Hardware-Software Co-Design): فتح المجال لاستراتيجية نشر حيث توجد معلمات الاستدلال في ذاكرة الـ GPU بينما تُخزن معلمات المعرفة على أقراص SSD وتُحمل عند الطلب. ومع ذلك، يلاحظ المؤلفون أن هذه الرؤية "لا تزال بحاجة إلى تحقيق" وتتطلب "جهداً كبيراً".
يخلص البحث إلى أنه بينما يظهر Mobius نتائج واعدة في الكفاءة والقدرة، فإن استغلال كامل إمكاناته في سيناريوهات العالم الحقيقي (التطور الذاتي، نمذجة العالم، الاكتشاف العلمي) يتطلب مزيداً من التحسين المشترك للبيانات، والبنية التحتية، وخوارمايات التدريب.