Seq vs Seq: An Open Suite of Paired Encoders and Decoders
تقدم الورقة البحثية مجموعة "إيتين" (Ettin)، وهي تشكيلة من نماذج المشفّر فقط (encoder-only) والنماذج المفككة فقط (decoder-only) المزدوجة، والتي تم تدريبها على بيانات ووصفات متطابقة، حيث تحقق أداءً قياسياً جديداً لأحجامها مع إثبات أن البنى الأصلية تتفوق بشكل كبير على النماذج المُكيَّفة في مهامها المتخصصة.
المؤلفون الأصليون:Orion Weller, Kathryn Ricci, Marc Marone, Antoine Chaffin, Dawn Lawrie, Benjamin Van Durme
تخيل أنك تقوم ببناء مكتبة من الكتب. لفترة طويلة، كان أمناء المكتبات (مجتمع الذكاء الاصطنا-عي) مهووسين بنوعين محددين من قراء الكتب:
"المُفكك" (الراوي): هذا القارئ بارع في كتابة قصص جديدة من الصفر. إذا أعطيته الجملة الأولى من قصة، يمكنه كتابة بقية القصة بأكملها. إنهم نجوم العرض الآن (مثل نماذج Llama أو GPT الشهيرة).
"المحلل" (المُشفّر): هذا القارئ سيء في كتابة قصص جديدة، لكنه بارع للغاية في فهم ما قرأه بالفعل. إذا سألته: "هل هذه الجملة سعيدة أم حزينة؟" أو "هل تعني هاتان الجملتان الشيء نفسه؟"، فسيكون سريعاً جداً ودقيقاً للغاية.
المشكلة: لسنوات، توقف الجميع عن بناء "محللين" لأن "الرواة" أصبحوا أكثر شعبية. بدأ الناس يعتقدون: "لما لم نكتفِ بـ 'راوٍ' يمكنه القيام بكل شيء؟". حاولوا تعليم "الرواة" كيف يتصرفون كـ "محللين" عبر إعطائهم واجبات منزلية إضافية. لكن الأمر بدا وكأنك تقارن بين التفاح والبرتقال لأن "الرواة" كانوا ضخمين وتدربوا على بيانات مختلفة عن "المحللين" القدامى. لم نكن نعرف ما إذا كان "الراوي" أفضل حقاً، أم أنه مجرد امتلك تدريباً أكثر.
الحل: مجموعة "إيتين" (Ettin) قام مؤلفو هذه الورقة البحثية ببناء مكتبة جديدة من النماذج تسمى Ettin (سميت على اسم عملاق برأسين من الأساطير الإسكندنافية).
فكر في "إيتين" كـ تجربة توأم. لقد بنوا أزواجاً من النماذج:
التوأم (أ): محلل نقي (مُشفّر/Encoder).
التوأم (ب): راوٍ نقي (مُفكك/Decoder).
هذه هي الخدعة السحرية: إنهم توائم. هم بنفس الحجم تماماً، أكلوا نفس الطعام (بيانات التدريب)، ونشأوا في نفس المنزل (نفس وصفة التدريب). الفرق الوحيد هو وصف وظيفتهم: أحدهم يُطلب منه "ملء الفراغات" (المحلل)، والآخر يُطلب منه "كتابة الكلمة التالية" (الراوي).
ما اكتشفوه
المتخصصون يفوزون: عندما اختبروا التوائم، كانت النتائج واضحة.
إذا كنت بحاجة إلى تصنيف شيء ما (مثل فرز رسائل البريد الإلكتروني إلى "رسائل مزعجة" أو "غير مزعجة") أو البحث عن معلومات، فإن المحلل (المُشفّر) يفوز في كل مرة.
إذا كنت بحاجة إلى توليد نصوص إبداعية أو كتابة قصة، فإن الراوي (المُفكك) يفوز في كل مرة.
لا يمكنك مجرد "التدريب" للخروج من المأزق: حاول الكثير من الناس إصلاح ذلك عبر أخذ "راوٍ" وإعطائه واجبات منزلية إضافية لجعله يتصرف كمحلل.
التشبيه: تخيل أخذ روائي محترف وإجباره على خوض اختبار سرعة القراءة. قد يصبح أفضل قليلاً، لكنه لن يهزم أبداً قارئاً سريعاً محترفاً يمارس هذه المهنة طوال حياته.
وجدت الورقة أنه حتى بعد تدريب "الراوي" لفترة زمنية هائلة، لم يستطع التغلب على "المحلل" في مهام التحليل. في الواقع، كان "المحلل" الصغير غالباً أفضل من "راوٍ" ضخم يحاول القيام بمهمة المحلل.
مفاجأة "التحيز": نظر المؤلفون أيضاً في كيفية تفكير هؤلاء التوائم فيما يتعلق بالنوع الاجتماعي. وجدوا أن "المحللين" (المُشفّرين) كانوا أكثر عرضة لاستخدام لغة محايدة (مثل "هم/هم للجمع")، بينما كان "الرواة" (المُفككين) أكثر عرضة للميل نحو الضمائر المذكرة. وهذا يوضح أن الطريقة التي تدرب بها النموذج تغير شخصيته، وليس مهاراته فقط.
لماذا هذا مهم؟ هذه الورقة تشبه حكماً عادلاً في مباراة ملاكمة. قبل ذلك، كان الناس يقارنون بين بطل وزن الثقيل (الراوي الضخم) وبين هاوٍ من وزن الخفيف (المحلل القديم) ويقولون: "انظروا، الراوي أفضل!".
الآن، مع "إيتين"، لدينا راوٍ من الوزن الثقيل يقاتل محللاً من الوزن الثقيل. النتيجة؟ كلاهما أبطال، ولكن في فئات وزنية مختلفة.
إذا كنت تريد بناء روبوت دردشة أو كتابة رواية؟ استخدم "مُفككاً" (راوٍ).
إذا كنت تريد بناء محرك بحث، أو فلتر للرسائل المزعجة، أو أداة تشخيص طبي؟ لا تجبر "الراوي" على القيام بذلك. اذهب وابحث عن "محلل" متخصص (مُشفّر).
لقد أطلق المؤلفون جميع مخططاتهم، وبياناتهم، وتوائمهم مجاناً، لكي يتوقف العلماء الآخرون عن التخمين ويبدأوا في بناء الأداة المناسبة للمهمة المناسبة.
إليك ملخص تقني مفصل لورقة البحث "SEQ VS SEQ: AN OPEN SUITE OF PAIRED ENCODERS AND DECODERS" (ETTIN)، المنشورة كبحث مؤتمر في ICLR 2026.
1. بيان المشكلة
تحول مجتمع النماذج اللغوية الكبيرة (LLMs) بشكل كبير نحو البنى القائمة على المفككات فقط (decoder-only) (مثل GPT) نظرًا لأدائها المتفوق في توليد النصوص. وفي المقابل، لا تزال البنى القائمة على المشفرات فقط (encoder-only) (مثل BERT) مهيمنة في مهام التصنيف والاسترجاع، لكنها شهدت تطورًا محدودًا مؤخرًا، حيث تعتمد غالبًا على نماذج من عام 2019 (مثل BERT وRoBERTa).
تعاني المحاولات السابقة لمقارنة هاتين البنيتين من خلل جوهري وهو: عدم إمكانية المقارنة. إذ تقارن الدراسات الحالية نماذج ذات أعداد مختلفة من المعلمات (parameters)، ومجموعات بيانات تدريب، وجداول زمنية للتعلم، وفروقات معمارية. وهذا يجعل من المستحيل عزل ما إذا كانت فروق الأداء ناتجة عن البنية (مشفر مقابل مفكك) أم عن وصفة التدريب والبيانات. علاوة على ذلك، هناك توجه متزايد لتكييف نماذج المفككات مع مهام المشفرات (والعكس صحيح) عبر التدريب المستمر، ولكن فعالية هذا "التدريب عبر الأهداف" (cross-objective training) تظل غير واضحة بدون خط أساس مضبوط.
2. المنهجية
قدم المؤلفون ETTIN (تيمناً بالعملاق الإسكندنافي ذو الرأسين)، وهي مجموعة من نماذج المشفرات والمفككات المزدوجة التي تم تدريبها تحت ظروف متطابقة لتمكين مقارنة عادلة "تفاحة مقابل تفاحة".
أ. مجموعة النماذج والبنية المعمارية
النطاق: تتضمن المجموعة 10 نماذج (5 أزواج) تتراوح من 17 مليون إلى 1 مليار معلمة.
الإعدادات: تشترك كل من المشفرات والمفككات في نفس المعلمات الفائقة (Hyperparameters) (معدل التعلم، اضمحلال الوزن، الطبقات، الحجم الخفي) كما هو مفصل في الجدول 1.
الاختلافات: الاختلافات المعمارية الوحيدة هي آلية الانتباه (ثنائية الاتجاه للمشفرات، وعليها قيود سببية للمفككات) وهدف ما قبل التدريب (نمذجة اللغة المقنعة - MLM للمشفرات، ونمذجة اللغة السببية - CLM للمفككات).
فلسفة التصميم: تتبع النماذج تصميم "عميق ولكن نحيف" مستوحى من MobileLLM، مع توسيع محدد لنموذج الـ 1B.
ب. بيانات ووصفة التدريب
مصدر البيانات: لإعادة إنتاج وصفة ModernBERT الحديثة باستخدام بيانات مفتوحة، قام المؤلفون ببناء مزيج بيانات من DCLM وDolma v1.7 (تحديداً مصادر "Dolmino" المفلترة الأحدث).
مراحل التدريب: يتبع التدريب عملية من ثلاث مراحل (إجمالي الرموز: ~2 تريليون للنماذج الأصغر، وتم توسيعها لنموذج 1B):
ما قبل التدريب الأساسي: 1.7 تريليون رمز مع مزيج واسع من البيانات (أخبار، كود، مسح ويب) باستخدام معدل تعلم شبه منحرف.
التدريب المتوسط (توسيع السياق): 250 مليار رمز باستخدام بيانات عالية الجودة ومفلترة (DCLm، رياضيات، StackExchange) وسياقات ممتدة (تصل إلى 8k رمز).
مرحلة الاضمحلال: 50 مليار رمز باستخدام بيانات مرجعية عالية الجودة (كتب مدرسية، ويكيبيديا، كتب) مع معدل تعلم متناقص.
نقاط التفتيش (Checkpointing): يتم حفظ نقاط التفتيش كل 8.5 مليار رمز، مما ينتج عنه 236 نقطة تفتيش لكل نموذج، مما يسمح بتحليل دقيق لديناميكيات التعلم.
ج. تجارب التدريب عبر الأهداف
لاختبار قدرة التكيف للبنى المعمارية، أجرى المؤلفون تدريباً مستمراً عبر الأهداف:
المفكك ← المشفر: أخذ نموذج مفكك نهائي والاستمرار في تدريبه باستخدام MLM (تحديداً باستخدام MNTP، حيث يتم التنبؤ بالرمز المقنع باستخدام الحالة الخفية السابقة للتوافق مع CLM).
المشفر ← المفكك: أخذ نموذج مشفر نهائي والاستمرار في تدريبه باستخدام CLM.
المدة: 5-0 مليار رمز من التدريب عبر الأهداف (وهي مدة أطول بكثير من الأعمال السابقة مثل LLM2Vec).
3. المساهمات الرئيسية
مجموعة ETTIN: أول مجموعة مفتوحة من نماذج المشفر/المفكك المزدوجة المدربة على نفس البيانات، والبنية، والوصفة عبر مقاييس متعددة (17 مليون إلى 1 مليار).
أداء رائد (SOTA): تحقق النماذج نتائج رائدة في أحجامها ضمن النماذج ذات البيانات المفتوحة، متفوقة على ModernBERT (المشفرات) وLlama 3.2/SmollM2 (المفككات) رغم استخدام نفس وصفة التدريب.
إعادة إنتاج ModernBERT: توفر الورقة أول إعادة إنتاج مفتوحة البيانات لعملية تدريب ModernBERT، مما يسمح للمجتمع بالبناء عليها.
إصدار شامل للمواد: أتاح المؤلفون بيانات التدريب، وترتيب التدريب المجزأ حسب نقطة التفتيش، وأكثر من 200 نقطة تفتيش، مما يتيح الأبحاث المستقبلية في ديناميكيات التعلم وتأثير البيانات.
4. النتائج الرئيسية
أ. التخصص المعماري
المشفرات: تتفوق في التصنيف (GLUE, MNLI) والاسترجاع (MS MARCO, MTEB).
المفككات: تتفوق في المهام التوليدية (ARC, HellaSwag, LAMBADA, TriviaQA).
التوسع (Scaling): تتفوق المشفرات عموماً على المفككات من نفس الحجم في مهام التصنيف/الاسترجاع، بينما تتفوق المفككات على المشفرات في مهام التوليد.
ب. محدودية التدريب عبر الأهداف
عدم فعالية التكيف: التدريب المستمر لمفكك ليعمل كمشفر (أو العكس) لا يسد فجوة الأداء.
مثال:مشفر 400 مليون أصلي يتفوق على مفكك 1 مليار تم استكمال تدريبه باستخدام MLM في مهمة MNLI.
مثال:مفكك 1 مليار أصلي يتفوق بشكل كبير على مشفر تم تدريبه مستمراً في المهام التوليدية.
الاستنتاج: مجرد إضافة المزيد من الرموز لنموذج ذي هدف "خاطئ" ليس كافياً للتغلب على التحيز المعماري. تظل البنية الأصلية هي المتفوقة لمهمتها المحددة.
ج. ديناميكيات التعلم والتحيز (دراسة حالة)
التحيز الجنساني: باستخدام معيار WinoGender، حلل المؤلفون التنبؤ بالضمائر.
أظهرت المشفرات ميلاً أعلى للتنبؤ بضمائر محايدة جنسياً مقارنة بالمفككات.
أظهرت المفككات تحيزاً أقوى نحو الضمائر الذكورية مع زيادة حجم النموذج.
يشير هذا إلى أن هدف ما قبل التدريب (MLM مقابل CLM) يؤثر على كيفية تعلم النماذج للتحيزات الاجتماعية، حتى عند تدريبها على بيانات متطابقة.
5. الأهمية والآثار المترتبة
الدقة العلمية: يضع هذا العمل معياراً جديداً لمقارنة بنى LLM من خلال إزالة المتغيرات المربكة (البيانات، الوصفة، المقياس).
توجيهات عملية:
لمهام التصنيف والاسترجاع، خاصة في البيئات محدودة الموارد (أقل من 1 مليار معلمة)، فإن تدريب مشفر أصلي يعد أمراً متفوقاً على تكييف مفكك.
للمهام التوليدية، تعد المفككات الأصلية ضرورية.
استراتيجية التكيف عبر الأهداف (مثل تحويل نموذج لغوي ضخم إلى نموذج تضمين عبر الضبط الدقيق) قد تكون دون المستوى الأمثل مقارنة بتدريب مشفر أصغر من الصفر.
الأبحاث المستقبلية: يتيح إصدار نقاط التفتích وترتيب التدريب للباحثين دراسة كيف تتعلم النماذج، وتأثير حداثة البيانات، والآثار المحددة لأهداف التدريب على سلوك النماذج (مثل التحيز والاستدلال).
باختصار، تؤكد مجموعة ETTIN أنه بينما تهيمن نماذج المفككات على التوليد، تظل نماذج المشفرات هي الخيار الأمثل لمهام الفهم، وأن التخصص المعماري لا يمكن التغلب عليه بسهولة بمجرد تغيير هدف التدريب على نموذج مدرب مسبقاً.