تقدم الورقة البحثية "المفككات المزدوجة القائمة على الكتل" (Block-Based Double Decoders)، وهي بنية ترانسفورمر مبتكرة تجمع بين كفاءة التدريب لنماذج "المفكك فقط" (decoder-only) وكفاءة الاستدلال لنماذج "المشفر-المفكك" (encoder-decoders) عبر استخدام أقنعة انتباه قائمة على الكتل ذات سببية مزدوجة لتحقيق أداء توسع فائق مع تقليل تكاليف الذاكرة والحوسبة بشكل كبير.
المؤلفون الأصليون:Asher Labovich, Benjamin Bradley, Vanessa Alexander, Chaitanya Harsha
تخيل أنك تحاول تعليم روبوت كيفية كتابة القصص. لفترة طويلة، كانت هناك طريقتان رئيسيتان للقيام بذلك، وكلتاهما تعانيان من عيب كبير.
الطريقتان القديمتان
"عرض الشخص الواحد" (المُفكك فقط - Decoder-Only): هذا يشبه طالباً يقرأ كتاباً ثم يحاول فوراً كتابة الجملة التالية. هم سريعون جداً في الكتابة، لكن عليهم تذكر كل ما قرأوه حتى الآن في عقولهم أثناء الكتابة. إذا كانت القصة طويلة، فإن عقولهم (ذاكرتهم) ستتعرض لضغط شديد، ويصبحون بطيئين.
"فريق الشخصين" (المُشفّر والمُفكك - Encoder-Decoder): هذا يشبه وجود قارئ وكاتب. يقرأ القارئ الكتاب كاملاً أولاً، ثم يدون ملاحظات، ثم يسلم الملاحظات للكاتب. هذا يوفر طاقة دماغ الكاتب، لكن القارئ انتقائي للغاية؛ فهو لا يدون ملاحظات إلا عن حوالي 15% فقط من الكلمات (الأجزاء "التالفة") ويتجاهل الباقي. وهذا يعني أن الفريق يتعلم ببطء لأنهم يتجاهلون معظم القصة.
الحل الجديد: "المُفكك المزدوج القائم على الكتل"
يقترح مؤلفو هذه الورقة البحثية هيكلاً جديداً للفريق يحاول الجمع بين أفضل ما في العالمين. يطلقون عليه اسم "المُفكك المزدوج القائم على الكتل" (Block-Based Double Decoder).
إليك كيف يعمل، باستخدام تشبيه بسيط:
تخيل أنك تقرأ رواية طويلة، ولكن بدلاً من قراءتها كلمة بكلمة، تقوم بتقسيمها إلى كتل (مثل الفصول أو المشاهد).
مُفكك السياق (القارئ): هذا الجزء يقرأ القصة بأكملها حتى نقطة معينة. إنه يشبه القارئ السريع الذي يمسح الفصول الأولى لفهم الإطار العام والشخصيات. ولأنه يقرأ "الماضي" فقط، فهو لا يحتاج إلى الاحتفاظ بالكتاب بأكمِله في ذاكرته في وقت واحد. إنه ينشئ ملخصاً.
مُفكك التوليد (الكاتب): هذا الجزء يأخذ الملخص من القارئ والنص الحالي، ثم يكتب الجزء التالي من القصة.
السر يكمكمن في كيفية تقسيم القصة. إنهم يقطعون النص إلى أجزاء (كتل).
داخل كتلة واحدة، يمكن للكاتب النظر إلى جميع الكلمات في تلك الكتلة (مثل نقاش جماعي).
ولكن عند النظر إلى الكتل السابقة، يمكن للكاتب فقط النظر إلى الملخص الذي قدمه القارئ، وليس الكلمات الخام.
لماذا يعد هذا أمراً مهماً؟
لا مزيد من التعلم الضائع: في "فريق الشخصين" القديم، كان القارئ يتجاهل 85% من الكلمات. في هذا النظام الجديد، كل كلمة تحصل على فرصة لتُتعلم. يحصل النموذج على "درجة" لكل رمز (token)، مما يجعله يتعلم بشكل أسرع وأذكى.
كفاءة فائقة في الذاكرة: عندما يقوم الروبوت فعلياً بكتابة القصة (الاستدلال)، فإنه لا يحتاج إلى تذكر الكتاب بأكمله. يحتاج فقط إلى تذكر الملخص من القارئ والكتلة الحالية. هذا يقلل الذاكرة المطلوبة بنحو ثلثي الكمية. إنه يشبه الانتقال من حمل مكتبة في حقيبة ظهرك إلى مجرد حمل بطاقة فهرسة واحدة.
السرعة: نظرًا لأن جزء "القارئ" يعمل مرة واحدة في البداية ثم يظل خاملاً، فإن جزء "الكاتب" يكون أخف وزناً وأسرع بكثير. إنه يشبه امتلاك محرك قوي جداً لبداية السباق، ثم جسم انسيابي خفيف للعدو السريع.
ماذا وجدوا؟
اختبر الباحثون هذه البنية الجديدة مقابل البنى القديمة.
التدريب: تعلم النموذج الجديد بشكل يقارب "عرض الشخص الواحد" (وهو المعيار الذهبي للسرعة)، وبشكل أفضل بكثير من "فريق الشخصين" القديم.
الكتابة (الاستدلال): عندما حان وقت توليد النص، كان النموذج الجديد نجماً ساطعاً. فقد استخدم ذاكرة حاسوبية أقل بكثير وكان أسرع من "فريق الشخصين" القديم، ومع ذلك ظل ذكياً جداً.
الخلاصة
تزعم الورقة أنه من خلال تقسيم المهمة إلى مُفككين وتقسيم النص إلى كتل، استطاعوا إنشاء نموذج يتعلم من كل كلمة (على عكس النماذج الفعالة القديمة) ولكنه لا يغرق في مشا-كل الذاكرة عندما يحين وقت الكتابة (على عكس النماذج السريعة القديمة). إنها طريقة للحصول على روبوت عالي الأداء لا يحتاج إلى حاسوب ضخم ومكلف لتشغيله.
ملخص تقني: أجهزة فك التشفير المزدوجة القائمة على الكتل (Block-Based Double Decoders)
بيان المشكلة تتناول الورقة البحثية مقايضة جوهرية في تصميم بنية المحولات (Transformer)، وهي المقايضة بين كفاءة التدريب وكفاءة الاستدلال. توفر النماذج التي تعتمد على فك التشفير فقط (Decoder-only) كفاءة فائقة في التدريب والقابلية للتوسع، ولكنها تعاني من تكالوف عالية عند الاستدلال، لا سيما فيما يتعلق بذاكرة التخزين المؤقت لـ KV (KV-cache) والحوسبة لكل رمز (per-token compute). وفي المقابل، توفر نماذج الترميز وفك التشفير (Encoder-Decoder) وفورات كبيرة في وقت الاستدلال (تقليل الـ KV-cache)، لكنها تعاني من ضعف الإشراف أثناء مرحلة ما قبل التدريب بسبب أهداف مثل "فساد النطاق" (span corruption) (حيث تولد حوالي 15% فقط من الرموز إشارة خسارة)، بالإضافة إلى أطوال التسلسل الديناميكية التي تعيق كفاءة المعالجة بالدفعات (batching). وتحاول البدائل الحالية مثل PrefixLM سد هذه الفجوة، إلا أنها لا تزال تترك العديد من الرموز غير مدربة وتفشل في تحقيق الكفاءة الكاملة لنماذج الترميز وفك التشفير.
المنهجية: أجهزة فك التشفير المزدوجة القائمة على الكتل يقترح المؤلفون بنية جديدة تسمى أجهزة فك التشفير المزدوجة القائمة على الكتل، والتي تجمع بين مجموعتين من أجهزة فك التشفير لتحقيق كل من الإشراف الكامل على الخسارة وكفاءة الاستدلال.
1. هيكل البنية:
فك التشفير السياقي (Context Decoder): وهو محول قياسي يعتمد على فك التشفير السببي (causal decoder-only) يعالج تسلسل المدخلات الكامل وينتج تمثيلات كامنة سببية (ht) لكل رمز.
فك التشفير التوليدي (Generation Decoder): وهو مجموعة ثانية من أجهزة فك التشفير تأخذ ثلاثة مدخلات: التمثلات الكامنة السببية من فك التشفير السياقي، وتسلسل الرموز الخام، وتقسيم الكتلة (block partition).
القناع القائم على الكتل مزدوج السببية (Doubly-Causal Block-Based Masking): يتم تقسيم تسلسل المدخلات إلى كتل متصلة. داخل كل كتلة، يستخدم فك التشفير التوليدي الانتباه الذاتي السببي. وبين الكتل، يستخدم الانتباه المتقاطع الكامل (full cross-attention) مع التمثلات الكامنة للكتل السابقة من فك التشفير السياقي. وهذا يخلق بنية "مزدوجة السببية" حيث يتدفق الانتباه للأمام داخل الكتل ومن الكتل السابقة.
2. هدف التدريب:
على عكس "فساد النطاق" الذي يقوم بحجب الرموز، تضمن هذه الطريقة أن كل رمز في تسلسل المدخلات يساهم في الخسارة مرة واحدة بالضبط في كل تمريرة أمامية.
يظل طول التسلسل ثابتًا بعد عملية التعبئة (packing)، مما يلغي الحاجة إلى المعالجة بالدفعات الديناميكية والتحجيم (padding) للرموز، مما يحسن معدل الإنتاجية (throughput).
قام المؤلفون بتنفيذ آلية الانتباه عبر حساب لوغاريتمات الانتباه الذاتي والمتقاطع بشكل منفصل ودمجهما عبر تطبيع (log-sum-exp) لاحقًا (باستخدام FlexAttention من PyTorch)، نظرًا لعدم توفر تنفيذ موحد للانتباه مزدوج المفاتيح (dual-key attention) حتى الآن.
3. آلية الاستدلال:
عند الاستدلال، يعمل فك التشفير السياقي لمرة واحدة على النص التمهيدي (prefill). وبما أنه فك تشفير سببي قياسي، فهو لا يتطلب ذاكرة تخزين مؤقت لـ KV لمخرجاته الخاصة (فقط فك التشفير التوليدي هو من يحتاج للتخزين المؤقت).
بعد ذلك، يقوم فك التشفير التوليدي بتوليد الرموز بشكل تلقائي (autoregressively)، حيث ينتبه إلى التمثلات الكامنة المخزنة مؤقتًا من السياق وإلى مخرجاته السابقة.
يسمح هذا الفصل بإعادة استخدام التخزين المؤقت لـ KV الخاص بالبادئة (prefix-level KV-caching) (الشائع في نماذج فك التشفير فقط) مع الحفاظ على مزايا الذاكرة لنماذج الترميز وفك التشفير.
المساهمات الرئيسية
بنية مبتكرة: تقديم جهاز فك التشفير المزدوج القائم على الكتل، والذي يستخدم مجموعتين من أجهزة فك التشفير لفصل معالجة السياق عن توليد الرموز.
القناع المزدوج السببية: قناع انتباه جديد يتيح الإشراف الكامل على الرموز (كثافة خسارة بنسبة 100%) مع الحفاظ على أطوال تسلسل ثابتة لكفاءة المعالجة بالدفعات.
تحسينات الاستدلال: تقلل هذه البنية من ذاكرة التخزين المؤقت لـ KV وحوسبة الرمز الواحد بنسبة تقارب 2/3 مقارنة بنماذج فك التشفير فقط (بافتراض تقسيم 2/3 لفك التشفير السياقي و1/3 لفك التشفير التوليدي) دون التضحية بقدرات تخزين البادئة (prefill caching).
كفاءة التدريب: تتجنب هذه الطة مشكلات الإشراف المتناثر والدفعات الديناميكية المتأصلة في نماذج الترميز وفك التشفير المدربة بأسلوب "فساد النطاق".
النتائج التجريبية أجرى المؤلفون تجارب قوانين القياس (scaling laws) لمقارنة نماذج فك التشفير فقط (Decoder-Only)، ونماذج الترميز وفك التشفير القياسية (SED)، وأجهزة فك التشفير المزدوجة القائمة على الكتل عبر أعداد المعلمات (6.25 مليون - 100 مليون) وميزانيات الرموز (62.5 مليون - 1 مليار).
الأداء: يتفوق فك التشفير المزدوج بقوة على خط الأساس (SED) ويتبع نموذج فك التشفير فقط عن كثب. عند أكبر مقياس (100 مليون معلمة، 1 مليار رمز)، يحقق فك التشفير المزدوج خسارة تقييم أسوأ بنحو 0.2 نات (nats) فقط من نموذج فك التشفير فقط المطابق، بينما يتخلف نموذج SED عن كليهما بنحو 0.7 نات.
سلوك القياس: وُجد أن نماذج SED تقع في "نظام محدود البيانات"، حيث لم تؤدِ زيادة المعلمات إلى تحسين الأداء بسبب الإشراف المتناثر. في المقابل، اتبعت نماذج فك التشفير المزدوجة ونماذج فك التشفير فقط قوانين القياس القياسية، حيث استقرت النتائج عند وصولها إلى حدود السعة.
مقايضة الحوسبة: رغم أن أجهزة فك التشفير المزدوجة تتسبب في زيادة طفيفة في عمليات الحوسبة (FLOPs) أثناء التدريب (بنسبة ~2.4% أكثر من فك التشفير فقط في تكوينات معينة) بسبب عمليات إسقاط KV الإضافية، إلا أن هذا يعوضه فوائد الاستدلال.
الأهمية والادعاءات تدعي الورقة أن أجهزة فك التشفير المزدوجة القائمة على الكتل تنجح في حل الانقسام التاريخي بين كفاءة التدريب وكفاءة الاستدلال. ومن خلال استعادة الإشراف الكامل على الخسارة لبنية تشبه الترميز وفك التشفير، يثبت المؤلفون أنه من الممكن تحقيق كفاءة الاستدلال لنماذج الترميز وفك التشفير (تحديدًا تقليل ذاكرة KV وزمن انتقال الرمز الواحد) مع الاحتفاظ بـ كفاءة التدريب وخصائص القياس لنماذج فك التشفير فقط.
ويؤكد المؤلفون أن الفجوة الطفيفة في الخسارة أثناء التدريب (~0.2 نات) هي تكلفة ضرورية للفصل الهيكلي الذي يتيح توفيرات كبيرة في وقت الاستدلال. ويرون أن هذا يجعل البنية مناسبة بشكل خاص للأجهزة الطرفية (edge devices) والسيناريوهات ذات القيود في الذاكرة، كما يفتح آفاقًا لأبحاث جديدة مثل التفكير عبر السلاسل الكامنة (latent chain-of-thought reasoning) أثناء ما قبل التدريب وتطبيق المحولات الحلقية (looped transformers) خصيصًا على فك التشفير السياقي.