Parallel Decoder Transformer: Planner-Seeded Latent Coordination for Synchronized Parallel Decoding

بناءً على الورقة المقدمة، إليك ملخص تقني مفصل لـ المحول الموازي للمفكك (Parallel Decoder Transformer - PDT).

1. بيان المشكلة

تعتبر النماذج اللغوية الكبيرة (LLMs) ذات طبيعة تلقائية الترتيب (autoregressive) بطبيعتها، حيث تولد الرموز (tokens) بشكل متسلسل في تدفق واحد من اليسار إلى اليمين. وبينما يمكن للنماذج داخلياً أن تدرك أن مهمة ما تتطلب مشكلات فرعية متوازية (مثل أقسام متميزة في مقال أو حجج مستقلة)، فإن فك التشفير القياسي يجبر هذه المهام على أن تكون متسلسلة.

• قصور الطرق الحالية: تحاول طرق التنسيق الخارجي (مثل Skeleton-of-Thought) حل هذه المشكلة عن طريق تقسيم المطالبات وتشغيل عدة استدعاءات للنموذج بشكل متزامن. ومع ذلك، تفتقر هذه الطرق إلى الحالة المشتركة الداخلية للنموذج. فبمجرد تقسيم العمل، لا تستطيع الفروع المتوازية معرفة ما إذا كان أحد المسارات الشقيقة قد أثبت حقيقة رئيسية، أو ادعى ملكية موضوع ما، أو ترك تبعية غير محلولة.
• انحراف التماسك (Coherence Drift): يؤدي هذا الافتقار إلى التنسيق الداخلي إلى "انحراف التماسك"، حيث تصبح الفروع المتوازية مكررة، أو متناقضة، أو محددة بشكل سابق لأوانه لأنها لا تستطيع مزامنة حالات التوليد الخاصة بها.

2. المنهجية: المحول الموازي للمفكك (PDT)

إن PDT هو بنية جذع مجمدة (frozen-trunk architecture) تعمل على تعزيز نموذج "مفكك فقط" (decoder-only) قياسي بآلية تنسيق داخلية للنموذج. وهي تمكن مفككاً واحداً من إدارة تدفقات توليد متعددة ومتزامنة دون الاعتماد على التوجيه الخارجي أو التواصل عبر النصوص.

مكونات البنية الأساسية

1. الجذع المجمد (Frozen Trunk): تظل معلمات النموذج اللغوي الأساسي ($\theta_{pre}$) مجمدة. ويتم إضافة جميع الوظائف الجديدة عبر وحدات جانبية خفيفة وقابلة للتدريب ($\phi$).
2. مساحة العمل الكامنة الملقحة بالمخطط (Planner-Seeded Latent Workspace):
   • مرحلة التخطيط الإلزامية: قبل أي عملية توليد للرموز، يقوم رأس المخطط (Planner Head) بتحليل المطالبة ويتنبأ بفتحات تخطيط كامنة ثابتة ($z_{1:S}$).
   • اللقطة 0 (Snapshot 0): يتم إسقاط هذه الفتحات في "حافلة ملاحظات ديناميكية" (Dynamic Notes Bus) كمتجه تضمين أولي ($n^{plan}_0$). يعمل هذا كبنية التزام مشتركة ومقدمة تفكيك لجميع التدفقات.
3. حافلة الملاحظات الديناميكية (Dynamic Notes Bus):
   • مستودع يعتمد على التضمينات فقط، ونسخي، لفتحات المخطط وملخصات التدفقات.
   • يعمل كمساحة عمل للمزامنة. لا تتبادل التدفقات النصوص الخام؛ بل تتبادل تضمينات الملاحظات الكامنة.
   • الرؤية: تقرأ التدفقات نافذة "متأخرة" من الملاحظات (مع تأخير كشف قدره $\Delta$) لضمان الاستقرار.
4. التكييف بالملاحظات التخمينية (Speculative Note Conditioning - SNC):
   • أثناء انبعاث الرموز، تستخدم التدفقات طبقات الانتباه المتقاطع (cross-attention) لقراءة الملاحظات المرئية من الحافلة.
   • يوفر هذا تكييفاً مستمراً ومنخفض النطاق الترددي، مما يسمح للتدفقات بالتكيف مع حالة التدفقات الشقيقة في الوقت الفعلي دون كسر التدفق التلقائي الترتيب.
5. بروتوكول انبعاث الكتل المتزامن (Synchronized Block Emission Protocol):
   • يحدث التوليد في جولات متزامنة.
   • المرحلة المؤقتة: يبعث كل تدفق كتلة من $\tau$ من الرموز وملخصاً كامناً مؤقتاً ($b^{(k)}_v$) يصف محتواه، وادعاءات الملكية، والتبعيات غير المحلولة.
   • بوابة الاتفاق (Agreement Gate): قبل اعتماد الكتلة، تقوم رؤوس التغطية (Coverage Heads) (التي تتبع ملكية المخطط) ورؤوس الاتفاق (Agreement Heads) (التي تقيم الجاهزية) بتقييم الحالة المشتركة.
   • الاعتماد/التراجع (Commit/Rollback):
     • إذا تجاوزت درجة الاتفاق العالمي ($A_v$) عتبة معينة، يتم اعتماد الكتلة، وتصبح الملاحظات مرئية للآخرين.
     • إذا فشل الاتفاق، يتوقف النظام، أو يحجب، أو يتراجع عن تدفقات محددة لإعادة التوليد ضمن أفق $H$ باستخدام سياق أكثر حداثة.

استراتيجية التدريب

يستخدم PDT منهجاً تدريجياً فعالاً في المعلمات لتثبيت التدريب على هيكل أساسي مجمد:

• المرحلة 0: التدريب المسبق لرأس المخطط وإسقاط الملاحظات.
• المرحلة 1: إلغاء تجميد محولات التدفق وSNC لتعلم التكييف.
• المرحلة 2: تدريب وحدات انبعاث الملاحظات لكتابة الملخصات في الحافلة.
• المرحلة 3: تدريب رؤوس التغطية والاتفاق لتعلم منطق اتساق الملكية والاستمرارية.

3. المساهمات الرئيسية

1. بروتوكول متعدد التدفقات ملقح بالمخطط: آلية حيث يقوم مخطط إلزامي بتهيئة مساحة عمل كامنة مشتركة قبل بدء التوليد، مما يضمن بدء جميع التدفقات من مقدمة تفكيك مشتركة.
2. حافلة تنسيق تعتمد على التضمينات فقط: آلية مزامنة تتبادل فيها التدفقات المتوازية ملخصات كامنة بدلاً من النصوص الخام، مما يمنع "انحراف التماسك" المرتبط بالتنسيق الخارجي.
3. التحكم في الاعتماد المدرك للملكية: استخدام رؤوس التغطية والاتفاق لتحديد ما إذا كان لدى التدفق حالة مشتركة كافية للاستمرار، مما يضمن عدم تقدم التوليد المتوازي إذا كانت التبعيات غير محلولة أو إذا تم انتهاك الملكية.
4. تحقيق الجذع المجمد: يتم تنفيذ كامل حزمة التنسيق عبر وحدات جانبية خفيفة الوزن، مما يحافظ على أوزان النموذج الأساسي ويسمح بتطبيق البنية على نماذج LLM مجمدة موجودة.

4. النتائج والتقييم

ملاحظة: بما أن هذه ورقة اقتراح بنيوي/معماري (بتاريخ مارس 2026)، فهي لا تقدم نتائج تجريبية (مثل درجات الدقة على مجموعات بيانات محددة) في النص المقدم. يتم تعريف "النتائج" من خلال الجدوى المعمارية وأهداف التقييم المقترحة.

• التقييم المقترح: تقترح الورقة تقييم ما إذا كانت "درجات الجاهزية" تتنبأ بدقة بالاستمرار الآمن (منع الأخطاء) بدلاً من مجرد اكتشاف عمليات الاعتماد السيئة بعد حدوثها.
• التحقق من حالات الاستخدام: تم تصميم البنية لـ "الاستجابات المعرفية المهيكلة المتوازية" (مثل تركيب المعرفة متعدد الأوجه)، حيث ترتبط مقدمات ملكية المخطط طبيعياً بتوليد الأقسام، مما يقلل من التناقضات بين التدفقات مقارنة بالبث غير المقيد.

5. الأهمية والأثر

• تحول في النموذج المعرفي: ينقل PDT السؤال من "كيف يمكننا تشغيل عدة مطالبات بالتزامن؟" (مشكلة تنسيق خارجي) إلى "كيف يمكن لمفكك واحد أن يحافظ على حالة متعددة التدفقات ومتزامنة؟" (قدرة داخلية للنموذج).
• التنسيق الداخلي: يوضح أن المفكك يمكنه تفكيك المهام، وتبادل الحالة الكامنة، واتخاذ قرارات جماعية بشأن وقت التقدم، وكل ذلك ضمن نسخة واحدة من النموذج.
• الكفاءة والقابلية للتوسع: باستخدام جذع مجمد ومحولات فعالة في المعلمات، يوفر PDT مساراً لتوليد معقد ومنسق دون التكلفة الحسابية الهائلة لإعادة تدريب النماذج الكبيرة من الصفر.
• الإمكانات المستقبلية: يفتح الإطار آفاقاً لتزامن يعتمد على التبعية (التوافق ذو البنية الرسومية)، وتغيير حجم الكتل التكيفي، وسياسات الدمج المتعلمة، مما يتجاوز التوازي البسيط إلى سلوك منسق حقاً متعدد الوكلاء داخل شبكة عصبية واحدة.

باختالام، يقترح المحول الموازي للمفكك (PDT) بنية مبتكرة تدمج تنسيق تدفقات التوليد المتوازية داخلياً، باستخدام "لوحة سوداء" كامنة وبوابات اعتماد متزامنة لضمان التماسك دون الاعتماد على التنسيق الخارجي أو التواصل عبر النصوص الخام.