ملخص تقني: صقل الكوامن المشروط بالمسودة لتوليد النصوص غير المتسلسل ذاتياً

بيان المشكلة

يهدف توليد النصوص غير المتسلسل ذاتياً (NAR) إلى إنتاج تسلسلات كاملة بالتوازي، مما يوفر الكفاءة وقدرات الصقل العالمي مقارنة بالنماذج المتسلسلة ذاتياً. ومع ذلك، لا يزال هناك تحدٍ جوهري قائم: اللغة لغة منفصلة (discrete)، بينما تعمل نماذج الانتشار (diffusion) والنماذج القائمة على التدفق (flow-based) بشكل طبيعي في المساحات المستمرة.

تعتمد النهج الحالية على تشفير النصوص إلى مساحات كامنة مستمرة، وتوليد أو صقل الكوامن، ثم فك تشفيرها مرة أخرى إلى رموز (tokens). وقد حددت هذه الورقة نمط فشل حرج يُعرف بـ فجوة استرداد فك التشفير (decoder recoverability gap): حيث يمكن أن تكون المتجهات الكامنة المولدة قريبة هندسياً من الكوامن الأصلية (تشابه جيب التمام العالي أو خطأ متوسط مربعات MSE منخفض)، ومع ذلك تفشل في فك التشفير إلى الرموز الصحيحة. في النصوص، وعلى عكس الصور، يمكن للأخطاء الطفيفة في الكوامن أن تُزيح الكتلة الاحتمالية عبر المفردات، مما يؤدي إلى مخرجات عالية الاعتلاج (high-entropy)، أو تكرارية، أو غير صحيحة دلالياً. وتفترض الورقة أن تحسين الهندسة الكامنة وحدها غير كافٍ إذا لم تهبط نقطة البداية ضمن "حوض قابل للقراءة بواسطة فك التشفير" (decoder-readable basin).

المنهجية

يعيد النظام المقترح صياغة المهمة من توليد النص من الضجيج الخالص إلى الصقل المحلي المتحكم به لمسودة أولية خشنة. تتكون البنية من عدة مكونات رئيسية:

1. المرحلة الأولى: المشفر التلقائي الكامن (Latent Autoencoder)

   • المُشفر (Encoder): يقوم مُشفر BERT مجمد برسم خرائط لرموز المدخلات إلى حالات خفية سياقية، والتي يتم إسقاطها في متجهات كامنة مستمرة ($z \in \mathbb{R}^{n \times d}$). تقارن التجارب بين الكوامن الكاملة ذات 768 بُعداً مقابل الكوامن المضغوطة ذات 256 بُعداً.
   • المُفكك (Decoder): يتنبأ المُفكك المتوازي بجميع توزيعات الرموز في آن واحد. ويتم تدريبه لتقليل الاعتلاج المتقاطع (cross-entropy) بين الرموز المتوقعة والحقيقة الأرضية (ground truth) بناءً على الكامن $z$.

2. توزيع البداية المشروط بالمسودة (Draft-Conditioned Start Distribution)

   • بدلاً من البدء من ضجيج غاوسي ($z_0 \sim \mathcal{N}(0, I)$)، يستخدم النظام مسودة خشنة $r$ (على سبيل المثال، نسخة مشوهة من الهدف) كدليل على مستوى الحالة (instance-level guide).
   • أولوية المسودة (DraftPrior): تقوم شبكة إزالة الضجيج برسم خرائط الكامن المسودة المشوش نحو الحوض القابل للقراءة بواسطة فك التشفير. تم تدريبها باستخدام هدف مشترك يتضمن الاعتلاج المتقاطع، وخطأ متوسط المربعات (MSE)، وتشابه جيب التمام، ومنظم المعيار (norm regularizer) لمطابقة كل من الزاوية والمقدار للمتجه الكامن المستهدف.

3. صقل التدفق المحلي (Local Flow Refinement)

   • شبكة التدفق (FlowNet): تتنبأ شبكة موازية مدركة لفك التشفير بحقل متجه تصحيح متبقي. بدلاً من توليد الإزاحة الكاملة من الضجيج، تقوم بصقل مخرج (DraftPrior) بنسبة ضئلة ($\rho = 0.05$) من إجمالي الإزاحة.
   • شبكة المقياس (MetricNet): تقوم مصفوفة تكييف قطرية متعلمة ($G_\psi$) بإعادة وزن هدف مطابقة التدفق لتتماشى مع الاتجاهات الحساسة لفك التشفير. يحاول هذا تعلم مقياس ريماني (Riemannian metric) دون حساب الجيوديسيات الحقيقية.
   • المتبقيات المحدودة (Bounded Residuals): يتم تقييد خطوة الصقل بواسطة حد قياسي $\lambda$ لمنع التدفق من التحرك بعيداً جداً عن البنية المشروطة بالمسودة، مما يحافظ على قابلية القراءة بواسطة فك التشفيد.

4. القراءة والضبط (Readout and Alignment)

   • القراءة المدمجة (Fused Readout): تمت إضافة رأس رمز مساعد أثناء التدريب لتوفير تدرجات مدركة لفك التشفيد، مما يؤدي غالباً إلى نتائج أفضل من مجرد حركة الكامن وحدها.
   • تنظيم النقل الأمثل (OT Regularization): تم اختبار خسائر بأسلوب النقل الأمثل (OT) لمحاذاة توزيع الكوامن المصقولة مع الكوامن الحقيقية، رغم أن النتائج أظهرت أن هذا يحسن الهندسة دون ضمان استرداد الرموز.

المساهمات الرئيسية

تقدم الورقة أربع مساهمات رئيسية، صيغت إلى حد كبير كنتائج تشخيصية:

1. تحديد فشل استرداد فك التشفيد: أثبت المؤلفون أن التشابه الكامن العالي (جيب التمام/MSE) لا يضمن احتمال الرمز المستهدف العالي تحت فك تشفير مجمد.
2. إعداد الصقل المشروط بالمسودة: بروتوكول تجريبي جديد لـ ROCStories باستخدام أول جملتين كمقدمة (prompt) وآخر ثلاث جمل كهدف، حيث يكون الهدف مشوهاً (عبر إسقاط الرموز/token dropout) ليعمل كمسودة للصقل.
3. تحليل الأبعاد: مقارنة تظهر أن كوامن BERT الكاملة ذات 768 بُعداً تتفوق بشكل كبير على الكوامن المضغوطة ذات 256 بُعداً، مما يشير إلى أن الضغط يزيل المعلومات الحرجة على مستوى الرمز (هوية الكلمات الفرعية، الكلمات النادرة) اللازمة لفك التشفيد المنفصل.
4. دراسة الاستئصال (Ablation): تقييم منهجي لـ DraftPrior وFlowNet وMetricNet وOT alignment. تشير النتائج إلى أن جودة توزيع البداية (التي توفرها DraftPrior) هي المحرك الأساسي للاسترداد، بينما تقدم عمليات الصقل الهندسي (MetricNet, OT) مكاسب طفيفة فقط.

النتائج التجريبية

أُجريت التجارب على مجموعة بيانات ROCStories مع تقسيم 32 رمزاً للمقدمة و32 رمزاً للهدف.

• أداء DraftPrior:

  • كوامن 768-d: مع 0% إسقاط (مسودة نظيفة)، وصل احتمال رمز الهدف إلى 0.938. مع 3% و5% إسقاط للرموز، ظلت الاحتمالات قوية عند 0.613 و 0.483 على التوالي.
  • كوامن 256-d: انخفض الأداء بشكل كبير تحت تأثير التشويه (مثلاً، 0.543 عند 3% إسقاط مقابل 0.613 لـ 768-d)، مما يؤكد أن الضغط يفقد معلومات الاسترداد.
  • 10% إسقاط: انهارت الأداء (0.272 احتمال)، مما يظهر حدود نهج الصقل تحت الضجيج الثقيل.

• مكاسب الصقل:

  • التدفق المحلي: قدم صقل التدفق المحلي الخام مكاسب مباشرة ضئيلة مقارنة ببداية DraftPrior.
  • القراءة المدمجة (Fused Readout): قدمت القراءة المدمجة المدركة لفك التشفيد أوضح تحسن (احتمال الهدف: 0.493 مقابل 0.457 لـ DraftPrior وحدها).
  • Metric/OT: بينما تعلمت MetricNet تباينًا (anisotropy) غير بديهي وحسن OT محاذاة الكوامن، إلا أن أياً منهما لم يغلق الفجوة مع النموذج المثالي (oracle) بشكل كبير.

• تشخيص الاستيفاء (Interpolation Diagnostic): أدى تحريك الكوامن المولدة خطياً نحو الكوامن الحقيقية ($z_\alpha = (1-\alpha)\hat{z} + \alpha z_s$) إلى تحسين الاعتلاج المتقاطع (Cross-Entropy) بشكل حاد حتى مع قيم $\alpha$ الصغيرة (مثل $\alpha=0.01$)، مما يؤكد أن الكوامن المولدة في الجوار الصحيح ولكن خارج الحدود القرارية الحادة لفك التشفيد.

• الجودة والسرعة: ينتج النظام مخرجات في أجزاء من الثانية (0.003 ثانية - 0.005 ثانية لكل عينة). ومع ذلك، تظل درجات MAUVE منخفضة (حوالي 0.007)، مما يشير إلى أنه رغم أن النظام ليس عشوائياً، إلا أنه لا يحقق بعد جودة نصية تضاهي النماذج المرجعية ذات الكفاءة العالية (SOTA).

الأهمية والادعاءات

تؤطر الورقة نفسها صراحة كـ تقرير تقني تشخيصي وليس كادعاء بحل مشكلة توليد النصوص غير المتسلسل ذاتياً. تكمن أهميتها الأساسية في الاستنتاجات التالية:

1. الهندسة الكامنة ليست كافية: لا يمكن لتحسين المساحة الكامنة المستمرة (عبر مطابقة التدفق أو المقاييس الريمانية) أن يحل محل توزيع بداية مدرك لفك التشفيد. "حوض فك التشفيد" هو حد قرار منفصل لا تستطيع المقاييس الناعمة تقريبه بالكامل.
2. ضرورة البدايات المهيكلة: يتطلب توليد NAR الناجح في المساحات الكامنة المستمرة البدء من دليل مهيكل على مستوى الحالة (مسودة) بدلاً من الضجيج الخالص.
3. تحول في مقاييس التقييم: يجب تقييم توليد النصوص في المساحات الكامنة من خلال استرداد فك التشفيد (احتمال الرمز المستهدف) والحفاظ على البنية القابلة للقراءة بواسطة فك التشفيد، وليس فقط مقاييس المساحة الكامنة مثل تشابه جيب التمام أو MSE.
4. حدود الضغط: إن ضغط كوامن BERT لتوليدها يسبب عنق زجاجة يزيل المعلومات المعجمية المحددة اللازمة لاسترداد الرموز بدقة، مما يفضل التمثيلات كاملة الأبعاد لهذه المهمة.

يخلص المؤلفون إلى أنه بينما المرحلة الأولى (المشفر التلقائي والتشخيصات) مكتملة، فإن المسار نحو نظام قوي يتطلب نماذج أساسية أقوى، ومسودات مولدة خارجياً (بدلاً من التشويه الاصطناعي)، ومزيد من العمل على نماذج الصقل التي تحترم الطبيعة المنفصلة لواجهة فك التشفيد.