ملخص تقني: SMOOTHIE (التنعيم الانتشاري على تضمينات الرموز)

بيان المشكلة

حققت نماذج الانتشار (Diffusion models) نتائج رائدة في المجالات المستمرة مثل الصور والصوت، لكنها تواجه تحديات كبيرة عند تطبيقها على توليد النصوص بسبب الطبيعة المنفصلة للغة. تندرج النهج الحالية عمومًا تحت فئتين، لكل منهما قيود متميزة:

1. الانتشار الغاوسي في الفضاءات الكامنة (Gaussian Diffusion in Latent Spaces): تطبق هذه الطرق ضوضاء غاوسية على تضمينات الرموز (token embeddings) المستمرة. وبينما تحافظ هذه الطرق على البنية الدلالية (بناءً على فرضية المساحة الدلالية الإقليدية)، إلا أنها تعاني في خطوة فك التشفير المنفصلة، مما يتطلب غالبًا عملية رسم خرائط صريحة من المتجهات المستمرة إلى الرموز، وهي عملية قد تكون غير مستقرة أو تفقد بعض المعلومات.
2. الانتشار الفئوي/السمبلكسي (Categorical/Simplex Diffusion): تعمل هذه الطرق مباشرة على سمبلكس احتمالات المفردات أو التوزيعات الفئوية. وبينما تحترم هذه الطرق الطبيعة المنفصلة للنص وتلغي الحاجة إلى فك تشفير صريح، إلا أنها عادة ما تتجاهل العلاقات الدلالية بين الرموز أثناء عملية إضافة الضوضاء. يؤدي هذا إلى تدهور أكثر عشوائية وأقل جدوى للمعلومات.

المشكلة الجوية هي الافتقار إلى إطار عمل انتشار يحترم في آن واحد الطبيعة المنفصلة للنص ويزيل المعلومات الدلالية تدريجيًا بطريقة تحافظ على التماسك الدلالي خلال العملية الأمامية.

المنهجية: SMOOTHIE

يقترح المؤلفون SMOOTHIE (التنعيم الانتشاري على تضمينات الرموز)، وهو إطار عمل جديد يجسّر الفجوة بين الانتشار المستمر والمنفصل عن طريق تنعيم تضمينات الرموز بناءً على التشابه الدلالي.

1. عملية الانتشار الأمامي (إضافة الضوضاء)

بدلاً من إضافة الضوضاء مباشرة إلى التضمينات أو الاحتمالات الفئوية، يمثل SMOOTHIE كل رمز $w_i$ في تسلسل مستهدف كمتجه من المسافات الإقليدية المربعة السالبة بين التضمين الخاص به وتضمينات جميع الرموز في المفردات:
$$D_0 = \left( -\|E_{w_i} - E_j\|^2 \right)_{i,j=1}^{m,V}$$
حيث أن $E$ هي مصفوفة تضمين ثابتة (مثل BERT)، و $m$ هو طول التسلسل، و $V$ هو حجم المفردات.

تقوم العملية الأمامية بتعديل متجهات المسافة هذه تدريجيًا عن طريق إضافة ضوضاء غاوسية:
$$q(D_t | D_0) = \mathcal{N}\left(D_t \mid \frac{1}{\sigma_t^2}D_0, \delta^2 I\right)$$
حيث أن $\sigma_t$ هو مجدول الضوضاء الذي يتحكم في عرض النطاق الترددي (bandwidth)، و $\delta$ يتحكم في العشوائية. يتم تحويل المتجه المشوش $D_t$ إلى توزيع احتمالي عبر دالة softmax: $p_t = \text{softmax}(D_t)$.

الرؤية الجوهرية: مع زيادة الضوضاء (وعندما ينمو $\sigma_t$)، فإن الكتلة الاحتمالية التي كانت تتركز في البداية على الرمز الصحيح تتوزع تدريجيًا على رموز أخرى. ومن الأهمية بمكان أنه نظرًا لأن المدخل يعتمد على المسافات الإقليدية، فإن الكتلة الاحتمالية تنتشر أولاً إلى الرموز المتشابهة دلاليًا (ذات المسافات الإقليدية الأصغر) قبل الوصول إلى الرموز البعيدة. هذا يحاكي مبدأ "تشتت الحرارة"، مما يضمن إزالة المعلومات الدلالية بشكل تدريجي بدلاً من حدوثها بشكل فوضوي.

2. عملية الانتشار العكسي (إزالة الضوضاء)

يتم نمذجة العملية العكسية كسلسلة ماركوف حيث تتنبأ شبكة عصبية $f_\theta$ بمتجه المسافة الأصلي $D_0$ (أو نسخة مُدرجة منه) من المدخل المشوش $p_t$. يتم تدريب النموذج لتقليل متوسط الخطأ التربيعي (MSE) بين متجه المسافة المتوقع والحقيقي:
$$L(\theta) = \mathbb{E}[\|D_0 - g_\theta(p_t, t)\|^2]$$
يثبت المؤلفون أن التنبؤ بمتجه المسافة يكافئ التنبؤ بالتضمين المتوقع، مما يسمح للنموذج بإخراج تقدير للتضمين النظيف والذي يتم تحويله بعد ذلك إلى رمز عبر البحث عن أقرب جار أو استخدام argmax.

3. أخذ العينات والمحلل (Sampling and Solver)

يقدم المؤلفون مخطط أخذ عينات محدد (المعادلة 9) يقوم بتحديث الحالة الكامنة عن طريق تطبيق العملية الأمامية مباشرة على تنبؤ النموذج، بدلاً من الاعتماد على الحالة الكامنة السابقة كما هو الحال في حلول DDPM القياسية.
$$D_{t-1} = \frac{1}{\sigma_{t-1}^2}D_0(f_\theta(p_t, t)) + \tilde{\delta}\epsilon$$
هذا النهج يتجاهل الحالة المخفية السابقة أثناء خطوة التحديث. يرى المؤلفون أن هذا مفيد لتوزيع البيانات المتناثرة لتضمينات النصوص، مما يقلل من خطر انحراف التمثيل الكامن عن "متشعب البيانات" (data manifold).

4. البنية والاشتراط (Conditioning)

• البنية: تعتمد على طبقات Transformer decoder مع اتصالات تخطي (skip connections) من نوع UNet.
• الاشتراط: لمهام (sequence-to-sequence)، يقوم مشفر Transformer إضافي بمعالجة التسلسل المصدر، ويتم دمجه عبر الانتباه المتقاطع (cross-attention).
• الاشتراط الذاتي (Self-Conditioning): يستخدم النموذج الاشتراط الذاتي، حيث يتم تغذية تنبؤه السابق كمدخل للخطوات اللاحقة لتحسين الاستقرار والجودة.

المساهمات الرئيسية

1. إطار عمل انتشار مبتكر: يعد SMOOTHIE أول طريقة لانتشار النصوص تحترم في آن واحد الطبيعة المنفصلة للنصوص وتزيل المعلومات الدلالية تدريجيًا عن طريق تنعيم تضمينات الرموز بناءً على المسافات الإقليدية.
2. تعميم الانتشار السمبلكسي: يثبت المؤلفون نظريًا أن الفضاء الكامن القائم على المسافة الخاص بهم يعمم الفضاء الكامن القائم على السمبلكس (المستخدم في SSD-LM و TESS). وقد تبين أن الانتشار السمبلكسي هو حالة خاصة من SMOOTHIE حيث تكون مقياس المسافة تافهًا (0 للرمز نفسه، و1 بخلاف ذلك).
3. محلل أخذ عينات محسن: يقترح البحث محللًا يتجاهل الحالة المخفية السابقة أثناء التحديثات، وهو ما يتفوق تجريبيًا على حلول DDPM و DDIM القياسية في مهام (sequence-to-sequence).
4. التفوق التجريبي: تظهر التجارب المكثفة أن SMOOTHIE يتفوق على النماذج المنتشرة الأخرى (بما في ذلك النسخ القائمة على التضمينات والنسخ القائمة على السمبلكس) ويحقق جودة تقارب النماذج ذات التوليد الذاتي (autoregressive) مثل BART و GPT-2 عبر مهام متعددة.

النتائج التجريبية

قيم المؤلفون SMOOTHIE في مهمة توليد غير مشروطة واحدة (ROCStories) وأربع مهام (sequence-to-sequence) وهي (Quora Question Pairs, Quasar-T, XSum, ParaDetox).

• الأداء: تفوق SMOOTHIE باستمرار على النماذج المرجعية الأخرى للانتشار (DiffuSeq, TESS, SSD-LM, TEncDM، إلخ) وعلى عمليات تنفيذ الفضاء الكامن البديلة (الانتشار القائم على التضمين والانتشار القائم على السمبلكس المدرب ضمن نفس الإطار).
• المقاييس:
  • XSum: حقق درجة BERTScore بلغت 68.8 و ROUGE-L بلغت 26.0، متفوقًا على طرق الانتشار الأخرى ومقتربًا من النماذج ذات التوليد الذاتي.
  • ROCStories: حقق أعلى درجة MAUVE (80.7) بين نماذج الانتشار، مقتربًا بشدة من GPT-2 (78.9)، مع الحفاظ على تنوع عالٍ.
  • ParaDetox: حقق أعلى J-Score (51.7) لعملية إزالة السمية من النصوص.
• دراسات الاستئصال (Ablation Studies):
  • $\tilde{\delta}$ (العشوائية): القيم الأقل لـ $\tilde{\delta}$ (مثل 0.1) حسنت الارتباك (perplexity) والتماسك لمهام (sequence-to-sequence)، بينما كانت القيم الأعلى قليلاً هي المثلى للتوليد غير المشروط للحفاظ على التنوع.
  • المحلل (Solver): تفوق المحلل المقترح (المعادلة 9) باستمرار على DDPM و DDIM في جميع المهام.
  • التضمينات: يعتمد النموذج على تضمينات BERT المدربة مسبقًا. أظهرت دراسة الاستئصال أنه بينما قدمت تضمينات GPT-2 أداءً مشابهًا، أدت تضمينات GloVe إلى جودة أقل، مما يسلط الضوء على أهمية جودة التضمين.

الأهمية والادعاءات

يدعي البحث أن SMOOTHIE يمثل خطوة للأمام في انتشار النصوص من خلال حل المقايضة بين الحفاظ على المعنى والهيكل المنفصل. ومن خلال دمج العلاقات الدلالية مباشرة في عملية إضافة الضوضاء عبر المسافات الإقليدية، تمكنت الطريقة من توفير "عملية فك تشفير طبيعية" حيث تُزال المعلومات بشكل تدريجي وذي معنى.

يشير المؤلفون بتواضع إلى أنه بينما يمكن تطبيق هذه الطريقة على مجالات فئوية أخرى ذات تشابهات متأصلة (مثل الرسوم البيانية أو تسلسلات البروتين)، إلا أنها تعتمد حاليًا على تضمينات مدربة مسبقًا بدلاً من التدريب من البداية للنهاية (end-to-end)، وهو ما يظل تحديًا بسبب مشا-كل الاستقرار مع فقدان MSE. كما يقرون بالعبء الحسابي لحساب المسافات الزوجية في كل خطوة، لكنهم يجادلون بأن مكاسب الأداء تبرر التكلفة، وأن الطريقة تقدم بديلًا قويًا للنماذج ذات التوليد الذاتي للمهام التي تتطلب تنوعًا وتحكمًا عاليين.

يوحي العمل بأن اختيار الفضاء الكامن والمحلل الانتشاري المحدد لا يقل أهمية عن بنية النموذج نفسه، حيث يوفر SMOOTHIE إطار عمل موحد يستفيد من نقاط القوة لكل من الانتشار المستمر والمنفصل.