ملخص تقني: نمذجة اللغة باستخدام التدفقات فائقة الكرة (S-FLM)

بيان المشكلة

تهيمن النماذج ذاتية الانحدار (AR) على نمذجة اللغة نظرًا لقابليتها للتوسع وسرعة تقييم الاحتمالية لديها، لكنها تعاني من التوليد المتسلسل والافتقار إلى السياق ثنائي الاتجاه أثناء الاستدلال. توفر نماذج الانتشار المنفصلة توليدًا متوازيًا وسياقًا ثنائي الاتجاه، لكنها محدودة بقيود القابلية للحساب التي تجبرها على أخذ عينات من الهوامش المتحللة، مما يقلل من القدرة التعبيرية مقارنة بنماذج AR.

تحاول نماذج تدفق اللغة (FLMs) الحديثة سد هذه الفجوة عن طريق تطبيق التدفقات المستمرة على اللغة، ونقل الضجيج إلى البيانات عبر معادلة تفاضلية عادية (ODE) حتمية. ومع ذلك، تواجه نماذج FLM الحالية قصورين حرجين:

1. التكلفة الحسابية: تمثل هذه النماذج الرموز (tokens) كمتجهات "one-hot" ذات بُعد $|V|$ (حجم المفردات). بالنسبة للمفردات الكبيرة (100 ألف - 200 ألف)، يتطلب هذا تخزين ومعالقة متجهات عالية الأبعاد، مما يجعل التدريب أبطأ بكثير من نماذج الانتشار المنفصلة أو نماذج AR.
2. الغموض الدلالي: يفتقر إضافة ضجيج غاوسي (Gaussian noise) إلى متجهات الـ one-hot إلى تفسير دلالي واضح. فخلافًا للصور، حيث يؤدي الضجيج تدريجيًا إلى تدهور البنية، فإن إضافة الضجيج الغاوسي إلى تضمينات one-let متساوية المسافة لا يمتلك معنى هندسيًا بديهيًا.

المنهجية

يقترح المؤلفون نموذج تدفق اللغة فائق الكرة (S-FLM)، وهو نموذج تدفق ريماني معرف على الكرة فائقة d-البعد $S^{d-1}$ بدلاً من الفضاء الإقليدي أو فضاءات الحالة المنفصلة.

الآليات الجوهرية

• الفضاء الكامن فائق الكرة: بدلاً من متجهات one-hot، يتم رسم خرائط الرموز إلى تضمينات ذات معيار وحدة $\hat{e}_v \in S^{d-1}$. تقوم العملية الأمامية بنقل التضمينات "النظيفة" نحو توزيع مسبق منتظم على الكرة عبر الاستيفاء الخطي الكروي (SLERP)، بدلاً من الاستيفاء الخطي مع الضجيج الغاوسي.
• مطابقة التدفق الريماني: يتعلم النموذج حقل سرعة $u_t$ على المتشعب $S^{d-1}$ الذي يحدد معادلة تفاضلية عادية (ODE). يتم اشتقاق السرعة الشرطية باستخدام الخريطة اللوغاريتمية على الكرة:
  $$u_{t|1}(z_t | z_1) = \frac{\dot{\alpha}_t}{1-\alpha_t} \log_{z_t}(z_1)$$
  حيث $z_1$ هو التضمين النظيف و $z_t$ هو الكامن المشوش.
• هدف التدريب: يتم تدريب المنقي (denoiser) $p_\theta^{1|t}$ باستخدام الإنتروبيا المتقاطعة (CE) للتنبؤ بالرمز النظيف $x_\ell$ بمعلومية الكامن المشوش $z_t$. وهذا يتجنب الحد الأدنى البديهي حيث تنهار جميع التضمينات إلى نقطة واحدة، وهو خطر عند استرجاع السرعات مباشرة مقابل التضمينات القابلة للتعلم.
• أخذ العينات: عند الاستدلال، يقوم النموذج بدمج حقل السرعة المتعلم من الضجيج المنتظم على الكرة إلى المتشعب البياني. يتم حساب حقل السرعة عن طريق الهامش (marginalizing) فوق المتجهات المماسية التي تشير نحو كل رمز نظيف، بوزن يعتمد على التوزيع اللاحق $p_\theta^{1|t}$.
  • السرعة الدقيقة (Exact Velocity): تجمع عبر كامل حجم المفردات (مكلفة حسابيًا).
  • السرعة لـ k-الأعلى (Top-k Velocity): تقصر الجمع على أكثر $k$ من الرموز احتمالية. يقابل فك التشفير Top-1 عملية فك التشفير الجشعة (greedy decoding).
  • فك التشفير العشوائي (Stochastic Decoding): يأخذ عينة من رمز واحد من التوزيع اللاحق لتحديد اتجاه السرعة.

الابتكارات الهيكلية والتدريبية

1. S-arch (العمود الفقري فائق الكرة): متغير من Transformer حيث يتم تقييد التنشيطات الوسيطة لتكون في $S^{d-1}$. يستبدل الاستكمال المتبقي الإضافي باستيفاءات طبيعية ويعرف طبقات الانتباه/MLP كدوران. هذا يجعل البنية متوافقة مع المتشعب المدخل، مما يحسن جودة العينات.
2. تثقيل جدول الضجيج (Noise Schedule Truncation): اشتق المؤلفون حدًا نظريًا $\alpha^\star(\delta)$ بناءً على الهندسة عالية الأبعاد. وأظهروا أنه في الأبعاد العالية، ينهار التوزيع اللاحق إلى توزيع one-hot بمجرد انخفاض مستوى الضجيج دون عتبة معينة. يتم قطع التدريب عند مستويات ضجيج أعلى من هذه العتبة لتجنب التعلم من مهام إزالة الضجيج البديهية.
3. جدول ضجيج تكيفي: مستوحى من InfoNoise، يتم تكييف جدول التدريب لتخصيص عينات أكثر لمستويات الضجيج حيث يكون تدرج الخسارة في أقصى درجاته، مما يحسن كفاءة التدريب.

المساهمات الرئيسية

1. إطار عمل S-FLM: نموذج لغة قائم على التدفق يعمل على تضمينات $d$-بُعد على كرة فائقة، مما يلغي الحاجة إلى تجسيد متجهات one-hot ذات البعد $|V|$. هذا يقلل تكاليف التدريب لتصبح مقاربة لنماذج الانتشار المنفصلة.
2. العمود الفقري S-arch: بنية مبتكرة تحافظ على التنشيطات على الكرة فائقة، مما يعطي أداءً أفضل في مهام الاستدلال (GSM8K) ونمذجة اللغة (OpenWebText) مقارنة بنماذج DiT القياسية.
3. تثقيل الضجيح النظري: منهجية مبدئية لقطع جدول الضجيح بناءً على حجم المفردات وبُعد التضمين، مما يحسن بشكل كبير الأداء في مهام الاستدلال.
4. مكاسب الأداء: يتفوق S-FLM بشكل كبير على نماذج التدفق المستمر السابقة. في GSM8K، يحقق حوالي 18% دقة باستخدام فك التشفير top-1 (مقارنة بأقل من 1% لنماذج FLM السابقة)، مما يغلق الفجوة مع نماذج الانتشار المقنع (MDLM, Duo) عند درجة الحرارة القياسية ($T=1$).

النتائج التجريبية

• استدلال سودوكو (Sudoku Reasoning): يحقق S-FLM أداءً مشابهًا لنماذج FLM السابقة ونماذج الانتشار المنفصلة (Duo)، حيث تصل أفضل نتائج الانتشار المستمر إلى 94.8% في الألغاز السهلة و45.0% في الصعبة عند استخدام التثقيل والجداول التكيفية.
• GSM8K (الاستدلال الرياضي):
  • حققت نماذج مستمرة سابقة (FLM, CANDI) أقل من 1% دقة.
  • يصل S-FLM مع فك التشفير top-1 إلى 18.0% دقة، مما يطابق أداء MDLM و Duo عند $T=1$.
  • لا تزال هناك فجوة في الأداء عند درجات الحرارة المنخفضة ($T=0.1$)، حيث تصل النماذج المنفصلة (Duo, MDLM) إلى 33–36%، بينما يستقر S-FLM عند حوالي 18%.
• OpenWebText (نمذجة اللغة): يطابق S-FLM حدود الارتباك التوليدي (Gen. PPL) / الإنتروبيا لنماذج FLM السابقة عند عدد مرتفع من عمليات التقييم (NFE) ويتفوق عليها عند NFE المنخفض، حيث أظهرت النماذج المستمرة السابقة حدودًا غير مستقرة.
• كفاءة التدريب: يتدرب S-FLM بشكل أسرع من نماذجم FLM (التي تستخدم متجهات one-hot) وهو مماثل في السرعة لنماذج الانتشار المنفصلة.

الأهمية والادعاءات

يزعم البحث أن S-FLM يمثل خطوة مهمة للأمام لنماذج اللغة ذات التدفق المستمر من خلال معالجة مشكلات القابلية للتوسع والتفسير الدلالي. من خلال العمل على الكرة فائقة، يتجنب النموذج الاختناق الحسابي لمتجهات one-hot عالية الأبعاد ويوفر آلية حقن ضجيج متماسكة هندسيًا.

يشير المؤلفون إلى أنه بينما يغلق S-FLM الفجوة مع الانتشار المنفصل ونماذج AR من حيث الارتباك التوليدي ودقة الاستدلال عند درجات الحرارة القياسية، إلا أن هناك فجوة كبيرة تظل قائمة عند فك التشفير بدرجة حرارة منخفضة، حيث تصل نماذج (Duo, MDLM) إلى 33–36%، بينما يستقر S-FLM عند 18%. يُقدم العمل كتقدم منهجي يجعل نماذج التدفق المستمر أكثر جدوى لنمذجة اللغة ذات المفردات الكبيرة، رغم بقاء الفجوة في الأداء مقارنة بالنماذج ذاتية الانتحار (AR) المتطورة في المجالات القابلة للتحقق.