💬 NLP

TextLDM: Language Modeling with Continuous Latent Diffusion

تقدم الورقة البحثية TextLDM، وهو إطار عمل للنمذجة اللغوية يعمل على تكييف بنية محول الانتشار البصري (DiT) مع توليد النصوص عبر رسم خرائط الرموز المنفصلة إلى كامنات مستمرة بواسطة مشفر فك تشفير تلقائي (VAE) معزز بمحاذاة التمثيل (REPA)، محققاً أداءً يضاهي GPT-2 ومتقدماً نحو هدف نماذج الانتشار متعددة الوسائط الموحدة.

المؤلفون الأصليون: Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang, Jianhui Liu, Yanbing Zhang, Shenghe Zheng, Yuan Zhang, Haoyang Huang, Nan Duan, Wangmeng Zuo

نُشر 2026-05-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang, Jianhui Liu, Yanbing Zhang, Shenghe Zheng, Yuan Zhang, Haoyang Huang, Nan Duan, Wangmeng Zuo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية كتابة قصة. لفترة طويلة، كانت الطريقة القياسية للقيام بذلك تشبه الآلة الكاتبة: يقوم الروبوت بطباعة حرف، ثم التالي، ثم التالي، في خط مستقيم صارم. يُسمى هذا "النمذجة ذاتية الانحدار" (Autoregressive - AR). وهي تعمل بشكل جيد، لكنها بطيئة لأن الروبوت لا يستطيع كتابة الجملة بأكملة دفعة واحدة؛ بل يجب عليه بناؤها لبنة تلو الأخرى.

من ناحية أخرى، عندما يتم تعليم الروبوتات كيفية رسم الصور، اكتشف العلماء مؤخرًا طريقة أفضل. فبدلاً من الرسم خطاً بخط، يبدأون بلوحة مليئة بالضجيج الساكن (مثل تشويش التلفاز) ثم يقومون بـ "إزالة الضجيج" (denoise) تدريجيًا حتى تظهر صورة واضحة. تُسمى هذه العملية الانتشار (Diffusion).

هذه الورقة البحثية، TextLDM، تطرح سؤالاً بسيطاً: هل يمكننا تعليم الروبوت كتابة القصص باستخدام نفس طريقة "إزالة الضجيج" التي نستخدمها لرسم الصور؟

إليك كيف فعلوا ذلك، مشروحاً عبر التشبيهات:

١. المشكلة: الكلمات منفصلة، والضجيج مستمر

العقبة الرئيسية هي أن الكلمات تشبه قطع الليغو (Lego). لا يمكنك الحصول على نصف قطعة؛ فهي إما موجودة أو غير موجودة. لكن طريقة "إزالة الضجيج" المستخدمة في الصور تعمل مع ألوان ناعمة ومستمرة (مثل خلط الطلاء).

إذا حاولت تحويل قطع الليغو مباشرة إلى طلاء ناعم، فستكون النتيجة عادةً فوضى ضبابية. المحاولات السابقة للقيام بذلك مع النصوص فشلت لأن "النسخ الناعمة" من الكلمات التي أنشأتها كانت مشوشة للغاية لدرجة تمنع الروبوت من فهم كيفية تحويلها مرة أخرى إلى جمل جيدة.

٢. الحل: "المترجم" (TextVAE)

قام المؤلفون ببناء مترجم خاص (يُسمى TextVAE).

المهمة: يأخذ جملة مكونة من قطع الليغو (كلمات منفصلة) ويترجمها إلى سائل ناعم ومستمر (متجهات كامنة/latent vectors).
الحيلة: وجدوا أن مجرد ترجمة الكلمات لم يكن كافياً. كان السائل يحتاج لأن يكون "ذكياً". لذا، أضافوا معلماً (نموذج لغوي مسبق التدريب ومجمد يسمى Qwen3).
المحاذاة (REPA): تخيل أن المترجم هو طالب والمعلم هو معلم خبير. يحاول الطالب ترجمة الكلمات، لكن المعلم يتحقق باستمرار: "هل هذا التمثيل السائل للكلمة يلتقط المعنى الحقيقي للكلمة، تماماً كما أفعل أنا؟" هذه العملية، التي تسمى محاذاة التمثيل (REPA)، تجبر المترجم على إنشاء "لغة سائلة" مهيكلة بشكل مثالي لعملية إزالة الضجيج.

٣. المولد: "النحات الذي يزيل الضجيج" (TextDiT)

بمجرد أن يصبح المترجم جاهزاً، تبدأ عملية الكتابة الفعلية.

بدلاً من كتابة الكلمات واحدة تلو الأخرى، يبدأ الروبوت بدلو من الضجيج العشوائي (مثل تشويش التلفاز).
يستخدم الروبوت نحاتاً (محول انتشار أو Diffusion Transformer، ويُعرف بـ DiT) لنحت الضجيج تدريجياً، مسترشداً بـ "اللغة السائلة" التي صنعها المترجم.
السحر: نظرًا لأنه يعمل في هذا الفضاء المستمر والناعم، يمكن للروبوت توليد القصة بأكملها دفعة واحدة، بدلاً من كلمة تلو الأخرى.

٤. لماذا هذا مهم (النتائج)

اختبرت الورقة البحثية هذه الطريقة الجديدة على أربعة تحديات مختلفة للكتابة (من قصص الأطفال البسيطة إلى مدخلات الموسوعة المعقدة).

السرعة: نظرًا لأنه يولد القصة بأكملها بالتوازي (مثل رسم لوحة كاملة في وقت واحد) بدلاً من التسلسل (مثل الكتابة على الآلة الكاتبة)، يمكنه أن يكون أكثر كفاءة للنصوص الطويلة.
الجودة: تفوقت الطريقة الجديدة (TextLDM) على جميع نماذج الانتشار السابقة للنصوص. في الواقع، قدمت أداءً يضاهي أفضل نماذج "الآلة الكاتبة" (مثل GPT-2) من حيث الحجم.
الرؤية الجوهرية: تثبت الورقة أن "الوصفة" الدقيقة المستخدمة لصنع صور الذكاء الاصطناعي المذهلة (ترجمة ناعمة + معلم ذكي + نحات إزالة الضجيج) تعمل بشكل مثالي للكلمات أيضاً، بشرط إصلاح "المترجم" بالمحاذاة الصحيحة.

الملخص

فكر في الأمر بهذه الطوة: قبل ذلك، كانت الكتابة باستخدام الذكاء الاصطناعي تشبه تشكيل الطين قطعة صغيرة تلو الأخرى. تُظهر هذه الورقة أنه إذا قمت أولاً بتحويل الطين إلى سائل ذكي وناعم تماماً، يمكنك صب الشكل بالكامل مرة واحدة والحصول على نتيجة جيدة جداً، بل وربما أسرع وأكثر مرونة. هم لم يخترعوا طيناً جديداً؛ بل وجدوا فقط طريقة أفضل لتنعيمه قبل تشكيله.

ملخص تقني: TextLDM

بيان المشكلة

يسعى مجال النمذجة متعددة الوسائط إلى إيجادة إطار عمل موحد قادر على توليد المحتوى البصري والنصي بسلاسة. وبينما نجحت نماذج "ترانسفورمر الانتشار" (Diffusion Transformers - DiT) المدربة باستخدام "مطابقة التدفق" (flow matching) في فضاء كامن لـ "المشفر التلقائي المتغير" (VAE) في توحيد توليد الصور والفيديو، إلا أن نمذجة اللغة ظلت تهيمن عليها منهجية "النمذجة التنبؤية الذاتية" (autoregressive - AR). إن المحاولات الحالية لتوحيد الفهم والتوليد تعتمد غالباً على نماذج الرموز المنفصلة (discrete token-based) أو الانتشار المنفصل، مما يترك فجوة منهجية. ويتمثل التحدي المركزي في تطبيق الانتشار الكامن المستمر على النصوص ليس في هيكل الانتشار نفسه، بل في جودة التمثيلات النصية المستمرة؛ حيث يمكن لـ VAE المدرب فقط على إعادة بناء الرموز (tokens) أن يحقق دقة عالية، ومع ذلك ينتج فضاءات كامنة غير مناسبة لعملية إزالة الضجيج الشرطية، مما يؤدي إلى جودة توليد دون المستوى الأمثل.

المنهجية: TextLDM

يقترح المؤلفون TextLDM، وهو إطار عمل ينقل وصفة الانتشار الكامن البصري إلى نمذجة اللغة مع حد أدنى من التعديل الهيكلي. يعمل النظام عبر عملية مكونة من مرحلتين:

1. TextVAE: التمثيل الكامن المستمر

يقوم "المشفر التلقائي المتغير للترانسفورمر" (TextVAE) برسم خرائط من الرموز المنفصلة إلى متجهات كامنة مستمرة.

الهيكل: على عكس النهج السابقة التي تضغط تسلسلات الرموز إلى تسلسلات كامنة أقصر، يحافظ TextVAE على علاقة "واحد لواحد"، حيث يقابل كل رمز متجه كامن مستمر. ويعد كل من المشفر ( $E_\phi$ ) وفك التشفيد ( $D_\psi$ ) من نماذج الترانسفورمر.
محاذاة التمثيل (REPA): لمعالجة مشكلة فعالية الفضاء الكامن، قدم المؤلفون تقنية REPA. يتم محاذاة مشفر الـ VAE مع نموذج لغوي مدرب مسبقاً ومجمد (Qwen3-1.7B) عبر فقدان تشابه جيب التمام (cosine similarity loss) على التمثيلات المتوسطة. هذا يشكل الهندسة الكامنة لتكون أكثر ملاءمة للتوليد القائم على الانتشار دون المساس بدقة إعادة البناء.
هدف التدريب: يتم تدريب الـ VAE باستخدام فقدان مركب يتكون من فقدان إعادة بناء الإنتروبيا المتقاطعة (cross-entropy)، وتنظيم تباعد KL، وفقدان محاذاة REPA.

2. TextDiT: مطابقة التدفق في الفضاء الكامن

يقوم "ترانسفورمر الانتشار النصي" (TextDiT) القياسي، وهو متطابق هيكلياً مع نظيره البصري، بعملية مطابقة التدفق داخل الفضاء الكامن المتعلم.

الصيغة الشرطية: يعامل النموذج توليد اللغة كعملية شرطية، حيث يأخذ المتجهات الكامنة للسياق النظيف ( $z_c$ ) والمتجهات الكامنة المستهدفة المشوبة بالضجيج ( $z_t$ ) كمدخلات للتنبؤ بمجال السرعة.
مطابقة التدفق: يتم تحسين النموذج باستخدام فقدان "مطابقة التدفق الشرطية" (CFM)، والذي يقوم بعملية استيفاء (interpolation) بين الضجيج الغاوسي والمتجه الكامن المستهدف.
الجدولة والتوجيه: يتبنى النظام جدول زمني للخطوات الزمنية بنمط "لوجيت-نورمال" (logit-normal) (الذي ثبتت فعاليته في Stable Diffusion 3) ويستخدم "التوجيه الخالي من التصنيف" (Classifier-Free Guidance - CFG) لتحسين جودة التوليد.
الاستدلال: يتم التوليد بشكل متوازٍ عبر حل معادلة "أويلر التفاضلية" (Euler ODE solver)، مما يتجنب فك التشفير التنبؤي الذاتي على مستوى الرمز. وهذا يسمح بكفاءة استدلال ثابتة بغض النظر عن طول التسلسل (عدد ثابت من عمليات تقييم الدوال بغض النظر عن طول التسلسل).

المساهمات الرئيسية

هيكل موحد: نجح TextLDM في نقل وصفة الانتشار البصري (VAE + DiT + مطابقة التدفق + CFG) إلى نمذجة اللغة، مما يمثل خطوة نحو بنيات متعددة الوسائط موحدة. يتم تدريب النظام بأكمله من الصفر دون الاعتماد على مشفرات أو فك تشفير مدربة مسبقاً لعملية الانتشار.
تحديد اختناق التمثيل: حدد المؤلفون أن دقة إعادة البناء وحدها غير كافية لتوليد نصوص عالية الجودة عبر الانتشار. وقد أثبتوا أن محاذاة التمثيل (REPA) أمر بالغ الأهمية لتشكيل الفضاء الكامن لدعم جودة التوليد في المهام اللاحقة.
أداء رائد: يحقق TextLDM نتائج هي الأفضل في فئته (SOTA) بين نماذج لغة الانتشار، ويضاهي النماذج التنبؤية الذاتية (مثل GPT-2) تحت نفس الإعدادات.
الكفاءة: يوفر الإطار ملف تعريف توليد أكثر ثباتاً في الوقت مقارنة بالنمو الخطي في عمليات التقييم في النماذج التنبؤية الذاتية.

النتائج التجريبية

تم تدريب النماذج من الصفر على مجموعة بيانات OpenWebText2 وتم تقييمها على استكمال النصوص عبر أربعة اختبارات معيارية: One Billion Words، وTinyStories، وWikipedia، وWikiSource.

الأداء مقابل نماذج الانتشار الأساسية: يتفوق TextLDM بشكل كبير على نماذج لغة الانتشار المستمرة السابقة (مثل SSD-LM) والمنفصلة (مثل Block Diffusion) عبر جميع المقاييس (ROuGE، BERTScore، MAUVE).
الأداء مقابل النماذج التنبؤية الذاتية (AR):
- في TinyStories وOne Billion Words، يضاهي أو يتجاوز TextLDM نماذج GPT-2 ذات الحجم المماثل أو الأكبر في مقاييس ROUGE.
- في الاختبارات خارج نطاق البيانات (Out-of-distribution) مثل Wikipedia وWikiSource، تفوق متغير TextLDM (بـ 768 مليون معلمة) على جميع نماذج GPT-2 المرجعية.
- لا تزال هناك فجوة طفيفة في مقياس BERTScore في بعض الاختبارات، حيث تحتفظ النماذج التنبؤية الذاتية بميزة.
سلوك التوسع (Scaling): يُظهر TextLDM سلوك توسع متسق؛ حيث يتحسن الأداء بشكل ملحوظ مع زيادة حجم DiT من 114 مليون إلى 768 مليون معلمة.
كفاءة التدريب: تُظهر ديناميكيات التدريب أن TextLDM يضاهي أو يتجاوز أداء GPT-2-medium خلال عدد مماثل من خطوات التدريب في معظم الاختبارات، وهو تحسن كبير عن نماذج الانتشار المستمرة السابقة التي كانت تتطلب قدرات حوسبة أكبر بكثير.
رؤى الدراسات الاستقصائية (Ablation):
- REPA: يؤدي إزالة REPA إلى انخفاض كبير في جودة التوليد، مما يؤكد ضرورته لهيكل الفضاء الكامن.
- إعادة البناء مقابل التوليد: حققت جميع تكوينات VAE إعادة بناء شبه مثالية للرموز (>97.5%)، ومع ذلك تباينت جودة التوليد بشكل كبير بناءً على REPA والأبعاد الكامنة، مما يثبت أن هندسة الفضاء الكامن، وليس إعادة البناء، هي ما يقود الأداء.
- المعلمات الفائقة: حقق الجدول الزمني للخطوات (logit-normal timestep schedule) بمعامل (std=1.5) ومقياس CFG بقيمة 7 أفضل النتائج.

الأهمية والادعاءات

يزعم البحث أن TextLDM يثبت أن "وصفة DiT البصرية" تنتقل بفعالية إلى اللغة. ومن خلال إثبات أن بنية موحدة يمكنها التعامل مع التخليق البصري وتوليد النصوص، يوفر هذا العمل أساساً ملموساً للبنيات الموحدة المستقبلية للانتشار لتوليد المحتوى متعدد الوسائط (الفهم والتوليد). ويؤكد المؤلفون أن مفتاح النجاح لم يكن مجرد هيكل الانتشار، بل التكيف المحدد للفضاء الكامن عبر محاذاة التمثيل (REPA)، مما يسمح بنمذجة النصوص المنفصلة بفعالية ضمن إطار انتشار مستمر.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن مسار التدريب المكون من مرحلتين يضيف تعقيداً، وأن دقة إعادة البناء في البيانات خارج النطاق (مثل Wikipedia) أقل قليلاً من البيانات داخل النطاق، مما قد يؤدي إلى انتقال الأخطاء. ويقترحون أن توسيع مجموعة بيانات التدريب ببيانات أكثر تنوعاً قد يخفف من هذه المشكلات.