← أحدث الأبحاث
💬 معالجة اللغات الطبيعية

CoBit: Language Modeling with Bitstream Diffusion

إن CoBit هو نموذج لغوي انتشار مستمر يولد النصوص عن طريق إزالة الضجيج بشكل مشترك لأكواد الرموز ذات العرض الثابت ضمن رقعة Transformer واحدة، محققاً درجة تنافسية في الحيرة (perplexity) على المعايير القياسية وأداءً قوياً في الاستنتاج في مهام مثل Sudoku وGSM8K، مع توفير كفاءة محسنة في الذاكرة والقدرة الإنتاجية مقارنة بالنماذج المرجعية كثيفة المخرجات الرمزية.

المؤلف الأصلي: Georgios Batzolis, Mark Girolami, Luca Ambrogioni

نُشر 2026-11-09✓ Author reviewed ⓘ
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلف الأصلي: Georgios Batzolis, Mark Girolami, Luca Ambrogioni

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

أصبحت الحواسيب الحديثة بارعة بشكل ملحوظ في التنبؤ بالكلمة التالية في الجملة. وتعتمد هذه القدرة، التي تشغل كل شيء من ميزة الإكمال التلقائي إلى برامج الدردشة الآلية المتطधिकة، على طريقة تسمى "التراجع الذاتي" (autoregression). في هذا النهج، يقرأ النموذج تسلسلاً من الكلمات ويخمن الكلمة التالية، ثم يقرأ تلك الكلمة الجديدة ليخمن الكلمة التي تليها، ليبني قصة خطوة بخطوة. ورغم أن هذا يعمل بشكل جيد، إلا أنه بطيء بطبيعته لأن الكمبيوتر يجب أن ينتظر كل تخمين قبل الانتقال إلى التخمين التالي، تماماً مثل شخص يقرأ كتاباً بصوت عالٍ ويتوقف للتفكير في الكلمة التالية قبل النطق بها. لسنوات، سعى الباحثون لإيجاد طريقة أسرع لتوليد النصوص، طريقة يمكنها صقل جملة كاملة في وقت واحد بدلاً من بنائها كلمة بكلمة. ويوفر نهج جديد يسمى "الانتشار المستمر" (continuous diffusion) هذا الوعد، مستعيراً مفهوماً من توليد الصور حيث يتم الكشف عن صورة ببطء من وسط ضجيج ساكن. ومع ذلك، كان تطبيق هذه التقنية على اللغة أمراً صعباً لأن النص يتكون من رموز متميزة ومنفصلة، بينما تعمل نماذج الانتشار بشكل أفضل مع البيانات المستمرة والناعمة.

قدم فريق من الباحثين الآن نظاماً يسمى "CoBit" نجح في جسر هذه الفجوة، مما يسمح للكمبيوتر بتوليد النص عن طريق صقل تدفق من الأكواد الثنائية بدلاً من تخمين كلمات كاملة. وبدلاً من محاولة التنبؤ بالكلمة التالية من قاموس ضخم، يعامل النموذج كل كلمة كسلسلة ثابتة الطول من الآحاد والأصفار. تخيل الكلمة كصندوق صغير مغلق يحتوي على نمط محدد من المفاتيح. يبدأ الكمبيوتر بصندوق مليء بالمفاتيح العشوائية والضوضائية، ثم يقوم بتنظيفها تدريجياً، ويعدل وضع كل مفتاح بناءً على سياق الكلمات المحيطة. ومن خلال تجميع مفاتيح كل كلمة في وحدة واحدة، يحافظ النظام على طول التسلسل ضمن حدود يمكن التحكم فيها، مستبدلاً المهمة المعقدة المتمثلة في الاختيار من بين آلاف الكلمات بمهمة أبسط وهي تحديد حالة بضع عشرات من المفاتيح. تتيح هذه الطريقة للنموذج العمل على جميع أجزاء الجملة في وقت واحد، مما يوفر مساراً مختلفاً للسرعة والمرونة.

وجد الباحثون أن المفتاح لجعل هذا النظام يعمل بشكل جيد لم يكن فقط في الطريقة التي مثلوا بها الكلمات، بل في كيفية تنظيف الضجيج. واكتشفوا أن النهج الحتمي البحت، حيث يتبع الكمبيوتر مساراً صارماً ومحسوباً لإزالة الضجيج، مال إلى إنتاج نصوص آمنة ولكنها مكررة وتفتقر إلى التنوع. ولإصلاح ذلك، أدخلوا قدراً متحكماً فيه من العشوائية، أو "الاضطراب" (churn)، في العملية. يعمل هذا الاضطراب مثل هزة لطيفة تمنع النموذج من العالق في حلقة مفرغة من الخيارات الآمنة والمتوقعة. ومن خلال ضبط توقيت هذه الهزة بعناً لتحدث عندما يكون النموذج أكثر عدم يقين بشأن معنى "بت" (bit) معين، تمكنوا من تحسين جودة النص دون إبطائه. والنتيجة هي نظام ينتج نصاً يتمتع بتوازن طبيعي بين التماسك والتنوع، محققاً مستوى من الفصاحة ينافس أفضل النماذج الحالية باستخدام آلية مختلفة تماماً.

في تجاربهم، اختبر الفريق نظام "CoBit" على مجموعتين كبيرتين من النصوص: إحداهما تحتوي على مقالات إخبارية والأخرى من الويب المفتوح. وقاسوا جودة النص المولد من خلال التحقق من مدى مطابقته لأنماط الكتابة البشرية الحقيقية. وباستخدام نموذج يحتوي على 130 مليون معلمة (parameter)، حققوا درجة وضعتهم ضمن أفضل المؤدين في هذا المجال، وعندما رفعوا حجم النظام إلى 462 مليون معلمة، تحسنت النتائج بشكل أكبر، مقتربة من أداء النماذج الراسخة والأكبر حجماً. وبعيداً عن الكتابة العامة، اختبروا النظام أيضاً في مهام تتطلب منطقاً صارماً، مثل حل ألغاز "سودوكو" والإجابة على مسائل لفظية رياضية. وفي ألغاز السودوكو الصعبة، حل النظام المسائل بشكل صحيح أكثر من 65 بالمائة من المرات، وفي المسائل الرياضية، وصل إلى دقة تزيد عن 35 بالمائة عندما قام الباحثون بضبط كيفية تفسيره لثقته الخاصة. تشير هذه النتائج إلى أن النموذج لا يكتفي بمحاكاة أنماط اللغة فحسب، بل هو قادر أيضاً على اتباع القيود المنطقية.

كما سلطت الدراسة الضوء على مزايا عملية كبيرة في كيفية استخدام النظام لذاكرة الكمبيوتر. ولأن النموذج يتنبأ بحالة "البتات" الفردية بدلاً من كلمات كاملة من قاموس ضخم، فإنه يتطلب ذاكرة أقل بكثير للتشغيل، خاصة عند توليد نصوص طويلة. وتسمح هذه الكفاءة للنظام بالعمل بشكل أسرع والتعامل مع دفعات أكبر من البيانات على نفس الأجهزة. وأشار الباحثون إلى أنه على الرغم من أن النظام ليس مثالياً بعد ويمكنه أن ينتج جملًا مكررة أو غير منطقية، فإن الجمع بين سرعة المعالجة المتوازية، وقدرته على التعامل مع المهام المنطقية، وبصمته الذاكرية المنخفضة، يمثل خطوة كبيرة للأمام. ويجادلون بأن هذا النهج يثبت أن "الانتشار المستمر" يمكن أن يعمل بفعالية للغة، بشرط أن يتم ضبط التمثيل وعملية أخذ العينات بعناً لتناسب الطبيعة الفريدة للنص. ويشير العمل إلى أن مستقبل توليد النصوص قد لا يعتمد فقط على التنبؤ التقليدي كلمة بكلمة، بل يمكن أن يتبنى طرقاً تصقل المعنى دفعة واحدة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →