ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings

في عالم الذكاء الاصطناعي، تعلمت الآلات منذ زمن طويل الكتابة من خلال محاكاة الطريقة التي يتحدث بها البشر: كلمة بكلمة، من اليسار إلى اليمين. هذه الطريقة، المعروفة باسم التوليد ذاتي الانحدار (autoregressive generation)، هي المحرك وراء معظم برامج الدردشة الآلية وأدوات الكتابة الحديثة. ورغم فعاليتها، إلا أنها تعاني من خلل جوهري: فبمجرد كتابة الكلمة، لا يمكن تغييرها، حتى لو كشفت الجملة لاحقاً أن الكلمة الأولى كانت خطأً. وللتغلب على ذلك، اتجه الباحثون إلى نهج مختلف مستوحى من كيفية إنشاء الصور. فبدلاً من بناء النص كلمة بكلمة، تبدأ هذه النماذج بسحابة من الضجيج العشوائي وتقوم بتنقيحها تدريجياً لتصبح جملة متماسكة، مما يسمح بالتخطيط للرسالة بأكملها وتعديلها في آن واحد. هذه العملية، المعروفة باسم "مطابقة التدفق" (flow matching)، تعامل اللغة كرحلة مستمرة عبر مساحة رياضية، حيث يتعلم النموذج توجيه الضجيج نحو كلمات ذات معنى. ومع ذلك، ظل هناك عائق مستمر: نظرًا لأن النموذج ينتقل عبر مشهد سلس ومستمر، فإنه غالباً ما يصل إلى وجهة تكون عبارة عن مزيج ضبابي من الكلمات بدلاً من رمز (token) واضح ومتميز. ولإصلاح ذلك، اعتمدت الأنظمة السابقة على وحدة فك تشفير (decoder) تقليدية منفصلة لضبط النتيجة الضبابية وتحويلها إلى كلمة صالحة، مما أعاد فعلياً إدخال الطريقة القديمة والجامدة التي كانوا يحاولون الهروب منها.

لقد نجح فريق من الباحثين الآن في حل هذه المشكلة من خلال نظام جديد يسمى "ConvergeFlow". يوضح عملهم أنه من الممكن توجيه هذه الرحلة المستمرة بدقة شدة تجعلها تستقر بشكل طبيعي على كلمة صالحة دون الحاجة إلى أي مساعدة خارجية لضبطها في مكانها. حقق الباحثون ذلك من خلال تصميم الخريطة الداخلية للنموذج مع قيد محدد: يُسمح للنموذذ فقط بالتنبؤ بالكلمات كمتوسط مرجح للمفردات المعروفة. تخيل المفردات كمجموعة من النقاط الثابتة على خريطة؛ يتم تعليم النموذج التنقل فقط ضمن الشكل الناتج عن ربط هذه النقاط. ومن خلال تدريب النظام على تقليل المسافة بين تنبؤه والبيانات الفعلية باستخدام مقيما خطأ بسيط، أثبت الباحثون رياضياً أن مسار النموذج سوف يتقارب حتماً نحو إحدى نقاط الكلمات الصالحة عند وصوله إلى نهاية رحلته. وهذا يعني أن النموذج يمكنه توليد النص من خلال التدفق مباشرة من الضجيج إلى كلمة محددة، مما يلغي الحاجة إلى وحدة فك التشفير المنفصلة والمعرضة للخطأ التي كانت تتطلبها النماذج المستمرة السابقة.

اختبر الفريق هذا النهج على مجموعة بيانات ضخمة من نصوص الإنترنت تُعرف باسم "OpenWebText". ووجدوا أن "ConvergeFlow" لم ينجح فقط في التقارب نحو كلمات صالحة، بل أنتج أيضاً نصوصاً تنافسية، وفي بعض الحالات تفوقت على النماذج الحالية. في تجاربهم، حقق النظام مقياساً لجودة النص يسمى "الحيرة التوليدية" (generative perplexity) قدره 33.17، وهو تحسن كبير مقارنة بالنماذج المستمرة الأخرى التي كافحت للبقاء تحت مستوى 60. علاوة على ذلك، طور الباحثون ثلاث طرق متميزة للتحكم في التوازن بين جودة النص وتنوعه. فمن خلال ضبط كيفية تنقية تنبؤات النموذج خلال المراحل النهائية من التوليد، استطاعوا جعل المخرجات أكثر تركيزاً ودقة أو أكثر تنوعاً وإبداعاً، وكل ذلك دون تغيير عملية التدريب الأساسية. تشير هذه القدرة على ضبط المقايضة بين الدقة والتنوع إلى أن نموذج التدفق المستمر ليس مجرد فضول نظري، بل هو أداة قوية ومرنة لتوليد اللغة.

تكمن أهمية هذا العمل في قدرته على توحيد عملية التوليد. فالمحاولات السابقة لاستخدام النماذج المستمرة للغة كانت مضطرة للاعتماد على نهج هجين، يستخدم الرياضيات المستمرة للجزء الأكبر من العمل، لكنه ينتقل إلى المنطق المنفصل (كلمة بكلمة) للخطوة النهائية. يزيل "ConvergeFlow" هذا التناقض؛ فقد أظهر الباحثون أنه من خلال احترام الطبيعة المنفصلة للغة داخل الإطار المستمر نفسه، يمكن للنموذج التعامل مع العملية بأكملها من البداية إلى النهاية. وقد تأكد ذلك من خلال ملاحظة أن الحالة الداخلية للنموذج، والتي تبدأ كضجيج عشوائي، تستقر بشكل طبيعي في التمثيل الدقيق لكلمة محددة مع اكتمال عملية التوليد. تقدم الدراسة إثباتاً رياضياً على أن هذا التقارب مضمون تحت ظروف معينة، مما يوفر أساساً نظرياً صلباً لسبب نجاح هذه الطريقة.

ورغم أن النتائج واعدة، إلا أن الباحثين حذرون في صياغة نتائجهم كخطوة للأمام وليس كوجهة نهائية. ويشيرون إلى أن تنفيذهم الحالي يستخدم مجموعة ثابتة من تمثيلات الكلمات التي تم تعلمها بشكل منفصل، بدلاً من تعلمها بشكل متزامن مع نموذج التوليد. كان هذا خياراً ضرورياً لتجنب عدم الاستقرار الرياضي أثناء التدريب، لكنه يترك مجالاً للعمل المستقبلي لاستكشاف التعلم المشترك الكامل. بالإضافة إلى ذلك، تعتمد الضمانات النظرية على افتراضات محددة حول سلاسة سلوك النموذج، والتي قد تتطلب مزيداً من الاستقصاء في سيناريوهات أكثر تعقيداً وواقعية. وبالرغم من هذه القيود، تؤسس الدراسة لحقيقة أن نماذج التدفق المستمر يمكنها بالفعل الوصول إلى تمثيلات الرموز (token embeddings) مباشرة، مما يفتح الباب أمام أنظمة توليد لغة أسرع وأكثر مرونة وقابلية للتحكم، لا تحتاج إلى الاعتماد على القيود المتسلسلة للماضي.