تخيل أنك تحاول تعليم روبوت كيف يكتب قصة. لفترة طويلة، كانت أفضل طريقة للقيام بذلك هي جعل الروبوت يكتب كلمة واحدة في كل مرة، من اليسار إلى اليمين، تماماً كما يقرأ الإنسان كتاباً. هذه الطريقة، التي تسمى التوليد "التتابعي الذاتي" (autoregressive)، هي طريقة موثوقة للغاية ولكنها بطيئة، مثل شخص واحد يكتب رواية على آلة كاتبة. مؤخراً، اكتشف العلماء طريقة جديدة تسمى "الانتشار" (diffusion)، وهي تشبه إلى حد كبير رساماً يبدأ بلوحة بيضاء مغطاة بضجيج "الستاتيك" (static noise) ثم يقوم بتنظيفها تدريجياً حتى تظهر صورة واضحة. تسمح هذه الطريقة الجديدة للروبوت بتخمين العديد من الكلمات في وقت واحد، مما قد يجعل الكتابة أسرع بكثير. ومع ذلك، هناك عقبة: بينما تتميز طريقة "تنظيف الضجيج" هذه بالمرونة، إلا أنها أحياناً ترتبك بشأن ترتيب الكلمات، مما يؤدي إلى كلام غير مفهوم. السؤال الكبير للباحثين هو: كيف نحصل على سرعة الرسام دون أن نفقد التدفق المنطقي للآلة الكاتبة؟

تعالج هذه الورقة البحثية هذا اللغز تحديداً من خلال النظر في نسخة أحدث من نماذج "تنظيف الضجيج" هذه، وهي نماذج لغة الانتشار الكتلي (Block Diffusion Language Models - BDLMs). اكتشف المؤلفان، كاي سيون هو وجيمس كوك، شيئاً مفاجئاً: على الرغم من أن هذه النماذج مصممة لتكون مرنة وتخمن الكلمات بأي ترتيب، إلا أنها في الواقع "تفكر" بشكل يشبه نماذج الآلة الكاتبة القديمة (من اليسار إلى اليمين) أكثر مما كان متوقعاً. لقد وجدا أن إجبار هذه النماذج على الالتزام بترتيب صارم من اليسار إلى اليمين، مع السماح لها بتخمين بضع كلمات في المرة الواحدة، يخلق نقطة مثالية تجمع بين الميزتين. وقد أطلقا على هذه الطريقة الجديدة اسم PARD (فك التشفير التتابعي الذاتي المتوازي). فكر في الأمر كفريق من الكتاب يتفقون على الكتابة بالترتيب، ولكن بدلاً من انتظار انتهاء شخص واحد من جملة كاملة قبل أن يبدأ التالي، يتدخل الجميع لإنهاء الكلمات القليلة التالية في وقت واحد إذا كانوا واثقين بما يكفي. والنتيجة؟ يكتب الروبوت بشكل أسرع بكثير من الطريقة القديمة البطيئة، لكن القصة تظل منطقية وعالية الجودة تماماً.

قصة الروبوت "منظف الضجيج"

لفهم سبب أهمية هذا الأمر، دعونا نتخيل طريقتين مختلفتين قد يحاول الروبوت من خلالهما كتابة جملة.

الطريقة القديمة (التتابعية الذاتية): تخيل روبوتاً يكتب قصة حرفاً بحرف. يكتب "T"، ثم "h"، ثم "e"، ثم " ". لا يمكنه كتابة الكلمة التالية حتى ينتهي من الكلمة الحالية. إنه حذر جداً ونادراً ما يرتكب أخطاء، ولكنه بطيء. إنه مثل شخص واحد يكتب رواية؛ لا يمكنه كتابة الصفحة الأخيرة حتى ينتهي من الصفحة الأولى.

الطريقة الجديدة (الانتشار): الآن تخيل روبوتاً يبدأ بجملة حيث تم استبدال كل كلمة بعلامة استفهام (أو "قناع" - mask). مهمته هي النظر إلى الجملة بأكملها وتخمين الكلمات المفقودة. ليس عليه تخمينها بالترتيب؛ فقد يخمن الكلمة الأخيرة أولاً، ثم الكلمة الأولى، ثم الكلمة الوسطى. هذا يشبه رساماً ينظر إلى لوحة مشوشة وضبابية ويحاول معرفة الصورة النهائية. الميزة هي السرعة: يمكن للروبوت إصلاح أجزاء كثيرة من الجملة في نفس الوقت. العيب هو أنه إذا خمن نهاية الجملة قبل بدايتها، فقد يخطئ في فهم السياق وينتج كلاماً غير مفهوم.

لفترة من الوقت، حاول العلماء جعل روبوت "تنظيف الضجيج" يعمل من خلال السماح له بتخمين الكلمات بأي ترتيب يريده، آملين أن يجد المسار الأفضل. لكن مؤلفي هذه الورقة لاحظوا شيئاً غريباً. لقد اختبروا نوعاً جديداً من الروبوتات يسمى نموذج لغة الانتشار الكتلي (BDLM). هذه الروبوتات خاصة لأنها مدربة للعمل في كتل (blocks) من النصوص، باستخدام النصوص النظيفة من الكتل السابقة للمساعدة في تخمين الكتلة التالية.

الاكتشاف الكبير: الروبوت يفضل الترتيب

أجرى المؤلفون سلسلة من التجارب لمعرفة كيف تتصرف هذه الروبوتات فعلياً. قارنوا بين روبوت "تنظيف الضجيج" القياسي (LLaDA) والروبوت "الكتلي" الأحدث (SDAR).

وجدوا أن الروبوت القياسي يحب حقاً تخمين الكلمات بترتيب عشوائي. لكن الروبوت الكتلي الجديد يتصرف بشكل مختلف تماماً. على الرغم من أنه يمكنه تخمين الكلمات بأي ترتيب، إلا أنه يميل طبيعياً لتخمينها من اليسار إلى اليمين، تماماً مثل روبوت الآلة الكاتبة القديم.

ولإثبات ذلك، نظروا في "ثقة" الروبوت. إذا سألت روبوتاً أن يخمن الكلمة التالية، فإنه عادة ما يمتلك "درجة ثقة" لكل احتمال. وجد المؤلفون أنه بالنسبة للروبوت الكتلي، فإن التخمينات الأكثر ثقة كانت دائماً تقريباً هي الكلمات الموجودة في بداية الجملة المتبقية. يبدو الأمر وكأن الروبوت لديه عادة سرية: "أنا أعلم أنني أستطيع التنقل بحرية، لكني أشعر براحة أكبر عند البدء من اليسار".

حتى أنهم استخدموا بعض الرياضيات لشرح سبب حدوث ذلك. أدركوا أنه أثناء التدريب، يتم عرض الكثير من الأمثلة للروبوت الكتلي حيث يكون الجانب الأيسه من الجملة مكتوباً بالفعل، وعليه فقط تخمين الجانب الأيمن. وهذا هو بالضبط كيف يتعلم روبوت "الآلة الكاتبة" القديم. أما روبوت "تنظيف الضجيج" القياسي، فيتم تدريبه على جمل مفقود منها كلمات في أماكن متفرقة، لذا فهو لا يتعلم حقاً الاعتماد على الجانب الأيسر أولاً. ولأن الروبوت الكتلي مدرب بهذه الطريقة، فهو "يريد" أن يسير من اليسار إلى اليمين.

الحل: PARD (فريق الكتاب)

إذا كان الروبوت الكتلي يريد بطبيعته السير من اليسار إلى اليمين، فلماذا لا يجعله يسير من اليسار إلى اليمين فحسب؟ المشكلة هي أنه إذا سار بترتيب صارم من اليسار إلى اليمين، فإنه يفقد ميزة السرعة المتمثلة في تخمين عدة كلمات في وقت واحد. سيصبح بطيئاً مرة أخرى.

ابتكر المؤلفون حلاً ذكياً يسمى PARD (فك التشفير التتابعي الذاتي المتوازي).

تخيل مجموعة من الكتاب يعملون على قصة معاً.

1. القاعدة: يجب أن يكتبوا بالترتيب، من اليسار إلى اليمين.
2. اللمسة المميزة: بدلاً من انتظار شخص واحد لينهي كلمة قبل أن يبدأ التالي، ينظر الجميع إلى الكلمات القليلة التالية. إذا كانوا واثقين جداً من الكلمة التالية، فيكتبونها. وإذا كانوا واثقين أيضاً من الكلمة التي تليها، فيكتبونها هي الأخرى.
3. شبكة الأمان: إذا لم يكونوا متأكدين من الكلمة الثانية، يتوقفون. هم لا يخمنون الكلمة الثانية لمجرد السرعة؛ بل ينتظرون حتى يتأكدوا.

هذا هو ما يفعله PARD. إنه ينظر إلى درجات ثقة الروبوت. إذا كان الروبوت واثقاً من الكلمة المقنعة الأولى، فإنه يكتبها. ثم يتحقق فوراً مما إذا كان الرداً واثقاً أيضاً من الكلمة التالية. إذا كان الأمر كذلك، يكتبها أيضاً. يستمر في المضي قدما في الخط، ويكتب "بادئة" (prefix) من الكلمات الواثقة، حتى يصل إلى كلمة يكون الروبوت فيها غير متأكد.

النتائج: سريع ودقيق

اختبر المؤلفون هذه الطريقة الجديدة على ثلاثة روبوتات كتلية مختلفة وست مهام مختلفة، بما في ذلك كتابة الأكواد البرمجية وحل المسائل الرياضية.

• السرعة: كان PARD أسرع بكثير من طريقة "الآلة الكاتبة" القديمة. في بعض الحالات، كان أسرع بمقدار 3.64 مرة في أحد النماذج. لقد كتب "التوكنات" (قطع النص) بمعدل يصل إلى 152 توكن في الثانية، مقارنة بـ 70 فقط للطريقة البطيئة.
• الجودة: رغم كونه أسرع، إلا أن القصص والأكواد التي كتبها كانت بجودة مماثلة، بل وأفضل غالباً، من الطرق السريعة الأخرى التي حاولت تخمين الكلمات بترتيب عشوائي. في الواقع، على نموذج SDAR، كان PARD أفضل من طرق الترتيب العشوائي، حيث سجل 81.1% في اختبار برمجي مقارنة بـ 75.0% للطريقة العشوائية.
• المقارنة: قارنوا PARD بطرق "سريعة" أخرى متطورة تستخدم قواعد معقدة لتقرير أي الكلمات يتم تخمينها. تفوق PARD عليها جميعاً باستمرار. كانت الطرق المعقدة تشبه محاولة حل لغز عبر القفز عشوائياً؛ أما PARD فكان يشبه حل اللغز عبر اتباع قطع الحواف أولاً، وهو ما تبين أنه المسار الأكثر كفاءة لهذه الروبوتات تحديداً.

لماذا يهم هذا الأمر

تشير الورقة البحثية إلى أنه بالنسبة لهذه الروبوتات "الكتلية" الجديدة، فإن الفكرة القديمة المتمثلة في "التخمين بأي ترتيب" ليست هي الطريقة الأفضل فعلياً. فالروبوتات لديها انحياز طبيعي نحو التفكير من اليسار إلى اليمين بسبب طريقة تدريبها. ومن خلال احترام هذا الانحياز وإضافة السرعة المتوازية فقط عندما يكون الروبوت متأكداً، نحصل على أفضل ما في العالمين: سرعة فريق الكتاب ودقة الكاتب الحذر.

ويؤكد المؤلفون أن هذه الطريقة هي طريقة "لا تتطلب إعادة تدريب" (training-free). لم يضطروا لإعادة تدريب الروبوتات أو تغيير "أدمغتها"؛ بل قاموا فقط بتغيير كيفية طلبهم من الروبوتات الكتابة. وهذا يجعلها أداة عملية للغاية يمكن استخدامها الآن مع النماذج الموجودة.

باختصار، تظهر الورقة أنه في بعض الأحيان، تكون أسرع طريقة للمضي قدماً هي تذكر التحرك في خط مستقيم، ولكن مع اتخاذ خطوات كبيرة عندما تكون متأكداً من وجهتك.