Provably adaptive sampling with uniform and remasking discrete diffusion models

في عالم الذكاء الاصطناعي، هناك سباق مستمر لتعليم الحواسيب كيفية ابتكار أشياء جديدة، بدءاً من كتابة قصص متماسكة وصولاً إلى توليد هياكل بروتينية واقعية. لسنوات طويلة، كانت الطريقة المهيمنة للقيام بذلك مع النصوص أو تسلسلات البيانات هي النهج القائم على الخطوة تلو الأخرى، حيث يتنبأ النموذج بالكلمة التالية بناءً على جميع الكلمات التي سبقتها، تماماً مثل الإنسان الذي يقرأ جملة كلمة بكلمة. ورغم فاعلية هذه الطريقة المتسلسلة، إلا أنها بطيئة لأنها لا تستطيع العمل على أجزاء متعددة من الجملة في وقت واحد. وقد ظهر بديل أحدث وأسرع يسمى "الانتشار المنفصل" (discrete diffusion). فبدلاً من بناء تسلسل من الصفر، يبدأ هذا الأسلوب بمجموعة فوضوية من البيانات العشوائية ثم يقوم بتنظيفها تدريجياً، مكرراً الضجيج ليحوله إلى نمط واضح وذي معنى. وتكمن روعة هذا النهج في قدرته على تحديث أجزاء كثيرة من البيانات في آن واحد، مما يوفر مساراً لتوليد أسرع بكولاً. ومع ذلك، لكي يكون هذا الأسلوب مفيداً في العالم الحقيقي، يجب أن يكون فعالاً؛ فإذا استغرقت عملية تنظيف الضجيج خطوات كثيرة جداً، ستختفي ميزة السرعة ويصبح النموذج غير عملي للمهام واسعة النطاق.

يكمن التحدي المركزي لنماذج الانتشار هذه في كيفية تعاملها مع "الضجيج" الذي تضفيه على البيانات. تخيل نظاماً يأخذ جملة واضحة ويستبدل بعض كلماتها عشوائياً بكلمات بلا معنى أو يحجبها. لتوليد نص جديد، يجب على النموذج تعلم عكس هذه العملية، أي تخمين الكلمات الأصلية من الكلمات الفاسدة. لفترة طويلة، اعتقد الباحثون أن سرعة هذه العملية العكسية تعتمد بشكل كبير على إجمالي عدد الكلمات أو الرموز في النظام، وهو ما يُعرف بـ "البعد" (dimension). فإذا كانت الجملة تحتوي على ألف موضع، فقد اقترحت النظرية القديمة أن النموذج سيحتاج إلى حوالي ألف خطوة لتنظيفها، بغض النظر عن مدى بساطة أو تعقيد الجملة الفعلية. وهذا الاعتماد الخطي على الحجم يعني أنه حتى بالنسبة للبيانات ذات البنية المنظمة والمتوقعة، سيتعين على الكمبيوتر العمل بجهد مماثل لما يبذله مع الضجيج العشوائي تماماً، مما يلغي فعلياً فوائد المعالجة المتوازية.

لقد تحدى فريق من الباحثين في جامعة بنسلفانيا هذا الافتراض، حيث أثبتوا أن البطء لم يكن خللاً جوهرياً في طريقة الانتشار الموحدة نفسها، بل كان نتيجة لكيفية تنفيذ عملية التنظيف. فقد طوروا استراتيجية أخذ عينات جديدة تسمح للنموذج بتصحيح أخطائه أثناء العمل، بدلاً من أن يظل محاصراً في قرارات مبكرة قد تكون خاطئة. ويظهر عملهم أن عدد الخطوات المطلوبة لتوليد عينة لا تمليه ضخامة المفردات أو طول التسلسل، بل يحدده الهيكل الداخلي للبيانات التي يتم إنشاؤها. فإذا كانت البيانات تتبع نمطاً بسيطاً ومتوقعاً حيث تعتمد أجزاؤها على بعضها البعض، يمكن للنموذج توليدها في خطوات أقل بكثير مما كان يُعتقد سابقاً.

ركز الباحثون على نوعين محددين من عمليات الضجيج: أحدهما حيث تُستبدل الرموز (tokens) عشوائياً وبشكل موحد بأي رمز صالح آخر، والآخر حيث يتم حجب الرموز مع إمكانية إلغاء الحجب أو إعادة الحجب إذا لم يكن النموذج متأكداً. وفي الماضي، وُجد أن الخوارزميات القياسية المستخدمة لعكس هذه العمليات، مثل طريقة "قفزة تاو" (tau-leaping) المعتمدة على نطاق واسع، غير فعالة بالنسبة للعملية الموحدة. كانت هذه الطرق القديمة غالباً ما تقوم بجولة واحدة على البيانات، وتحدث العديد من المواضع في وقت واحد دون التحقق مما إذا كانت التغييرات متسقة مع بقية التسلسل. فإذا ارتكب النموذج خطأً في مرحلة مبكرة، فإن هذا الخطأ سيستمر ويؤثر على جميع الخطوات اللاحقة، مما يؤدي إلى معدل خطأ مرتفع يتطلب خطوات أكثر بكثير لإصلاحه. أما النهج الجديد المقدم في هذه الورقة البحثية فيستخدم استراتيجية "ترك عنصر واحد" (leave-one-out). فبدلاً من النظر إلى التسلسل بأكم له للتنبؤ برمز واحد، ينظر النموذج إلى شكل بقية التسلسل إذا تم حذف هذا الرمز المحدد. وهذا يسمح للنموذج بإجراء تحديثات أكثر دقة واستقلالية لكل موضع بالتوازي، والأهم من ذلك، يسم أنه يسمح للنموذج بمراجعة خياراته إذا كشف تحديث لاحق أن تنبؤاً سابقاً كان غير صحيح.

باستخدام هذا الأسلوب المنقح، أظهر الباحثون أن التكلفة الحسابية لتوليد عينة محكومة بمقياس لمدى اعتماد أجزاء البيانات على بعضها البعض. ومن الناحية التقنية، ربطوا الكفاءة بمفهوم يسمى "الارتباط الكلي المزدوج" (dual total correlation)، والذي يحدد كمية المعلومات المشتركة عبر التسلسل بأكته. وبالنسبة للبيانات ذات البنية العالية، مثل جملة ذات قواعد نحوية واضحة أو بروتين ذي نمط طي محدد، يكون هذا المقياس صغيراً لأن أجزاء التسلسل مقيدة ببعضها البعض بشكل وثيق. ويثبت تحليلهم الجديد أن عدد الخطوات اللازمة لتوليد عينة يتناسب مع هذا التعقيد الهيكلي، وليس مع إجمالي عدد المواضع. وهذا يعني أنه بالنسبة لجملة طويلة ومعقدة تتبع قواعد نحوية صارمة، يمكن للنموذج توليدها بسرعة تقارب سرعة توليد جملة قصيرة، بشرط أن يكون الهيكل الأساسي بسيطاً. وتقدم الورقة إثباتاً رياضياً على أن هذا المكسب في الكفاءة حقيقي وليس مجرد ملاحظة عابلة، مؤكدة أن القيود السابقة كانت بسبب اختيار خوارزمية التنظيف، وليس عملية الانتشار نفسها.

وللتحقق من هذه النتائج النظرية، أجرى الباحثون تجارب عددية على بيانات اصطناعية مصممة لمحاكاة الهياكل الواقعية. فقد اختبروا أخذ العينات الجديد الخاص بهم مقابل الطرق التقليدية القياسية على تسلسلات ثنائية تتبع نمط "سلسلة ماركوف"، حيث يعتمد الجزء التالي على الجزء السابق. وفي هذه الاختبارات، تفوق الأسلوب الجديد باستمرار على النهج التقليدية، محافظاً على معدلات خطأ منخفضة حتى عندما تم الإبقاء على عدد الخطوات منخفضاً جداً. وأظهرت النت النتائج أنه بينما عانت الطرق القديمة مع زيادة أبعاد البيانات، ظل الأسلوب الجديد قوياً، حيث ارتبط أداؤه بالقدرة التنبؤية المتأصلة في البيانات بدلاً من حجمها. كما اختبروا الطريقة على مزيج من السلاسل الثنائية، وهي حالة تأتي فيها البيانات من مجموعة محدودة من الأنماط المحددة. وهنا أيضاً، أظهر أخذ العينات الجديد أنه قادر على التكيف مع الطبيعة منخفضة الأبعاد للتوزيع الأساسي، محققاً دقة عالية بخطوات حسابية أقل بكثير من سيناريوهات الحالة الأسوأ التي توقعتها النظريات القديمة.

إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد خوارزمية أسرع؛ فهي تغير جذرياً فهمنا لحدود نماذج الانتشار المنفصل. فمن خلال إظهار أن الاعتماد غير المرغوب فيه على البعد هو مشكلة قابلة للحل تتعلق بتصميم الخوارزمية وليس عائقاً جوهرياً، فتح الباحثون الباب أمام نماذج توليدية أكثر كفاءة وواسعة النطاق. وهذا أمر مهم بشكل خاص لتطبيقات مثل معالجة اللغات الطبيعية وتصميم البروتينات، حيث تكون البيانات عالية الأبعاد ولكنها ذات بنية عالية. إن القدرة على توليد تسلسلات معقدة بالتوازي، دون أن يعيقها العدد الهائل من الرموز، تشير إلى أن الانتشار المنفصل قد ينافس أو حتى يتفوق قريباً على النماذج "التكرارية" (autoregressive models) في السرعة والجودة. كما تسلط الدراسة الضوء على أهمية السماح للنماذج بمراجعة قراراتها الوسيطة، وهي ميزة تحاكي عملية الصقل التكراري التي يستخدمها البشر عند الكتابة أو التفكير، بدلاً من التوليد الصارم أحادي الاتجاه للنماذج القديمة.

في نهاية المطاف، يوفر هذا البحث مساراً واضحاً لتحسين كفاءة الذكاء الاصطناعي التوليدي. فهو يؤكد أن إمكانات الانتشار المنفصل لتوليد البيانات بالتوازي ليست مجرد وعد نظري، بل هي واقع عملي، شريطة استخدام الأدوات الصحيحة للتنقل عبر الضجيج. ويعمل العمل على الفصل بين الخطأ الناتج عن التقريب الرياضي للعملية والخطأ الناتج عن تعلم النموذج، موضحاً أن الأول يمكن التحكم فيه بدقة من خلال بنية البيانات نفسها. وبينما يتجه المجال نحو نماذج أكبر وأكثر تعقيداً، ستكون هذه الرؤى حاسمة لضمان عدم نمو التكلفة الحسابية بشكل خارج عن السيطرة مع حجم المشكلة. وتشير النتائج إلى أن مستقبل التوليد المنفصل لا يكمن في الحوسبة القائمة على القوة الغاشمة، بل في استراتيجيات أذكى وتكيفية تستفيد من النظام والارتباطات الطبيعية داخل البيانات.