تخيل أنك تحاول تعليم روبوت كيفية كتابة قصة أو حل مسألة رياضية. لفترة طويلة، كانت أفضل طريقة للقيام بذلك هي تعليم الروبوت التحدث كلمة بكلمة، بدقة من اليسار إلى اليمين، تماماً كما يقرأ الإنسان كتاباً. يُسمى هذا "التوليد ذاتي الانحدار" (Autoregressive generation). إنه يعمل بشكل جيد، لكنه يتسم بالجمود نوعاً ما؛ فإذا ارتكب الروبوت خطأً في الجملة الأولى، فعليه أن يستمر في كتابة بقية القصة بناءً على ذلك الخطأ، أو عليه أن يبدأ من جديد بالكامل. لا يمكنه بسهولة العودة لتصحيح البداية أثناء كتابة المنتصف، كما يفعل المحرر البشري.

مؤخراً، اكتشف العلماء نوعاً جديداً من الذكاء الاصطناعي يسمى "نموذج الانتشار المقنع" (Masked Diffusion Model). فكر في هذا الأمر كأنه لعبة "املأ الفراغات". بدلاً من كتابة الكلمات واحدة تلو الأخرى، ينظر الذكاء الاصطناعي إلى جملة حيث تكون بعض الكلمات مخفية (مقنعة) ويحاول تخمين ما هي. ولأن بإمكانه النظر إلى أي كلمة مخفية في أي وقت، فمن المفترض أن يكون قادراً على القفز ذهاباً وإياباً، فيصلح البداية، ثم النهاية، ثم المنتصف، بأي ترتيب يريده. يُسمى هذا "الاستدلال بأي ترتيب" (Any-order inference). ويبدو أنه أداة مثالية للمهام المعقدة مثل البرمجة، حيث يقفز المبرمجون غالباً بين الصورة الكبيرة والتفاصيل الدقيقة. ولكن هنا تكمن المشكلة: مجرد امتلاك الروبوت للقدرة على القفز لا يعني أنه سيفعل ذلك بالفعل.

يبحث هذا البحث في سبب وقوع هذه الروبوتات القوية "المعتمدة على ملء الفراغات" في فخ الرتابة، وتصرفها تماماً مثل روبوتات "اليسار إلى اليمين" القديمة رغم امتلاكها الحرية لفعل غير ذلك. اكتشف المؤلفون، وهم فريق من الباحثين من جامعة تكساس في أوستن وجامعة هارفارد، فخاً خفياً يسمى "عدم اليقين الموضعي" (Positional uncertainty). وجدوا أنه بينما قد يعرف الذكاء الاصطناعي ما هي الكلمة المطلوبة (مثل دالة برمجية معينة في برنامج كمبيوتر)، إلا أنه يرتبك بشأن أين يجب أن توضع هذه الكلمة في الجملة النهائية. ولأنه غير متأكد من الموقع، فإنه يلعب في المنطقة الآمنة ويملأ الفراغات بترتيب ممل ومتوقع، مما يجعله يفقد القدرة على التفكير غير الخطي الذي كان من المفترض أن يتميز به.

ولإصلاح ذلك، لم يكتفِ الباحثون بتعديل ثقة الروبوت فحسب، بل منحوه قوتين خارقتين جديدتين. الأولى تشبه منح الروبوت مقصاً ولاصقاً؛ فبدلاً من أن يكون عالقاً بعدد ثابت من الفراغات، يمكن للروبوت الآن إدراج فراغات جديدة حيثما احتاج، مما يؤدي إلى إزاحة الجملة بأكملها لتوفير مساحة للأفكار الجديدة. أما القوة الثانية فهي تشبه تعليم الروبوت التفكير في "كتل" أو "فقرات" بدلاً من الكلمات الفردية؛ فبدلاً من تخمين كل حرف على حدة، يقوم بتخمين كتل كاملة من المعنى دفعة واحدة، مما يسمح له بتقرير أي فكرة كبيرة سيبنيها تالياً دون أن يضيع في التفاصيل.

اختبر الفريق هذه الأفكار على برمجة الكمبيوتر والمسائل الرياضية. ووجدوا أنه باستخدام هذه الطرق الجديدة، بدأت الروبوتات تفكر بالفعل مثل المبرمجين البشر، حيث تقفز بين أجزاء مختلفة من الكود لتنقيح عملها. وقد أدى ذلك إلى نتائج أفضل، حيث حلت الروبوتات مسائل بشكل صحيح أكثر من ذي قبل. يشير البحث إلى أنه لكي نجعل الذكاء الاصطناعي يفكر حقاً مثل البشر، نحتاج إلى تصميم نماذج لا تمتلك فقط القدرة على القفز ذهاباً وإياباً، بل تُبنى بطريقة تجعل القفز هو الخيار الطبيعي والسهل.

المشكلة: فخ "اللوحة الثابتة"

بدأ الباحثون بالبحث في سبب عدم وفاء هذه النماذج (نماذج الانتشار المقنع، أو MDMs) بالوعود التي قدمتها. من الناحية النظرية، يجب أن يكون نموذج MDM قادراً على كشف أي رمز (token) في تسلسل ما في أي وقت. إذا طلبت منه كتابة برنامج بلغة بايثون، فيجب أن يكون قادراً على كتابة اسم الدالة، ثم القفز لكتابة الحلقة (loop)، ثم العودة لتعريف المتغير، وكل ذلك بترتيب عشوائي يشبه ترتيب البشر.

ومع ذلك، عندما راقبوا النماذج أثناء العمل، رأوا شيئاً مخيباً للآمال. فعلى الرغم من امتلاك النماذج للحرية في اختيار أي ترتيب، إلا أنها كانت دائماً ما تختار ملء الفراغات من اليسار إلى اليمين، تماماً مثل الروبوتات التقليدية. يطلق المؤلفون على هذا اسم "الانهيار السببي" (Causal collapse). الأمر كما لو أن الروبوت لديه خريطة للمدينة بأكملها، لكنه يقرر السير في الشارع كتلة تلو الأخرى، متجاهلاً كل الاختصارات.

يجادل البحث بأن هذا ليس مجرد عادة سيئة، بل هو خلل جوهري في كيفية بناء هذه النماذج. المشكلة هي عدم اليقين الموضعي. تخيل أنك تبني قلعة من قطع الليغو (LEGO). أنت تعلم أنك بحاجة إلى قطعة "برج". لكنك لا تعرف بالضبط أين يوضع البرج بعد، لأنك لم تبنِ الجدران حوله بعد. إذا حاولت وضع البرج الآن، فقد تضعه في المكان الخاطئ.

في نموذج MDM القياسي، تكون "اللوحة" (تسلسل الرموز) ثابتة. يجب على النموذج أن يقرر: "هل أضع كلمة 'return' هنا، أم هنا، أم هنا؟". إذا كان النموذج يعرف أنه يحتاج إلى جملة 'return' ولكنه ليس متأكداً مما إذا كانت داخل حلقة أم بعدها، فإن ثقته تتوزع عبر كل تلك المواقع المحتملة. ولأن الثقة مشتتة، يشعر النموذج بأنه "أقل تأكداً" من وضع جملة 'return' مقارنة بوضع كلمة بسيطة تتبع الكلمة التي قبلها بوضوح. لذا، ليكون في أمان، يقوم بملء الكلمات المحلية السهلة أولاً، مما يحبسه فعلياً في ترتيب من اليسار إلى اليمين. يوضح البحث أن هذا يحدث حتى عندما يكون النموذج ذكياً جداً؛ فالشبكة الثابتة للوحة تجبره على اتخاذ التزامات سابقة لأوانها.

الحل 1: FlexMDM (المقص واللاصق)

لحل مشكلة "أين أضع هذا؟"، فإن الحل الأول يسمى FlexMDM. يغير هذا النهج قواعد اللعبة عن طريق إزالة اللوحة الثابتة.

تخيل أنك تكتب قصة على ورقة، ولكن بدلاً من أن تكون عالقاً بالأسطر التي بدأتها، لديك ممحاة سحرية ولاصق. إذا كتبت جملة وأدركت أنك بحاجة إلى فقرة جديدة في المنتصف، يمكنك سحرياً إدراج مساحة لسطر جديد هناك، ويمكن للكلمات التي كتبتها سابقاً أن تنزلق لتفسح المجال.

يقوم FlexMDM بهذا بالضبط. فهو يسمح للنموذج بـ إدراج رموز جديدة (أو أقنعة) أثناء عملية التوليد. عندما يقرر النموذج كشف رمز ما، فليس عليه الالتزام بمكان دائم في التسلسل النهائي. لاحقاً، إذا قرر النموذج أنه يحتاج إلى مزيد من المساحة أو هيكل مختلف، يمكنه إدراج فجوات جديدة، وستنتقل الرموز التي تم كشفها سابقاً إلى مواضعها الصحيحة الجديدة.

هذا التغيير البسيط يكسر فخ "عدم اليقين الموضعي". لم يعد النموذج بحاجة للقلق بشأن "هل هذا هو المكان الصحيح؟" لأن المكان يمكن أن يتحرك. وجد الباحثون أن هذا سمح للنموذج بتوليد كود بطريقة تشبه البشر كثيراً. فبدلاً من إنهاء سطر واحد تماماً قبل البدء في السطر التالي، استطاع نموذج FlexMDM صياغة اسم دالة، ثم القفز لكتابة حلقة، ثم العودة لملء تفاصيل الدالة. وقد قاسوا ذلك من خلال النظر في بنية "الشجرة" للكود ووجدوا أن FlexMDM كان أكثر عرضة للقفز بين فروع الكود المختلفة، بينما كان النموذج القياسي يسير في مسار واحد مستقيم.

في اختباراتهم، قاموا بضبط نموذج بـ 7 مليارات معلمة (Dream-Coder) لاستخدام هذه الطريقة. وعلى معايير البرمجة مثل HumanEval وMBPP، كان هذا النموذج "المرن" الجديد أفضل أداءً من النموذج الأصلي، خاصة عندما سمحوا له بتوليد محاولات متعددة (Pass@16). وقد أظهر أنه من خلال السماح للنموذج بإعادة ترتيب اللوحة، استطاع استكشاف حلول أكثر إبداعاً.

الحل 2: LatentMDM (التفكير في الكتل)

الحل الثاني، LatentMDM، يتبع نهجاً مختلفاً. فبدلاً من الصراع مع موقع الكلمات الفردية، فإنه يغير المستوى الذي يفكر فيه النموذج.

تخيل أنك تحاول وصف فيلم لصديق. إذا حاولت وصفه كلمة بكلمة ("الرجل مشى، ثم توقف، ثم نظر...")، فسيكون من الصعب رؤية الصورة الكبيرة. ولكن إذا وصفت الفيلم في "مشاهد" أو "كتل" ("أولاً، يدخل البطل الغرفة. ثم، يرى الشرير. أخيراً، يتواجهان.")، فسيكون من الأسهل القفز ذهاباً وإياباً. يمكنك القول: "دعنا نتحدث عن مشهد القتال أولاً"، دون القلق بشأن الكلمات الدقيقة المستخدمة في مشهد الدخول.

يقوم LatendMDM بذلك من خلال تجميع الرموز في مقاطع دلالية (مثل أسطر الكود أو الكتل المنطقية) والتعامل مع كل مقطع كوحدة واحدة في "فضاء كامن" (تمثيل مضغوط ومجرد للمعنى). بدلاً من تخمين رمز واحد في كل مرة، يقرر النموذج أي مقطع سيكشفه تالياً.

هذا ينقل "عدم اليقين الموضعي" من مستوى الكلمات الفردية إلى مستوى الأفكار الكاملة. لا يحتاج النموذج للقلق بشأن ما إذا كانت كلمة معينة ستوضع في الخانة 5 أو 6؛ هو فقط يقرر: "سأكتب مقطع 'الحلقة' (loop) تالياً". ولأن المقاطع أكبر وأكثر شمولاً، يمكن للنموذج أن يكون أكثر ثقة بشأن ترتيب الأفكار، حتى لو كانت الكلمات الدقيقة داخلها لا تزال قيد التحديد.

قام الباحثون بتدريب نموذج أصغر بـ 125 مليون معلمة من الصفر باستخدام هذه الطريقة على مجموعة بيانات رياضية تسمى TinyGSM. ووجدوا أن هذا النموذج يمكنه فعلياً اختيار كشف المقاطع بترتيب غير "من اليسار إلى اليمين"، وهو أمر لم تستطع النماذج القياسية فعله بفعالية. في الواقع، تفوق LatentMDM على النماذج القياسية وحتى على بعض النماذج الأكبر حجماً (ذات التوليد التلقائي) في المسائل الرياضية، وكل ذلك مع سرعة أكبر. وهذا يشير إلى أنه من خلال التفكير في "كتل"، يمكن للنموذج التنقل في مساحة الحلول بكفاءة أكبر، وإيجاد الطريق الصحيح دون الغرق في التفاصيل.

ماذا يعني هذا؟

يخلص البحث إلى أن امتلاك واجهة للاستدلال بأي ترتيب (القدرة على اختيار أي فراغ) ليس كافياً؛ إذ يجب أن تدعم الآليات الداخلية للنموذج ذلك أيضاً. إذا كان النموذج عالقاً في شبكة ثابتة من الكلمات، فسينتهي به الأمر طبيعياً إلى التراجع نحو ترتيب "من اليسار إلى اليمين" لأنه يخشى الوقوع في خطأ بشأن أين توضع الأشياء.

من خلال جعل الشبكة مرنة (FlexMDM) أو التفكير في كتل أكبر (LatentMDM)، أظهر الباحثون أن الذكاء الاصطناعي يمكنه حقاً التحرر من عادة "اليسار إلى اليمين". هذه النماذج لا تولد النصوص فحسب، بل تولدها ببنية تحاكي كيف يفكر البشر ويبنون الأشياء المعقدة بالفعل—بالقفز ذهاباً وإياباً، وتكرار صقل الأفكار، واستكشاف مسارات مختلفة قبل الاستقرار على الحل النهائي.

يلاحظ المؤلفون بحذر أن هذه خطوات واعدة، وليست حلاً نهائياً لجميع مشاكل الاستدلال في الذكاء الاصطناعي. لقد اختبروا هذه الأفكار بشكل أساسي في البرمجة والرياضيات، وبينما كانت النتائج قوية، فقد اقترحوا أن هناك حاجة لمزيد من العمل لمعرفة ما إذا كانت سلوكيات "أي ترتيب" هذه تعمل في أنواع أخرى من المهام أو على نطاقات أكبر. لكن الرسالة الجوهرية واضحة: لكي نبني ذكاءً اصطناعياً يفكر مثل البشر، علينا التوقف عن إجباره على الكتابة كآلة كاتبة، والبدء في السماح له بالتفكير كمهندس معماري.