Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models
تحدد هذه الورقة أن الاستيفاء الخطي الإقليدي المستخدم في نماذج لغة الانتشار المقنعة الحالية غير متوافق هندسيًا مع فضاء التضمين الكروي الخاص بها، وتقترح "التقنيع الناعم الكروي" (S-SM)، وهي طريقة تستخدم الاستيفاء الخطي الكروي مما يحسن بشكل كبير جودة التوليد والارتباك دون التأثير سلبًا على التقارب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كتابة قصة، ولكن بدلاً من تركه يكتب كلمة بكلمة مثل البشر، تعطي له صفحة بيضاء حيث كل كلمة مخفية خلف "قناع" (MASK). مهمة الروبوت هي إلقاء نظرة على الصفحة بأكملة، وتخمين الكلمات التي يجب أن توضع في الفراغات، ثم الكشف عنها ببطء واحدة تلو الأخرى. هكذا تعمل نوع من نماذج الذكاء الاصطناعي تسمى "نموذج الانتشار اللغوي" (Diffusion Language Model). إنها تشبه لعبة "خمن الكلمة" التي تُلعب بشكل عكسي، حيث يبدأ الذكاء الاصطناعي بحالة من الارتباك التام ثم يوضح الصورة تدريجياً.
لجعل هذه اللعبة أسرع وأكثر ذكاءً، يستخدم الباحثون حيلة تسمى "القناع الناعم" (soft-masking). فبدلاً من أن يقول الروبوت ببساطة: "نعم، أنا متأكد أن هذه الكلمة هي 'قطة'" أو "لا، استمر في إخفائها"، يمكنه أن يقول: "أنا متأكد بنسبة 80% أنها 'قطة' وبنسبة 20% أنها 'كلب'". إنه يمزج هذه التخمينات معاً لإنشاء تلميح جديد وضبابي للجولة التالية. السؤال الكبير الذي تعالجه هذه الورقة البحثية هو: كيف ندمج هذه التخمينات رياضياً؟ معظم الناس كانوا يفعلون ذلك بالطريقة القديمة، كما لو أن عقل الروبوت عبارة عن خريطة مسطحة ومستقيمة. ولكن ماذا لو كان عقل الروبوت في الواقع مشكلاً مثل كرة ضخمة منحنية؟
لغز "الضياع في الاستكمال"
قرر مؤلفو هذه الورقة، وهم فريق من المعهد الهندي للتكنولوجيا في روركي، التحقيق في شكل "العقل" داخل نماذج الذكاء الاصطناعي هذه. واكتشفوا أن الطريقة التي تخزن بها هذه النماذج الكلمات ليست مسطحة مثل ورقة، بل هي في الواقع منحنية، مثل سطح كرة.
تخün مفردات الذكاء الاصطناعي كأنها كرة ضخمة غير مرئية. كل كلمة هي نقطة على سطح هذه الكرة. عندما يقوم الذكاء الاصطناعي بتخمين ما، فإنه يشير إلى نقطة على تلك الكرة. المشكلة هي أن الطريقة القياسية لدمج التخمينات (المسماة "الاستكمال الخطي" أو LERP) تعامل الكرة كخريطة مسطحة. إذا رسمت خطاً مستقيماً بين مدينتين على خريطة مسطحة، فقد تمر مباشرة عبر مركز الأرض. ولكن إذا كنت تسير على سطح الكرة، فعليك اتباع انحناء الأرض. تظهر الورقة أن الطريقة القياسية تجبر الذكاء الاصطناعي على السير عبر مركز الأرض، وهو مسار غريب وغير طبيعي يربك النموذج ويبطئه.
اكتشاف "الضياع في الاستكمال"
وجد الباحثون أنه عندما يحاول الذكاء الاصطناعي دمج توقعاته باستخدام طريقة الخط المستقيم القديمة، فإنه "يضيع". لقد قاسوا الزاوية بين الحالة "المقنعة" (الفراغ) والحالة "المتوقعة" (التخمين) ووجدوا أنها تظل عند زاوية ثابتة قدرها 73 درجة طوال عملية التدريب بأكملها. كما لاحظوا أن "حجم" (أو معيار) ناقلات الكلمات يظل ثابتاً تقريباً، بغض النظر عن مدى شيوع أو ندرة الكلمة. هاتان الإشارتان هما بمثابة آثار أقدام تثبت أن الذكاء الاصطناعي يسير على كرة فائقة (hypersphere) -أي كرة متعددة الأبعاد- وليس على مستوٍ مسطح.
ولأن الذكاء الاصطناعي يعيش على كرة، يجادل المؤلفون بأن استخدام الخطوط المستقيمة لخلط المعلومات هو الأداة الخاطئة. الأمر يشبه محاولة قياس المسافة بين نيويورك ولندن باستخدام مسطرة موضوعة على طاولة بدلاً من خيط ملفوف حول كرة أرضية.
الحل: القناع الناعم الكروي (S-SM)
لإصلاح ذلك، ابتكر الفريق طريقة جديدة تسمى القناع الناعم الكروي (S-SM). بدلاً من رسم خط مستقيم عبر مركز الأرض، تجبر S-SM الذكاء الاصطناعي على السير على سطح الكرة.
إليكم كيف فعلوا ذلك:
- المشي على الكرة: بدلاً من متوسط التخمينات في خط مستقيم، استخدموا حيلة رياضية خاصة تسمى "متوسط فريشيه" (Fréchet mean) لإيجاد متوسط النقطة على سطح الكرة.
- الدمج المنحني: استخدموا تقنية تسمى SLERP (الاستكمال الخطي الكروي). تخيل خيطاً مشدوداً بين نقطتين على بالون؛ تتبع تقنية SLERP هذا الخيط على طول منحنى البالون، دون مغادرة السطح أبداً.
- النتيجة: اختبروا هذه الطريقة الجديدة على نموذج ذكاء اصطناعي يحتوي على 169 مليون معلمة (parameter). كانت النتائج مبهرة. الطريقة الجديدة لم تكن تعمل بشكل أفضل فحسب، بل كانت تعمل بشكل أفضل.
ماذا تقول الأرقام؟
قام الفريق بتشغيل طريقة S-SM الجديدة مقابل المعيار القديم (TopK/LERP) ونسخة لا تحتوي على أي تغذية راجعة على الإطلاق. واختبروها مع كميات مختلفة من "وقت التفكير" (تسمى ميزانيات NFE، تتراوح من 64 إلى 512 خطوة).
- جودة أفضل: أنتجت الطريقة الجديدة نصاً أقرب بكثير إلى الكتابة البشرية. وقد قاسوا ذلك باستخدام درجة تسمى MAUVE. عند الميزانيات العالية (مثل 512 خطوة)، حسنت S-SM درجة MAUVE بما يصل إلى مرتين مقارم الطريقة القديمة، وبنسبة تتراوح بين 27.5% إلى 56.1% مقارنة بمنهج TopK/LERP القياسي.
- أخطاء أقل: ارتكب الذكاء الاصطناعي أخطاءً مربكة أقل. انخفضت "الحيرة التوليدية" (generative perplexity) -وهي مقياس لمدى دهشة الذكاء الاصطناعي من نصه الخاص- بنسبة 16.9% إلى 19.6% مقارنة بالأساس.
- لا توجد مقايضات: عادةً، عندما تجعل الذكاء الاصطناعي أكثر ذكاءً، يصبح أقل إبداعاً (يكرر نفسه). لكن المؤلفين وجدوا أن S-SM حافظت على "الاعتلاج" (entropy) -وهو مقياس للإبداع والعشوائية- تماماً كما في الطرق القديمة. لقد أصبح أكثر ذكاءً دون أن يصبح مملاً.
لماذا فشلت الطريقة القديمة؟
تستبعد الورقة صراحةً فكرة أن الطريقة المسطحة ذات الخط المستقيم هي مجرد طريقة "مقبولة" أو "جيدة بما يكفي". تشير البيانات إلى أنها خاطئة جوهرياً لهذا النوع من الذكاء الاصطناعي. عندما نظر الباحثون في "وزن الثقة" (وهو رقم يتعلمه الذكاء الاصطناعي ليقرر مدى الثقة في تخميناته)، لاحظوا شيئاً مثيراً للاهتمام. تحت منهج S-SM الجديد، تعلم الذكاء الاصطناعي الوثوق بتغذيته الراجعة الهندسية بشكل أكبر، حيث استقرت عند وزن حوالي 0.056، بينما وثقت الطريقة القديمة بها عند 0.030 فقط. وهذا يشير إلى أن الذكاء الاصطناعي "شعر" بمزيد من الثقة عندما لم يتم إجباره على السير عبر مركز الأرض.
الخلاصة
هذه الورقة لا تقترح فكرة جديدة فحسب، بل تقدم دليلاً قوياً على أن هندسة عقول الذكاء الاصطناعي كروية، وأننا كنا نستخدم الرياضيات الخاطئة للتحدث إليها. من خلال الانتقال من الخطوط المستقيمة إلى المسارات المنحنية (SLERP)، أظهر المؤلفون أنه يمكننا جعل هذه النماذج تولد نصوصاً أفضل، وبسرعة أكبر، دون فقدان بريقها. إنها تذكير بأنه في بعض الأحيان، لكي تتقدم للأمام، عليك أن تتوقف عن السير في خط مستقيم وتبدأ في اتباع المنحنى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.