DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas
يُعد DreamOn إطار عمل انتشار مبتكر يتغلب على محدودية الطول الثابت في نماذج لغة الانتشار الحالية من خلال إدخال حالات تحكم ديناميكية في الطول، مما يتيح عملية استكمال برمجي مرنة ومتغيرة الطول تحقق أداءً يضاهي النماذج التوليدية ذاتية الانحدار الحديثة دون الحاجة إلى تغييرات هيكلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول ملء مساحة فارغة في قصة أو قطعة من الكود البرمجي. لديك البداية (البادئة) والنهاية (اللاحقة)، وعليك كتابة ما يوضع في المنتصف.
لفترة طويلة، كانت أذكى برامج الكمبيوتر (التي تسمى النماذج ذات التوليد الذاتي - Autoregressive Models) تقوم بذلك عن طريق كتابة كلمة واحدة في كل مرة، من اليسار إلى اليمين، مثل شخص يكتب جملة. وهي بارعة جداً في ذلك.
ثم ظهر نوع جديد من البرامج يسمى نموذج لغة الانتشار (Diffusion Language Model - DLM). فكر في هذه النماذج كأنها نحات. بدلاً من الكتابة كلمة بكلمة، تبدأ بكتلة من الطين حيث يكون الجزء الأوسط مخفياً تماماً (مقنعاً). ثم تبدأ بنحت الأجزاء المخفية، وتطوير الشكل حتى تظهر الكلمات المثالية. هذا الأمر رائع لأنها تستطيع إصلاح الأخطاء بأي ترتيب، وليس فقط من اليسار إلى اليمين.
المشكلة: فخ "لوحة الرسم ثابتة الحجم"
ومع ذلك، كان لهؤلاء النحاتين عيب رئيسي. كان بإمكانهم العمل فقط على كتلة من الطين بالحجم الذي تحدده لهم بالضبط.
- إذا أعطيتهم كتلة صغيرة (مثلاً 4 كلمات مخفية) بينما الإجابة تحتاج إلى 20 كلمة، فسينفد منهم المساحة وسيعطونك إجابة مكسورة وغير مكتملة.
- إذا أعطيتهم كتلة ضخمة (مثلاً 64 كلمة مخفية) بينما الإجابة تحتاج 4 كلمات فقط، فسيصابون بالارتباك ويملؤون المساحة الزائدة بكلمات لا معنى لها أو مكررة.
تسمي الورقة البحثية هذا بـ "مشكلة اللوحة ثابتة الحجم" (Fixed-Size Canvas). النموذج عالق في انتظار أن تخمن أنت الحجم الصحيح للثقب قبل أن يبدأ في العمل. إذا خمنت بشكل خاطئ، ستكون النتيجة سيئة.
الحل: DREAMON
قدم المؤلفون DREAMON، وهي طريقة جديدة لتعليم هؤلاء النحاتين كيفية تغيير حجم كتلة الطين الخاصة بهم أثناء العمل.
لقد أضافوا "أمرين سحريين" إلى مفردات النموذج:
[expand](توسيع): "أحتاج إلى مزيد من المساحة! حوّل هذه البقعة المخفية الواحدة إلى بقعتين مخفيتين".[delete](حذف): "لدي مساحة زائدة! قم بإزالة هذه البقعة المخفية تماماً".
كيف يعمل (التشبيه)
تخيل أن النموذج يرسم لوحة داخل إطار.
- الطريقة القديمة: تخبر النموذج، "ارسم داخل مربع 10×10". إذا كانت اللوحة تحتاج إلى 20×20، فسيتم ضغط النموذج. وإذا كانت تحتاج إلى 2×2، فستكون هناك مساحة ضائعة.
- طريقة DREAMON: تعطي النموذج إطاراً، لكنك تسمح له بحمل جهاز تحكم عن بعد. وبينما يرسم، إذا أدرك أن اللوحة أصبحت أكبر من الإطار، فإنه يضغط على
[expand]فيكبر الإطار سحرياً. وإذا أدرك أن اللوحة صغيرة جداً والإطار ضخم، فإنه يضغط على[delete]فيتقلص الإطار.
يقوم النموذج بهذا الأمر بمفرده تماماً، بناءً على ما يعتقد أن الإجابة يجب أن تبدو عليه. هو لا يحتاج منك أن تخمن الطول مسبقاً.
النتائج
اختبر الباحثون هذا على مهام البرمجة (ملء الأجزاء المفقودة من البرامج الحاسوبية).
- قبل DREAMON: كانت نماذج الانتشار سيئة للغاية في هذه المهام إذا لم يتطابق حجم "الثقب" مع الإجابة تماماً. فقد انخفض أداؤها بنسبة 38% تقريباً لمجرد أن الحجم كان مختلفاً قليلاً.
- بعد DREAMON: أصبحت النماذج بجودة أفضل "الكُتّاب كلمة بكلمة" (النماذج ذات التوليد الذاتي). استطاعت التعامل مع ثقوب من أي حجم، حيث تُكبر أو تُصغر الإجابة حتى تصبح مثالية.
- الكفاءة: أضافوا أيضاً خدعة تسمى "بث الحذف" (Deletion Broadcasting). إذا قرر النموذج حذف جزء ضخم من الإطار، فإنه لا يفعل ذلك قطعة قطعة، بل يحذف الجزء الضخم دفعة واحدة، مما يجعل العملية أسرع بكثير.
باختصار
يأخذ DREAMON أداة قوية ولكن جامدة (نماذج الانتشار) ويمنحها المرونة لتمديد وتقليص مخرجاتها. إنه يزيل الحاجة إلى تخمين البشر للطول المثالي للإجابة، مما يسمح لهذه النماذج أخيراً بمنافسة أفضل نماذج الذكاء الاصطناعي لكتابة الكود لدينا، ولكن مع ميزة إضافية وهي القدرة على إصلاح الأشياء بأي ترتيب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.