🤖 machine learning

Fine-Tuning Masked Diffusion for Provable Self-Correction

تقدم هذه الورقة البحثية PRISM، وهي طريقة خفيفة الوزن ومستقلة عن النموذج تتيح التصحيح الذاتي القابل للإثبات لنماذج الانتشار المقنعة مسبقة التدريب من خلال حساب درجات جودة لكل رمز (token) أثناء الاستدلال لاكتشاف الرموز منخفضة الجودة ومراجعتها دون الحاجة إلى تغييرات هيكلية، أو تعلم تعزيزي، أو أدوات تحقق خارجية.

المؤلفون الأصليون: Jaeyeon Kim, Seunggeun Kim, Taekyun Lee, David Z. Pan, Hyeji Kim, Sham Kakade, Sitan Chen

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jaeyeon Kim, Seunggeun Kim, Taekyun Lee, David Z. Pan, Hyeji Kim, Sham Kakade, Sitan Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز، مثل لعبة السودوكو أو كتابة قصة، ولكن عليك ملء الفراغات دفعة واحدة، بدلاً من كتابة كلمة واحدة تلو الأخرى. هكذا تعمل نوع من أنواع الذكاء الاصطناعي يسمى نموذج الانتشار المقنع (Masked Diffusion Model - MDM). يبدأ بصفحة بيضاء تماماً (أو شبكة من المربعات الفارغة) ويحاول تخمين ما يجب أن يوضع في كل مكان في وقت واحد.

ما هي المشكلة؟ لأن الذكاء الاصطناعي يخمن كل شيء دفعة واحدة، فإنه يرتكب أخطاءً أحياناً. قد يضع الرقم "7" في مكان كان يجب أن يكون فيه "2"، أو يكتب جملة لا تبدو منطقية من الناحية النحوية. في الماضي، بمجرد أن يرتكب الذكاء الاصطناعي خطأً، كان يظل عالقاً به؛ لم يكن بإمكانه العودة للوراء والقول: "مهلاً، هذا لا يبدو صحيحاً"، ثم إصلاحه.

تقدم هذه الورقة البحثية طريقة جديدة تسمى PRISM (إعادة القناع عند الاستنتاج للتصحيح الذاتي لنماذج الانتشار المقنع). فكر في PRISM كأنها تمنح الذكاء الاصطناعي زوجاً ثانياً من العيون وقلماً أحمر ليستخدمه أثناء عمله.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "التخمين الأعمى"

تخيل أنك تقوم بحل لغز كلمات متقاطعة، ولكن عليك تخمين كل كلمة في اللحظة ذاتها دون النظر إلى تلميحات الكلمات الأخرى. قد تخمن كلمة "قطة" (CAT) لكلمة مكونة من 3 أحرف، لكنك تدرك لاحقاً أنها لا تتناسب مع الكلمة المتقاطعة معها وهي "كلب" (DOG). في نماذج MDM القياسية، بمجرد أن تكتب "قطة"، تظل ثابتة في مكانها. النموذج لا يعرف كيف يتحقق مما إذا كانت "القطة" تخميناً جيداً في سياق اللغز بأكمله.

2. الحل: "درجة الجودة"

تعلم PRISM الذكاء الاصطناعي كيفية تخصيص درجة جودة لكل كلمة أو رقم يكتبه.

درجة عالية: "هذه الكلمة تتناسب تماماً مع بقية الجملة."
درجة منخفضة: "هذه الكلمة تبدو غريبة هنا. قد تكون خاطئة."
تزعم الورقة أن PRISM يتعلم إعطاء هذه الدرجات بشكل صحيح ومثبت رياضياً. فهو لا يخمن فحسب؛ بل يحسب رياضياً مدى احتمالية أن تكون كلمة معينة صحيحة بالنظر إلى الكلمات المحيطة بها.

3. الخدعة السحرية: "إعادة القناع" (Remasking)

بمجرد حصول الذكاء الاصطناعي على درجات الجودة الخاصة به، يستخدم خدعة ذكية تسمى إعادة القناع.

إذا كانت الكلمة تملك درجة منخفضة (أي أنها من المرجح أن تكون خاطئة)، يقوم الذكاء الاصطناعي بمسحها (يضع "قناعاً" فوقها مجدداً).
ثم يحاول تخمين كلمة جديدة لهذا المكان.
إذا كانت الكلمة تملك درجة عالية، فإنه يتركها كما هي.
يحدث هذا أثناء عملية التوليد. فالذكاء الاصطناعي لا يكتب فحسب؛ بل يكتب، ويتحقق، ويمسح، ويعيد الكتابة في الوقت الفعلي. إنه يشبه الكاتب الذي يكتب جملة، ثم يدرك أن كلمة ما خاطئة، فيمسحها ويكتب كلمة أفضل قبل الانتقال إلى الجملة التالية.

4. لماذا هذا مميز (جانب "التركيب والتشغيل")

عادةً، لتعليم الذكاء الاصطناعي كيف يصلح أخطاءه، يجب عليك إعادة بناء "دماغ" الذكاء الاصطناعي بالكامل أو استخدام نموذج "ناقد" منفصل وضخم للتحقق من العمل.

PRISM خفيف الوزن: إنه يشبه إضافة "محول" (Adapter) صغير أو ملحق (Plugin) لذكاء اصطناعي موجود بالفعل. لست بحاجة لإعادة تدريب النموذج بالكامل من البداية.
إنه فعال: توضح الورقة أن PRISM يمكنه تعلم التصحيح الذاتي باستخدام كمية قليلة جداً من البيانات الإضافية (أقل بكثير مما استغرقه تدريب الذكاء الاصطناعي الأصلي).
يعمل في كل مكان: اختبر المؤلفون هذا على:
- السودوكو: إصلاح الأرقام الخاطئة في الشبكة.
- النصوص: كتابة جمل أفضل وأكثر طبيعية.
- البرمجة: إصلاح أخطاء لغة بايثون (مثل الأقواس المفقودة أو المنطق الخاطئ).

5. النتائج

تظهر الورقة أنه عندما استخدموا PRISM:

ارتكب الذكاء الاصطناło أخطاءً أقل.
استطاع إصلاح أخطائه الخاصة، مما أدى إلى نتائج نهائية أفضل في البرمجة والألغاز.
عمل بفعالية حتى مع النماذج الكبيرة جداً (مثل مساعد برمجي بـ 8 مليارات بارامتر) دون الحاجة إلى قدرات حوسبة ضخمة إضافية.

باخت aside (الخلاصة)

PRIM هو ترقية ذكية وبسيطة لنوع معين من الذكاء الاصطناعي. إنه يمنح الذكاء الاصطناعي القدرة على النظر في عمله، والقول: "هذا لا يبدو صحيحاً"، ثم مسح الخطأ، والمحاولة مرة أخرى—كل ذلك أثناء توليد الإجابة. إنه يحول "التخمين لمرة واحدة" إلى عملية "مسودة وتعديل"، مما يجعل الذكاء الاصطناعي أكثر موثوقية في حل الألغاز، وكتابة النصوص، والبرمجة.

ملخص تقني: الضبط الدقيق للانتشار المقنع من أجل التصحيح الذاتي القابل للإثبات

بيان المشكلة

برزت نماذج الانتشار المقنع (Masked Diffusion Models - MDMs) كبديل واعد للنماذج ذات الترتيب التلقائي (Autoregressive models) في النمذجة التوليدية للمساحات المنفصلة (مثل النصوص، الكود البرمجي، والسودوكو). وبخلاف النماذج ذات الترتيب التلقائي التي تولد الرموز (tokens) بشكل تسلسلي، تبدأ نماذج MDM بتسلسل مقنع بالكامل ثم تقوم بإزالة القناع عن الرموز تدريجياً بترتيب عشوائي. وبينما يوفر هذا الاستنتاج المتوازي والمكون من خطوات قليلة الكفاءة والمرونة، فإنه يفرض قيداً حرجاً: تفتقر نماذج MDM القياسية إلى القدرة على التصحيح الذاتي.

في استنتاج MDM القياسي، بمجرد إزالة القناع عن رمز ما، فإنه يظل ثابتاً. هذه الصلابة تجعل نماذج MDM عرضة لأخطاء الاعتمادية عبر المواضع، لا سيما عند استخدام خطوات استنتاج قليلة. وقد واجهت المحاولات السابقة لمعالجة ذلك عيوباً كبيرة:

النماذج البديلة غير الدقيقة: تعتمد الطرق الخالية من التدريب (مثل ReMDM وDFM) على إعادة القناع العشوائية أو الدرجات المستمدة من الاحتمالات (logits) التي لم تُدرب لتمثيل جودة الرمز، مما يؤدي إلى تصحيحات غير فعالة أو غير دقيقة.
الإصلاح الهيكلي الشامل: الطرق التي تحدد هدفاً صالحاً للتصحيح الذاتي تتطلب غالباً تغيير بنية MDM (مثل hollow-transformers) أو أهداف التدريب المسبق، مما يحد من قابليتها للتطبيق على النماذج المدربة مسبقاً الموجودة.

هناك حاجة إلى طريقة يمكنها تزويد أي نموذج MDM مدرب مسبقاً بقدرات التصحيح الذاتي دون تغيير بنيته الأساسية، مع توفير تعريف مؤسس نظرياً لـ "جودة الرمز".

المنهجية: PRISM

يقترح المؤلفون PRISM (إعادة القناع القابلة للتركيب للتصحيح الذاتي أثناء الاستنتاج لنماذج الانتشار المقنع)، وهو إطار عمل للضبط الدقيق خفيف الوزن ومستقل عن النموذج.

1. الأساس النظري: الجودة لكل رمز

يعرف PRISM هدفاً صارماً للتصحيح الذاتي: درجة جودة الرمز الواحد. بالنسبة لتسلسل مقنع جزئياً $y$ ، تُعرف جودة الرمز $y_i$ في الموضع $i$ بأنها احتمالية هذا الرمز بشرط بقية التسلسل حيث يتم استبدال $y_i$ بقناع:
$g^*_i(y) := p(x_i = y_i \mid y \oplus m_i)$
حيث يمثل $y \oplus m_i$ التسلسل $y$ مع استبدال الرمز رقم $i$ برمز القناع $m$ . إذا كان $y_i$ متسقاً مع السياق، فإن هذا الاحتمال يكون مرتفعاً؛ وإذا كان خطأً، فإن الاحتمال يكون منخفضاً.

2. دالة خسارة PRISM

لتعلم نموذج $g_\phi$ يقرب $g^*$ ، يقدم PRISM دالة خسارة مبتكرة. التحدي يكمل في أن $g_\phi$ يجب أن يتنبأ بجودة رمز $y_i$ الذي هو بالفعل غير مقنع في المدخل $y$ ، بينما الهدف هو الاحتمال اللاحق المحدد على السياق المقنع $y \oplus m_i$ .

يحل PRISM ذلك عبر بناء بيانات محدد وصيغة خسارة معينة:

بناء البيانات: أخذ عينة من تسلسل حقيقي $x$ ونسخة مقنعة منه $z$ . استخدم نموذج MDM المدرب مسبقاً $f_\theta$ لإزالة القناع عن مجموعة فرعية من الرموز في $z$ لإنشاء تسلسل جديد $y$ .
دالة الخسارة: يتم تدريب النموذج $g_\phi$ للتنبؤ بالتسمية الثنائية $1[x_i = y_i]$ (ما إذا كان الرمز غير المقنع يطابق الحقيقة الأرضية) باستخدام الخسارة التقاطعية الثنائية (BCE):
$\mathcal{L}(\phi) := \mathbb{E}_{x,z,(y,i)} \left[ \text{BCE}(1[x_i = y_i], g_\phi^i(y)) \right]$
نظرياً، فإن المقلل الفريد لهذه الخسارة هو بالضبط جودة الرمز لكل موضع $p(x_i = y_i \mid y \oplus m_i)$ ، بغض النظر عن جودة نموذج MDM $f_\theta$ المستخدم لتوليد $y$ .

3. تفاصيل التنفيذ

التركيب والتشغيل (Plug-and-Play): يقوم PRISM بإلحاق محول إضافي خفيف الوزن (رأس جودة) بأي نموذج MDM مدرب مسبقاً. يظل الهيكل الأساسي مشتركاً، حيث يخرج أحد الرؤوس الاحتمال اللاحق لإزالة القناع (وظيفة MDM الأصلية)، بينما يخرج الرأس الجديد درجة الجودة القياسية.
التنظيم (Regularization): للحفاظ على قدرات إزالة القناع الأصلية لـ MDM، يتم إضافة خسارة تدريب MDM القياسية كعنصر تنظيم أثناء الضبط الدقيق.
الكفاءة: يسمح الإطار بتوليد أزواج تدريب متعددة $(y, i)$ من تمريرة أمامية واحدة لـ $f_\theta$ عن طريق إزالة القناع عن رموز متعددة في آن واحد، مما يحسن كفاءة البيانات.

4. إجراء الاستنتاج

أثناء الاستنتاج، يقوم نموذج MDM الذي تم ضبطه بدقة بعمليتين في آن واحد في كل خطوة:

إزالة القناع (Unmasking): اختيار مجموعة فرعية من الرموز المقنعة لإزالة القناع عنها بناءً على الاحتمال اللاحق لـ MDM القياسي.
إعادة القناع (Remasking): اختيار مجموعة فرعية من الرموز التي تمت إزالة القناع عنها بالفعل ذات درجات الجودة الأدنى (كما تتنبأ بها $g_\theta$ ) وإعادة وضع القناع عليها.
تسمح هذه الخطوات للنموذج بتصحيح الأخطاء بشكل تكراري قبل اكتمال التسلسل.

المساهمات الرئيسية

ضمان نظري: يوفر PRISM أول هدف تعلم قابل للإثبات لجودة الرمز لكل موضع في نماذج MDM لا يتطلب توليد تسلسل كامل نظيف أو استخدام مُتحقق (verifier). لقد أثبت أن مُقلل الخسارة يتقارب مع الاحتمال الشرطي الحقيقي للرمز المعطى للسياق المقنع.
تصميم مستقل عن النموذج: على عكس الأعمال السابقة، لا يتطلب PRISM تغييرات هيكلية أو إعادة تدريب من الصفر. فهو يعمل كـ "إضافة" (plug-in) لطبقة الضبط الدقيق لأي نموذج MDM مدرب مسبقاً.
الكفاءة: يتعلم PRIM قدرات التصحيح الذاتي بعدد أقل بكثير من عينات التدريب (أقل بعدة مراتب من التدريب المسبق) ومن الموارد الحسابية.

النتائج التجريبية

قيم المؤلفون PRISM عبر ثلاثة مجالات ومقاييس:

السودوكو (نموذج MDM بمقياس 30 مليون):
- يحقق PRISM معدلات نجاح أعلى تدريجياً خلال الضبط الدقيق، متفوقاً على النماذج المرجعية مثل ReMDM وReMDM-conf خلال بضع حقب تدريب (epochs).
- تؤكد التصورات المرئية أن PRISM يخصص درجات جودة منخفضة بشكل صحيح للخلايا غير الصحيحة في الشبكة، مما يتيح اكتشاف الأخطاء بفعالية.
توليد النصوص غير المشروط (نموذج MDM بمقياس 170 مليون):
- تم التقييم باستخدام OpenWebText بناءً على الارتباك التوليدي (Generative Perplexity) ومقياس MAUVE.
- يتفوق PRISM على النماذج المرجعية، خاصة في الأنظمة ذات خطوات أخذ العينات القليلة (مثلاً 64–256 خطوة)، حيث تكثر أخطاء الاعتمادية.
- تظهر دراسات المعايرة أن درجات الجودة المتوقعة تتبع بدقة الاحتمالية التجريبية للرموز.
توليد الكود البرمجي (نموذج MDM بمقياس 8 مليار - LLaDA):
- طُبق على LLaDA-8B-Instruct مع أقل من 500 ساعة GPU للضبط الدقيق.
- في اختبارات MBPP وHumanEval، يتفوق PRISM على vanilla MDM ونماذج إعادة القناع المرجعية الأخرى عبر مختلف خطوات أخذ العينات.
- يظهر التحليل الآلي أن PRISM يصحح بنجاح أخطاء الصيغة (مثل جمل elif غير المكتملة) والأخطاء المنطقية (مثل وضع المحددات/delimiters) في الكود المولد.
- القابلية للنقل (Transferability): يمكن لنموذج PRISM مضبوط أن يعمل كمصحح ذاتي لنموذج MDM آخر مدرب مسبقاً يعمل على نفس التوزيع، مما يحقق مكاسب أداء كبيرة (مثلاً +10.9% على HumanEval).

الأهمية والادعاءات

يضع البحث PRISM كخطوة نحو بناء نماذج توليدية تشكل التسلسلات المنفصلة من خلال التصحيح وإعادة الترتيب، محاكية بذلك عمليات التوليد البشرية.

تصحيح ذاتي قابل للإثبات: يؤكد المؤلفون أن PRISM فريد في تعريف وتعلم هدف دقيق وقابل للاختبار لجودة الرمز لكل موضع دون الاعتماد على التعلم التعزيزي (الذي يتطلب توليد تسلسل كامل) أو المُتحققات الخارجية.
القابلية للتوسع: يوضح المنهج أن التصحيح الذاتي يمكن اكتسابه بكفاءة عبر الضبط الدقيق، حتى على النماذج واسعة النطاق (8 مليار معلمة) وبأقل قدر من الحوسبة.
القيود: يقر المؤلفون بتواضع بأن جودة الدرجة تعتمد على الهوامش اللاحقة لكل موضع، لذا قد يواجه PRISM صعوبة في أخطاء الاستدلال العالمي (مثل أخطاء المنطق الهيكلي التي تمتد عبر عدة رموز) والتي لا تلتقطها الاحتمالية المحلية للرموز. ومع ذلك، يجادلون بأن هذا العمل يفتح الباب لأطر عمل مستقبلية لمعالجة الأخطاء العالمية ضمن نموذج التدريب الفعال لانتشار المنفصل.