💬 NLP

Uncertainty Quantification for Large Language Diffusion Models

تقدم هذه الورقة البحثية أول دراسة منهجية لتقدير عدم اليقين لنماذج الانتشار اللغوية الكبيرة، حيث تقترح إشارات خفيفة الوزن وعديمة التدريب (zero-shot) مستمدة من عملية إزالة الضجيج، والتي تحقق كشفاً موثوقاً للهلوسة مع عبء حوسبي أقل بمقدار يصل إلى 100 ضعف مقارنة بالطرق القائمة على أخذ العينات.

المؤلفون الأصليون: Artem Vazhentsev, Vladislav Smirnov, David Li, Maxim Panov, Timothy Baldwin, Artem Shelmanov

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Artem Vazhentsev, Vladislav Smirnov, David Li, Maxim Panov, Timothy Baldwin, Artem Shelmanov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: نوع جديد من الكتاب

تخيل أن لديك نوعاً جديداً من الكتاب، لنسمِّهم "كُتّاب الانتشار" (Diffusion Writers).

معظم كُتّاب الذكاء الاصطناعي اليوم (مثل أولئك الذين تدردش معهم) يعملون مثل شخص يكتب جملة كلمة بكلمة، من اليسار إلى اليمين. إذا ارتكبوا خطأً في البداية، فعليهم الاستمرار في الكتابة فوقه، مما قد يجعل العملية بطيئة.

أما "كُتّاب الانتشار" في هذه الورقة البحثية فيعملون بشكل مختلف. تخيل أنهم يبدأون بصفحة بيضاء مغطاة بضجيج "الستاتيك" (مثل التلفاز الذي لا توجد به إشارة). هم لا يكتبون كلمة بكلمة، بل ينظرون إلى الصفحة بأكملها دفعة واحدة ويقومون تدريجياً بـ "تنظيف" الضجيج، وتدقيق النص عبر خطوات متوازية حتى تظهر جملة واضحة. هذا يجعلهم سريعين للغاية.

المشكلة: تماماً مثل الكتاب القدامى، قد يقع "كُتّاب الانتشار" أحياناً في فخ "الهلوسة". قد يكتبون جملة تبدو مثالية ومنسقة، لكنها مختلقة تماماً أو خاطئة واقعياً. نحن بحاجة إلى وسيلة لمعرفة متى يكذبون أو يخمنون، لكن الأدوات القديمة التي نستخدمها للتحقق من الأكاذيب لا تعمل مع هؤلاء الكتاب الجدد.

الأدوات القديمة مقابل المشكلة الجديدة

للتحقق مما إذا كان ذكاء اصطناعي عادي يكذب، يقوم الباحثون عادةً بواحد من أمرين:

"الفحص الرياضي": ينظرون إلى الرياضيات الكامنة وراء كيفية اختيار الذكاء الاصطناعي لكل كلمة. لكن "كُتّاب الانتشار" لا يختارون الكلمات واحدة تلو الأخرى، لذا فإن هذه الرياضيات غير موجودة بالنسبة لهم.
"اختبار السؤال مرة أخرى": يطلبون من الذكاء الاصطناعي كتابة نفس الإجابة 50 مرة ويرون ما إذا كانت الإجابات جميعها متطابقة. إذا كانت الإجابات مختلفة، فهذا يعني أن الذكاء الاصطناعي غير متأكد.
- العائق: سؤال الذكاء الاصطناعي 50 مرة هو أمر بطيء ومكلف، وهذا يلغي الغرض الأساسي من استخدام "كاتب انتشار"، والذي يُفترض أن يكون سريعاً!

الحل: الاستماع إلى "البروفة"

أدرك مؤلفو هذه الورقة أن لدى "كاتب الانتشار" قوة خارقة سرية: البروفة (The Rehearsal).

عندما يقوم "كاتب الانتشار" بتنظيف الضجيج، فإنه يمر بالعديد من الخطوات المتوسطة. الأمر يشبه النحات الذي يزيل قطعاً من كتلة الرخام؛ قبل أن يكتمل التمثال، يكون لدى النحات العديد من النسخ الأولية لشكل التمثال.

الطريقة القديمة: اطلب من النحات أن يبدأ من جديد 50 مرة لترى ما إذا كان سيصنع نفس التمثال.
الطريقة الجديدة: فقط راقب النحات وهو يعمل على تمثال واحد. انظر إلى النسخ الأولية التي صنعها أثناء العمل.

تقدم الورقة طريقة تسمى D-CoCoA. وهي تعمل كراصد ذكي يراقب "بروفة" النحات. هي تبحث عن ثلاثة "علامات للمتاعب" أثناء عملية التنظيف:

"المسار المتذبذب" (عدم استقرار المسار): إذا كان النحات يغير رأيه باستمرار بشأن شكل التمثال من ثانية إلى أخرى، فهذا يعني أنه غير متأكد. تقيس الورقة مدى تغير "المسودات" مقارنة بالنتيجة النهائية. إذا كانت المسودات مشتتة وغير مستقرة، فمن المرجح أن الإجابة النهائية هي هلوسة.
"عدد مرات الصراع" (التعقيد): إذا اضطر النحات للنحت في الحجر لفترة طويلة جداً أو اضطر لإعادة تغطية (re-mask) أجزاء من الحجر مراراً وتكراراً، فهذا يعني أن المهمة كانت صعبة عليه. تعد الورقة هذه الخطوات الإضافية كعلامة على عدم اليقين.
"فحص الثقة" (الاحتمالية): تتحقق من مدى تأكد النموذج من الكلمات المحددة التي يلتزم بها في نهاية العملية تماماً.

النتائج: سريعة وموثوقة

اختبر الباحثون هذه الطريقة الجديدة على نوعين مختلفين من "كُتّاب الانتشار" عبر ثماني مهام مختلفة (مثل الإجابة على أسئلة عامة، تلخيص الأخبار، وترجمة اللغات).

النتائج:

إنها تعمل: الطريقة الجديدة جيدة جداً في كشف متى يقوم الذكاء الاصطناعي بتأليف أشياء من خياله.
إنها رخيصة: لا تتطلب طلب كتابة الإجابة 50 مرة من الذكاء الاصطناعي. هي فقط تراقب المرة الواحدة التي يكتب فيها الذكاء الاصطناعي.
المقايضة: تدعي الورقة أن طريقتهم أسرع بـ 100 مرة من طرق "السؤال مرة أخرى" القديمة، مع كونها دقيقة تقريباً بنفس القدر.

الخلاصة

تثبت هذه الورقة أنك لست مضطراً للاختيار بين السرعة والأمان. يمكنك استخدام "كُتّاب الانتشار" الجدد والمنتمين لفئة السرعة الفائقة، ومع ذلك تظل تمتلك "جهاز كشف كذب" موثوقاً مرتبطاً بهم، ببساطة عن طريق مراقبة كيفية تنظيفهم لعملهم، بدلاً من جعلهم يكررون العمل مراراً وتكراراً.

باختصار: بدلاً من طلب الجري من عداء سريع 100 مرة لترى ما إذا كان متعباً، نحن فقط نراقب تنفسه وخطواته خلال سباق واحد. إذا كان يلهث ويتعثر، فنحن نعرف أنه ليس متأكداً من قدرته على إنهاء السباق بقوة.

ملخص تقني: تقدير عدم اليقين لنماذج الانتشار اللغوية الكبيرة

بيان المشكلة

برزت نماذج الانتشار اللغوية الكبيرة (LLDMs) كبديل تنافسي للنماذج اللغوية الكبيرة ذات التوليد التلقائي (Autoregressive LLMs)، حيث توفر استدلالاً أسرع من خلال فك التشفير شبه التلقائي وتوليد الرموز (tokens) بشكل متوازٍ. ومع ذلك، وبالمثل مثل نظيراتها ذات التوليد التلقائي، فإن نماذج LLDMs عرضة للهلوسة، مما يستلب ضرورة وجود تقدير موثوق لعدم اليقين (Uncertainty Quantification - UQ) من أجل النشر الآمن.

تتعارض طرق تقدير عدم اليقين الحالية جوهرياً مع نموذج الانتشار:

عدم تطابق التفكيك (Factorization Mismatch): تعتمد الطرق "الصندوق الأبيض" القياسية على التفكيك التلقائي من اليسار إلى اليمين ( $p(y_l | y_{<l}, x)$ )، وهو أمر غير متاح أصلاً في نماذج LLDMs.
عدم تطابق الكفاءة (Efficiency Mismatch): تعتمد طرق "الصندوق الأسود" عادةً على أخذ عينات متكررة لتقدير الاتساق (مثل Semantic Entropy و CoCoA). وبما أن نماذج LLDMs مصممة من أجل الكفاءة، فإن مضاعفة تكلفة الاستدلال عبر أخذ العينات المتكرر يلغي ميزتها الأساسية.

لا يوجد حالياً إطار عمل منهجي لتقدير عدم اليقين في نماذج LLDMs يستفيد من عملية إزالة الضجيج التكرارية الفريدة الخاصة بها دون تكبد أعباء حسابية باهظة.

المنهجية

يقترح المؤلفون D-CoCoA، وهي عائلة من طرق تقدير عدم اليقين المتوافقة مع الانتشار، والتي تستمد إشارات عدم اليقين مباشرة من مسار إزالة الضجيج التكراري، متجنبة الحاجة إلى أخذ عينات متكررة. يدمج هذا النهج ثلاث فئات محددة من الإشارات الخاصة بالانتشار:

1. إشارات عدم اليقين الخاصة بالانتشار

يقدم البحث عدة إشارات "صفرية التقدير" (zero-shot) مشتقة من عملية التوليد:

احتمالية الانتشار المقنع (Masked Diffusion Likelihood): يستخدم المؤلفون مقدراً لـ "مونت كارلو" (MCNLL) لتقريب السلب اللوغاريتمي للاحتمالية بناءً على هدف الانتشار المقنع، مما يعمل كوكيل احتمالي مبدئي.
إحصائيات المسار (Trajectory Statistics): تشمل الإشارات عدد تقييمات الدوال (NFE) كوكيل لتعقيد إزالة الضجيض، وسلوك إعادة القناع (تكرار قناع الرموز)، وعدم استقرار التنبؤ على مستوى الرمز (تكرار تغير الرموز أثناء المسار).
عدم الاستقرار الدلالي للمسار (AD): إشارة مبتكرة تقيس عدم التشابه الدلالي بين حالات إزالة الضجيج المتوسطة ( $\tilde{y}_t$ ) والمخرج النهائي ( $y$ ). وهي تلتقط الانحراف الدلالي قبل الوصول إلى مرحلة التقارب.

2. التأصيل النظري

يوفر البحث تبريراً نظرياً لاستخدام عدم تشابه المسار كدرجة لعدم اليقين. النظرية 1 تثبت أن عدم تشابه المسار المتوقع ( $u_{AD}$ ) هو حد أدنى لهدف تدريب الانتشار المقنع (الخسارة/loss). وبناءً عليه، فإن القيمة العالية لـ $u_{AD}$ تشير إلى ارتفاع متوقع في خطأ التنبؤ، مما يحفز استخدامه كوكيل لخطر الهلوسة.

3. إطار عمل D-CoCoA

بناءً على طريقة CoCoA المتطورة (التي تجمع بين الدرجات القائمة على المعلومات والدرجات القائمة على الاتساق)، قام المؤلفون بتكييفها لنماذج LLDMs:

المكون المعلوماتي: تم استبداله بتقديرات احتمالية متوافقة مع الانتشار (مثل MCNLL أو CommitNLL).
مكون الاتساق: تم استبداله بعدم التشابه الدلالي للمسار (AD)، باستخدام الحالات المتوسطة من مسار إزالة ضجيج واحد بدلاً من عمليات توليد متعددة العينات.

تم اقتراح تكوينين محددين:

D-CoCoA-L (المحلي): يجمع بين CommitNLL (الثقة عند التزام الرمز) وعدم تشابه المسار على مستوى الكتل (block-wise).
D-CoCoA-G (العالمي): يجمع بين MCNLL الموحد مع عدم تشابه المسار الكامل، وعقوبة تعقيد NFE.

المساهمات الرئيسية

أول دراسة منهجية: يقدم هذا العمل أول تحقيق شامل مصمم خصيصاً لنماذج LLDMs.
إشارات مبتكرة: تقديم إشارات عدم يقين خاصة بالانتشار، بما في ذلك عدم الاستقرار الدلالي للمسار، وديناميكيات إعادة القناع، وتعقيد إزالة الضجيج.
إثبات نظري: تقديم برهان رسمي على أن عدم تشابه المسار المتوقع يمثل حداً أدنى لهدف تدريب الانتشار المقنع.
طريقة D-CoCoA: طريقة موحدة وفعالة لتقدير عدم اليقين، تعمل على تكييف CoCoA مع بيئة الانتشار، مستبدلة أخذ العينات المكلف بتحليل المسار لمرة واحدة.
التحقق التجريبي: دراسة واسعة النطاق عبر ثماني مجموعات بيانات ونموذجين (LLaDA-1.5 و Dream) لإثبات فعالية النهج المقترح.

النتائج التجريبية

أُجري التقييم على ثماني مجموعات بيانات تغطي الإجابة على الأسئلة (MMLU, TriviaQA, CoQA, GSM8k)، والتلخيص (SamSum, XSum)، والترجمة الآلية (WMT14, WMT19). تم قياس الأداء باستخدام نسبة رفض التنبؤ (PRR) والعبء الحسابي.

الأداء مقابل الكفاءة: تحقق طرق D-CoCoA توازناً متفوقاً بين الأداء والكفاءة. فهي تقترب من أداء أقوى النماذج المعتمدة على أخذ العينات (مثل CoCoA-MCNLL, KLE) بينما تتحمل عبئاً حسابياً أقل بمقدار يصل إلى 100 ضعف.
مقارنة المراجع (Baselines):
- أدت طرق تقدير عدم اليقين التلقائية القياسية (مثل MSP, Perplexity, SAR) أداءً ضعيفاً أو أفضل قليلاً من العشوائية عند تطبيقها على نماذج LLDMs بسبب عدم تطابق التفكيك.
- قدمت إشارات الانتشار الصرفة (مثل NFE, Remask) معلومات مفيدة ولكنها كانت غير كافية بشكل عام لتقديم تقدير عالي الجودة لعدم اليقين بمفردها.
- تفوق نهج D-CoCoA الهجين بشكل كبير على كل من المراجع القياسية وإشارات الانتشار المستقلة.
دراسات الاستئصال (Ablation Studies): أكدت النتائج أن استخدام مسار التوليد الكامل واحتمالية MCNLL يعطي الأداء الأكثر اتساقاً. كما أن تضمين NFE كعقوبة للتعقيد قد حسن أداء النسخة العالمية (D-CoCoA-G).

الأهمية والادعاءات

يزعم البحث أن نماذج LLDMs يمكنها تقديم استدلال سريع وكشف موثوق للهلوسة في آن واحد، دون الحاجة إلى إجراءات أخذ العينات المكلفة المطلوبة لطرق تقدير عدم اليقين في النماذج التلقائية.

من خلال الاستفادة من الخصائص المميزة لعملية إزالة الضجيج التكرارية — وتحديداً مسار الحالات المتوسطة وديناميكيات القناع — يوضح المؤلفون أنه يمكن تحقيق تقدير فعال لعدم اليقين بتكلفة حسابية إضافية لا تُذكر. يعالج هذا العمل فجوة حرجة في نشر نماذج اللغة القائمة على الانتشار، مما يسمح باستخدامها في التطبيقات الحساسة للسلامة حيث تكون الموثوقية أمراً بالغ الأهمية. ويؤكد المؤلفون أن نهجهم لا يتطلب تسميات خاصة بالمهام أو أخذ عينات متكررة، مما يجعله حلاً عملياً غير خاضع للإشراف لنوع النماذج اللغوية الناشئة القائمة على الانتشار.