💬 NLP

Estimating the Black-box LLM Uncertainty with Distribution-Aligned Adversarial Distillation

تقترح هذه الورقة البحثية طريقة التقطير التنافسي المتوافق مع التوزيع (DisAAD)، وهي طريقة تدرب نموذجاً وسيطاً خفيف الوزن لمحاكاة توزيع مخرجات نموذج لغوي كبير (LLM) غير شفاف، وتقدير عدم اليقين عبر تعلم الأدلة، مما يعالج مشكلة الهلوسة بفعالية دون الحاجة إلى الوصول إلى النموذج الداخلي أو عمليات أخذ عينات متعددة ومكلفة.

المؤلفون الأصليون: Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث بعنوان "تقدير عدم اليقين في النماذج اللغوية الكبيرة (LLM) ذات الصندوق الأسود باستخدام التقطير التنافسي المتوافق مع التوزيع (DisAAD)" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الكاذب الواثق

تخيل أنك تسأل مشهوراً جداً وذكياً للغاية (نموذج "صندوق أسود" مثل GPT-4) سؤالاً ما. يجيب فوراً وبثقة تامة. لكن أحياناً، يكون هذا المشهور "يهلوس"—أي يختلق حقائق تبدو مثالية ولكنها خاطئة تماماً.

المشكلة هي أنه بما أنه "صندوق أسود"، لا يمكنك التلصص داخل عقله لترى ما إذا كان متأكداً حقاً أم أنه مجرد يخمن. أنت لا ترى سوى الإجابة النهائية فقط.

الطرق القديمة للتحقق:
- طريقة "اسأل 10 مرات": تسأل المشهور نفس السؤال 10 مرات لترى ما إذا كان سيعطي إجابات مختلفة. إذا غير قصته، فهو غير متأكد. المشكلة: هذه الطريقة بطيئة، مكلفة، ولا يمكن القيام بها في الوقت الفعلي.
- طريقة "النظر في الداخل": تطلب من المشهور أن يريك ملاحظاته الداخلية (الاحتمالات/اللوجيتس). المشكلة: لا يمكنك فعل ذلك مع النماذج مغلقة المصدر؛ فهي لن تريك ملاحظاتها.

الحل: "الممثل الظل" (DisAAD)

يقترح المؤلفون حيلة ذكية تسمى DisAAD. بدلاً من محاولة التلصص داخل عقل المشهور أو سؤاله 10 مرات، يقومون ببناء "ممثل ظل" صغير وخفيف الوزن (نموذج وكيل) ليقف بدلاً من المشهور.

إليك كيف يتعلم ممثل الظل قول الحقيقة:

1. معسكر التدريب (التقطير التنافسي)

تخيل مدرسة للدراما حيث الهدف هو جعل طالب (النموذج الوكيل) يمثل تماماً مثل نجم مشهور (نموذج LLM الصندوق الأسود).

المخرج (المميز/Discriminator): معلم صارم يراقب كلاً من النجم والطالب.
الهدف: يحاول الطالب تقليد جمل النجم وأساليبه بدقة. ويحاول المخرج تمييز من هو النجم الحقيقي ومن هو الطالب.
العملية:
1. يطرح المخرج على النجم مجموعة من الأسئلة ويسجل إجاباته.
2. يحاول الطالب الإجابة على نفس الأسئلة.
3. ينتقد المخرج الطالب: "لقد بدوت غريباً هناك!" أو "كان ذلك مطابقاً تماماً!"
4. يعدل الطالب أداءه حتى لا يعود المخرج قادراً على التمييز بين الطالب والنجم.

بمجرد تدريب الطالب، يكون قد تعلم الأنماط الدقيقة لثقة النجم. إنه يعرف بالضبط متى يكون النجم "يتظاهر" ومتى يكون "صادقاً".

2. العمل الاستقصائي (تقدير عدم اليقين)

الآن، عندما يقدم النجم الحقيقي إجابة على سؤال جديد، فنحن لا نسأل النجم مرة أخرى. بدلاً من ذلك، نطلب من "ممثل الظل" إعادة إنتاج تلك الإجابة.

لأن ممثل الظل قد تدرب على محاكاة "روح" (Vibe) النجم الداخلية، يمكنه النظر إلى الإجابة والقول:
- "عدم يقين منخفض (EU منخفض، AU منخفض): النجم واثق، والحقائق تتوافق مع ما يعرفه النجم عادةً. ثق في هذه الإجابة."
- "عدم يقين مرتفع (EU مرتفع، AU منخفض): النجم يتظاهر بالثقة، لكن ممثل الظل يعرف أن هذه "فجوة معرفية". النجم يخدعنا. لا تثق في هذه الإجابة."
- "عدم يقين مرتفع (EU مرتفع، AU مرتفع): النجم مرتبك ولا يعرف الإجابة على الإطلاق. لا تثق في هذه الإجابة."

لماذا يعتبر هذا تغييراً جذرياً في قواعد اللعبة؟

يدعي البحث أن لهذه الطريقة ثلاث قدرات خارقة رئيسية:

إنها معجزة "المرة الواحدة": تحتاج فقط إلى إجابة واحدة من نموذج الصندوق الأسود للتحقق مما إذا كانت موثوقة. لا تحتاج لسؤاله 10 مرات (مما يوفر الوقت والمال).
تعمل على النماذج "المغلقة": لا تحتاج لرؤية الملاحظات الداخلية للنجم. أنت تحتاج فقط للإجابة النهائية. ممثل الظل يستنتج الباقي.
صغيرة وسريعة: ممثل الظل صغير للغاية (يمثل 1% فقط من حجم النموذج العملاق الذي يحاكيه). الأمر يشبه استخدام آلة حاسبة جيب للتحقق من عمل كمبيوتر خارق.

النتائج

اختبر المؤلفون هذه الطريقة على أسئلة صعبة متنوعة (مثل الحقائق الطبية، المعلومات العامة، والمصداقية).

النتيجة: تفوقت طريقة "ممثل الظل" الخاصة بهم على جميع الطرق الموجودة الأخرى بفارق كبير (حيث حسنت الدقة بنسبة 18% إلى 22%).
الكفاءة: حتى مع مجموعة بيانات صغيرة مكونة من 1,000 مثال فقط لتدريب ممثل الظل، فقد عمل بشكل أفضل من الطرق التي تتطلب قدرات حوسبة هائلة.

تشبيه الملخص

فكر في نموذج الـ LLM الصندوق الأسود كأنه ساحر يخرج أرانب من القبعات. أحياناً يكون الأرنب حقيقياً، وأحياناً يكون خدعة.

الطرق القديمة كانت تشبه طلب إخراج الأرنب 10 مرات للتأكد من نجاح الخدعة، أو محاولة التلصص تحت القبعة (وهو ما لن يسمح لك الساحر بفعله).
DisAAD يشبه توظيف متدرب ساحر صغير شاهد الساحر الكبير يؤدي آلاف المرات. يتعلم المتدرب "إشارة" الساحر الخاصة (مثل حركة يد معينة أو نبرة صوت محددة).
الآن، عندما يخرج الساحر الكبير أرنباً، تسأل المتدرب فقط: "هل رأيت إشارة الساحر في هذه الحركة؟" إذا قال المتدرب: "نعم، لقد كان يتظاهر"، فأنت تعرف أن الأرنب مجرد خدعة، رغم أن الساحر بدا واثقاً.

الخلاصة: تمنحنا هذه الورقة طريقة لمعرفة ما إذا كان الذكاء الاصطناوي فائق الذكاء يقول الحقيقة أم أنه فقط يختلق الأمور، دون الحاجة لرؤية دماغه أو سؤاله نفس السؤال عشر مرات.

ملخص تقني: تقدير عدم اليقين في النماذج اللغوية الكبيرة (LLM) ذات الصندوق الأسود باستخدام التقطير التنافسي المتوافق مع التوزيع

بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) تقدماً كبيراً في مجالات الاستنتاج والتوليد، لكنها لا تزال عرضة لـ "الهلوسة" — أي توليد معلومات تبدو منطقية ولكنها غير صحيحة واقعياً. وتتفاقم هذه المشكلة في النماذج الأكبر والأكثر إرشاداً، والتي غالباً ما تظهر ثقة مفرطة، مما يخلق شعوراً زائفاً بالموثوقية. وبينما يعد تقدير عدم اليقين (Uncertainty Quantification - UQ) استراتيجية واعدة للتخفيف من حدة هذه المشكلة، تواجه الطرق الحالية قيوداً حرجة عند تطبيقها على النماذج ذات "الصندوق الأسود" (Black-box LLMs) (مثل GPT-4 وClaude-3) التي لا يمكن الوصول إليها إلا عبر واجهات برمجة التطبيقات (APIs):

طرق العينات المتعددة (مثل Semantic Entropy) تتطلب استدعاءات استدلال متعددة لتقدير عدم اليقين، وهو أمر مكلف حاسوبياً وغير فعال للتطبيقات التي تعمل في الوقت الفعلي.
طرق العينة الواحدة التي تعتمد على الحالات الداخلية (مثل الـ logits أو تنشيطات الطبقات الخفية) لا يمكن تطبيقها على النماذج مغلقة المصدر التي لا تكشف عن هذه المعلمات.
طرق التقييم الذاتي غالباً ما تفشل في إنتاج تقديرات موثوقة دون ضبط دقيق (Fine-tuning) محدد.

المشكلة الجوهرية التي يعالجها هذا العمل هي: كيف يمكن التنبؤ بعدم اليقين في الوقت الفعلي لنموذج لغوي كبير ذي صندوق أسود بناءً فقط على زوج واحد من (المدخل-الاستجابة)، دون الوصول إلى الحالات الداخلية للنموذج أو إجراء عمليات أخذ عينات متعددة؟

المنهجية: التقطير التنافسي المتوافق مع التوزيع (DisAAD)

يقترح المؤلفون إطار عمل DisAAD، وهو إطار عمل يتكون من مرحلتين يستفيد من نموذج وسيط (Proxy Model) خفيف الوزن لتقريب توزيع المخرجات لنموذج لغوي كبير مستهدف ذي صندوق أسود. يتدرب النموذج الوسيط على "معرفة ما إذا كان النموذج ذو الصندوق الأسود يعرف أم لا"، وبالتالي يرث خصائص عدم اليقين الخاصة بالنموذج المستهدف.

1. التقطير التنافسي المتوافق مع التوزيع

تركز المرحلة الأولى على تدريب نموذج وسيط صغير ( $M_p$ ) لمحاكاة مناطق الاحتمالية العالية في توزيع مخرجات النموذج اللغوي الكبير المستهدف ( $M_B$ ).

جمع البيانات: يتم إنشاء مجموعة بيانات تقطير ( $D_{distill}$ ) عن طريق استعلام النموذج المستهدف بطلبات متنوعة. لكل طلب، يتم توليد استجابات متعددة، ويتم اختيار أفضل $M$ من الاستجابات ذات الاتساق الدلالي المتبادل الأعلى. تعزل هذه الاستراتيجية مناطق الاحتمالية العالية لتوزيع المخرات الشرطي للنموذج المستهدف.
بنية التدريب التنافسي: يستخدم الإطار إعداداً يتكون من "مولد ومميز" (Generation-Discrimination):
- المولد (النموذج الوسيط): نموذج أساسي (مثل LLaMA3) يتم ضبطه بدقة عبر تقنية التكيف منخفض الرتبة (LoRA). يتعلم توليد استجابات متسقة مع النموذج المستهدف.
- المميز (Discriminator): نموذج مُدرب للتمييز بين الاستجابات المولدة بواسطة النموذج الوسيط وتلك الناتجة عن النموذج المستهدف ذي الصندوق الأسود.
هدف التحسين: يتم تحسين النموذج الوسيط لتقليل خسارة مركبة:
- خسارة المهمة ( $L_{task}$ ): خسارة تقطير على مستوى الرمز (Token-level) تعمل على مواءمة تنبؤات الرمز التالي للنموذج الوسيط مع استجابات النموذج المستهدف.
- خسارة التنظيم ( $L_{reg}$ ): قيد على مستوى التسلسل حيث يولد النموذج الوسيط مخرجات لا يستطيع المميز تصنيفها بثقة كـ "مزيفة".
  يتم التدريب بشكل تبادلي حتى لا يعود بإمكان المميز التمييز بين مخرجات النموذج الوسيط والمخرجات المستهدفة، مما يشير إلى أن النموذج الوسيط قد نجح في التوافق مع توزيع النموذج المستهدف.

2. تقدير عدم اليقين الموجه بالنموذج الوسيط

في المرحلة الثانية، يُستخدم النموذج الوسيط المدرب لتقدير عدم اليقين للاستعلامات الجديدة من النموذج ذي الصندوق الأسود.

إعادة الإنتاج: بالنظر إلى مدخل $x$ واستجابة الصندوق الأسود $y_B$ ، يقوم النموذج الوسيط بإعادة إنتاج الاستجابة لاستخراج الإشارات الداخلية (Logits) التي لا يمكن الوصول إليها بخلاف ذلك.
التعلم العميق الأدلي (Evidential Deep Learning): تُعامل الـ logits المستخرجة كمعلمات دليل (Evidence parameters) لتوزيع ديليشيه (Dirichlet distribution). يسمح هذا بفصل عدم اليقين إلى مكونين:
- عدم اليقين الألياتوري (Aleatoric Uncertainty - AU): يعكس عدم اليقين في البيانات (مدى حدة التوزيع). يشير الـ AU المرتفع إلى أن النموذج غير متأكد بشأن الرمز المحدد.
- عدم اليقين الإبستيمي (Epistemic Uncertainty - EU): يعكس عدم اليقين في النموذج (فجوات المعرفة). يشير الـ EU المرتفع إلى أن النموذج يفتقر إلى المعرفة اللازمة لتقديم تنبؤ واثق، حتى لو كان التوزيع حاداً (ثقة مفرطة).
تقدير الموثوقية: يتم حساب موثوقية الاستجابة النهائية من خلال تجميع التأثير التآزري لـ AU و EU عبر الرموز الأكثر عدم يقيناً في التسلسل.

المساهمات الرئيسية

نموذج جديد لتقدير عدم اليقين في الصناديق السوداء: يلغي DisAAD الحاجة إلى الوصول إلى الحالات الداخلية للنماذج أو إجراء عمليات أخذ عينات متعددة، مما يتيح تقدير عدم اليقين في الوقت الفعلي باستخدام زوج واحد فقط من (المدخل-الاستجابة).
تعلم الوسيط المتوافق مع التوزيع: تقدم الورقة طريقة حيث يقرب نموذج وسيط صغير مناطق الاحتمالية العالية لتوزيع مخرجات نموذج لغوي كبير مستهدف عبر التقطير التنافسي، مما يسمح للوسيط بتوصيف عدم اليقين الخاص بالنموذج المستهدف.
التحقق التجريبي: تظهر التجاروات المكثفة أن النموذج الوسيط الذي يشكل 1% فقط من حجم النموذج المستهدف يمكنه تحقيق أداء فائق في تقدير عدم اليقين مقارنة بالنماذج المرجعية الرائدة.

النتائج التجريبية

تم تقييم الطريقة على ثلاثة معايير: TruthfulQA (الصدق)، وBioASQ (المجال الطبي الحيوي)، وTriviaQA (المعرفة العامة).

الأداء: في إعدادات الصندوق الأسود (باستهداف GPT-4 و LLaMA2-70B)، حقق DisAAD متوسط AUROC بلغ 0.7321 ومتوسط AUPR بلغ 0.9134. يمثل هذا تحسناً جوهرياً مقارنة بأفضل النماذج المرجعية، بزيادة متوسط قدرها 18.2% في AUROC و 22.9% في AUPR.
المقارنة مع طرق الصندوق الأبيض: رغم عدم امتلاك الوصول إلى الحالات الداخلية، تفوق DisAAD على طرق الصندوق الأبيض (بما في ذلك LogTokU، الذي يستخدم الـ logits) في معظم الحالات. على سبيل المثال، مع استخدام LLaMA2-70B كنموذج مستهدف، حسن DisAAD قيمة AUROC بنسبة 6.7% مقارنة بـ LogTokU.
الكفاءة: يتطلب الإطار مجموعة بيانات تقطير صغيرة فقط (حوالي 1,000 عينة من 100 طلب) لتدريب نموذج وسيط فعال. يستقر الأداء بعد حوالي 50 طلباً للتقطير.
حجم النموذج: كشفت التجارب مع أحجام نماذج وسيطة متفاوتة (1B, 3B, 8B) عن علاقة غير خطية، حيث حقق النموذج 3B النتائج المثلى. النماذج الأكبر (8B) تميل إلى وراثة مشكلات الثقة المفرطة، بينما تفتقر النماذج الأصغر (1B) إلى القدرة على نمذجة عدم اليقين المعقدة.

الأهمية والادعاءات

تدعي الورقة أن DisAAD يوفر نموذجاً أكثر فعالية وعملية لتقدير عدم اليقين في النماذج اللغوية الكبيرة، خاصة للتطبيقات ذات الأهمية المتعلقة بالسلامة والتي تتضمن نماذج تجارية ذات صناديق سوداء. من خلال تمكين اكتشاف الهلوسة عبر نموذج وسيط خفيف الوزن، تسهل الطريقة النشر الأكثر أماناً وموثوقية للنماذج اللغوية الكبيرة دون العبء الحسابي لأخذ العينات المتعددة أو قيود الخصوصية المرتبطة بالوصال إلى المعلمات الداخلية.

يقر المؤلفون بوجود قيود، مشيرين إلى أن الطريقة تركز على عدم اليقين على مستوى الرمز وقد تغفل عن عدم الاتساق الدلالي على المستويات العليا. علاوة على ذلك، فإن الاعتماد على التقطير التنافسي يفرض تبعية لجودة مجموعة بيانات التقطير، وإن كانت التجارب تشير إلى أن الطريقة قوية حتى مع وجود عينات محدودة. يُقدم هذا العمل كخطوة نحو تعزيز موثوقية النماذج اللغوية الكبيرة ذات الصندوق الأسود في السيناريوهات الواقعية.