🤖 machine learning

Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration

تقترح هذه الورقة إعادة تشكيل مستوحاة من الانتشار للنماذج المحولة مسبقة التدريب، والتي تعمل على نمذجة تحولات الميزات كخرائط احتمالية لتمكين انتشار مبدئي لعدم اليقين عبر البنية، مما يحقق معايرة ودقة تنبؤية فائقتين في معايير الرؤية واللغة مقارنة بالطرق الحالية.

المؤلفون الأصليون: Manh Cuong Dao, Quang Hung Pham, Phi Le Nguyen, Thao Nguyen Truong, Bryan Kian Hsiang Low, Trong Nghia Hoang

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Manh Cuong Dao, Quang Hung Pham, Phi Le Nguyen, Thao Nguyen Truong, Bryan Kian Hsiang Low, Trong Nghia Hoang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث بعنوان "إعادة تشكيل المحولات المستوحاة من الانتشار من أجل معايرة عدم اليقين" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: الخبير المفرط في الثقة

تخيل أن لديك خبيراً بارعاً ومدرباً تدريباً عالياً (نموذج Transformer) يمكنه التعرف على القطط في الصور أو فهم الجمل. هذا الخبير سريع جداً وغالباً ما يكون مصيباً. ومع ذلك، هناك مشكلة: هذا الخبير سيء جداً في معرفة متى يكون مخطئاً.

إذا عرضت على الخبير صورة كلب، فقد يقول: "هذه قطة بالتأكيد"، وبثقة تصل إلى 99%. في العالم الحقيقي، هذا أمر خطير. إذا كان هذا الخبير يقود سيارة أو يشخص حالة مريض، فإنه يحتاج إلى معرفة متى يقول: "لست متأكداً"، حتى يمكن للإنسان التدخل. هذه القدرة على مطابقة الثقة مع الدقة الفعلية تسمى معايرة عدم اليقين (Uncertainty Calibration).

حالياً، معظم نماذج الذكاء الاصطناعي الضخمة تشبه الطلاب المفرطين في الثقة الذين يخمنون بعشوائية لكنهم يظنون أنهم عباقرة. إنهم يفتقرون إلى "حس داخلي" يخبرهم عندما تكون إجاباتهم مهتزة.

الطريقة القديمة: محاولة الإصلاح قطعة بقطعة

تضمنت المحاولات السابقة لمعالة هذه المشكلة التعامل مع كل خطوة من خطوات تفكير الخبير كحدث منفصل وغير مؤكد.

التشبيه: تخيل أن عقل الخبير هو خط تجميع في مصنع يتكون من 10 محطات. لإضافة "عدم اليقين"، حاولت الطرق السابقة وضع "طاولة مهتزة" تحت كل محطة بشكل فردي.
المشكلة: لأن المحطات عوملت كخطوات منفصلة، لم يتدفق "الاهتزاز" بشكل صحيح من محطة إلى أخرى. فقد الخبير القدرة على تتبع كيفية تأثير الخطوات المبكرة على الخطوات اللاحقة. أدى هذا غالباً إلى جعل الخبير أقل دقة فقط لجعله أكثر صدقاً بشأن عدم اليقين لديه. لقد كانت مقايضة سيئة.

الحل الجديد: DIRECTOR (طريقة "التدفق")

يقترح المؤلفون طريقة جديدة تسمى DIRECTOR. بدلاً من معاملة عقل الخبير كسلسلة من المحطات المنفصلة والمهتزة، أعادوا تصور العملية بأكملها كـ رحلة سلسة ومستمرة، تشبه عملية الانتشار (diffusion process) (نفس الرياضيات المستخدمة لتوليد صور الذكاء الاصطناعي الفني).

إليك كيف يعمل الأمر، خطوة بخطوة:

1. تشبيه "الفيلم المعكوس"

تخيل عملية اتخاذ القرار في الذكاء الاصطناعي مثل فيلم يعمل بالعكس.

للأمام: تبدأ بصورة ضبابية مليئة بالضجيج (المدخلات) ويقوم الذكاء الاصطناعي بتنظيفها ببطء للوصول إلى الإجابة.
العكس (رؤية الذكاء الاصطناعي): يبدأ الذكاء الاصطناعي بإجابة واضحة ثم يضيف "الضجيج" ببطء ليرى كيف كان من الممكن أن تبدو البيانات بشكل مختلف.

أدرك المؤلفون أن خطوات الذكاء الاصطناعي الداخلية (كتل المحولات/transformer blocks) تشبه طبيعياً هذا "الفيلم المعكوس". لذا قرروا إعادة تشكيل الذكاء الاصطناعي بحيث تعترف كل خطوة صراحةً بأن هناك نطاقاً من الاحتمالات (عدم اليقين)، وليس مجرد إجابة واحدة فقط.

2. "المايسترو الموحد"

بدلاً من وجود "طاولة مهتزة" منفصلة لكل محطة، بنى المؤلفون مايسترو موحداً واحداً (نموذج انتشار) يشرف على خط التجميع بأكمبه.

يتعلم هذا المايسترو الارتباطات بين المحطات. فهو يفهم أنه إذا كانت المحطة رقم 1 مهتزة، فمن المرجح أن تكون المحطة رقم 2 مهتزة بطريقة معينة.
من خلال تعلم هذه الروابط، يمكن للذكاء الاصطناعي الآن نقل عدم اليقين بشكل صحيح من البداية إلى النهاية دون كسر سلسلة المنطق.

3. النتيجة: صادق وذكي

لأن الذكاء الاصطناعي يفهم الآن كيف ترتبط خطواته ببعضها البعض:

يحافظ على دقته: لا يفقد قدرته على الوصول إلى الإجابة الصحيحة (على عكس الطرق القديمة).
يصبح صادقاً: عندما يكون غير متأكد، فإنه يخفض درجة ثقته. وعندما يكون متأكداً، يحافظ عليها عالية.
إنه فعال: "المايسترو" الجديد في الواقع أصغر وأخف من دماغ الذكاء الاصطناعي الأصلي، مما يعني أنه يستخدم ذاكرة حاسوبية أقل.

ما وجدته الورقة البحثية بالفعل

اختبر المؤلفون هذه الطريقة في نوعين رئيسيين من المهام: الرؤية (التعرف على الأشياء في الصور مثل CIFAR-10) واللغة (فهم الجمل مثل CoLA وIMDB).

معايرة أفضل: كانت الطريقة الجديدة (DIRECTOR) أفضل بكثير في مطابقة ثقتها مع دقتها الفعلية مقارنة بالطرق السابقة.
دقة أفضل: للمفاجأة، من خلال إصلاح عدم اليقين، أصبح النموذج أيضاً أفضل في الحصول على الإجابات الصحيحة، وليس أسوأ.
القوة والمتانة: عندما كانت البيانات غير منظمة أو تالفة (مثل صورة بها ضجيج ساكن)، ظل DIRECTOR موثوقاً، بينما عانت النماذج الأخرى.
الكفاءة: استخدمت الطريقة الجديدة معلمات (parameters) أقل (ذاكرة) من النماذج الأصلية التي بُنيت عليها.

ملخص

تقدم الورقة البحثية طريقة لأخذ ذكاء اصطنا_ي قياسي مفرط في الثقة وإعادة توصيل هيكله الداخلي بحيث يمكنه "الشعور" بعدم اليقين الخاص به. لقد فعلوا ذلك من خلال رؤية عملية تفكير الذكاء الاصطناعي كتدفق سلس ومتصل (مثل عملية الانتشار) بدلاً من سلسلة من الخطوات المكسورة والمستقلة. والنتيجة هي ذكاء اصطناعي ليس فقط أكثر ذكاءً، بل يعرف أيضاً متى يقول: "لست متأكداً"، مما يجعله أكثر أماناً وموثوقية للاستخدام في العالم الحقيقي.

ملخص تقني: إعادة تشكيل المحولات المستوحاة من الانتشار لمعايرة عدم اليقين

بيان المشكلة
أصبحت المحولات (Transformers) سابقة التدريب هي العمود الفقوي لنماذج التأسيس واسعة النطاق عبر مجالات الرؤية، واللغة، والكلام. ومع ذلك، تفتقر هذه النماذج عادةً إلى آلية مبدئية لانتشار عدم اليقين عبر حزم تحويل الميزات الخاصة بها. ونتيجة لذلك، غالبًا ما تمنح هذه النماذج ثقة عالية في تنبؤات خاطئة، مما يشكل مخاطر أمنية في التطبيقات عالية الخطورة. وبينما توجد تقنيات لمعايرة عدم اليقين (UC) للشبكات الأصغر حجمًا، إلا أنها تعتمد غالبًا على تقريب التوزيعات البعدية للنموذج عبر الاستدلال التبايني أو أخذ عينات من التوزيع البعدي، وهو ما يصبح مكلفًا حوسبيًا وغير دقيق بالنسبة للنماذج واسعة النط scales.

تواجه النهج الحالية التي تحاول إعادة تمثيل كتل الانتباه كعمليات غاوسية (GPs) قيدًا حاسمًا: فهي تعامل الكتل بشكل مستقل. وهذا يفشل في مراعاة الارتباطات بين تحويلات الميزات التي تم ترسيخها أثناء التدريب المسبق. ونتيجة لذلك، تفرض هذه الأساليب غالبًا مقايضة حيث يأتي تحسين معايرة عدم اليقين على حساب تدهور كبير في الأداء التنبئي. علاوة على ذلك، فإن تداخل كتل الانتباه الاحتمالية مع المكونات ذات التقدير النقطي (مثل MLP وتطبيع الطبقة - Layer Normalization) يعطل تدفق انتشار عدم اليقين، مما يمنع إنشاء مسار عشوائي محدد بدقة.

المنهجية
يقترح المؤلفون إطار عمل DIRECTOR (إعادة تشكيل المحولات المستوحاة من الانتشار)، وهو إطار يعيد تشكيل المحولات سابقة التدريب إلى عملية انتشار موحدة لتمكين انتشار عدم اليقين المبدئي.

إعادة التشكيل الهيكلي كمسار احتمالي:
يبدأ الأسلوب بإعادة تقسيم بنية المحول بحيث تنتهي كل كتلة تحويل بوحدة انتباه ذاتي متعددة الرؤوس (MHSA). وبالاستناد إلى العلاقة الراسخة بين MHSA والعمليات الغاوسية (GPs)، يتم تفسير مخرج كل كتلة MHSA كتوزيع غاوسي على الميزات الوسيطة.
ومن الأهمية بمكان أن الأجزاء الحتمية (MLP وتطبيع الطبقة) التي تقطع عادةً تدفق عدم اليقين، لا تُفسر كدوال ملاحظة من توزيعات سابقة مجهولة، بل كإضافات لتمثيل المعلمات للتحول الغاوسي العصبي الناتج عن MHSA المعاد تمثيله كعملية غاوسية. يضمن هذا إعادة الهيكلة أن تسلسل تحويلات الميزات بأكمله يشكل عملية عشوائية متماسكة $\{X_t\}_{t=0}^T$ ذات تحولات غاوسية، مما يربط بنية المحول فعليًا بعملية انتشار عكسية للزمن.
التقطير إلى نموذج انتشار موحد:
بدلاً من معاملة انتقال كل كتلة بشكل مستقل، يقوم DIRECTOR بتقطير تسلسل تحويلات الميزات الملاحظة إلى نواة انتقال زماني-مكاني موحدة. ويتم تحقيق ذلك من خلال تدريب نموذج قائم على الانتشار (يتم تنفيذه ككتلة واحدة من نوع DiT) لتعلم العملية العكسية للزمن التي تربط توزيع الميزات النهائي بتوزيع بيانات المدخلات.
تجمع دالة الخسارة المستخدمة في التدريب بين مكونين:

خسارة الوعي بعدم اليقين ( $L_1$ ): حد تباعد كولباك - ليبلر (KL) الذي يطابق نواة الانتقال المتعلمة مع الانتقالات الملاحظة من العمود الفقي (Backbone) سابقة التدريب والمجمدة. يضمن هذا أن النموذج يلتقط الارتباطات الجوهرية عبر كتل الانتباه.
خسارة الوعي بالأداء ( $L_2$ ): خسارة تنبؤ قياسية (مثل التقاطع المتقاطع - Cross-entropy) تُطبق على العينات المسحوبة من عملية الانتشار المتعلمة. يضمن هذا أن النموذج المعاد تشكيله يحافظ على القدرة التنبئية أو يحسنها.

المساهمات الرئيسية

إعادة التشكيل الاحتمالي: يقدم البحث إعادة تشكيل هيكلية مبتكرة تحول المحول سابق التدريب إلى تسلسل من التحولات الغاوسية العصبية، مما يعمم النموذج إلى عملية انتشار تتم معلمتها بواسطة نواة انتقال موحدة.
انتشار موحد لعدم اليقين: من خلال تقطير مسار ميزات المحول إلى نموذج انتشار واحد، يلتقط منهج DIRECTOR الارتباطات عبر الكتل التي تم ترسيخها أثناء التدريب المسبق، مما يسمح بانتشار مبدئي لعدم اليقين دون الحاجة إلى الحسابات المستعصية للتوزيعات البعدية الكاملة للنموذج.
معايرة فعالة بعد التدريب (Post-Hoc): يعمل هذا النهج كتمثيل احتمالي بعد التدريب. إن نموذج الانتقال الموحد أصغر بكثير من العمود الفقي الأصلي (على سبيل المثال، 2.7 مليون معلمة مقابل 6.24 مليون لـ ViT)، مما يوفر كفاءة أفضل في الذاكرة مع الحفاظ على القدرات التنبئية للنموذج الأصلي.

النتائج التجريبية
قيم المؤلفون منهج DIRECTOR على اختبارات الرؤية (CIFAR-10, CIFAR-100, CIFAR-10-C) واختبارات اللغة (IMDB, CoLA, CoLA-OOD).

المعايرة والدقة: يتفوق DIRECTOR باستمرار على المحولات الواعية بعدم اليقين (بما في ذلك متغيرات KEP-SVGP) والأساليب المرجعية القياسية (Temperature Scaling, Monte Carlo Dropout, Deep Ensembles). في CIFAR-10، حقق DIRECTOR دقة أعلى (84.74% مقابل 82.68% لـ KEP-7/7) وخطأ معايرة متوقع (ECE) أقل (5.18% مقابل 6.95%). لوحظت تحسينات مماثلة عبر جميع مجموعات البيانات، مما يثبت أن الطريقة تحل المقايضة التقليدية بين المعايرة والأداء.
المتانة: في ظل تغير التوزيع (CIFAR-10-C و CoLA-OOD)، حافظ DIRECTOR على دقة تنبئية تنافسية مع تحسين مقاييس المعايرة بشكل كبير مقارنة بالنماذج سابقة التدريب.
كشف البيانات خارج التوزيع (OOD Detection): أظهرت الطريقة أداءً فائقًا في مهام كشف البيانات خارج التوزيع، محققة درجات أعلى في AUROC و AUPR.
القابلية للتوسع: أكدت التجارب على نماذج أكبر (ViT-B-16 و Qwen-2.5) أن DIRECTOR يتوسع بفعالية، حيث يقدم معايرة موثوقة بعدد معلمات أقل من النماذج الأصلية.

الأهمية والادعاءات
يزعم البحث أن DIRECTOR يقدم نموذجًا قابلًا للتوسع ومبدئيًا لمعايرة عدم اليقين في النماذج الضخمة سابقة التدريب. ومن خلال إعادة تفسير مكدس تحويل ميزات المحول كعملية انتشار، يدمج المنهج هياكل واعية بعدم اليقين ومعبرة مباشرة في البنية الداخلية للنموذج. ويؤكد المؤلفون أن هذا النهج يتيح النشر الموثوق في التطبيقات الحساسة للمخاطر من خلال ضمان أن درجات الثقة تعكس بدقة الدقة التجريبية، وكل ذلك مع الحفاظ على الأداء التنبئي أو تحسينه وتحسين كفاءة الذاكرة. يفتح هذا العمل اتجاهًا جديدًا لتعزيز موثوقية نماذج التأسيس دون التضحية بقدراتها الجوهرية.