🤖 machine learning

Invertible Logits Transformation for Accuracy-Preserving Post-Hoc Uncertainty Calibration

تقترح هذه الورقة تحويل اللوغيتات العكسي (InvLT)، وهو طريقة معايرة لاحقة تستخدم شبكة عصبية بسيطة (MLP) ذات مقياس رتبي مشترك ومطبق على اللوغيتات لتصحيح سوء المعايرة والتوسع بكفاءة في فضاءات التصنيفات الكبيرة مع الحفاظ بدقة على تنبؤات المصنف الأصلي دون إعادة تدريب.

المؤلفون الأصليون: Lening Zhao, Qipeng Zhan, Li Shen

نُشر 2026-08-12

📖 9 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Lening Zhao, Qipeng Zhan, Li Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز، لكن عدسته المكبرة الموثوقة بها تعاني من خلل. فهي تظهر لك المشتبه به الصحيح، لكنها تستمر في الصراخ: "أنا متأكد بنسبة 99٪!" بينما هي في الواقع متأكدة بنسبة 60٪ فقط. في عالم الذكاء الاصطناعي، هذه مشكلة شائعة. نماذج الذكاء الاصطناعي تشبه المحققين العباقرة الذين يمكنهم تحديد القطط أو الكلاب أو الأورام بدقة مذهلة، لكنها غالبًا ما تخطئ في تقدير مستويات ثقتها. قد تكون واثقة بشكل مفرط بشأن إجابة خاطئة، وهذا أمر خطير إذا كان طبيب أو سيارة ذاتية القيادة يستمع إليها. يسمى هذا المجال من الدراسة "المعايرة" (Calibration). لا يتعلق الأمر بتعليم الذكاء الاصطناعي حيلًا جديدة أو إعادة تدريب عقله، بل يتعلق بإصلاح "صوته" بعد حدوث الأمر، بحيث عندما يقول "أنا متأكد بنسبة 90٪"، فإنه يعني حقًا "أنا على صواب 9 مرات من أصل 10". والهدف هو جعل الذكاء الاصطناعي صادقًا دون تغيير الإجابة التي يقدمها.

إليك طريقة جديدة تسمى تحويل اللوجيت القابل للعكس (InvLT)، اقترحها الباحثون تشاو، وتشان، وشين. فكر في أفكار الذكاء الاصطناعي الخام (التي تسمى "اللوجيتس" أو logits) ككومة فوضوية من الأرقام قبل أن يقرر الإجابة النهائية. حاولت الطرق السابقة إصلاح الثقة إما عن طريق ضغط جميع الأرقام للأسفل بنفس المقدار (مثل خفض مستوى صوت أغنية كاملة) أو باستخدام آلات معقدة وثقيلة تغير الأرقام بشكل مختلف لكل فئة على حدة. المشكلة في الآلات الثقية هي أنها تصبح بطيئة وغير رشيقة عندما يكون هناك آلاف الفئات، أما مفتاح التحكم البسيط في مستوى الصوت فهو ليس مرنًا بما يكفي لإصلاح نقاط غريبة محددة في البيانات.

إن InvLT يشبه محررًا ذكيًا يعمل بمفرده، يقوم بالمرور عبر كومة الأرقام واحدًا تلو الآخر. وبدلاً من تغيير الأغنية بأكملها أو استخدام آلة عملاقة، يطبق هذا المحرر قاعدة مرنة ومتعلمة على كل رقم بشكل فردي. والخدعة السحرية هنا هي أن هذا المحرر مدرب ليكون "قابلاً للعكس" (Invertible)، وهي طريقة رياضية متطورة تعني "يمكن الرجوع فيه". إذا كان بإمكانك عكس التعديل تمامًا، فأنت تعلم أن ترتيب الأرقام لم يتغير. وهذا يضمن أنه إذا كان الذكال الاصطناعي يعتقد أصلاً أن "الكلب" هو التخمين الأفضل، فسيظل يعتقد أن "الكلب" هو الأفضل بعد التعديل. اختبر الباحثون هذه الطريقة على مجموعات بيانات صور شهيرة مثل CIFAR-10 و CIFAR-100 و ImageNet الضخمة. ووجدوا أن InvLT تجعل ثقة الذكاء الاصطناعي تتطابق مع دقته الفعلية بشكل أفضل من أي طريقة أخرى تقريبًا، مع كونها أسرع بكثير في التدريب من أقرب منافس لها. إنه أسلوب بسيط وسريع وصادق لجعل الذكاء الاصطناعي يعترف عندما لا يكون متأكدًا، دون تغيير الإجابة التي يقدمها أبدًا.

خلل المحقق: لماذا نحتاج إلى المعايرة

لفهم سبب أهمية هذه الورقة البحثية، نحتاج أولاً إلى فهم "المحقق" (الذكاء الاصطناعي) و"خلله" (سوء المعايرة).

في عالم تعلم الآلة، ينظر نموذج الذكاء الاصطناعي إلى صورة ويخرج قائمة من الأرقام. تمثل هذه الأرقام مدى "إعجاب" النموذج بكل إجابة ممكنة. على سبيل المثال، إذا رأى النموذج صورة قطة، فقد يعطي فئة "القطة" رقمًا مرتفعًا وفئة "الكلب" رقمًا منخفضًا. لتحويل هذه الأرقام الخام إلى نسبة مئوية (مثل "احتمال 85٪ أن هذه قطة")، يستخدم النموذج خطوة رياضية تسمى "softmax".

المشكلة هي أن نماذج الذكاء الاصطناعي الحديثة غالبًا ما تكون سيئة للغاية في تقدير ثقتها بنفسها. قد تكون متأكدة بنسبة 99٪ من أن الصورة لقطة بينما هي في الواقع كلب. وهذا ما يسمى بـ "الثقة المفرطة". إذا كنت طبيبًا تستخدم الذكاء الاصطناعي لتشخيص مرض ما، فأنت لا تريد فقط معرفة ما هو المرض؛ بل تحتاج أيضًا إلى معرفة مدى تأكد الذكاء الاصطناعي. إذا قال الذكاء الاصطناعي "أنا متأكد بنسبة 99٪ أنه سرطان" ولكنه محق في 50٪ من الحالات فقط، فهذه كارثة.

هنا يأتي دور المعايرة اللاحقة (Post-Hoc Calibration). كلمة "لاحقة" تعني ببساً "بعد حدوث الأمر". بدلاً من إعادة تدريب نموذج الذكاء الاصطناعي بالكامل (وهو ما يستغرق أيامًا وأجهزة كمبيوتر ضخمة)، تحاول المعايرة إصلاح مخرجات النموذج باستخدام أداة صغيرة منفصلة. الأمر يشبه أخذ صورة خارج التركيز قليلاً وتشغيلها عبر مرشح (فلتر) لجعلها حادة، دون الحاجة إلى التقاط الصورة مرة أخرى.

الهدف بسيط: إذا قال الذكاء الاصطناعي إنه واثق بنسبة 80٪، فيجب أن يكون محقًا 80٪ من الوقت. إذا قال 50٪، فيجب أن يكون محقًا في نصف الحالات. تركز الورقة على الأساليب التي تفعل ذلك دون تغيير قرار الذكاء الاصطناعي النهائي. إذا اختار الذكاء الاصطناعي "قطة" في الأصل، يجب ألا تؤدي أداة المعايرة بالخطأ إلى جعله يختار "كلب". وهذا ما يسمى الحفاظ على الدقة (Accuracy Preservation).

الطرق القديمة: إما بسيطة للغاية أو ثقيلة جدًا

قبل ظهور InvLT، كان لدى العلماء طرق لبعض إصلاح خلل الثقة هذا:

ضبط درجة الحرارة (Temperature Scaling - TS): تخيل أن أرقام الذكاء الاصطناعي الخام هي حساء ساخن. ضبط درجة الحرارة يضيف فقط القليل من الجليد إلى الوعاء بأكمله لتبريده. إنه يستخدم رقمًا واحدًا (درجة حرارة) لتعديل كل شيء. إنه سريع وبسيط، ولا يغير الفائز أبدًا (القطة تظل هي القطة). لكنه جامد للغاية؛ فلا يمكنه إصلاح مشاكل محددة. إذا كان الذكاء الاصطناعي مفرط الثقة بالنسبة لـ "القطط" ولكنه ناقص الثقة بالنسبة لـ "الكلاب"، فإن هذه الطريقة لا يمكنها إصلاح كليهما في نفس الوقت.
الآلات الثقيلة (UMNN وغيرها): لإصلاح مشاكل محددة، بنى بعض الباحثين أدوات معقدة تتعلم قاعدة فريدة لكل رقم على حدة. إحدى الطرق الشهيرة، وتسمى UMNN، تستخدم نوعًا خاصًا من الرياضيات الذي يجبر القواعد على أن تكون "رتيبة" (monotone) بشكل صارم (بمعنى أنه إذا زاد المدخل، يجب أن يزداد المخرج). هذا يضمن بقاء ترتيب الإجابات كما هو. ومع ذلك، فإن هذه الطريقة مكلفة حاسوبيًا. الأمر يشبه استخدام روبوت ضخم وبطيء لفرز مجموعة من أوراق اللعب. إنها تعمل، لكنها تستغرق وقتًا طويلًا للتدريب وحتى وقتًا أطول للاستخدام. أيضًا، مع نمو عدد الفئات (مثل ImageNet التي تحتوي على 1,000 فئة)، يمكن لهذه الطرق أن تتعثر أو تقع في فخ "الفرط في التخصيص" (overfit) (أي حفظ بيانات التدريب بدلاً من تعلم القواعد).

البطل الجديد: InvLT

يقترح مؤلفو هذه الورقة، تشاو، وتشان، وشين، طريقة جديدة تسمى تحويل اللوجيت القابل للعكس (InvLT).

الفكرة الجوهرية:
بدلاً من استخدام مقبض بسيط واحد (مثل ضبط درجة الحرارة) أو روبوت ضخم (مثل UMNN)، يستخدم InvLT "مترجمًا" صغيرًا ومرنًا (شبكة عصبية) ينظر إلى كل رقم بشكل فردي ويطبق قاعدة مخصصة.

المترجم المشترك: يتم استخدام نفس المترجم لكل رقم، سواء كان لقطة أو كلب أو سيارة. وهذا يعني أن الطريقة لا تصبح أبطأ أو أكثر تعقيدًا مع إضافة المزيد من الفئات، فهي تتوسع بشكل رائع مع مجموعات البيانات الضخمة.
خدعة "القابلية للعكس": التحدي الأكبر هو التأكد من أن المترجم لا يبعثر الترتيب. إذا حول المترجم الرقم "9" إلى "2" والرقم "5" إلى "10"، فقد يعتقد الذكاء الاصطناعي فجأة أن "الكلب" أفضل من "القطة"، مما يغير الإجابة النهائية. لمنع ذلك، تستخدم الورقة خدعة ذكية وهي: إعادة البناء (Reconstruction).

كيف تعمل خدعة إعادة البناء:
تخيل أن لديك مترجمًا يحول الإنجليزية إلى الفرنسية. لكي تتأكد من أنه مترجم "جيد" لا يخلط الأمور، تطلب منه ترجمة جملة إلى الفرنسية، ثم ترجمتها فورًا مرة أخرى إلى الإنجليزية. إذا كانت الجملة الإنجليزية النهائية هي نفسها الجملة الأصلية، فأنت تعلم أن المترجم يعمل بشكل صحيح ولم يبعثر المعنى.

في InvLT، يدرب الباحثون شبكتين معًا:

الشبكة الأمامية (f): وهي المترجم الرئيسي الذي يعدل ثقة الذكاء الاصطناعي.
الشبكة العكسية (g): وهي "المترجم العكسي".

يقومون بتغذية مجموعة من أرقام الاختبار في الشبكة الأمامية، ويحصلون على النتيجة، ثم يغذون تلك النتيجة في الشبكة العكسية. يتحققون مما إذا كانت الشبكة العكسية تستطيع تحويلها مرة أخرى إلى الرقم الأصلي. إذا لم تستطع، فإنهم يقومون بتعديل الشبكة الأمامية حتى تتمكن من ذلك. تعمل "خسارة إعادة البناء" هذه كدفعة ناعمة، تشجع الشبكة الأمامية على أن تكون رتيبة (تحافظ على ترتيب الأرقام) دون إجبارها على استخدام رياضيات معقدة وبطيئة.

لماذا هذا أفضل؟

السرعة: نظرًا لأنها لا تحتاج إلى القيام بعمليات حسابية ثقيلة وبطيئة (مثل التكامل العددي) لإثبات رتابتها، فإنها تتدرب بشكل أسرع بكثير. تشير الورقة إلى أن InvLT أسرع بحوالي 3.5 مرة في التدريب من أفضل طريقة سابقة (UMNN) و 5 مرات أسرع أثناء الاستدلال (عند استخدام النموذج فعليًا).
الدقة: هي تحافظ على قرار الذكاء الاصطناعي الأصلي (لا تغير "القطة" لتصبح "كلبًا") بينما تصلح مستويات الثقة.
الأداء: في الاختبارات على CIFAR-10 و CIFAR-100 و ImageNet، تفوقت InvLT باستمرار على جميع الطرق الأخرى في جعل ثقة الذكاء الاصطناعي تتطابق مع دقته الفعلية. على سبيل المثال، في ImageNet، قللت InvLT الخطأ في الثقة (ECE) إلى 0.39%، متفوقة على ثاني أفضل طريقة (UMNN) التي كانت عند 0.56%.

النتائج: فوز واضح

اختبر الباحثون طريقتهم على ثلاث مجموعات بيانات رئيسية:

CIFAR-10: 10 فئات من الصور الصغيرة.
CIFAR-100: 100 فئة.
ImageNet: 1,000 فئة من صور العالم الحقيقي.

استخدموا بنيات مختلفة للذكاء الاصطناعي (مثل ResNet و VGG و ViT) للتأكد من أن الطريقة تعمل على أنواع مختلفة من النماذج.

النتائج الرئيسية:

أفضل أداء: حققت InvLT أدنى معدلات خطأ في معظم الاختبارات. في ImageNet مع نموذج ResNet-152، حققت ECE قدره 0.39%، وهو أفضل بكثير من النموذج غير المعاير (الذي كان عند 12.83%) وأفضل من جميع طرق المعايرة الأخرى.
المتانة: حتى عندما أعطوا الطريقة قدرًا ضئيلًا جدًا من البيانات للتعلم (500 عينة فقط)، فقد ظلت تعمل جيدًا، بينما فشلت الطرق الأخرى التي تعتمد على بارامترات معقدة (مثل Matrix Scaling) تمامًا واستسلمت (أصبحت تمثل الخريطة المحايدة).
الحفاظ على النتائج: تؤكد الورقة أن خدعة "إعادة البناء" تنجح في الحفاظ على إجابات الذكاء الاصطناية كما هي. لولا هذه الخدعة، لانخفضت دقة الذكاء الاصطناعي قليلاً بسبب بعثرة ترتيب الإجابات. ومع وجود الخدعة، تظل دقة الذكاء الاصطناعي مطابقة تمامًا للنموذج الأصلي.

الحدود والمستقبل

يعترف المؤلفون بصدق بالقيود. نظرًا لأن InvLT يعامل كل رقم بشكل مستقل، فإنه لا يستطيع التقاط العلاقات المعقدة بين الفئات المختلفة (مثل معرفة أن "القطة" و"الكلب" كلاهما حيوانات وقد يحدث بينهما خلط). ومع ذلك، يجادلون بأن السرعة والبساطة التي توفرها InvLT تجعلها الخيار الأفضل لمعظم الاستخدامات العملية.

كما يشيرون إلى أنه بينما "تقترح" خدعة إعادة البناء أن الترتيب محفوظ، إلا أنها ضمان "ناعم" وليست ضمانًا رياضيًا قاطعًا. في الحالات التي تتطلب أمانًا فائقًا (مثل السيارات ذاتية القيادة)، يقترحون إضافة فحص نهائي للتأكد من أن الإجابة لم تتغير.

الخاتمة

في النهاية، يعد InvLT وسيلة ذكية وفعالة لجعل نماذج الذكاء الاصطناعي أكثر صدقًا. فهي تأخذ الثقة "المضطربة" لذكاء اصطناعي قوي وتصلحها بأداة خفيفة ومرنة لا تبطئ العمل ولا تغير الإجابات. إنها تذكير بأنه في بعض الأحيان، لا تحتاج إلى آلة أكبر وأثقل لإصلاح مشكلة ما؛ بل تحتاج فقط إلى خدعة ذكية وقابلة للعكس. لأي شخص يعتمد على الذكاء الاصطناعي لاتخاذ القرارات، توفر هذه الطريقة وسيلة للثقة في الأرقام التي يعطيها لك الذكاء الاصطناعي، مع العلم أنها تعكس الحقيقة بالفعل.

بيان المشكلة
يهدف المعايرة البعدية (Post-hoc calibration) إلى مواءمة الثقة المتوقعة للمصنف مع دقته التجريبية دون إعادة تدريب النموذج الأساسي. وبينما تميل الشبكات العميقة الحديثة غالباً إلى المبالغة في الثقة، تواجه طرق المعايرة الحالية مقايضة بين القدرة التعبيرية، والقابلية للتوسع، والحفاظ على الدقة. طريقة "تدرج درجة الحرارة" (Temperature Scaling - TS) تحافظ على الفئة المتوقعة (argmax) ولكنها تفتقر إلى القدرة التعبيرية لتصحيح الخطأ غير الخطي. أما الطرق الأكثر مرونة، مثل تلك التي تستخدم بنية (UMNN) لفرض الرتابة (monotonicity)، فيمكنها تصحيح الأخطاء غير الخطية ولكنها تسبب عبئاً حسابياً كبيراً بسبب التكامل العددي وغالباً ما يصعب توسيع نطاقها مع عدد الفئات ( $C$ ). ومن ناحية أخرى، فإن الطرق عالية التعبير التي لا تحافظ على ترتيب الرتب (rank ordering) للقيم اللوغاريتمية (logits) قد تغير تنبؤ المصنف الأصلي، وهو أمر غير مرغوب فيه في الإعدادات التي يجب أن تظل فيها حدود القرار ثابتة.

المنهجية: تحويل اللوغاريتمات العكسي (InvLT)
يقترح المؤلفون InvLT، وهو معاير بعدي يطبق شبكة عصبية متعددة الطبقات (MLP) قياسية مشتركة، $f: \mathbb{R} \to \mathbb{R}$ ، على مستوى العناصر للقيم اللوغاريتمية قبل عملية (softmax). ويتم حساب الاحتمالات المعايرة كالتالي: $\hat{p}^{cal} = \text{softmax}(f(z_1), \dots, f(z_C))$ .

يتمثل التحدي الجوهري في ضمان أن تكون $f$ رتيبة تماماً للحفاظ على الـ (argmax) (أي أن الفئة المتوقعة تظل دون تغيير). فرضت النهج السابقة ذلك عبر قيود هيكلية صارمة (عن طريق تمثيل المشتق $f'$ كشبكة موجبة واستعادة $f$ عبر التكامل العددي). يستبدل InvLT ذلك بمنظم ناعم (soft regularizer) يعتمد على الرؤية النظرية بأن أي دالة حق (injective function) مستمرة على مجال ما هي دالة رتيبة تماماً.

لفرض خاصية الحق دون قيود هيكلية، يقوم InvLT بتدريب $f$ بشكل مشترك مع شبكة عكسية مساعدة $g$ . يتم تقليل خسارة إعادة البناء (reconstruction loss) عبر مجموعة من النقاط المرجعية $\{u_k\}$ المستخرجة من نطاق اللوغاريتمات:
$\mathcal{L}_{rec} = \frac{1}{K} \sum_{k=1}^K (g(f(u_k)) - u_k)^2$
هذا يشجع $g \circ f \approx \text{id}$ ، مما يدفع $f$ نحو الحق (injectivity)، وبالتالي نحو الرتابة. يتم التخلص من الشبكة المساعدة $g$ عند الاستنتاج. يجمع الهدف الإجمالي بين خسارة المعايرة القياسية (NLL أو Brier) وهذا المنظم لإعادة البناء.

المساهمات الرئيسية

البنية: يقدم InvLT معايرًا بعديًا يستخدم MLP قياسيًا مشتركًا يُطبق على مستوى العناصر للقيم اللوغاريتمية. والأهم من ذلك، أن عدد المعلمات القابلة للتعلم مستقل عن عدد الفئات $C$ ، مما يسمح له بالتوسع بسلاسة مع مساحات الملصقات الكبيرة (مثل ImageNet حيث $C=1000$ ).
الرتابة عبر إعادة البناء: يقترح البحث منظماً لإعادة البناء عبر شبكة عكسية لفرض الرتابة بشكل ناعم. يتجنب هذا العبء الحسابي الناتج عن التكامل العددي المطلوب في طرق المعايرة الرتيبة السابقة (مثل UMNN) ويسمح لـ $f$ بأن تكون أي MLP قياسية مع أي دالة تنشيط.
الأداء التجريبي: عبر مجموعات بيانات CIFAR-10 وCIFAR-100 وImageNet مع سبعة بنيات مختلفة، يتفوق InvLT باستمرار على مجموعة واسعة من النماذج المرجعية (بما في ذلك TS، وVector/Matrix Scaling، وSpline، وDirichlet، وUMNN) في مقاييس المعايرة القياسية (ECE، وAdaECE، وKDE-ECE، وNLL) مع الحفاظ على دقة التصنيف الأصلية.

النتائج

دقة المعايرة: يحقق InvLT أفضل قيم لخطأ المعايرة المتوقع (ECE) والاحتمال السلبي (NLL) عبر جميع مجموعات البيانات. في ImageNet (ResNet-152)، يحقق InvLT قيمة ECE تبلغ 0.39%، متفوقاً بشكل ملحوظ على أفضل نموذج مرجعي يحافظ على الدقة (UMNN عند 0.56%) وعلى النماذج غير الحافظة للرتب مثل Spline Calibration (1.10%).
القابلية للتوسع: على عكس Matrix Scaling أو Dirichlet Calibration، اللذين يتطلبان $O(C^2)$ من المعلمات ويتدهوران بشدة في ImageNet مع بيانات معايرة محدودة (مثلاً 500 عينة)، يحافظ InvFT على أدائه لأن عدد معلماته مستقل عن $C$ .
الكفاءة: يعد InvLT أسرع بكثير من UMNN. في CIFAR-100، يكون أسرع بـ 3.5 ضعفاً في التدريب (22.7 ثانية مقابل 80.2 ثانية) و5 أضعاف في الاستنتاج (74.8 مللي ثانية مقابل 372.7 مللي ثانية). وذلك لأن InvLT يتجنب التربيع العددي (numerical quadrature) أثناء التدريب والاستنتاج.
المتانة: التحويلات المتعلمة متينة تجاه حجم مجموعة المعايرة (مثلاً 1,000 مقابل 5,000 عينة) وتحافظ باستمرار على دقة التصنيف الأصلية في جميع الإعدادات التي تم تقييمها.

الأهمية والادعاءات
يدعي البحث أن InvLT يوفر نهجاً بسيطاً وفعالاً ومرناً للمعايرة البعدية يحل التوتر بين القدرة التعبيرية والحفاظ على الدقة. من خلال استبدال قيود الرتابة الصارمة بمنظم إعادة بناء ناعم، يحقق الأسلوب أداء معايرة هو الأفضل حالياً دون التكلفة الحسابية لطرق الرتابة السابقة أو خطر تغيير التنبؤات الموجود في الطرق التعبيرية غير الرتيبة. يشير المؤلفون إلى أنه بينما لا يوفر الإنفاذ الناعم ضماناً رياضياً صارماً للحفاظ على الـ (argmax) (على عكس القيود الصارمة)، إلا أن النتائج التجريبية تؤكد الحفاظ على الدقة في كل حالة تم اختبارها. وتبرز أهمية الطريقة بشكل خاص في التطبيقات واسعة النطاق حيث تفشل الطرق المعتمدة على الفئات بسبب الإفراط في التخصيص (overfitting) والقيود الحسابية.