📊 statistics

When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

تقدم هذه الورقة إطاراً تشخيصياً مدركاً للمعايرة يستنتج تعبيراً مغلق الصيغة لانحياز التوهين الناتج عن عتبة الثقة في التراجع ذي الملصقات الزائفة، مما يمكّن الممارسين من استخدام قاعدة قرار قابلة للحوسبة بناءً على تباين درجة البواقي لتحديد متى يكون هذا النوع من العتبة آمناً للاستدلال اللاحق.

المؤلفون الأصليون: Marcell T. Kurbucz

نُشر 2026-05-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Marcell T. Kurbucz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز يتعلق بحشد كبير من الناس. لديك مجموعة صغيرة من المشتبه بهم الذين تعرف بالتأكيد ما إذا كانوا مذنبين أم أبرياء (بياناتك المصنفة - labelled data). ولكن لديك حشد هائل من الناس لا تعرف عنهم أي شيء (بياناتك غير المصنفة - unlabelled data).

لديك "كاشف ذنب" عالي التقنية (وهو مصنف تعلم آلي - machine learning classifier) ينظر إلى الحشد ويعطي كل شخص "درجة ذنب" تتراوح بين 0% و100%. هذه الدرجة معايرة (calibrated)، مما يعني أنه إذا قال الكاشف "50%"، فهذا يعني حقاً أن هناك احتمال 50% بأن يكون الشخص مذنباً.

الخطأ الشائع: قاعدة "الكل أو لا شيء"

يتخذ معظم المحققين (علماء البيانات أيضاً) طريقاً مختصراً. يقولون: "إذا كانت درجة الذنب أعلى من 90%، سأعتبرهم فقط 'مذنبين' (1). وإذا كانت أقل من 10%، سأعتبرهم 'أبرياء' (0). أما بالنسبة للبقية، فسأتجاهلهم."

يُسمى هذا تحديد عتبة الثقة (confidence thresholding). إنهم يحولون احتمالاً ضبابياً ودقيقاً إلى تصنيف قاطع وأبيض أو أسود.

المشكلة: هذا الاختصار خطير. فمن خلال إجبار درجة ضبابية على أن تصبح "نعم" أو "لا" قاطعة، أنت تفقد المعلومات. الأمر يشبه ضغط جسم ثلاثي الأبعاد ليصبح ظلاً مسطحاً؛ أنت تفقد العمق. عندما تستخدم هذه التصنيفات "المضغوطة" لحساب الإحصائيات لاحقاً، تصبح نتائجك منحازة (biased) (أي خاطئة بشكل منهجي، وعادة ما تكون أصغر من الحقيقة).

حل الورقة البحثية: "مقياس الثقة"

لا تخبرك هذه الورقة بالتوقف عن استخدام الاختصار. بدلاً من ذلك، تقدم لك أداة تشخيصية ("مقياس ثقة") للتحقق قبل أن تبدأ تحليلك. إنها تجيب على السؤال: "هل من الآمن لي أن أحول هذه الدرجات الضبابية إلى تصنيفات قاطعة، أم أنني سأفسد نتائجي؟"

إليك كيف يعمل "مقياس الثقة" الخاص بالورقة، باستخدام تشبيهات بسيطة:

1. فحص "الضجيج" (مفهوم $V^*$ )

تخيل أن كاشف الذنب الخاص بك ينظر إلى الحشد من خلال نافذة ضبابية.

الضباب ( $X$ ): هذه هي الحقائق الأساسية التي تعرفها بالفعل عن الجميع (مثل العمر، الوظيفة، الجنس).
الرؤية الواضحة ( $W$ ): هذه هي التفاصيل الإضافية التي يراها الكاشف (مثل تعبيرات الوجه الدقيقة، نبرة الصوت، طريقة المشي) والتي لا تستخدمها في حساباتك النهائية.

تقدم الورقة مفهوماً يسمى $V^*$ . فكر في هذا كقياس لـ مقدار "الضباب" المتبقي بعد أخذ الحقائق الأساسية في الاعتبار.

إذا كان $V^*$ صفراً: فإن الكاشف يكرر فقط الحقائق الأساسية التي تعرفها بالفعل. ليس لديه معلومات جديدة. إذا حاولت استخدام هذا الكاشف، فإن حساباتك ستتعطل. إنه مثل محاولة تخمين الطقس من خلال النظر إلى صورة للسماء تملكها بالفعل.
إذا كان $V^*$ مرتفعاً: فالكاشف يرى أشياء لا تراها أنت. لديه "معرفة سرية". وهذا أمر جيد. هذا يعني أن الكاشف يضيف قيمة.

القاعدة: إذا كان الكاشف يكرر فقط ما تعرفه بالفعل ( $V^* \approx 0$ )، فلا تثق به. أما إذا كان يرى شيئاً جديداً ( $V^* > 0$ )، فقد تكون في أمان.

2. فحص "فقدان الإشارة" (مفهوم $\kappa$ )

الآن، تخيل أنك قررت استخدام قاعدة "الكل أو لا شيء" (عتبة الـ 90%). كم من "المعرفة السرية" للكاشف ستتخلص منها؟

تقوم الورقة بحساب رقم يسمى $\kappa$ (كابا).

$\kappa = 1.0$ : لقد احتفظت بـ 100% من الإشارة. كانت العتبة مثالية؛ لم تفقد أي معلومات.
$\kappa = 0.2$ : لقد تخلصت من 80% من الإشارة. ستكون نتيجتك النهائية بقوة 20% فقط مما ينبغي أن تكون عليه.

السر السحري: تُظهر لك الورقة أنه يمكنك حساب رقم $\kappa$ هذا قبل حتى أن تبدأ تحليلك النهائي. يكفي فقط النظر إلى الحشد غير المصنف ودرجات الكاشف.

قاعدة القرار (إشارة المرور)

تقدم الورقة للممارسين قاعدة قرار بسيطة من ثلاث خطوات (الخوارزمية 1) لتحديد ما يجب فعله:

افحص الضباب ( $V^*$ ): هل يرى الكاشف أي شيء جديد؟
- لا: ضوء أحمر. توقف. الكاشف عديم الفائدة لهذه المهمة المحددة. التزم بمجموعتك الصغيرة من المشتبه بهم المعروفين.
- نعم: انتقل إلى الخطوة 2.
افحص فقدان الإشارة ( $\kappa$ ): إذا استخدمت عتبة صلبة (مثل 90%)، فكم من الإشارة ستفقد؟
- فقدان عالٍ ( $\kappa$ منخفض): ضوء أصفر. لا تستخدم التصنيفات القاطعة "نعم/لا". بدلاً من ذلك، استخدم الدرجات الضبابية مباشرة (الطريقة "الناعمة" - Soft). من الأفضل الحفاظ على التفاصيل الدقيقة.
- فقدان منخفض ( $\kappa$ مرتفع): ضوء أخضر. يمكنك بأمان تحويل الدرجات إلى تصنيفات قاطعة. الاختصار آمن للاستخدام.

لماذا يهم هذا؟

تثبت الورقة رياضياً أنه يمكنك التنبؤ بدقة بمدى "تضاؤل" (attenuation) نتائجك (أي ضعفها) قبل أن تبدأ التجربة حتى.

الطريقة "الناعمة" (The "Soft" Way): استخدام الدرجات الضبابية مباشرة. إنها دقيقة ولكنها قد تكون مليئة بالضجيج إذا لم يكن لديك بيانات كافية.
الطريقة "الصلبة" (The "Hard" Way): استخدام تصنيفات "نعم/لا". إنها واضحة ولكنها غالباً ما تكون منحازة (ضعيفة جداً) إذا قمت بقطع الكثير من البيانات.
الطريقة "الخاضعة للإشراف" (The "Supervised" Way): استخدام المجموعة الصغيرة التي تعرفها بالتأكيد فقط.

إن مساهمة الورقة هي آلة حاسبة تخبرك: "بالنظر إلى بياناتك المحددة وكاشفك المحدد، أي من هذه المسارات الثلاثة سيعطيك الإجابة الأكثر دقة؟"

ملخص في جملة واحدة

لا تقم بتحويل الاحتمالات الضبابية إلى تصنيفات قاطعة بشكل أعمى؛ استخدم "مقياس الثقة" الجديد هذا للتحقق مما إذا كان الكاشف الخاص بك يمتلك معلومات فريدة كافية وما إذا كان القطع الذي اخترته قاسياً للغاية، لضمان عدم التخلص من الأدلة التي تحتاجها عن طريق الخطأ.

ملخص تقني: تشخيص المعايرة للانحدار ذي الملصقات الزائفة (Pseudo-Labelled Regression)

1. بيان المشكلة

تعتمد مسارات تعلم الآلة الحديثة بشكل متزايد على درجات الاحتمالية المعايرة (calibrated probability scores) من المصنفات المدربة على مجموعات فرعية صغيرة موسومة ( $L$ ) لتوجيه مهام الانحدار اللاحقة على مجموعات سكانية غير موسومة كبيرة ( $U$ ). تشمل التطبيقات الشائعة تقدير التأثيرات على مستوى السكان، أو معدلات الانتشار، أو التفاوتات للمجموعات الكامنة (مثل السمات المحمية في تدقيق العدالة أو مخاطر الأمراض في التصوير الطبي).

هناك ممارسة سائدة في هذا الإطار شبه المشرف وهي الملصقات الزائفة (pseudo-labelling): تحويل الاحتمالية المعايرة $p$ إلى ملصق ثنائي صلب $\hat{G}$ عن طريق تطبيق عتبة ثقة $\tau_{thr}$ (على سبيل المثال، 0.9). وبينما تنجح هذه الممارسة تجريبيًا في التصنيف، تتناول هذه الورقة فجوة حرجة: كيف يؤدي هذا التحديد بالعتبة (thresholding) إلى تحيز معامل الانحدار اللاحق؟ تفتقر الأدبيات الحالية إلى حساب كمي لكيفية تسبب تحديد العتبة في إضعاف أو تشويه المعلم المراد تقديره (estimand)، وتحديدًا في سياق نماذج الانحدار الخطي الجزئي حيث يكون الهدف هو تقدير الارتباط بين مؤشر المجموعة الكامنة $G$ والنتيجة $Y$ ، مع التحكم في المتغيرات $X$ .

2. المنهجية والإعداد

تعمل الورقة ضمن إطار عمل حيث:

البيانات: يتم رصد عينتين مستقلتين ومتماثلتين (i.i.d.): مجموعة موسومة $L = \{(W_i, X_i, G_i, Y_i)\}$ ومجموعة أكبر غير موسومة $U = \{(W_i, X_i, Y_i)\}$ .
الميزات: يتم تدريب المصنف على مجموعة ميزات $W$ ، بينما يتحكم الانحدار اللاحق في مجموعة فرعية $X \subseteq W$ . ومن الضروري أن تفرض الورقة فصلًا هيكليًا حيث يجب أن تكون $W$ أغنى بوضوح من $X$ ( $X \subsetneq W$ ) لضمان إمكانية التحديد (identifiability).
النموذج: يتم تعريف المعلم المستهدف $\tau$ عبر انحدار خطي جزئي: $E[Y | G, X] = \mu(X) + \tau G$ .
الافتراض: مخرج المصنف $p = f(W)$ معاير شرطيًا، مما يحقق $E[G | p, X] = p$ .

بناءً على نتيجة تحديد مرافقة [8]، يستخدم المؤلفون معادلة عزم (moment equation) لتحديد $\tau$ باستخدام الدرجة المعايرة $p$ مباشرة (المقدر "الناعم" - soft estimator). ثم يحللون خصائص المقدر "الصلب" (hard estimator)، الذي يستبدل $p$ بملصق ثنائي محدد بالعتبة $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$ .

3. المساهمات الرئيسية والنتائج النظرية

تستنتج الورقة خمس توقعات محددة وإجراءً تشخيصيًا، تمت صياغتها كما يلي:

أولًا: تحيز التوهين ذو الصيغة المغلقة (التوقع 1)
تستنتج الورقة تعبيرًا بصيغة مغلقة لتحيز التوهين الناتج عن الملصقات الزائفة الصلبة. القيمة الحدية للاحتمال للمقدر الصلب $\hat{\tau}_{hard}$ هي:
$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$
حيث أن عامل التوهين $\kappa(\tau_{thr})$ هو ميل المربعات الصغرى (OLS) للسكان للملصق الصلب المتبقي على الدرجة الناعمة المتبقية.

الأهمية: يمكن حساب هذا العامل قبل تشغيل أي استدلال، وذلك فقط من التوزيع المشترك لـ $(p, X)$ على المجموعة غير الموسومة. وهو يحدد بدقة مقدار الإشارة المفقودة عند تحويل الاحتمالية إلى قيم ثنائية عند عتبة معينة.

ثانيًا: تباين الساندوتش للمقدرات الناعمة (التوقع 2)
يتناسب التباين التقاربي للمقدر الناعم (باستخدام $p$ مباشرة) عكسيًا مع مربع تباين الدرجة المتبقية $V^* = E[\text{Var}(p|X)]$ .

الاستنتاج: تؤدي التخفيضات الطفيفة في معلوماتية الدرجة (انخفاض $V^*$ ) إلى خسائر هائلة في الدقة. توفر الورقة نموذج "ساندوتش-تباين" (sandwich-variance) جاهز للاستخدام يعطي فترات اعتماد (Wald intervals) صالحة.

ثالثًا: ندم التباين والتحيز لتحديد العتبة (التوقع 3)
بالنسبة للطرق التي تقيد الملصقات الزائفة بمجموعة فرعية ذات ثقة عالية (مثل أساليب FixMatch)، فإن متوسط مربع الخطأ (MSE) يتفكك إلى حد تربيع التحيز (المدفوع بـ $\kappa_{FM}$ ) وحد التباين (الذي يتضخم بسبب حجم العينة المنخفض $|C|$ ).

النتيجة: مع زيادة انتقائية العتبة، ينمو التباين بشكل رتيب بينما قد يتذبذب التحيز. غالبًا ما يصبح إجمالي الـ MSE مدفوعًا بالتباين، مما يجعل المقدر الناعم متفوقًا في كثير من السيناريوهات رغم افتقاره إلى الملصقات "الصلبة".

رابعًا: حد الحساسية تحت انزياح المعايرة (التوقع 4)
تحت انزياح توزيع مقيد حيث تتحقق حالة المعايرة مع خطأ $\eta(p, X)$ محصور في $\delta$ ، يكون التحيز التقاربي محصورًا في:
$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$

الاستنتاج: التباين المتبقي الأعلى (درجات أكثر معلوماتية) يقلل بشكل تناسبي من أسوأ حالة تحيز ممكنة لانزياح المعايرة المعطى.

خامسًا: حد انهيار $V^*$ (التوقع 5)
تحدد الورقة حدًا حادًا: $V^* = 0$ إذا وفقط إذا كانت $p$ دالة حتمية لـ $X$ .

المطلب الهيكلي: إذا كانت ميزات المصنف $W$ مطابقة لضوابط الانحدار اللاحق $X$ ، فإن $p = f(X)$ ، وبالتالي $V^*=0$ ، وتصبح معادلة العزم غير مفيدة (يفشل التحديد). والعلاج هو ضمان احتواء $W$ على ميزات لا يتم التحكم فيها في الانحدار اللاحق.

4. الإجراء التشخيصي

يقترح المؤلفون خوارزمية تشخيصية عملية (خوارزمية 1) للممارسين لتحديد ما إذا كان تحديد العتبة آمنًا:

حساب $V^*$ : تقدير التباين المتبقي للدرجة المعايرة بعد طرح تأثير $X$ على المجموعة غير الموسومة.
حساب $\hat{\kappa}$ : بالنسبة لشبكة من العتبات، قم بتقدير عامل التوهين.
قاعدة القرار:
- إذا كان الخطأ المعياري الضمني للمقدر الناعم مرتفعًا جدًا (بسبب انخفاض $V^*$ )، فاستخدم الأساس الخاضع للإشراف (باستخدام $L$ فقط).
- إذا كان $\hat{\kappa}$ بعيدًا عن 1 لجميع العتبات، فإن التحديد بالعتبة يسبب توهينًا كبيرًا؛ لذا فضل المقدر الناعم.
- خلاف ذلك، كلاهما مقبول، وإن كان يُوصى بالمقدر الناعم لمتانته تجاه اختيار العتبة.

5. النتائج التجريبية

تتحقق الورقة من هذه التوقعات من خلال خمس محاكاة مضبوطة وتوضيح باستخدام بيانات حقيقية من مجموعة بيانات UCI Adult Income:

التوهين: طابقت التقديرات التجريبية لـ $\hat{\tau}_{hard}$ توقعات $\kappa(\tau_{thr})$ ذات الصيغة المغلقة عبر ست عتبات مختلفة بدلالة إحصائية عالية.
التباين: تنبأت صيغة تباين الساندوتش بدقة بتباين مونت كارلو وحققت تغطية اسمية بنسبة 95%.
الندم: أكدت التجارب أن العتبات ذات الثقة العالية تؤدي غالبًا إلى ارتفاع في MSE بسبب تضخم التباين، مما يؤكد تحليل مقايضة التحيز والتباين.
الحساسية: ظل حد الحساسភាព المستنتج صامدًا تحت سيناريوهات مختلفة لانزياح المعايرة، حيث ظل التحيز التجريبي أقل بكثير من الغلاف النظري للأسوأ.
حالة واقعية: في تجربة UCI Adult، حدد التشخيص بشكل صحيح أن الأساس الخاضع للإشراف (OLS على $L$ ) تفوق على المقدرات ذات الملصقات الزائفة لأن المجموعة الموسومة كانت معلوماتية بما يكفي والاحتمالية الشرطية كانت مفسرة جيدًا بالضوابط (انخفاض $V^*$ بالنسبة للضجيج). وعلى العكس من ذلك، أظهر التشخيص أن الملصقات الصلدة في هذه المجموعة تعرضت لتوهين ضئيل ( $\hat{\kappa} \approx 0.92$ ) بسبب غنى ميزات المصنف.

6. الأهمية والادعاءات

تدعي الورقة تقديم مساهمة تشغيلية وليس بنية خوارزمية جديدة. هي لا تقترح خوارزمية ملصقات زائفة جديدة أو تنافس على خوارزميات التصنيف الحديثة (مثل FixMatch). بدلاً من ذلك، تقدم:

تبريرًا كميًا لسبب تسبب تحديد العتبة في تحيز معاملات الانحدار اللاحقة.
أداة تشخيصية (قاعدة قرار $(V^*, \kappa)$ ) تسمح للممارسين بحساب ما إذا كان استخدام الملصقات الصلبة آمنًا، أو ما إذا كان ينبغي عليهم الالتزام بالدرجات الناعمة أو اتباع نهج خاضع للإشراف بحت.
رؤية هيكلية مفادها أن الفصل بين ميزات المصنف ( $W$ ) وضوابط الانحدار اللاحق ( $X$ ) ليس مجرد خيار تصميمي بل ضرورة رياضية للتحديد في هذا السياق.

يؤكد المؤلفون أن إطار عملهم "واعٍ بالمعايرة"، حيث يترجم جودة معايرة المصنف المجردة إلى حدود ملموسة على تحيز التقدير اللاحق، مما يسد الفجوة بين أداء التصنيف والاستدلال السببي/الارتباطي.