🤖 machine learning

Reducing Biases in Record Matching Through Scores Calibration

تقدم هذه الورقة مقياساً مستقلاً عن العتبة لقياس انحياز الدرجات في مطابقة السجلات، وتقترح طريقتين لمعالجة ما بعد النمذجة غير مرتبطتين بنوع النموذج، وهما Calib وC-Calib، اللتان تعملان بفعالية على تخفيف تفاوتات التكافؤ الديموغرافي وتكافؤ الفرص عبر محاذاة توزيعات الدرجات لكل مجموعة باستخدام النقل الأمثل دون إعادة تدريب النماذج الأساسية.

المؤلفون الأصليون: Mohammad Hossein Moslemi, Mostafa Milani

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohammad Hossein Moslemi, Mostafa Milani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير توظيف في شركة ضخمة. لديك آلاف السير الذاتية (السجلات) وتحتاج إلى العثور على تلك التي تنتمي لنفس الشخص (المطابقة). للقيام بذلك، تستخدم برنامج كمبيوتر ذكي يعطي كل زوج من السير الذاتية "درجة مطابقة" (Match Score) تتراوح بين 0 و100.

90-100: "هؤلاء بالتأكيد نفس الشخص!"
0-10: "هؤلاء أشخاص مختلفون تماماً."
40-60: "لست متأكداً، ربما؟"

عادةً، يضع المدير خط قطع (عتبة - threshold). إذا كانت الدرجة فوق 50، يقول "مطابق". وإذا كانت تحت ذلك، يقول "غير مطابق".

المشكلة: عدم الإنصاف "الخفي"

تجادل الورقة البحثية بأننا كنا ننظر إلى العدالة بالطريقة الخاطئة. كنا نتحقق مما إذا كان الكمبيوتر يتخذ نفس عدد قرارات "المطابقة" للرجال والنساء عند نقطة القطع (50 درجة) المحددة تلك.

لكن المؤلفين يقولون: "هذا يشبه الحكم على طاهٍ فقط من خلال ما إذا كان قد وضع الملح في الحساء في اللحظة التي تذوقته فيها بالضبط، متجاهلين حقيقة أنه قد يكون قد أضاف الكثير من الملح إلى القدر طوال الأسبوع بأكمله."

قد يعطي الكمبيوتر درجات منحازة بشكل خفي.

بالنسبة لـ المجموعة أ (على سبيل المثال، الرجال)، قد يحصل "التطابق المحتمل" على درجة 55.
بالنسبة لـ المجموعة ب (على سبيل المثال، النساء)، قد يحصل نفس "التطابق المحتمل" على درجة 45.

إذا كان خط القطع الخاص بك هو 50، فسيتم توظيف المجموعة أ، وسيتم رفض المجموعة ب. وحتى لو قمت بتغيير خط القطع إلى 40 أو 60، فإن الفجوة ستظل قائمة. الدرجات نفسها غير عادلة، حتى لو بدا قرار "نعم/لا" النهائي يبدو جيداً.

الحل: "معاير الدرجات" (Score Calibrator)

يقترح المؤلفون طريقة لإصلاح هذه الدرجات بعد أن ينتهي الكمبيوتر من عمله بالفعل، دون الحاجة إلى إعادة تدريب الكمبيوتر أو معرفة الإجابات "الحقيقية" (التي غالباً ما تكون مخفية). يسمون هذه العملية "المعايرة" (Calibration).

فكر في الأمر مثل مهندس صوت يقوم بضبط مزيج أغنية. التسجيل الأصلي (الدرجات) لديه صوت "باص" (المجموعة أ) مرتفع جداً وصوت "تريبل" (المجموعة ب) منخفض جداً. مهندس الصوت لا يعيد كتابة الأغنية؛ بل يستخدم جهاز خلط الأصوات (Mixer) لموازنة مستويات الصوت بحيث يبدو كلا الطرفين واضحين بنفس القدر.

لقد قدموا أداتين لهذا الغرض:

1. Calib: "موازن مستوى الصوت" (من أجل العدالة العامة)

هذه الأداة تعالج التكافؤ الديموغرافي (Demographic Parity). وهي تسأل: "هل تحصل كلتا المجموعتين على نفس نطاق الدرجات؟"

كيف تعمل: تخيل أن لديك كيساً من الكرات الحمراء (المجموعة أ) وكيساً من الكرات الزرقاء (المجموعة ب). الكرات الحمراء ثقيلة في الغالب (درجات عالية)، والكرات الزرقاء خفيفة في الغالب (درجات منخفضة).
تقوم الأداة بإنشاء "كيس مستهدف" (متوسط رياضي يسمى Wasserstein Barycenter) يمثل مزيجاً متوازناً ومثالياً من الأوزان.
ثم تقوم بدفع الكرات الحمراء للأسفل والكرات الزرقاء للأعلى برفق حتى يصبح لدى كلا الكيسين نفس توزيع الأوزان تماماً.
النتيجة: الآن، الدرجة "الثقيلة" للكرة الحمراء تعني الشيء نفسه الذي تعنيه الدرجة "الثقيلة" للكرة الزرقاء. لقد أصبح ملعب اللعب متساوياً.

2. C-Calib: "الموازن المدرك للسياق" (من أجل العدالة النوعية)

أحياناً، تحتاج إلى أن تكون عادلاً ضمن مواقف محددة. وهذا ما يسمى تكافؤ الفرص (Equal Opportunity).

مثال: "إذا كان الشخص مؤهلاً حقاً (مطابقة حقيقية)، فيجب أن يحصل على درجة عالية، بغض النظر عن مجموعته."
المشكلة: الكمبيوتر لا يعرف من هو "مؤهل حقاً" (العلامة الحقيقية) عندما يقوم بالمعايرة فقط.
الحل: C-Calib يشبه المحقق. فهو يخمن من هو مؤهل بناءً على الدرجات (على سبيل المثال، "إذا كانت الدرجة عالية، سأفترض أنه مؤهل").
بعد ذلك، يقوم بتقسيم الكرات إلى كومتين: "مؤهل على الأرجح" و"غير مؤهل على الأرجح".
ثم يقوم بموازنة الدرجات داخل كل كومة على حدة. فهو يضمن أنه ضمن مجموعة "المؤهلين على الأرجح"، يحصل الرجال والنساء على نفس الدرجات العالية. كما يفعل الشيء نفسه مع مجموعة "غير المؤهلين على الأرجح".

لماذا هذا مهم؟

اختبر المؤلفون هذا على بيانات من العالم الحقيقي (مثل مطابقة الأوراق الأكاديمية أو قوائم المنتجات). ووجدوا أن:

التحيز الخفي حقيقي: حتى أكثر نماذج الذكاء الاصطناعي ذكاءً وحداثة تعطي درجات غير عادلة لمجموعات مختلفة، حتى لو بدت عادلة عند نقطة قطع واحدة.
الإصلاح يعمل: باستخدام أدوات "المعايرة" الخاصة بهم، استطاعوا إصلاح عدم الإنصاف بشكل كبير.
لم يحدث ضرر: والأهم من ذلك، أن إصلاح الدرجات لم يجعل الكمبيوتر أسوأ في أداء مهمته. ظلت الدقة كما هي تقريباً. الأمر يشبه ضبط الجيتار: أنت تجعل صوته أكثر عدلاً دون تغيير الأغنية.

الخلاصة الكبرى

غالباً ما نحكم على الذكاء الاصطناعي من خلال اختبار "نجاح/رسوب" بسيط. لكن في العالم الحقيقي، يعطينا الذكاء الاصطناعي درجات ثقة (مثل توقع الطقس الذي يقول "احتمال هطول أمطار بنسبة 70%"). إذا كان هذا التوقع منحازاً ضد أحياء معينة، فإن اختبار "النجاح/الرسوب" قد يغفل عن ذلك.

تقدم هذه الورقة طريقة جديدة لضبط التوقعات نفسها، مما يضمن أن نسبة "70%" تعني الشيء نفسه للجميع، بغض النظر عن هويتهم. الأمر يتعلق بجعل الأرقام عادلة، وليس فقط القرار النهائي.

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "الحد من التحيزات في مطابقة السجلات من خلال معايرة الدرجات" (Reducing Biases in Record Matching Through Scores Calibration) للباحثين محمد حسين مسمي ومصطفى ميلاني.

١. تعريف المشكلة

تعد مطابقة السجلات (أو تحديد الكيانات) مهمة تحديد السجلات من مجموعات بيانات مختلفة التي تشير إلى نفس الكيان في العالم الحقيقي. وبينما تُصاغ هذه المهمة غالبًا كمسألة تصنيف ثنائي (تطابق مقابل عدم تطابق)، فإن الأنظمة العملية عادة ما تُنتج درجة مطابقة ذات قيمة حقيقية (مثل احتمالية التطابق) بدلاً من تسمية ثنائية قاطعة. وتُستخدم هذه الدرجات لضبط العتبات (thresholding)، أو الترتيب، أو المراجعة البشرية.

القضية الجوهرية:
يركز بحث العدالة الحالي في مطابقة السجلات بشكل أساسي على النتائج الثنائية عند عتبة ثابتة (مثل التكافؤ الديموغرافي عند $\theta=0.5$ ). ويرى المؤلفون أن هذا النهج غير كافٍ لأن:
١. الاعتماد على العتبة: قد يبدو النموذج عادلاً عند عتبة معينة، ولكنه يظهر تحيزاً كبيراً عند عتبة أخرى.
٢. التفاوتات الخفية: يمكن للمقاييس المجمعة مثل AUC أن تخفي اختلافات منهجية في توزيعات الدرجات بين المجموعات (مثل الأقلية مقابل الأغلبية). فقد يمتلك نموذج ما قيم AUC متطابقة لمجموعتين، ولكنه ينتج درجات أقل بشكل منهجي للمجموعة الأقلية عبر التوزيع بأكمله، مما يؤدي إلى قرارات لاحقة غير عادلة.
٣. جودة الدرجة: في التطبيقات التي تُستخدم فيها الدرجات مباشرة (مثل ترتيب المرشحين الأوائل)، تسبب التفاوتات في جودة الدرجات معاملة غير عادلة حتى بدون استخدام عتبات صريحة.

الهدف: تهدف الورقة إلى تعريف مفهوم مستقل عن العتبة لتحيز الدرجات واقتراح طرق لمعايرة هذه الدرجات لتقليل التفاوتات عبر المجموعات الديموغرافية دون إعادة تدريب النموذج الأساسي.

٢. المنهجية

يقترح المؤلفان نهجاً يتكون من مرحلتين: تعريف مقياس جديد للتحيز وتطوير خوارزميات معايرة لمعالجة النماذج بغض النظر عن نوعها (model-agnostic).

أ. مقياس تحيز مستقل عن العتبة

توسع الورقة معايير العدالة القياسية (التكافؤ الديموغرافي - DP، تكافؤ الفرص - EO، تكافؤ الفرص المتساوي - EOD) من المخرجات الثنائية إلى دالات الدرجات المستمرة.

التعريف: يُعرف تحيز دالة الدرجة $s$ بالنسبة لمقياس $\Phi$ (مثل TPR، أو PR) بأنه تكامل الفرق المطلق بين مقاييس المجموعات عبر جميع العتبات الممكنة:
$\text{bias}(s, \Phi) = \int_{0}^{1} |\Phi_b(s, \theta) - \Phi_a(s, \theta)| \, d\theta$
التفسير: يقيس هذا المساحة التراكمية بين منحنيات الأداء (مثل TPR مقابل العتبة) لمجموعتي الأقلية والأغلبية. وتعني القيمة 0 وجود عدالة مثالية عبر جميع العتبات.

ب. خوارزميات المعايرة

يقترح المؤلفان طريقتين للمعالجة اللاحقة لا تعتمدان على نوع النموذج، وتتطلبان فقط مجموعة معايرة غير مصنفة (أو مجموعة الاستعلام نفسها) ودالة الدرجة الأصلية.

١. Calib (من أجل التكافؤ الديموغرافي - DP)

الهدف: محاذاة توزيعات درجات مجموعة الأقلية والأغلبية مع توزيع مستهدف مشترك لتحقيق التكافؤ الديموغرافي.
الآلية: تستخدم محاذاة المركز الباري (Wasserstein Barycenter).
- تتعامل مع توزيعات درجات المجموعتين كإجراءات احتمالية.
- تحسب التوزيع الباري $\tilde{P}$ الذي يقلل متوسط مسافة Wasserstein لكل من توزيعي المجموعتين.
- تقوم بخرائط الدرجات الفردية إلى هذا المركز باستخدام خريطة نقل أمثل قائمة على الكميات (quantile-based optimal transport map).
- الصيغة: $\tilde{Q}(p) = \alpha Q_a(p) + (1-\alpha)Q_b(p)$ ، حيث $Q$ هي دالة الكمية و $\alpha$ هو نسبة المجموعة.
الميزة الرئيسية: هي طريقة لا تعتمد على التسميات (لا تتطلب تسميات مطابقة حقيقية) وتعمل على توزيع الدرجات الخام.

٢. C-Calib (من أجل تكافؤ الفرص / تكافؤ الفرص المتساوي - EO/EOD)

الهدف: تحقيق معايير العدالة المعتمدة على التسميات (EO/EOD)، والتي تتطلب محاذاة معدلات الخطأ (TPR/FPR) عبر المجموعات.
التحدي: غالباً ما تكون التسميات الحقيقية ( $Y$ ) غير متوفرة أثناء المعايرة.
الآلية: المعايرة الشرطية.
- تقوم أولاً بتقدير عتبة القرار $\gamma$ (باستخدام طريقة غير خاضعة للإشراف مثل MeanShift على توزيع الدرجات) لتوليد تسميات زائفة ( $\hat{Y}$ ).
- تقسم البيانات إلى طبقات بناءً على هذه التسميات المتوقعة (مطابقات متوقعة وغير مطابقة متوقعة).
- تطبق خوارزمية Calib بشكل منفصل داخل كل طبقة.
- يضمن ذلك محاذاة توزيعات الدرجات لمجموعتي الأقلية والأغلبية بشرط التسمية المتوقعة، مما يقرب من تحقيق EO و EOD.

٣. المساهمات الرئيسية

١. صياغة جديدة للعدالة: تقديم مقياس تحيز مستقل عن العتبة لدرجات مطابقة السجلات، والذي يلتقط التفاوتات الخفية التي تغفل عنها تقييمات العتبة الواحدة أو تقييمات AUC.
٢. خوارزمية Calib: طريقة معالجة لاحقة لا تعتمد على النموذج باستخدام مراكز Wasserstein Barycenter للقضاء على تحيز التكافؤ الديموغرافي (DP) في الدرجات. يثبت التحليل النظري أنها تتقارب نحو الدرجة العادلة المثلى بمعدل بارامتري ( $O(n^{-1/2})$ ).
٣. خوارزمية C-Calib: امتداد لخوارزمية Calib تتعامل مع معايير العدالة المعتمدة على التسميات (EO/EOD) من خلال التكييف مع التسميات المقدرة. توفر الورقة حدوداً نظرية توضح كيفية اعتماد العدالة على حجم العينة وخطأ تقدير التسميات.
٤. التحقق التجريبي: أثبتت أن أدوات مطابقة التعلم العميق الحديثة تظهر تحيزاً كبيراً في الدرجات حتى عندما تبدو عادلة عند عتبات معينة، وأن الطرق المقترحة تقلل هذا التحيز بفعالية مع حد أدنى من فقدان الدقة.

٤. النتائج التجريبية

قيم المؤلفون طرقهم على معايير قياسية لمطابقة السجلات (مثل DBLP-ACM، AMZ-GOO، FOD-ZAG) باستخدام خمسة من أدوات مطابقة التعلم العميق (DeepMatch، HierGAT، DITTO، إلخ).

كشف التحيز: غالباً ما أظهرت المقاييس التقليدية (DP/EO عند عتبات ثابتة) تحيزاً منخفضاً، بينما كشفت مقاييس التحيز المستقلة عن العتبة المقترحة عن تفاوتات خفية كبيرة (على سبيل المثال، تباين قيم التحيز من 0% إلى 14% اعتماداً على العتبة).
تقليل التحيز:
- Calib: نجحت في تقليل تحيز DP إلى ما يقرب من الصفر عبر جميع مجموعات البيانات والنماذج.
- C-Calib: تفوقت بشكل كبير على Calib في مقاييس EO و EOD. على سبيل المثال، في مجموعة بيانات AMZ-GOO، قللت C-Calib من EOD من حوالي 30% (بعد تطبيق Calib) إلى حوالي 7%، بينما فشلت Calith وحدها في تقليل EOD بفعالية.
الحفاظ على الدقة (المخاطرة):
- أدت المعايرة إلى تشويه ضئيل في الدرجات الأصلية.
- كان الانخفاض في AUC (المساحة تحت المنحنى) ضئيلاً جداً (عادة أقل من 1.0%، وغالباً أقل من 0.3%)، مما يشير إلى الحفاظ على جودة الترتيب وفائدة الأدوات.
- أظهرت C-Calib عموماً استقراراً أفضل قليلاً في الحفاظ على AUC مقارنة بـ Calib.
حساسية مجموعة البيانات: تعمل الطرق بشكل أفضل عندما تتطابق مجموعة المعايرة $D$ مع توزيع بيانات الاستعلام. استخدام بيانات التدريب كـ $D$ عندما يختلف توزيع الاختبار قليلاً أدى إلى فعالية أقل في تقليل التحيز.

٥. الأهمية والتأثير

ما وراء العدالة الثنائية: ينقل هذا العمل نموذج العدالة في مطابقة السجلات من عدالة القرار الثنائي إلى عدالة توزيع الدرجات، وهو أمر بالغ الأهمية للأنظمة التي تعتمد على الترتيب، أو ضبط العتبات، أو المراجعة البشرية.
النشر العملي: الطرق المقترحة هي طرق معالجة لاحقة ولا تعتمد على نوع النموذج. فهي لا تتطلب الوصول إلى المعلمات الداخلية للنموذج أو بيانات التدريب، مما يجعلها قابلة للتطبيق بشكل كبير على النماذج "الصندوق الأسود" المملوكة لجهات خارجية وأنظمة الإنتاج الحالية.
الدقة النظرية: توفر الورقة ضمانات نظرية رسمية فيما يتعلق بالتقارب (التحيز) والمخاطر (تشويه الدرجة)، مما يدعم النجاح التجريبي في نظرية النقل الأمثل.
معالجة ندرة التسميات: تقدم طريقة C-Calib حلاً مبتكراً لتحقيق العدالة المعتمدة على التسميات (EO/EOD) في الإعدادات التي لا تتوفر فيها التسميات الحقيقية، وهو قيد شائع في عمليات تحديد الكيانات في العالم الحقيقي.

باختصار، توفر الورقة إطاراً قوياً لاكتشاف وتخفيف التحيزات الدقيقة والمستقلة عن العتبة في درجات مطابقة السجلات، مما يضمن الحفاظ على العدالة عبر كامل نطاق عمليات اتخاذ القرار، وليس فقط عند نقطة قطع واحدة.