Unmasking Removal-Budget Confounding: A Matched Operating-Point Evaluation Framework for Adaptive Data Cleaning

تخيل أنك محقق يحاول العثور على بعض الألماس المزيف المخبأ في حقيبة ضخمة من الألماس الحقيقي. مهمتك هي فرز الحقيبة، مع الاحتفاظ بالأحجار الكريمة الحقيقية ورمي المزيفة. لكن الجزء الصعب هو أن الحقيبة فوضوية؛ فبعض الألماس الحقيقي يبدو باهتًا قليلاً، وبعض المزيف يبدو لامعًا بشكل مدهش. لمساعدتك، لديك ماسح ضوئي خاص يعطي كل حجر "درجة خطورة". إذا كانت الدرجة عالية، ترمي الحجر، وإذا كانت منخفضة، تحتفظ به.

في عالم الذكاء الاصطناعي (AI)، هذا بالضبط ما يحدث مع تنظيف البيانات (data cleaning). تتعلم نماذج الذكاء الاصطناعي من خلال قراءة حقائب ضخمة من البيانات (مثل ملايين الصور). ولكن أحيانًا تكون البيانات "فاسدة"؛ رب أم تم تصنيف صورة قطة بالخطأ على أنها كلب، أو أن الصورة مشوشة. إذا تعلم الذكاء الاصطناعي من هذه الأخطاء، فسيصبح مرتبكًا وغير موثوق به. ولإصلاح ذلك، يستخدم العلماء التنظيف التكيفي للبيانات (adaptive data cleaning). فبدلاً من استخدام قاعدة جامدة مثل "ارمِ أي شيء يبدو مشوشًا بنسبة 50%"، تستخدم هذه الأنظمة الذكية ماسحًا لحساب درجة خطورة لكل قطعة بيانات، ثم تقرر ما تحتفظ به بناءً على تقسيم (partition). فكر في التقسيم كأنه مجموعة من الصناديق: أنت تفرز الأحجار وتضعها في صندوق "الاحتفاظ" وصندوق "الرمي" بناءً على مدى خطورتها. ويسمى عدد الصناديخ التي تستخدمها بـ درجة التفصيل (granularity).

السؤال الكبير الذي يسأله العلماء هو: "أي طريقة تنظيف هي الأفضل؟" عادةً، ينظرون فقط إلى النتائج ويقولون: "واو، الطريقة (أ) رمت أحجارًا مزيفة أقل من الطريقة (ب)!" لكن هذا البحث يشير إلى أن هذا قد يكون فخًا. فقد تبين أن تغيير عدد الصناديق (درجة التفصيل) لا يغير فقط مدى جودة عثورك على المزيفات، بل يغير أيضًا عدد الأحجار التي تقرر رميها في الإجمالي. إذا رميت أحجارًا أقل إجمالًا، فسترتكب بطبيعة الحال أخطاءً أقل بالصدفة، حتى لو لم يكن الماسح الخاص بك أفضل فعليًا في رصد المزيفات. يستقصي هذا البحث ما إذا كنا نُخدع بـ "ميزانية" (budget) عدد الأحجار التي نزيلها، أم أننا نجد حقًا طرقًا أفضل لرصد البيانات السيئة.

---

فخ الفرز العظيم: لماذا قد يعني "الأفضل" ببساطة "الأقل"

في هذه الدراسة، قرر الباحثون، بقيادة وي-هسيانغ تشين وزملاؤه، لعب دور المحقق في خدعة سحرية محددة للغاية. أرادوا معرفة ما إذا كانت "التحسينات" التي يراها الناس في تنظيف البيانات حقيقية، أم أنها مجرد وهم ناتج عن عدد العناصر التي يتم إزالتها.

تخيل أن لديك طريقتين مختلفتين لفرز حقيبة الأحجار الخاصة بك.

• الطريقة (أ) تستخدم قاعدة بسيطة: "إذا بدا الحجر مريبًا ولو قليلاً، ارمه". هذا هو التقسيم الخشن (coarse partition) (صناديق قليلة). إنها ترمي الكثير من الأحجار، لذا فهي تمسك بمعظم المزيفات، لكنها ترمي بالخطأ بعض الألماس الحقيقي أيضًا.
• الطمرة (ب) تستخدم قاعدة مفصلة ومبتكرة: "ارمِ فقط الأحجار التي تبدو مريبة جدًا". هذا هو التقسيم الدقيق (fine partition) (صناديق كثيرة). إنها ترمي عددًا أقل من الأحجار إجمالًا. ولأنها ترمي أشياء أقل، فإنها بطبيعة الحال ترتكب أخطاءً أقل بالصدفة.

المشكلة هي أنه إذا نظرت فقط إلى النتيجة النهائية، فستبدو الطريقة (ب) عبقرية لأن لديها "إنذارات كاذبة" أقل (رمي ألماس حقيقي). لكن الباحثين اشتبهوا في أن الطريقة (ب) ليست أذكى في رصد المزيفات؛ بل كانت فقط أكثر تحفظًا بشأن عدد الأحجار التي ترميها. هم يسمون هذه المشكلة تداخل ميزانية الإزالة (removal-budget confounding). الأمر يشبه القول بأن رجل الأمن بارع في ضبط اللصوص لمجرد أنه قرر السماح لـ 90% من الناس بمغادرة المبنى دون تفتيشهم. بالطبع، أمسكوا بأشخاص بريئين أقل، لكنهم أيضًا فاتهم الكثير من اللصوص!

التجربة: مطابقة القواعد

لحل هذا الغموض، بنى الفريق طريقة جديدة لاختبار طرق التنظيف هذه. بدلاً من ترك كل طريقة تستخدم "ميزانيتها" الخاصة (عدد صناديقها الخاص وقاعدتها الخاصة لعدد ما سيتم رميه)، أجبروهم على اللعب بنفس القواعد. لقد أنشأوا اختبار "الميزانية المتطابقة" (Matched-Budget).

إليك كيف تم ذلك:

1. أخذوا طريقة ترمي عادةً 100 حجر.
2. أخذوا طريقة ترمي عادةً 50 حجرًا.
3. أجبروا كلتا الطريقتين على رمي 50 حجرًا بالضبط.
4. ثم سألوا: "من وجد مزيفات أكثر في تلك المجموعة المحددة المكونة من 50 حجرًا؟"

كما أجروا اختبار "الاستدعاء المتطابق" (Matched-Recall)، حيث أجبروا كلتا الطريقتين على الإمساك بنفس العدد من المزيفات، ثم سألوا: "من رمى ألماسًا حقيقيًا أقل للقيام بذلك؟"

المفاجأة الكبرى: معظم "التحسينات" تتلاشى

عندما أجروا هذه الاختبارات على مجموعتين شهيرتين من مجموعات البيانات الصورية (CIFAR-10 و ImageNet-100)، كانت النتائج صادمة نوعًا ما.

اختبر الباحثون نظام تنظيف جديدًا ومتطورًا صمموه. استخدم هذا النظام أدلة إضافية، مثل مدى صعوبة تعلم الصورة بالنسبة للذكاء الاصطناعي، وحاول فصل الصور "النظيفة ولكن الصعبة" (الألماس الحقيقي الذي يبدو باهتًا قليلاً). عندما نظروا إلى النتائج باستخدام الطريقة "الأصلية" القديمة (ترك كل طريقة تستخدم ميزانيتها الخاصة)، بدا النظام الجديد مذهلاً. بدا وكأنه يجد مزيفات أكثر بكثير ويرتكب أخطاء أقل بكثير.

ولكن عندما انتقلوا إلى اختبار "الميزانية المتطابقة" الجديد؟ تلاشى السحر.

بمجرد إجبار النظام الجديد على رمي نفس عدد الأحجار التي يرميها النظام البسيط القديم، اختفى الفارق الهائل في الأداء. كانت "التحسينات" ناتجة بالكامل تقريبًا عن كون النظام الجديد أكثر حذرًا بشأن عدد الأحجار التي يرميها، وليس لأنه كان أفضل فعليًا في رصد المزيفات. وجد الباحثون أنه بالنسبة لمستويات الفساد المنخفضة إلى المتوسطة (مثل 5% إلى 20% من البيانات السيئة)، فإن الفرق بين استخدام صندوقين أو 3 أو 4 كان ناتجًا بالكامل عن تأثير "الميزانية" هذا.

متى تهم درجة التفصيل (Granularity) حقًا؟

إذن، هل يهم عدد الصنبوقات على الإطلاق؟ يشير البحث إلى أنه يهم، ولكن في حالات قصوى ومحددة للغاية.

عندما كانت البيانات فاسدة بشدة (40% من الصور كانت سيئة)، تغيرت القصة. في هذه البيئة الفوضوية، بدأت الطريقة البسيطة (ذات الصندوقين) تعاني. لم تكن قادرة على العثور على المزيفات دون رمي الكثير من الألماس الحقيقي. هنا، أظهرت الطرق الأكثر تعقيدًا (ذات الـ 3 أو 4 صناديق) ميزة حقيقية. فقد استطاعت العثور على المزيفات في منطقة الاستدعاء العالي (الإمساك بمعظم البيانات السيئة) دون ارتكاب الكثير من الأخطاء.

كما نظر الباحثون في تلك العينات "النظيفة ولكن الصعبة" — الألماس الحقيقي الذي يبدو باهتًا قليلاً. ووجدوا أنه عند معدلات الفساد المنخفضة، كانت هذه العينات الصعبة هي السبب الرئيسي للأخطاء. ولكن مع زيادة سوء الفساد، قلّ تأثير هذه العينات. لم تكن "صعوبة" البيانات هي المشكلة الأساسية؛ بل كان الحجم الهائل للبيانات السيئة.

الحكم النهائي

الرسالة الرئيسية من هذا البحث هي تحذير لأي شخص يبني أنظمة ذكاء اصطناعي: لا تنظر فقط إلى النتيجة النهائية.

إذا ادعت طريقة تنظيف بيانات جديدة أنها أفضل، فتأكد مما إذا كانت مجرد ترمي عناصر أقل. يقترح الباحثون أنه يجب علينا التوقف عن الاعتماد على التقييمات "الأصلية" (حيث تفعل كل طريقة ما تريد) والبدء في استخدام نقاط التشغيل المتطابقة (matched operating points) (حيث يلعب الجميع وفق نفس القواعد).

لقد أثبتوا أنه في معظم الحالات اليومية، ليست الطرق الجديدة المتطورة أذكى بالضرورة؛ بل هي فقط أكثر تحفظًا. الوقت الوحيد الذي يتجلى فيه التعقيد الإضافي حقًا هو عندما تكون البيانات في حالة فوضى عارمة (فساد عالٍ)، وحتى حينها، تكون المكاسب محددة في الإمساك بآخر القطع السيئة.

باختصار، لا يقول البحث إن علينا التوقف عن استخدام التنظيف التكيفي، بل يقول إننا بحاجة لأن نكون أكثر ذكاءً في الحكم عليه. نحن بحاجة للتأكد من أننا لا نمدح طريقة لمجرد أنها "بخيلة" في التعامل مع كيس النفايات الخاص بها، بل لأنها بالفعل محقق أفضل.