Wasserstein Filtering: A Sample Selection Method for Robust Distribution Learning

تخيل أنك تحاول تعلم الشكل الحقيقي لسحابة من خلال النظر إلى مجموعة من كرات القطن البيضاء الناعمة. ولكن، ثمة عقبة: لقد تسلل "غريملين" (كائن مشاكس) إلى مجموعتك واستبدل بعض كرات القطن بصخور ثقيلة ومسننة، أو ربما طلى بعض كرات القطن باللون الوردي الفاقع. إذا حاولت تخمين شكل السحابة بالنظر إلى الكومة بأكملها، فستكون إجابتك خاطئة تماماً بسبب هؤلاء المتسللين. هذا هو الصراع اليومي لـ "الإحصاء المتين" (Robust Statistics)، وهو فرع من العلوم مخصص لإيجاد الحقيقة حتى عندما تكون البيانات فوضوية، أو تالفة، أو تحاول خداعك بنشاط.

ولحل هذه المشكلة، غالباً ما يستخدم العلماء أداة تسمى "مسافة واسرستاين" (Wasserstein distance). فكر في هذا ليس كمسطرة، بل كـ "تكلفة حركة". تخيل أن لديك كومة من التراب (بياناتك) وعليك نقلها لتطابق شكلاً مستهدفاً. تحسب مسافة واسرستاين الحد الأدنى من العمل المطلوب لنقل كل حبة تراب من مكانها الحالي إلى موطنها الجديد. إذا كان التراب مبعثراً بعيداً، فإن تكلفة نقله تكون عالية؛ وإذا كان قريباً، فإن التكلفة تكون ضئيلة جداً. هذه الطريقة مميزة لأنها تفهم الهندسة؛ فهي تدرك أن صخرة بعيدة تختلف تماماً عن ذرة غبار قريبة، بينما قد تكتفي الطرق الأخرى الأبسط بعدّ عدد الصخور دون الاهتمام بمكان وجودها.

الآن، تخيل أنك محقق تحاول تنظيف مسرح جريمة حيث تم العبث بالأدلة. لديك قائمة تضم 1,000 شهادة شاهد، لكنك تعلم أن ما يصل إلى 15% منها هي أكاذيب زرعها مخرب. هدفك هو اختيار الـ 850 شهادة الأكثر صدقاً لإعادة بناء القصة الحقيقية، دون معرفة أي من الشهادات هي الأكاذيب مسبقاً. هذه هي بالضبط المشكلة التي يعالجها بحث "ترشيح واسرستاين" (Wasserstein Filtering). يقترح المؤلفون، يي كاي شو، وتساو تشين، وجيان هوانغ، طريقة ذكية لتصفية الضجيج. فبدلاً من تخمين نقاط البيانات السيئة بناءً على مدى بعدها عن المركز، هم يقلبون الطاولة؛ حيث يتساءلون: "أي مجموعة من نقاط البيانات، إذا احتفظنا بها فقط، ستبدو الأكثر اختلافاً عن الكل الملوث والفوضوي؟"

المنطق هنا يبدو منافياً للبديهة ولكنه عبقري. إذا كان لديك كومة من البيانات المختلطة، فإن "القيم المتطرفة" السيئة هي عادةً تلك التي تجر المتوسط في اتجاهات غريبة. ومن خلال إيجاد المجموعة الفرعية من البيانات التي تخلق أكبر "تكلفة حركة" (مسافة واسرستاين) بعيداً عن الفوضى الملوثة، تقوم الخوارزمية فعلياً بتحديد ورمي القيم المتطرفة التي تسبب أكبر تشويه هندسي. الأمر يشبه العثور على مجموعة من الأشخاص في غرفة مزدحمة، الذين إذا وقفوا معاً، سيكونون الأبعد عن التجمهر الفوضوي للجمهور بأكلى. يوضح البحث أنه من خلال القيام بذلك، يمكنك عزل البيانات "النظيفة" بدقة عالية.

لم يكتف الباحثون بتقديم فكرة فحسب، بل بنوا ثلاث "آلات" مختلفة (خوارزميات) لجعل ذلك ممكناً. إحداها هي فحص سريع واحد تلو الآخر يسمى "SinkMarg"، وهو ممتاز للحالات البسيطة ولكنه قد يصبح بطيئاً مع مجموعات البيانات الضخمة. أما الآلتان الأخريان، فهما "SinkWF" و"SlicedWF"، وهما أكثر قوة. فهما تستخدمان حِيلاً رياضية متقدمة (مثل "النقل الأمثل الإنتروبي" والتقريبات "المقطعية") لحل اللغز دفعة واحدة، حتى عندما تكون البيانات معقدة أو ذات أبعاد عالية. يثبت البحث رياضياً أن هذه الطريقة هي الأفضل الممكنة للقيام بهذه المهمة تحت ظروف معينة، وتحديداً عندما تكون البيانات "السيئة" إما بعيدة جداً أو قريبة جداً من البيانات "الجيدة" بطريقة معقدة.

في تجاربهم، اختبروا هذا على كل شيء، بدءاً من الرسومات البسيطة ثنائية الأبعاد إلى الرسوم البيئية الجزيئية المعقدة وحتى صور الأرقام المكتوبة بخط اليد. ووجدوا أن طريقتهم، وخاصة خوارزمية "SinkWF"، كانت جيدة للغاية في رصد البيانات المزيفة، وغالباً ما تفوقت على الأدوات الرائدة الموجودة حالياً. على سبيل المثال، عندما حاولوا تعليم كمبيوتر توليد صور جديدة للأرقام (مثل الرقم "7") باستخدام مجموعة بيانات مليئة بالصور الفاسدة، فإن ترشيح البيانات أولاً باستخدام طريقتهم جعل الصور الناتجة أكثر وضوحاً ودقة. ومع ذلك، فقد لاحظوا أيضاً أنه إذا كانت البيانات "السيئة" ضئيلة جداً لدرجة أنها لا تكاد تُلاحظ، أو إذا كانت البيانات ذات أبعاد عالية للغاية دون وجود عمليات إسقاط كافية، فقد تواجه الطريقة صعوبة. ولكن بشكل عام، أثبتوا أن "ترشيح واسرستاين" هذا هو أداة قوية، مستقلة عن النموذج، لتنظيف البيانات قبل تغذيتها في أي نظام آخر لتعلم الآلة، مما يجعل النتائج النهائية أكثر موثوقية بكثير.