🤖 AI

Constraint-Data-Value-Maximization: Utilizing Data Attribution for Effective Data Pruning in Low-Data Environments

تقدم هذه الورقة البحثية منهجية "تعظيم قيمة البيانات المقيدة" (CDVM)، وهي نهج مبتكر يصيغ عملية تقليم البيانات كمسألة تحسين مقيدة لتعظيم تأثير النموذج بفعالية مع معاقبة المساهمات المفرطة لكل اختبار، مما يؤدي إلى التفوق على الطرق التقليدية القائمة على قيم شابلي في سيناريوهات البيانات المنخفضة.

المؤلفون الأصليون: Danilo Brajovic, David A. Kreplin, Marco F. Huber

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Danilo Brajovic, David A. Kreplin, Marco F. Huber

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول إعداد الحساء المثالي. لديك مخزن ضخم مليء بالمكونات (بياناتك)، لكن مطبخك صغير، وموقدك ضعيف، وليس لديك سوى وقت للطهي باستخدام جزء ضئيل فقط مما تملكه. أنت بحاجة إلى التخلص من معظم المكونات مع الاحتفاظ بتلك التي تجعل طعم الحساء هو الأفضل.

هذه هي المشكلة التي تواجهها نماذج تعلم الآلة اليوم. فهي تحتاج إلى كميات هائلة من البيانات لتتعلم، لكن تخزين ومعالجة كل تلك البيانات أمر مكلف وبطيء. الهدف هو تقليم البيانات (data pruning): معرفة أي قطع محددة من البيانات هي "التوابل السرية" وأيها مجرد "حشوة" يمكن التخلص منها دون إفساد الطبق.

الطريقة القديمة: "مسابقة الشعبية"

لفترة من الوقت، حاول العلماء حل هذه المشكلة باستخدام طريقة تعتمد على قيم شابلي (Shapley values) (وهو مفهوم من نظرية الألعاب). فكر في هذا الأمر كأنه مسابقة شعبية حيث يحصل كل مكون على درجة بناءً على مدى مساهمته في تحسين طعم الحساء عند إضافته إلى مجموعات مختلفة من المكونات الأخرى.

تجادل الورقة البحثية بأن هذه الطريقة القديمة بها عيب قاتل: إنها تكره المجموعات.

تخيل أن مخزنك يحتوي على:

100 حبة بطاطس متطابقة (كتلة كبيرة).
حبة ترافل (كمأة) واحدة فريدة ونادرة (كتلة صغيرة).

الطريقة القديمة تنظر إلى البطاطس وتقول: "بما أن لدينا الكثير منكم، فإن أي حبة بطاطس بمفردها ليست مميزة للغاية. أنتم جميعاً زائدون عن الحاجة". لذا، تعطيها درجة منخفضة جداً. وتنظر إلى حبة الترافل الوحيدة وتقول: "أنت فريد! أنت أساسي!" لذا، تعطيها درجة عالية.

الكارثة: عندما يبدأ الطاهي في التخلص من المكونات ذات "الدرجة المنخفضة"، فإنه يرمي 99 حبة بطاطس أولاً. ولكن بعد ذلك، ينفد منه البطاطس تماماً. فجأة، يصبح الحساء خالياً من النشا تماماً، ويصبح طعمه سيئاً للغاية. لقد أزال الأسلوب المجموعة بأكملها من البطاطس في وقت مبكر جداً لأنه لم يدرك أنه رغم تشابه البطاطس، إلا أن المجموعة ككل كانت حيوية.

الحل الجديد: CDVM (الطاهي "المتوازن في التغطية")

قدم المؤلفون طريقة جديدة تسمى تعظيم قيمة البيانات المقيدة (Constraint-Data-Value-Maximization - CDVM). بدلاً من مجرد إعطاء كل مكون درجة واحدة وترتيبه من الأفضل إلى الأسوأ، يعمل CDVM كطاهٍ ذكي يهتم بـ التوازن.

إليك كيف يعمل CDVM، باستخدام تشبيه بسيط:

القائمة (مجموعة الاختبار): تخيل أن لديك قائمة تضم 100 عميل مختلف، لكل منهم تفضيل ذوقي محدد (مثل البعض يحب المالح، والبعض يحب الحلو، والبعض يحب الحار).
الهدف: تريد اختيار سلة صغيرة من المكونات (مثلاً 10 عناصر) تلبي رغبات الجميع في القائمة.
القيد: لا يسأل CDVM فقط: "أي مكون يجعل الحساء الأفضل بشكل عام؟" بل يسأل: "إذا اخترت هذا المكون، هل يساعد العملاء الذين يحبون الطعام الحار؟ هل يساعد العملاء الذين يحبون الطعام الحلو؟"

يضع CDVM قاعدة: لا ينبغي ترك أي عميل في القائمة غير راضٍ تماماً.

إذا كانت الطريقة القديمة ستختار 9 حبات بطاطس وحبة ترافل واحدة (متجاهلة أن البطاطس مطلوبة لزبائن "النشويات")، فإن CDVM يقول: "انتظر لحظة. إذا اخترت 9 حبات بطاطس، فأنا أتجاهل العملاء 'الحارين' الذين يحتاجون إلى الفلفل. دعونا نستبدل بعض البطاطس بقطعة فلفل لضمان حصول الجميع على شيء ما."

إنه يعامل المشكلة كأنها لغز حيث يجب عليك تعظيم السعادة الإجمالية للعملاء مع ضمان عدم تجاهل أي عميل بمفرده. إنه يجبر عملية الاختيار على الاحتفاظ بممثل واحد على الأقل من كل "مجموعة" من المكونات حتى تضطر تماماً للتخلي عنها.

لماذا يهم هذا؟

اختبرت الورقة البحثية هذه الطريقة الجديدة مقابل طرق "مسابقة الشعبية" القديمة على ست مجموعات بيانات مختلفة (مثل صور السيارات، مراجعات النصوص، والبيانات الطبية).

النتيجة: عندما أُجبر الطهاة على استخدام كميات صغيرة جداً من البيانات (مثل الاحتفاظ بـ 5% أو 10% فقط من المكونات الأصلية)، صنع منهج CDVM حساءً (نماذج) أفضل بكثير من الطرق القديمة.
رؤية "الميزانية": اكتشفت الورقة أيضاً شيئاً مفاجئاً: الـ 10% "الأفضل" من المكونات ليست بالضرورة مجموعة فرعية من الـ 20% "الأفضل". أحياناً، الـ 10% المثالية تتضمن مكوناً غريباً كنت ستضعه في كومة الـ 20% ولكنك كنت سترميه في كومة الـ 5%. CDVM ذكي بما يكفي لإعادة حساب المزيج المثالي لكل حجم ميزانية محدد، بدلاً من مجرد استخدام قائمة واحدة من "الأفضل إلى الأسوأ".

الخلاصة

تدعي الورقة أنه من خلال تغيير كيفية نظرنا إلى البيانات — من "تصنيف الأفراد" إلى "التحسين من أجل التغطية المتوازنة" — يمكننا تقليص حجم مجموعات بيانات التدريب الخاصة بنا بشكل كبير دون فقدان الأداء. وهذا يوفر الطاقة والمال، خاصة عندما نعمل مع بيانات محدودة للغاية.

باختختصر: كانت الطريقة القديمة تشبه رمي كل البطاطس لأن حبة بطاطس واحدة ليست مميزة. أما الطريقة الجديدة (CDVM) فتقول: "دعونا نحتفظ ببعض البطاطس، وبعض الجزر، وبعض التوابل، حتى نتمكن من تقديم شيء ما بغض النظر عما يريده العميل".

ملخص تقني: تعظيم قيمة البيانات المقيدة (Constraint-Data-Value-Maximization) من أجل تقليم البيانات الفعال في بيئات البيانات المنخفضة

1. بيان المشكلة

تواجه نماذج تعلم الآلة، وخاصة النماذج اللغوية الكبيرة، طلباً هائلاً على البيانات في حين أن توافر البيانات يراوح مكانه. تهدف طرق تقييم البيانات إلى عزو تأثير الحالات التدريبية الفردية على أداء النموذج لتقليل حجم مجموعة البيانات، مما يوفر الطاقة ويحسن كفاءة التدريب. ومع ذلك، تعاني الأساليب الحالية لـ تقليم البيانات (إزالة البيانات ذات القيمة المنخفضة) من قيود حرجة، لا سيما في بيئات البيانات المنخفضة حيث يتبقى جزء ضئيل فقط من مجموعة البيانات.

حدد المؤلفون ثلاثة أوجه قصور رئيسية في المنهجيات الحالية المتطورة (تحديداً الأساليب القائمة على قيم Shapley وBanzhaf):

تحيز حجم العنقود (Cluster-Size Bias): تقوم قيم Shapley وBanzhaf بتوزيع إجمالي المنفعة للعنقود بين أعضائه. وبناءً على ذلك، تتلقى النقاط في عناقيد البيانات الأكبر قيمًا هامشية أصغر من النقاط في العناقيد الأصغر. يؤدي هذا إلى الإزالة المبكرة لعناقيد كاملة كبيرة، مما يسبب انخفاضات حادة في أداء النموذج بمجرد تقليم آخر ممثل للعنقود.
تحيز التكرار (Redundancy Bias): غالباً ما تخصص طرق "ترك واحد فقط" (Leave-One-Out - LOO) قيمة صفرية للعينات المكررة، فتعجز عن التمييز بين فائدة الاحتفاظ بممثل واحد مقابل الاحتفاظ بالعديد.
المجموعات الفرعية المثلى غير المتداخلة (Non-Nested Optimal Subsets): المجموعة الفرعية من البيانات التي تعظم الدقة لميزانية احتفاظ معينة (مثلاً 10%) ليست بالضرورة مجموعة فرعية من المجموعة المثلى لميزانية أخرى (مثلاً 5%). لذا، تفشل استراتيجيات التقليم القياسية التي تفترض التداخل في التكيف مع هذه الأمثلة المحددة للميزانية.

2. المنهجية: تعظيم قيمة البيانات المقيدة (CDVM)

لمعالجة هذه القيود، يقترح المؤلفون إطار عمل تعظيم قيمة البيانات المقيدة (CDVM)، وهو إطار تحسين يعامل تقليم البيانات كمسألة تحسين مقيدة على مصفوفة عزوات البيانات.

المفاهيم الجوهرية

مصفوفة عزوات البيانات ( $T$ ): على عكس قيم البيانات القياسية، يستخدم CDVM مصفوفة $T \in \mathbb{R}^{n \times m}$ حيث $n$ هو عدد حالات التدريب و $m$ هو عدد حالات الاختبار. تعبر المدخلات $T_{i,j}$ عن تأثير حالة التدريب $i$ على تنبؤ حالة الاختبار $j$ . يتم تقدير هذه المصفوفة باستخدام مبدأ أقصى إعادة استخدام العينات (Maximum Sample Reuse - MSR)، عبر تدريب نماذج على مجموعات فرعية مستهدفة لتقريب التأثير دون الحاجة لإعادة التدريب الكامل لكل حالة.
صياغة التحسين: يصيغ CDVM عملية التقليم كعملية اختيار لمتجه ثنائي $w \in \{0, 1\}^n$ $w \in {0, 1}^{n}$ (يشير إلى حالات التدريب التي سيتم الاحتفاظ بها $S$ $S$ ) لتعظيم دالة المنفعة مع مراعاة القيود.
- الهدف: تعظيم إجمالي التأثير على عينات الاختبار مع معاقبة التركيز المفرط للتأثير على عدد قليل من عينات الاختبار.
- القيد: يجب أن يكون عدد الحالات المحتفظ بها مساوياً للميزانية $S$ .
- متغيرات الارتخاء (Slack Variables): لمنع سيناريو "الفائز يستحوذ على كل شيء" حيث تهيمن عينات اختبار قليلة على المنفعة، تقدم الطريقة متغيرات ارتخاء $t_j$ تضع حداً أقصى للتأثير لكل عينة اختبار عند العتبة $\kappa$ . أي تأثير يتجاوز $\kappa$ يتم معاقبته.

المسألة التحسينية الرسمية هي:
$\begin{aligned} \max_{w, t} \quad & \alpha \sum_{j=1}^m v_j - (1-\alpha) \sum_{j=1}^m t_j \\ \text{s.t.} \quad & v = T^\top w \\ & \sum_{i=1}^n w_i = S \\ & t_j \ge 0, \quad t_j \ge v_j - \kappa \\ & w_i \in \{0, 1\} \end{aligned}$
حيث $v_j$ هي المنفعة المستحثة لعينة الاختبار $j$ ، و $\alpha$ توازن بين إجمالي المنفعة وبين العقوبة على تجاوز العتبة.

التنفيذ

يقوم المؤلفون بفك القيد الثنائي $w_i \in \{0, 1\}$ ليصبح $w_i \in [0, 1]$ لحل المسألة كبرنامج خطي مختلط بمتغيرات صحيحة (MILP) باستخدام إطار العمل "البرمجة المعلمية المنضبطة". بعد الحل، يتم الاحتفاظ بأعلى $S$ مدخلات من $w$ . يضمن هذا النهج التغطية المتوازنة، مما يضمن عدم ترك أي عينة اختبار (وبالتالي أي عنقود بيانات ضمني) بدون أي تأثير إجمالي طالما سمحت الميزانية بذلك.

3. المساهمات الرئيسية

يقدم البحث أربع مساهمات رئيسية:

تحليل القيود الحالية: يوضح المؤلفون نظرياً وتجريبياً أن عزوات Shapley وBanzhaf تخصص مساهمات هامشية أصغر للحالات الموجودة في عناقيد البيانات الأكبر، مما يؤدي إلى أنماط إزالة غير متوازنة وأداء تقليم دون المستوى في بيئات البيانات المنخفضة.
رؤية متعلقة بالميزانية: يظهرون أن مجموعات الاحتفاظ المثلى تعتمد على الميزانية؛ فالمجموعة الفرعية التي تعظم الدقة لمستوى احتفاظ معين لا تحتوي بالضرورة على المجموعة الفرعية المثلى لمستوى آخر.
خوارزمية CDVM: تقديم CDVM، الذي يصنف التقليم كعملية تحسين على مصفوفة عزوات، مما يعالج صراحةً تحيزات التكرار وحجم العنقود من خلال فرض تغطية متوازنة عبر عينات الاختبار.
التقييم المرجعي: تقييم شامل على ست مجموعات بيانات من معيار OpenDataVal، مما أظهر أداءً قوياً وتنافسية في وقت التشغيل مقارنة بالتقنيات الرائدة.

4. النتائج التجريبية

قيم المؤلفون CDVM على ست مجموعات بيانات من معيار OpenDataVal (تشمل CIFAR-10، وAdult، وIMDB، وBBC، وPol، وNomao) عبر مستويات احتفاظ تتراوح من 5% إلى 30%.

الأداء: حقق CDVM أداءً رائداً في 28 من أصل 36 حالة (6 مجموعات بيانات $\times$ 6 معدلات تقليم). وقد تفوق باستمرار على الإزالة العشوائية، وDataBanzhaf، وطرق DataOob/Memorization.
المقارنة مع تحسين التأثير (Influence Optimization): بينما قدمت طريقة تحسين التأثير (Yang et al., 2023) أداءً تنافسياً في بعض مجموعات البيانات (خاصة Nomao)، كان CDVM هو الطريقة الوحيدة التي تفوقت باستمرار على النماذج العشوائية عبر جميع المعايوهات الستة عند ضبط المعلمات الفائقة بشكل مناسب.
كفاءة وقت التشغيل: يوفر CDVM توازناً فائقاً بين السرعة والدقة. وبينما يمثل حساب مصفوفة العزوات $T$ العقبة الرئيسية (وهي عقبة مشتركة لجميع الطرق القائمة على القيم شبه الجزئية)، فإن خطوة التحسين سريعة. لقد حقق CDVM باستخدام 5,000 نموذج نتائج تضاهي أو تفوق الطرق التي تتطلب 10,000 نموذج، مع وقت تحسين أقل بكثير من طريقة تحسين التأثير (التي تتطلب قلب مصفوفة هيسيان/Hessian inversion).
المتانة: تتميز الط طريقة بالمتانة تجاه اختيارات المعلمات الفائقة. فقد حقق التكوين الافتراضي ( $\alpha=0.5$ ، و $\kappa$ مشتق من إحصائيات مجموعة البيانات) أداءً يقارب أداء المعلمات التي تم ضبطها عبر البحث الشبكي، دون تكبد أعباء بحث إضافية.

5. الأهمية والادعاءات

يدعي البحث أن CDVM يوفر حلاً قوياً لتقليم البيانات في بيئات البيانات المنخفضة، وهي سيناريو تفشل فيه طرق Shapley الحالية غالباً بسبب تحيزاتها المتأصلة. ومن خلال الانتقال من قيم البيانات القياسية إلى تحسين مقيد على مصفوفة عزوات، يضمن CDVM أن مجموعة البيانات المتبقية تحافظ على تغطية متوازنة لتوزيع الاختبار.

يؤكد المؤلفون أن نتائجهم تسلط الضوء على وجود "مساحة كبيرة لتحسين تقليم البيانات"، مما يترجم مباشرة إلى تقليل تكاليف التدريب واستهلاك الطاقة. كما يشيرون إلى أنه بينما يعد CDVM منافساً من الناحية الحسابية، إلا أن العقبة الرئيسية تظل هي حساب وتخزين مصفوفة العزوات $T$ . يمكن للأعمال المستقبلية استكشاف مقدرات عزوات أكثر كفاءة أو استغلال ندرة (sparsity) المصفوفة $T$ للتوسع في مجموعات بيانات أكبر مثل ImageNet.

يخلص البحث إلى أن CDVM يستفيد بفعالية من عزوات البيانات لتقليم الأمثلة ذات القيمة المنخفضة دون التضحية بجودة النموذج، مما يوفر بديلاً عملياً للاختيار العشوائي واستراتيجيات التقليم الحالية القائمة على التقييم.