🤖 machine learning

DirPA: Addressing Prior Shift in Imbalanced Few-shot Crop-type Classification

توسع هذه الورقة البحثية طريقة تعزيز أولوية ديريكليه (DirPA) لتشمل دولاً متعددة في الاتحاد الأوروبي، مما يثبت فعاليتها في معالجة انزياح الأولوية وتحسين متانة النموذج وأداء الفئات النوعية لتصنيف أنواع المحاصيل في حالات التعلم من عينات قليلة غير متوازنة عبر بيئات زراعية متنوعة.

المؤلفون الأصليون: Joana Reuss, Ekaterina Gikalo, Marco Körner

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Joana Reuss, Ekaterina Gikalo, Marco Körner

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب كيفية التعرف على أنواع مختلفة من المحاصيل في حقل باستخدام بضع صور فقط. هذا هو تحدي التعلم بالقليل من البيانات (Few-Shot Learning): تعليم الكمبيوتر باستخدام كمية ضئيلة جداً من البيانات.

ومع ذلك، هناك عقبة؛ ففي العالم الحقيقي، توجد بعض المحاصيل (مثل القمح) في كل مكان، بينما تكون محاصيل أخرى (مثل الأعشاب النادرة) نادرة جداً. وهذا ما يسمى عدم توازن الفئات (Class Imbalance).

المشكلة: فخ "الفصل الدراسي المتوازن"

تقليدياً، عندما يقوم الباحثون بتدريب نماذج الذكاء الاصطناعي هذه، فإنهم ينشئون "فصلاً دراسياً متوازناً". فهم يقدمون للذكاء الاصطناعي عدداً متساوياً من صور القمح، والذرة، والأعشاب النادرة، حتى لو كانت الأعشاب النادرة شبه معدومة في الواقع.

التشبيه:
تخيل أنك تدرب طباخاً على التعرف على المكونات. قدمت له مجموعة تدريبية تحتوي على 100 تفاحة، و100 برتقالة، و100 من الكمأة النادرة. يتعلم الطباخ بشكل مثالي. ولكن بعد ذلك، أرسلته إلى سوق حقيقي حيث 90% من الفاكهة هي تفاح، و9% برتقال، و1% فقط كمأة.

لأن الطباخ قد تدرّب على عالم "متوازن تماماً"، فإنه يصاب بالارتباك في السوق الحقيقي. قد يعتقد أن كل تفاحة يراها هي في الواقع كمأة لأنه استعد بشكل مبالغ فيه للكمأة. في مصطلحات الذكاء الاصطناعي، يسمى هذا انزياح الأولوية (Prior Shift): العالم الذي يتم التدريب عليه لا يتطابق مع العالم الحقيقي، مما يؤدي إلى تنبؤات سيئة.

الحل: DirPA (تقنية "الخيال")

يقدم مؤلفو هذه الورقة البحثية طريقة تسمى DirPA (تعزيز ديريكليه المسبق). بدلاً من مجرد عرض الصور "المتوازنة" للذكاء الاصطناعي، فإنهم يعلمونه كيف يتخيل شكل العالم الحقيقي الفوضوي أثناء عملية التعلم.

التشبيه الإبداعي: "الطباخ الحرباء"
فكر في نموذج الذكاء الاصطناعي كطباخ يحتاج لتعلم الطبخ في أي مطعم، من المطاعم الفاخرة ذات الخمس نجوم إلى عربات الطعام المزدحمة.

الطريقة القديمة: يتدرب الطباخ فقط في مطبخ تتوفر فيه كل المكونات بكميات متساوية. يصبح بارعاً في موازنة النكهات، لكنه يفشل عندما يصل إلى عربة طعام لا تملك سوى 5 حبات بطاطس و100 بصلة.
طريقة DirPA: أثناء التدريب، يُعطى الطباخ "مرطبان توابل سحري" (توزيع ديريكليه). في كل مرة يطبخ فيها طبقاً، يغير المرطبان الوصفة عشوائياً.
- السيناريو أ: اليوم، يقول المرطبان: "اصنع طبقاً يحتوي على 90% بصل و10% بطاطس".
- السيناريو ب: غداً، يقول المرطبان: "اصنع طبقاً يحتوي على 50% بصل و50% بطاطس".
- السيناريو ج: في المرة القادمة، "99% بطاطس، و1% بصل".

من خلال التدرب على هذه السيناريوهات العشوائية وغير المتوازنة، يتعلم الطباخ أن يكون مرناً. يتوقف عن افتراض أن "كل شيء متساوٍ" ويتعلم التعامل مع الواقع حيث يهيمن مكون واحد. يتعلم أن يقول: "حسناً، أنا أرى الكثير من البصل، لذا لا ينبغي أن أتفاجأ إذا لم أجد الكثير من البطاطس".

ماذا وجدوا؟

اختبر الباحثون طريقة "الطباخ الحرباء" هذه عبر ثماني دول أوروبية مختلفة (مثل بلجيكا، ألمانيا، إسبانيا، إلخ)، ولكل منها مزيجها الفريد من المحاصيل والطقس.

إنها تعمل في كل مكان: لم تنجح الطريقة في بلد واحد فحسب، بل كانت قوية ومتينة عبر جميع تلك البلدان.
كلما زاد عدم التوازن، كان الأداء أفضل: نجحت الطريقة بشكل أفضل في الأماكن التي كانت فيها المحاصيل غير متوازنة للغاية (مثل بلجيكا، حيث يهيمن محصول واحد). وهذا هو بالضبط المكان الذي يفشل فيه نهج "الفصل الدراسي المتوازن" بشدة.
شبكة أمان أفضل: حتى عندما لم يستطع الذكاء الاصطناعي تحديد نوع القمح بدقة (مثل "القمح اللين الشتوي")، فقد كان أفضل بكثير في تحديد الفئة (مثل "القمح"). وهذا أمر بالغ الأهمية للمزارعين الذين يحتاجون لمعرفة "هل هذا محصول حبوب؟" حتى لو لم يكونوا متأكدين من النوع المحدد.

لماذا يهم هذا؟

في العالم الحقيقي، لا يمكننا دائما الحصول على بيانات مثالية. تصنيف بيانات المحاصيل مكلف وصعب، وغالباً ما ينتهي بنا الأمر بمجموعات بيانات لا تشبه الواقع.

DirPA يشبه "المحاكي" للذكاء الاصطناعي. فهو يجبر الذكاء الاصطناعي على التدرب على "أسوأ السيناريوهات" (حيث تكون البيانات نادرة وغير متساوية) أثناء التدريب. وبحلول الوقت الذي يذهب فيه الذكاذ الاصطناعي إلى العالم الحقيقي، لا يصاب بالصدمة من عدم التوازن، بل يكون مستعداً.

باخت-القول:
تعلمنا هذه الورقة أنه لبناء ذكاء اصطناعي يعمل في العالم الحقيقي الفوضوي، لا ينبغي لنا فقط تدريبه على بيانات "مثالية". بل يجب علينا تدريبه على توقع الفوضى، باستخدام "مرطبان توابل سحري" رياضي لمحاكاة عشوائية الطبيعة. هذا يجعل الذكاء الاصطناعي أكثر ذكاءً، وأكثر موثوقية، ومستعداً للعالم الحقيقي.

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "DirPA: معالجة انزياح الأولوية في تصنيف أنواع المحاصيل غير المتوازنة في سياق التعلم القليل العينات (Few-shot)."

1. بيان المشكلة

تعالج الورقة تحدياً حرجاً في الاستشعار عن بعد الزراعي: عدم توازن الفئات وانزياح التوزيع الأولي (Prior Shift) في سيناريوهات التعلم القليل العينات (FSL).

السياق: تعاني المراقبة الزراعية في العالم الحقيقي من عدم توازن شديد في الفئات (على سبيل المثال، القمح شائع؛ بينما البقدونس نادر) وتكاليف عالية للحصول على البيانات المصنفة (Labels).
الصراع: تفترض أطر عمل التعلم القليل العينات القياسية عادةً مجموعات تدريب متوازنة (Support Sets) لتسهيل عملية التعلم. ومع ذلك، فإن بيانات النشر في العالم الحقيقي تتبع توزيعاً "طويل الذيل" (Long-tailed).
النتيجة: يؤدي التدريب على بيانات متوازنة بينما يتم الاختبار على بيانات غير متوازنة إلى حدوث انزياح في الأولوية (حيث يختلف التوزيع الأولي للتدريب $p_{train}(y)$ عن التوزيع الأولي للاختبار $p_{test}(y)$ ). يتسبب هذا في تعلم النماذج لانحيازات خاطئة، مما يؤدي إلى ضعف في التعميم، وثقة مفرطة في الفئات الأكثر شيوعاً، وفشل كارثي في الفئات الأقل شيوعاً.
محدودية الحلول الحالية: غالباً ما تقوم الطرق التقليدية بتعديل احتمالات الفئات وقت الاستدلال (مثل تقدير الصندوق الأسود للانزياح - Black Box Shift Estimation) أو تعتمد على خوارزميات ميتا-تعلم (Meta-learning) معقدة ذات تكاليف حوسبية عالية. كانت المحاولات السابقة لاستخدام توزيعات ديريكليه (Dirichlet) تقتصر في الغالب على تقييم مجموعات الاختبار غير المتوازنة بدلاً من التدريب ضدها.

2. المنهجية: تعزيز أولوية ديريكليه (DirPA)

يقترح المؤلفون DirPA، وهي استراتيجية تعزيز في وقت التدريب تعمل بشكل استباقي على التخفيف من انزياح الأولوية عبر محاكاة توزيعات تسمية متنوعة أثناء عملية التعلم.

المفهوم الجوهري: بدلاً من افتراض أولوية ثابتة، يتم تدريب النموذج باستخدام أولويات زائفة (Pseudo-priors) يتم أخذ عينات منها ديناميكياً من توزيع ديريكليه متماثل، $Dir(\alpha \cdot \mathbf{1})$ .
الآلية:
1. أخذ العينات: في كل تكرار تدريبي $s$ ، يتم أخذ عينة من أولوية زائفة $\tilde{\pi}^{(s)}$ من توزيع ديريكليه. يتحكم معامل التركيز $\alpha$ في درجة عدم التوازن (حيث ينتج $\alpha < 1$ توزيعات منحرفة بشدة؛ بينما ينتج $\alpha \ge 1$ توزيعات قريبة من التوزيع الموحد).
2. تعديل اللوجيت (Logit Adjustment): يتم حقن الأولوية المأخوذة في لوجيتات النموذج ( $z_i$ ) عبر تعديل لوغاريتمي:
  $z'_i \leftarrow z_i + \tau \log(\tilde{\pi}^{(s)})$
  حيث $\tau$ هو عامل قياس.
3. التحسين (Optimization): يتم تدريب النموذج على هذه اللوجيتات المعدلة باستخدام دوال الخسارة القياسية (Cross-Entropy أو Focal Loss).
الفائدة النظرية: من خلال التعلم عبر مجموعة واسعة من الأولويات، يتعلم النموذج تمثيلات مستقلة عن الأولوية (Prior-agnostic representations). فهو يقوم برسم الميزات إلى كثافة احتمالية فوق الـ (Simplex) بدلاً من تقدير نقطة واحدة، مما يلتقط عدم اليقين الإبستيمي (Epistemic Uncertainty) ويمنع النموذج من الإفراط في التخصيص (Overfitting) لمجموعة الدعم المتوازنة اصطناعياً.

3. المساهمات الرئيسية

التوسع الجغرافي والتحقق: وسعت الدراسة مفهوم DirPA الأصلي (الذي تم اختباره محلياً سابقاً) إلى مجموعة بيانات واسعة النطاق ومتعددة الدول تغطي ثماني دول أوروبية متنوعة (النمسا، بلجيكا، إستونيا، ألمانيا، لاتفيا، ليتوانيا، البرتغال، سلوفاكيا، سلوفينيا، إسبانيا) باستخدام مجموعة بيانات EuroCropsML 2.0.
تحليل الأداء المعتمد على عدم التوازن: أظهر المؤلفون ارتباطاً قوياً بين عدم التوازن الهيكلي للفئات في مجموعة البيانات (مقاساً بـ معامل جيني - Gini coefficient) وحجم مكاسب الأداء. يحقق DirPA أكبر التحسينات في المناطق ذات عدم التوازن الشديد (مثل بلجيكا وسلوفينيا).
المتانة الهرمية: لا يعزز الأسلوب التصنيف الدقيق للمحاصيل (HCAT Level 6) فحسب، بل يعزز أيضاً تحديد غطاء الأرض الأوسع (HCAT Level 3). فهو يعمل كـ "مثبت هرمي"، مما يضمن أنه حتى إذا تم تصنيف أنواع محاصيل معينة بشكل خاطئ، فإن النموذج يحدد فئة غطاء الأرض الأم بشكل صحيح.
تقسيم البيانات الواقعي: على عكس العديد من دراسات التعلم القليل العينات التي تستخدم تقسيمات عشوائية، طبق المؤلفون استراتيجية تقسيم واعية بالفئات تضمن تمثيل جميع الفئات المستهدفة في مجموعة التدريب، مما يمنع تحيزات التقييم في حالة "الصفر عينة" (Zero-shot) ويسمح بتعلم قليل العينات واقعي.

4. النتائج التجريبية

استخدمت التجارب بنية قائمة على المحولات (Transformer) مكونة من 4 طبقات و8 رؤوس انتباه، تم تدريبها مسبقاً في النمسا وألمانيا، ثم ضبطها بدقة (Fine-tuning) على الدول المتبقية مع 1، 5، 10، 20، و100 عينة (Shots).

مقاييس الأداء: كان المقياس الأساسي هو معامل كوهين كابا ( $\kappa$ )، الذي تم اختياره لمراعاة عدم توازن الفئات والاتفاق العرضي. كما تم الإبلاغ عن الدقة الإجمالية (Micro-averaged Accuracy) ودرجة F1 (Macro-averaged F1).
النتائج الرئيسية:
- مكاسب مستمرة: تفوق DirPA باستمرار على النماذج المرجعية (Cross-Entropy و Focal Loss القياسية) في جميع الدول وإعدادات عدد العينات.
  يدمج DirPA مكاسب نسبية في كابا تصل إلى 45% (مثل إستونيا) و 33% (في بلجيكا).
- أنظمة العينات العالية: مع زيادة عدد العينات، بدأ عدم التوازن الطبيعي للفئات في الظهور في بيانات التدريب. استمر DirPA في تقديم مكاسب (تصل إلى 9% في إعدادات 100 عينة) من خلال منع هيمنة الفئات الأكثر شيوعاً.
- الارتباط بعدم التوازن: أظهرت الدول ذات معاملات جيني المرتفعة (مثل بلجيكا $G=0.939$ ، وسلوفينيا $G=0.928$ ) أكبر تحسينات في الأداء. أما الدول ذات عدم التوازن الأقل (مثل إسبانيا وليتوانيا) فقد أظهرت مكاسب أكثر تواضعاً.
- النجاح الهرمي: حسن DirPA بشكل كبير درجات F1 عند المستوى الأعلى (المستوى 3)، مما يثبت أن النموذج يتعلم ميزات هيكلية قوية حتى عندما تكون التمييزات الدقيقة صعبة.
- وقت التشغيل: لم تؤدِ إضافة DirPA إلى زيادة كبيرة في وقت التدريب؛ بل في كثير من الحالات، قللت من وقت التدريب بسبب سرعة التقارب أو التوقف المبكر.

5. الأهمية والخاتمة

سد الفجوة: يجسد DirPA بفعالية الفجوة بين التوازن الاصطناعي المطلوب لتدريب التعلم القليل العينات وبين واقع "الذيل الطويل" للبيانات الزراعية، مما يلغي الحاجة إلى تصحيحات معقدة في وقت الاستدلال.
الموثوقية التشغيلية: توفر الطريقة حلاً قوياً للمراقبة الزراعية في العالم الحقيقي حيث ندرة البيانات وعدم توازن الفئات هما القاعدة. فهي تضمن عدم فشل النماذج بشكل كارثي في أنواع المحاصيل النادرة ولكن الهامة.
الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما يعد توزيع ديريكليه المتماثل قوياً، فإن تحسين المعلمات الفائقة ( $\alpha$ و $\tau$ ) ليس بالأمر السهل ويعتمد على مجموعة البيانات. قد يستكشف العمل المستقبلي تعلم معامل التركيز $\alpha$ ديناميكياً.

باختدال، تثبت هذه الورقة أن DirPA يمثل تقنية تنظيم متطورة وفعالة حوسبياً، تحسن بشكل كبير موثوقية وتعميم مصنفات المحاصيل في البيئات الزراعية غير المتوازنة والواقعية.