🤖 AI

Learning What Matters: Prioritized Concept Learning via Relative Error-driven Sample Selection

تقدم الورقة البحثية إطار عمل PROGRESS، وهو إطار عمل فعال من حيث البيانات والحوسبة لنماذج الرؤية واللغة، يقوم ديناميكياً بإعطاء الأولوية لعينات ضبط التعليمات بناءً على تقدم التعلم القائم على الخطأ النسبي، مما يتيح أداءً فائقاً باستخدام بيانات وإشراف أقل بكثير مقارنة بالنماذج المرجعية المتطورة.

المؤلفون الأصليون: Shivam Chandhok, Qian Yang, Oscar Manas, Kanishk Jain, Leonid Sigal, Aishwarya Agrawal

نُشر 2026-02-26

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shivam Chandhok, Qian Yang, Oscar Manas, Kanishk Jain, Leonid Sigal, Aishwarya Agrawal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب ذكي ولكن جائع جداً (الذكاء الاصطناعي) كيف يصبح طباخاً ماهراً.

الطريقة القديمة (التدريب التقليدي):
عادةً، لتدريب هذا الطالب، ستضع على مكتبه مكتبة ضخمة تضم كل كتاب وصفات كُتب على الإطلاق. ستقول له: "اقرأ جميع الكتب العشرة آلاف هذه، واحفظ كل مكوناتها، ثم خذ اختباراً".

المشكلة: هذا يستغرق وقتاً طويلاً جداً. كما يكلف ثروة لطباعة كل تلك الكتب (توسيم البيانات). سيشعر الطالب بالإرهاق، ويقضي وقتاً طويلاً في قراءة وصفات يعرفها بالفعل (مثل كيفية غلي الماء)، ومع ذلك قد يفتقد التقنيات الصعبة التي يحتاج حقاً لتعلمها.

الطريقة الجديدة (PROGRESS):
يقترح مؤلفو هذه الورقة البحثية، PROGRESS، معلماً أكثر ذكاءً وكفاءة. بدلاً من جعل الطالب يقرأ كل شيء، يراقب هذا المعلم الطالب عن كثب ويسأل: "ما الذي تعاني منه الآن ويمكنك إصلاحه فعلياً؟"

إليك كيف يعمل PROGRESS باستخدام بعض التشبيهات الإبداعية:

1. "خريطة المهارات" (تصنيف المفاهيم)

قبل بدء التدريب، لا يكتفي المعلم بالنظر إلى الكتب فحسب؛ بل ينظم المكتبة في "أرفف مهارات" محددة:

رف واحد لـ "تقطيع الخضروووات" (التعرف على الأشياء).
وآخر لـ "قراءة الملصقات" (التعرف الضوئي على الحروف/النصوص).
وآخر لـ "عدّ المكونات" (الرياضيات).
وآخر لـ "تذوق الحساء" (الاستنتاج المنطقي).

يستخدم المعلم ماسحاً ضوئياً خاصاً (ميزات الذكاء الاصطناعي) لفرز كل وصفة في هذه الأرفف تلقائياً، دون الحاجة إلى إنسان ليقوم بتسميتها أولاً.

2. منطقة "غولدي لوكس" (الاختيار القائم على الخطأ النسبي)

هذا هو "السر السحري". يتحقق المعلم من تقدم الطالب في كل رف كل بضع ساعات.

سهل جداً: إذا كان الطالب بارعاً بالفعل في تقطيع البصل، يقول له المعلم: "توقف عن قراءة وصفات البصل. أنت تضيع وقتك".
صعب جداً: إذا كان الطالب مبتدئاً تماماً، يقول له المعلم: "لا تحاول تعلم فن الطهي الجزيئي الآن. ستصاب بالإحباط وتستسلم فحسب".
مثالي (منطقة غولدي لوكس): يبحث المعلم عن المهارات التي يتحسن فيها الطالب بأسرع ما يمكن. هذه هي المهارات التي يكون الطالب مستعداً لتعلمها ولكن لم يتقنها بعد.

التشبيه: تخيل لعبة فيديو. أنت لا تبدأ بمحاربة الزعيم النهائي (صعب جداً)، ولا تقضي 10 ساعات في قتل نفس الوحش الضعيف (سهل جداً). بل تحارب الوحوش التي تمنحك أكبر قدر من نقاط الخبرة (XP) في الوقت الحالي. يقوم PROGRESS بالضبط بهذا الأمر للذكاء الاصطناعي.

3. "قائمة الطعام القائمة على الاحتياج" (توفير المال)

في الطريقة القديمة، كان عليك أن تدفع لإنسان ليكتب الإجابة لكل وصفة في المكتبة قبل أن يبدأ الطالب. وهذا مكلف للغاية.

مع PROGRESS، يطلب المعلم الإجابة (التسمية/Label) فقط للوصفات التي يدرسها الطالب حالياً.

النتيجة: تحتاج فقط إلى دفع تكلفة 20% من الوصفات للحصول على نفس النتائج (أو نتائج أفضل) مقارنة بقراءة 100% منها. إنه يشبه الحصول على وجبة فاخرة كاملة عن طريق طلب الأطب_ التي تحتاج فعلياً لتعلمها فقط.

4. "المنهج الدراسي" (الترتيب مهم)

لا يختار PROGRESS مجرد وصفات صعبة عشوائية، بل يبني منهجاً دراسياً.

أولاً، يعلمه كيفية تقطيع الخضروات.
بمجرد أن يصبح جيداً في ذلك، ينتقل به إلى قراءة الملصقات.
ثم ينتقل به إلى فنون التقديم المعقدة.

إنه يتحكم في ترتيب التعلم، مما يضمن بناء الطالب لقاعدة قوية قبل مواجهة المهارات المتقدمة.

لماذا يعد هذا أمراً هاماً؟

السرعة: يدرب الذكاء الاصطناعي بشكل أسرع بكثير لأنه يتخطى الأشياء المملة والأشياء المستحيلة.
المال: يوفر كمية هائلة من المال لأنه لا تحتاج لدفع بشر لتسمية ملايين الصور.
الذكاء: يتعلم الذكاء الاصطناعي بشكل أفضل فعلياً لأنه يركز على ما يحتاج لتعلمه بعد ذلك، بدلاً مما يعرفه بالفعل.

باخت-ة القول:
PROGRESS يشبه مدرساً خصوصياً يراقب واجباتك المنزلية، ويدرك أنك عالق في الكسور ولكنك بارع في الجمع، فيعطيك فوراً المزيد من مسائل الكسور لحلها—متجاهلاً مسائل الجمع التي أتقنتها بالفعل، ومسائل التفاضل والتكامل التي لست مستعداً لها بعد. إنه يتعلم ما يهم، في الوقت الذي يهم فيه تماماً.

إليك ملخص تقني مفصل لورقة البحث: "تعلم ما يهم: تعلم المفاهيم ذو الأولوية عبر اختيار العينات المدفوع بالخطأ النسبي (PROGRESS)".

١. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً ملحوظاً من خلال الضبط الدقيق للتعليمات (Instruction Tuning) واسع النطاق على مجموعات بيانات ضخمة وعالية الجودة. ومع ذلك، يواجه هذا النهج عقبات كبيرة:

كثافة الموارد: يتطلب التدريب ميزانيات حوسبة هائلة وتوسماً بشرياً مكثفاً (مثل مربعات الإحاطة، أو وسوم الكائنات، أو التعليمات المولدة بواسطة النماذج اللغوية الكبيرة)، مما يجعله غير متاح للمختبرات الأصغر.
التكرار: ليس من الواضح ما إذا كان استخدام كامل المجموعات النصية أمراً ضرورياً؛ فكثير من العينات قد تكون مكررة أو غير مفيدة معلوماتياً.
محدودية الطرق الفعالة الحالية: تعاني طرق كفاءة البيانات الحالية (مثل اختيار الـ coreset بناءً على مقاييس ثابتة مثل CLIP-Score أو EL2N أو Perplexity) من:
- الاختيار الثابت: تقوم باختيار البيانات مرة واحدة قبل التدريب ولا يمكنها التكيف مع الاحتياجات المتطورة للنموذج.
- الأعباء الإضافية العالية: تتطلب بعض هذه الطرق نماذج مرجعية مساعدة، أو تسميات (annotations) كاملة للحقيقة الأرضية (ground-truth) لكامل مجموعة البيانات، أو حسابات تدرج (gradient) مكلفة حوسبياً.
- الافتقار إلى التحكم في المنهج الدراسي: غالباً ما تتجاهل "الترتيب" الذي يجب تعلم المهارات به.

السؤال الجوهري: هل يمكن لنموذج الرؤية واللغة أن يشير ديناميكياً إلى ما يمكنه تعلمه بفعالية أكبر في مرحلة معينة من التدريب، مما يسمح بمنهج دراسي ذاتي التوجيه وفعال من حيث البيانات؟

٢. المنهجية: PROGRESS

يقترح المؤلفون إطار عمل PROGRESS (تعلم المفاهيم ذو الأولوية عبر اختيار العينات المدفوع بالخطأ النسبي)، وهو إطار يُمكّن نماذج الرؤية واللغة من اختيار عينات التدريب ديناميكياً بناءً على تقدمها في التعلم. يعمل الإطار عبر مرحلتين رئيسيتين:

أ. تصنيف المفاهيم متعدد الوسائط (غير خاضع للإشراف)

بدلاً من الاعتماد على فئات محددة مسبقاً أو استدلالات يدوية، يقوم PROGRESS بتقسيم مجمع (I, Q) غير المصنف من أزواج الصور-الأسئلة إلى "عناقيد مهارات" (clusters) متميزة.

استخراج الميزات: يستخدم مشفرات ذاتية التوجيه ومجمدة: DINO للصور و BERT للنصوص.
التجميع (Clustering): يقوم بدمج هذه الميزات وتطبيعها (normalization)، ثم يطبق خوارما Spherical K-Means لتجميع العينات في $K$ من العناقيد.
النتيجة: تمثل هذه العناقيد مهارات بصرية-لغوية متماسكة (مثل التعرف الضوئي على الحروف OCR، تحديد الكائنات، العد، والاستداد البرمجي) دون الحاجة إلى تسميات أو نماذج مساعدة.

ب. تعلم المفاهيم ذو الأولوية (الاختيار الديناميكي)

أثناء التدريب، يقوم النموذج بتقييم نفسه دورياً لتحديد المهارات التي يمكن "تعلمها" تالياً.

تتبع التقدم: يتتبع النموذج أداءه (الدقة أو الخسارة) لكل عنقود $k$ عند الخطوة $t$ ( $Acc_k^{(t)}$ ) مقارنة بحالة سابقة ( $Acc_k^{(t-\gamma)}$ ).
مقياس التحسن النسبي: يحسب التغير النسبي في الأداء لكل عنقود:
$\Delta_k = \frac{Acc_k^{(t)} - Acc_k^{(t-\gamma)}}{Acc_k^{(t-\gamma)} + \epsilon}$
يحدد هذا المقياس المهارات التي يتحسن فيها النموذج بأسرع وتيرة (منطقة التطور القريب).
استراتيجية أخذ العينات:
- اختيار Softmax: لموازنة المعلوماتية (التحسن العالي في $\Delta_k$ ) والتنوع (تغطية مهارات متعددة)، يتم أخذ عينات من العناقيد باحتمالية:
  $p_k = \frac{\exp(\Delta_k / \tau)}{\sum_j \exp(\Delta_j / \tau)}$
  حيث $\tau$ هو معامل درجة الحرارة الذي يتحكم في المقايضة.
- التسمية القائمة على الحاجة: يتم الاستعلام عن التسميات (الإجابات $A$ ) فقط للعينات المختارة. وتظل بقية المجموعة غير مصنفة.
مرحلة الإحماء (Warmup): تضمن مرحلة أولية قصيرة (باستخدام مجموعة فرعية صغيرة ومتنوعة) امتلاك النموذج لقدرات أساسية في اتباع التعليمات قبل بدء الاختيار الديناميكي.

٣. المساهمات الرئيسية

إطار عمل ديناميكي مدفوع بالتقدم: يعد PROGRESS أول طريقة تستخدم إشارات التعلم الخاصة بالنموذج نفسه لدفع منهج دراسي ذاتي التوجيه لنماذج الرؤية واللغة واسعة النطاق، مما يلغي الحاجة إلى نماذج مرجعية مساعدة أو استدلالات يدوية.
كفاءة البيانات والتسميات: يحقق أداءً يقارب أداء البيانات الكاملة (99-100%) باستخدام 16-20% فقط من البيانات المصنفة. والأهم من ذلك، أنه يقلل تكاليف التسمية بنسبة 80% من خلال الاستعلام عن الإجابات عند الحاجة فقط.
التحكم في المنهج الدراسي: على عكس الطرق الثابتة، يتحكم PROGRESS في كل من أي المهارات يتم اكتسابها وترتيب اكتسابها، مع إعطاء الأولوية للمهارات التي تقدم أعلى عائد هامشي.
القابلية للتوسع والتعميم: تتعمم الطريقة عبر بنيات نماذج مختلفة (LLaVA, Qwen2-VL)، وأحجام نماذج مختلفة (7B إلى 3B)، ومجموعات بيانات متنوعة (LLaVA-665K, Vision-Flan).
كفاءة الوقت: من خلال تجنب حسابات التدرج الثقيلة وتدريب النماذج المساعدة، يقلل PROGRESS إجمالي وقت التدريب الفعلي بشكل كبير مقارنة بالنماذج المرجعية.

٤. النتائج التجريبية

أُجريت التجارب على مجموعتي بيانات LLaVA-665K و Vision-Flan-191K، مع التقييم مقابل نماذج مرجعية قوية (Random, CLIP-Score, EL2N, COINCIDE, ICOS, إلخ) عبر 14 اختباراً متنوعاً (VQAv2, MME, CMMMU, إلخ).

الأداء:
- على LLaVA-v1.5-7B (ميزانية بيانات 20%)، حقق PROGRESS نسبة 98.8% من الأداء النسبي مقارنة بالضبط الدقيق للبيانات الكاملة، متفوقاً على جميع النماذج المرجعية (بما في ذلك COINCIDE بنسبة 97.8% و Random بنسبة 95.0%).
- على LLaVA-v1.5-13B، حقق 96.8% من الأداء النسبي.
- على Qwen2-VL-7B، حقق 100.0% من الأداء النسبي، متجاوزاً الضبط الدقيق للبيانات الكاملة.
- ومن الجدير بالذكر أن PROGRESS تجاوز أداء البيانات الكاملة في اختبارات محددة مثل VizWiz و SQA-I و CMMMU.
الكفاءة:
- تكلفة التسمية: انخفضت من ~1902 ساعة (البيانات الكاملة) إلى ~380 ساعة (20% من البيانات).
- وقت التدريب: أكمل PROGRESS التدريب في 5.67 ساعة (بما في ذلك وقت الاختيار)، مقارنة بـ 9 ساعات للضبط الدقيق للبيانات الكاملة و +8 ساعات لـ COINCIDE (الذي يتضمن وقت استخراج الميزات والتجميع).
دراسات الاستئصال (Ablation Studies):
- التحسن النسبي مقابل المطلق: كان استخدام التحسن النسبي ( $\Delta_k$ ) أمراً حاسماً؛ حيث إن التحسن المطلق كان ينحاز نحو المهام السهلة.
- درجة الحرارة ( $\tau$ ): وفرت قيمة $\tau=1.0$ التوازن الأمثل بين التركيز على المهارات ذات الربح العالي والحفاظ على التنوع.
- ترتيب المهارات: أدى خلط ترتيب التدريب (تجاهل المنهج الدراسي) إلى انخفاض الأداء من 98.8% إلى 94.6%، مما يثبت أهمية تسلسل التعلم.

٥. الأهمية

يمثل PROGRESS تحولاً في نموذج تدريب نماذج الرؤية واللغة (VLM) الفعالة:

سهولة الوصول: يساهم في جعل تدريب نماذج الرؤية واللغة عالية الأداء متاحاً للجميع عبر تقليل الحاجة إلى التسميات المكلفة وموارد الحوسبة، مما يجعله ممكناً لمجموعات البحث الأصغر.
الرؤية النظرية: يؤكد فرضية أن نماذج الرؤية واللغة يمكنها تنظيم منهجها الدراسي ذاتياً، وتحديد "منطقة التطور القريب" للمهارات متعددة الوسائط بفعالية.
الأثر العملي: من خلال إثبات أن مجموعة فرعية صغيرة مختارة ديناميكياً يمكن أن تتفوق على مجموعات البيانات الضخمة والثابتة، يوفر PROGRESS مساراً قابلاً للتوسع لتدريب النماذج متعددة الوسائط من الجيل القادم دون التكاليف الباهظة لقوانين القياس الحالية.

باختالا ص، يستبدل PROGRESS عملية اختيار البيانات الثابتة والمستهلكة للموارد بعملية ديناميكية، ذاتية الإشراف، ومدفوعة بالتقدم، مما يثبت أن "تعلم ما يهم" أكثر فعالية من "تعلم كل شيء".