🤖 machine learning

Towards Multimodal Active Learning: Efficient Learning with Limited Paired Data

تقدم هذه الورقة أول إطار عمل للتعلم النشط متعدد الوسائط مع بيانات غير متوافقة، حيث تقترح خوارزمية مدركة للوسائط تعمل على اكتساب التوافقات عبر الوسائط بكفاءة لتقليل تكاليف التوسيم بشكل كبير مع الحفاظ على أداء النموذج.

المؤلفون الأصليون: Jiancheng Zhang, Yinglun Zhu

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiancheng Zhang, Yinglun Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فهم العالم، ولكن لديك كومتان منفصلتان من المعلومات: مكتبة ضخمة من الصور ومكتبة ضخمة من الأوصاف. المشكلة؟ الصور والأوصاف مختلطة تماماً. لديك صورة لتفاحة حمراء، لكنها موضوعة بجانب وصف لسيارة زرقاء. أنت لا تعرف أي وصف ينتمي لأي صورة.

لجعل الروبوت ذكياً، تحتاج إلى ربطهما ببعضهما بشكل صحيح. ولكن يجب على خبير بشري القيام بعملية الربط هذه، وهي عملية مكلفة وبطيئة. لا يمكنك تحمل تكلفة ربط كل صورة بكل وصف.

هذه هي المشكلة التي تحلها هذه الورقة البحثية. فهي تقدم "مساعداً ذكياً" (خوارزمية) يكتشف أي أزواج محددة من (الصورة-الوصف) هي الأكثر أهمية لفحصها أولاً، حتى تتمكن من تعليم الروبوت بفعالية دون إضاعة المال على الأشياء السهلة أو الواضحة.

إليك كيف شرحت الورقة ذلك، باستخدام تشبيهات بسيطة:

1. الطريقة القديمة مقابل المشكلة الجديدة

الطريقة القديمة (أحادية النمط): تخيل أن لديك كومة من الصور، وكل ما عليك فعله هو سؤال إنسان: "هل هذا قط أم كلب؟". الصور مصنفة بالفعل؛ أنت فقط تحتاج إلى التسمية (Label). هذا أمر سهل.
المشكلة الجديدة (متعددة الأنماط غير المتوافقة): الآن، لديك كومة من الصور وكومة من الجمل، لكنهما غير متطابقتين. أنت لا تعرف أي جملة تصف أي صورة.
- التحدي: لا يمكنك مجرد السؤال: "هل هذا قط؟" بل يجب أن تسأل: "هل هذه الجملة تصف هذه الصورة؟"
- الفخ: إذا حاولت فحص كل صورة مقابل كل جملة لإيجال التطابق الصحيح، فستضطر للقيام بمليارات المقارنات. الأمر يشبه محاولة العثور على إبرة معينة في كومة قش عن طريق فحص كل قطعة قش مقابل كل قطعة أخرى. سيستغرق ذلك وقتاً طويلاً جداً.

2. الحل: خوارزمية "الكشاف الذكي" (Smart Scout)

ابتكر المؤلفون طريقة جديدة تعمل مثل "الكشاف الذكي". بدلاً من فحص كل شيء، يستخدم الكشاف حيلتين رئيسيتين للعثور على أفضل الأزواج بسرعة:

الحيلة (أ): "مكتشف الفجوات" (التنوع)

تخيل أن الصور منتشرة على خريطة عملاقة. بعض المناطق مزدحمة بصور القطط؛ ومناطق أخرى فارغة.

ينظر الكشاف إلى الصور التي لم يتم ربطها بعد.
يسأل: "أين توجد أكبر المساحات الفارغة على الخريطة؟"
يختار صوراً من تلك المساحات الفارغة لضمان أن الروبوت سيتعلم عن كل شيء، وليس فقط الأشياء التي يعرفها بالفعل. هذا يضمن التغطية (Coverage).

الحيلة (ب): "فحص الثقة" (عدم اليقين)

بمجرد أن يختار الكشاف بعض الصور المثيرة للاهتمام من المساحات الفارغة، فإنه ينظر إلى كومة الجمل.

يسأل الروبوت: "أي جملة تعتقد أنها تطابق هذه الصورة؟"
إذا كان الروبوت متأكداً بنسبة 100% ("هذا بالتأكيد قط!")، يتجاوزه الكشاف. إنه أمر سهل للغاية، والروبوت يعرفه بالفعل.
إذا كان الروبوت مرتبكاً ("هل هذا قط؟ أم كلب؟ أم ثعلب؟")، فإنه يضع علامة عليه كأولوية قصوى.
يقوم الكشاف بعد ذلك بإيجاد الجملة التي تسبب أكبر قدر من الارتباك ويطلب من الإنسان تأكيد المطابقة. هذه هي اللحظة الأكثر قيمة للتعلم.

3. لماذا يعد هذا أمراً هاماً؟

طريق ذو اتجاهين: في الماضي، كان بإمكانك فقط السؤال "ما هذه الصورة؟" (صورة $\leftarrow$ نص). هذه الطريقة الجديدة تسمح لك بالبدء من أي جانب: "ما الصورة التي تطابق هذه الجملة؟" أو "ما الجملة التي تطابق هذه الصورة؟". الأمر يشبه القدرة على دخول الغرفة من أي من البابين.
السرعة: لأن الكشاف يفحص فقط مجموعة صغيرة مختارة بذكاء من المرشحين (مجموعة فرعية/Coreset) بدلاً من المكتبة بأكملها، فإنه يعمل بشكل خطي.
- تشبيه: إذا كان لديك مليون عنصر، فإن الطريقة الغبية ستحاول مقارنة تريليون زوج (وهذا مستحيل). أما هذه الطة الجديدة، فستحاول إجراء بضعة ملايين من المقارنات فقط (وهو أمر يمكن القيام به في ثوانٍ).
التوفير: تُظهر التجارب أنه باستخدام هذا "الكشاف الذكي"، يمكنك تعليم الروبوت بنفس كفاءة فحص كل شيء، ولكنك ستحتاج فقط إلى دفع تكلفة 40% أقل من عمليات التحقق البشرية.

4. التأثير في العالم الحقيقي

فكر في التصوير الطبي. لدى الأطباء آلاف الأشعة السينية وآلاف التقارير، لكنها ليست متطابقة تماماً. يجب على خبير بشري الجلة لربطها.

باستخدام هذه الطريقة، يمكن للكمبيوتر أن يقول: "مهلاً، هاتان الـ 100 أشعة سينية هما الأكثر إرباكاً والأكثر تميزاً. دعونا نطلب من الطبيب مطابقة هاتين فقط".
يوفر الطبيب ساعات من العمل، ويتعلم الذكاء الاصطناعي بنفس السرعة.

ملخص

الورقة البحثية تدور حول الكفاءة. إنها تعلم الحواسيب كيف تكون فضولية. بدلاً من سؤال البشر عشوائياً لتسمية كل شيء، يتعلم الكمبيوتر أن يسأل: "ما هو الشيء الواحد الذي لا أفهمه بعد والذي سيعلمني الكثير؟". من خلال التركيز على الأشياء المربكة والفريدة، يبني الكمبيوتر عقلاً أذكى بجهد بشري أقل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو التعلم النشط متعدد الوسائط: تعلم فعال مع بيانات مقترنة محدودة".

1. تعريف المشكلة

تتناول الورقة عقبة حرجة في مسارات التعلم متعدد الوسائط الحديثة: التكلفة العالية للحصول على المحاذاة عبر الوسائط (على سبيل المثال، مطابقة صورة مع وصف نصي صحيح لها).

الإطار العام: على عكس التعلم النشط (AL) القياسي الذي يفترض وجود بيانات محاذية مسبقاً أو مدخلات أحادية الوسائط، تقدم هذه الدراسة التعلم النشط متعدد الوسائط مع بيانات غير محاذية.
- يبدأ المتعلم بمجموعتين مستقلتين من البيانات: مجموعة من السمات البصرية ( $D_v$ ) ومجموعة من السمات اللغوية ( $D_l$ ).
- هذه السمات تكون في البداية غير محاذية.
- الهدف هو اختيار مجموعة فرعية من الحالات بشكل نشط لتوسيمها (دفع تكلفة للكشف عن الزوج الصحيح $(x_v, x_l)$ ) لتدريب نموذج متعدد الوسائط عالي الجودة (مثل نماذج التباين من نوع CLIP).
التحديات الرئيسية:
1. المحاذاة ثنائية الاتجاه: يجب على المتعلم أن يقرر ليس فقط أي البيانات سيستعلم عنها، بل وأيضاً أي وسيط سيستعلم منه (من الرؤية $\leftarrow$ إلى اللغة أو من اللغة $\leftarrow$ إلى الرؤية). تؤدي الاتجاهات المختلفة إلى مسارات توسيم مختلفة.
2. مساحة المرشحين الضخمة عبر الوسائط: يتطلب تقييم فائدة صورة واحدة تسجيل درجة لها مقابل جميع المرشحين النصيين المحتملين (والعكس صحيح). النهج الساذج يتوسع بشكل تربيعي ( $O(|D|^2)$ )، مما يجعل الأمر غير ممكن حسابياً لمجموعات البيانات الكبيرة (مثل ملايين الأزواج).

2. المنهجية

يقترح المؤلفون خوارزمية جديدة (الخوارزمية 1) تدمج مبادئ عدم اليقين والتنوع ضمن إطار عمل مدرك للوسيط. تعمل الخوارزمية بشكل تكراري عبر $T$ من الجولات.

خطوات الخوارزمية الأساسية:

اختيار الوسيط (التنوع):
- تحدد الخوارزمية أولاً أي وسيط (الرؤية أو اللغة) هو "الأقل تمثيلاً" حالياً في المجموعة الموسومة $S_{t-1}$ .
- تحسب أقصى مسافة من السمات غير المحاذية إلى أقرب جيرانها في المجموعة الموسومة. يتم اختيار الوسيط الذي يمتلك أكبر مسافة (أقل تغطية) للجولة الحالية.
بناء النواة المركزية (Coreset) (التنوع):
- بدلاً من تقييم جميع البيانات غير المحاذية، تبني الخوارزمية نواة مركزية ( $C$ ) بحجم $B_C$ من الوسيط المختار.
- يتم اختيار هذه النواة لتعظيم التغطية للمجمع غير المحاذي بالنسبة للبيانات الموسومة بالفعل.
- تقلل هذه الخطوة مساحة البحث من كامل مجموعة البيانات $|D|$ إلى مجموعة فرعية يمكن التحكم بها $B_C$ ، مما يضمن بقاء حساب عدم اليقين اللاحق فعالاً.
الاختيار القائم على عدم اليقين:
- داخل النواة المركزية المنشأة، تحسب الخوارزمية درجة الهامش (margin score) لكل مرشح.
- لكل مرشح $x_{kt}$ ، تحسب درجات التشابه مقابل جميع السمات غير المحاذية في الوسيط الآخر ( $m$ ).
- يُعرف مقياس عدم اليقين كالهامش بين أعلى درجتي تشابه: $u(x) = w^{(1)} - w^{(2)}$ .
- يتم اختيار المرشحين ذوي أدنى درجات الهامش (أعلى درجات عدم اليقين) للتوسيم.
تحديث النموذج:
- يتم توسيم الأزواج المختارة، وإضافتها إلى مجموعة التدريب، ثم إعادة تدريب النموذج متعدد الوسائط.

تحليل التعقيد:

النهج الساذج: $O(|D|^2)$ في كل جولة بسبب حسابات الأزواج.
النهج المقترح: $O((B_C + |S_{t-1}|) \cdot |D|)$ في كل جولة.
النتيجة: تحقق الخوارزمية تعقيداً زمنياً خطياً بالنسبة لحجم مجموعة البيانات $|D|$ ، مما يجعلها قابلة للتوسع لمجموعات البيانات متعددة الوسائط الضخمة.

التوسعات:

إطار العمل المتدفق (Streaming): تتكيف الخوارزمية بسلاسة مع البيانات المتدفقة حيث يكون المجمع منفصلاً ويصل في دفعات، وذلك ببساطة عن طريق قصر مجموعة المرشحين على الدفعة الحالية.
تعدد الوسائط العام: يمتد الإطار ليشمل $m \geq 3$ من الوسائط من خلال تعميم خطوات اختيار الوسيط وتجميع عدم اليقين.

3. المساهمات الرئيسية

صياغة مشكلة جديدة: تحدد الورقة أول إطار عمل لـ التعلم النشط متعدد الوسائط مع البيانات غير المحاذية، مما يميزها عن التعلم النشط أحادي الوسيط والتعلم متعدد الوسائط الحالي الذي يفترض وجود أزواج محاذية مسبقاً.
خوارزمية مبتكرة: تطوير خوارمة مدركة للوسيط تجمع بين عدم اليقين (تسجيل الهامش) والتنوع (بناء النواة المركزية) للتعامل مع المحاذاة ثنائية الاتجاه ومساحات البحث الكبيرة بكفاءة.
الكفاءة النظرية: إثبات التعقيد الزمني الخطي في عدد الحالات غير المحاذية، والتغلب على العقبة التربيعية التي تفرضها عمليات حساب التشابه عبر الوسائط الساذجة.
التحقق التجريبي: تجارب واسعة النطاق تثبت انخفاضات كبيرة في تكلفة التوسيم (تصل إلى 40%) مع الحفاظ على أداء النموذج أو تحسينه عبر مختلف مجموعات البيانات وبنيات النماذج.

4. النتائج التجريبية

قيم المؤلفون طريقتهم على ثلاث مجموعات بيانات: ColorSwap (قائم على المجمع)، وMS-COCO (متدفق)، وDataComp (متدفق، واسع النطاق).

المقارنة المرجعية: تمت المقارنة مع الاختيار العشوائي (Random selection)، وطريقة قائمة على التنوع (Coreset)، وطريقة قائمة على عدم اليقين (مكيفة من التعلم النشط أحادي الوسيط).
مكاسب الأداء:
- ColorSwap: حققت الطريقة المقترحة أداءً مقارباً للمراجع باستخدام 15-20% فقط من البيانات، مما يمثل تخفيضاً بنسبة 33-40% في تكلفة التوسيم.
- MS-COCO: تفوقت على المراجع في كل من مهام استرجاع (صورة-إلى-نص) و(نص-إلى-صورة)، محققة تخفيضاً بنسبة 20% في تكلفة التوسيم.
  ما DataComp (واسع النطاق): في مجموعة بيانات تضم 12.8 مليون زوج، وصلت الطريقة إلى 87.8% من "أفق الأداء" (أداء مجموعة البيانات الكاملة) باستخدام 2.5 مليون زوج فقط، متفوقة على مرجع Coreset الذي حقق (85.68%).
المتانة:
- ظلت الطريقة فعالة عبر بنيات نماذج مختلفة (CLIP, SigLIP, LiT) وأحجام مختلفة.
- أظهرت متانة تجاه البيانات المفقودة (على سبيل المثال، عند إزالة 50% من الصور، مما ترك أوصافاً غير متطابقة).
- أكدت دراسات الاستئصال (Ablation studies) أن التآزر بين اختيار الوسيط وعدم اليقين القائم على الهامش أمر بالغ الأهمية للأداء.

5. الأهمية

تجسر هذه العمل فجوة حرجة في التعلم متعدد الوسائط. بينما يعد استخراج السمات أحادية الوسائط واسعة النطاق رخيصاً، فإن المحاذاة المطلوبة لتدريب نماذج مثل CLIP مكلفة ومتخصصة في مجال معين.

الأثر العملي: من خلال تقليل تكاليف التوسيم بنسبة تصل إلى 40% دون التضحية بالدقة، تجعل هذه الطريقة تدريب النماذج متعددة الوسائط عالية الجودة ممكناً للمجالات المتخصصة (مثل التصوير الطبي، أو القيادة الذاتية) حيث تكون البيانات نادرة ومكلفة.
القابلية للتوسع: يضمن التعقيد الزمني الخطي أن النهج قابل للتطبيق على مجموعات البيانات الحديثة والضخمة (ملايين الحالات)، مما يعالج قصور استراتيجيات التعلم النشط السابقة التي تفشل في التوسع في السياقات عبر الوسائط.
الاتجاه المستقبلي: تضع هذه الورقة أساساً لأبحاث مستقبلية في التعلم النشط للنماذج التوليدية متعددة الوسائط وغيرها من النماذج التي تتجاوز تعلم التمثيل التبايني.