🤖 machine learning

Toward Real-Time Image Annotation Using Marginalized Coupled Dictionary Learning

تقترح هذه الورقة طريقة لتوسيم الصور في الوقت الفعلي باستخدام تعلم القواميس المترابطة الهامشية، والتي تتعلم في آن واحد النماذج الأولية البصرية والدلالية باستخدام دالة فقد هامشية منظمة بـ $\ell_1$ للتعامل بفعالية مع الملصقات غير المتوازنة والتفوق على التقنيات القائمة على البحث والمستهلكة للوقت.

المؤلفون الأصليون: Seyed Mahdi Roostaiyan, Mohammad Mehdi Hosseini, Mahya Mohammadi Kashani, S. Hamid Amiri

نُشر 2026-07-31

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Seyed Mahdi Roostaiyan, Mohammad Mehdi Hosseini, Mahya Mohammadi Kashani, S. Hamid Amiri

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير عبر مكتبة ضخمة وفوضوية حيث كل كتاب فيها هو عبارة عن صورة فوتوغرافية. المشكلة هي أن لا أحد من هذه الكتب يحمل عناوين على أغلفته، لذا فإذا أردت البحث عن صورة لـ "غروب الشمس"، سيتعين عليك سحب كل كتاب، وتقليب صفحاته، وتخمين ما إذا كان يطابق بحثك. هذا هو عالم توسيم الصور (image annotation): وهي مهمة تصنيف الصور تلقائياً بكلمات مثل "كلب"، أو "شاطئ"، أو "بيتزا". في الماضي، حاولت الحواسيب حل هذه المشكلة عبر مقارنة كل صورة جديدة بكل صورة موجودة في قاعدة البيانات للعثور على أقرب التطابقات. الأمر يشبه محاولة العثور على صديق في ملعب ضخم عبر سؤال كل شخص هناك عما إذا كان يعرفه؛ الطريقة تنجح، لكنها تستغرق وقتاً طويلاً جداً.

يتناول هذا البحث مشكلتين كبيرتين في هذه المكتبة. أولاً، طريقة "البحث" بطيئة جداً للاستخدام في الوقت الفعلي (لا يمكنك الانتظار لدقائق للحصول على وسم). ثانياً، الأوسمة فوضوية؛ فبعض الأوسمة، مثل "سماء"، تظهر في آلاف الصور، بينما قد تظهر أوسمة أخرى، مثل "دراجة حمراء"، في صور قليلة فقط. هذه الطبيعة "غير المتوازنة" تربك الرياضيات الحاسوبية القياسية، التي تحاول غالباً حساب المتوسط لكل شيء، مما يؤدي إلى تخمينات ضبابية وغير دقيقة. يقترح المؤلفون طريقة جديدة لتنظيم هذه المكتبة، ليس عبر مقارنة كل كتاب بالكتب الأخرى، بل عبر إنشاء مجموعة صغيرة من "الممثلين الفائقين" أو النماذج الأولية (prototypes). فكر في هذه النماذج الأولية كملخصات نهائية: نموذج أولي واحد لـ "غروب الشمس" يلتقط جوهر جميع حالات غروب الشمس، ونموذج أولي واحد لـ "الكلب" يلتقط جوهر جميع الكلاب. الهدف هو تعليم الكمبيوتر وصف أي صورة جديدة كمزيج بسيط من هذه الملخصات القوية والقليلة، مما يجعل عملية التوسيم فورية.

الطريقة الجديدة لتوسيم الصور

يقدم مؤلفو هذا البحث، روستايان وفريقه، طريقة تسمى تعلم القاموس المزدوج الهامشي (Marginalized Coupled Dictionary Learning - MCDL). يمكنك التفكير في هذا كمنظومة فرز ذكية مكونة من جزأين، تتعلم تلخيص مكتبة صور ضخمة في "ورقة غش" صغيرة وفعالة.

بدلاً من تخزين ملايين الصور، تتعلم تقنية MCDL عدداً محدوداً من النماذج الأولية البصرية (مظهر الأشياء) والنماذج الأولية الدلالية المطابقة لها (معناها أو أوسمتها). تخيل أن لديك صندوقاً من قطع الليغو (LEGO)؛ بدلاً من بناء قلعة جديدة من الصفر في كل مرة تريد فيها بناء واحدة، لديك بعض "نماذج القلاع" الجاهزة مسبقاً. عندما ترى قلعة جديدة، يمكنك ببساست قول: "حسناً، هذه تتكون من 30% من النموذج (أ) و70% من النموذج (ب)". تفعل تقنية MCDL الشيء نفسه تماماً: فهي تفكك الصورة المعقدة إلى مجموع موزون من هذه النماذج الأولية المتعلمة.

تكمن البراعة في كيفية تعاملها مع الأوسمة "الفوضوية". في العالم الحقيقي، معظم الصور لا تملك كل الأوسمة الممكنة؛ فصورة الكلب قد تحمل وسماً مثل "كلب" و"منتزه"، ولكنها لا تحمل وسماً مثل "محيط" أو "بيتزا". الطرق الرياضية القياسية غالباً ما ترتبك بسبب كل هذه الأوسمة المفقودة (الأصفار)، حيث تحاول فرض متوسط لا معنى له. يجادل المؤلفون بأن استخدام دالة "الخسارة التربيعية" (أداة رياضية شائعة تعاقب الأخطاء بتربيعها) يشبه محاولة وضع وتد مربع في ثقب مستدير؛ فهي تعامل الخطأ الصغير والخطأ الكبير بنفس الطريقة وتتأثر بالبيانات الفارغة.

ولحل هذه المشكلة، يقترح البحث استخدام دالة خسارة هامشية (marginalized loss function). فكر في هذا كقاعدة "لا تقلق بشأن التفاصيل الصغيرة". إذا كان من المفترض أن يكون الوسم موجوداً وكان تخمين الكمبيوتر بعيداً قليلاً، أو إذا كان من المفترض أن يكون الوسم مفقوداً وكان التخمين قريباً من الصفر، فإن النظام يتجاهل ذلك. إنه يصبح جاداً فقط عندما يرتكب الكمبيوتر خطأً واضحاً (مثل تسمية قطة بأنها كلب). هذا يبقي النظام مركزاً على الإشارات المهمة ويتجاهل الضجيج.

علاوة على ذلك، يستخدم البحث تقنية التنظيم من النوع $\ell_1$ ( $\ell_1$ regularization). وباللغة البسيطة، هذا يعني قاعدة تجبر النظام على أن يكون "كسولاً" أو "مختصراً". إنها تخبر الكمبيوتر: "لا تستخدم 50 نموذجاً أولياً لوصف صورة بسيطة؛ استخدم فقط الاثنين أو الثلاثة الأكثر أهمية". هذا أمر بالغ الأهمية لأنه يمنع النظام من حفظ بيانات التدريب بدقة مفرطة (التي تسمى "الفرط في التخصيص" أو overfitting)، مما قد يجعله يفشل عند مواجهة صور جديدة لم يسبق له رؤيتها. إنها تضمن أن يظل كل نموذج أولي بسيطاً ومركزاً على نوع محدد من الصور.

ما وجدوه

اختبر الفريق طريقتهم الجديدة على عدة مجموعات بيانات صور ضخمة، بما في ذلك IAPRTC-12 (حوالي 19,000 صورة)، وESP-GAME (حوالي 20,000 صورة)، ومجموعتين فرعيتين ضخمتين من موقع Flickr تحتويان على 60,000 و125,000 صورة. وقارنوا طريقة MCDL بالطريقة القديمة القائمة على البحث والمسمى 2PKNN، والتي تشبه نهج "سؤال كل شخص في الملعب".

كانت النتائج مذهلة في جانبين:

السرعة: استغرقت الطريقة القدة وقتاً طويلاً لتوسيم صورة جديدة لأنها كانت تضطر لمقارنتها بآلاف الصور الأخرى. بالنسبة لمجموعة بيانات الـ 125,000 صورة، استغرقت الطريقة القديمة حوالي 390 مللي ثانية (0.39 ثانية) لكل صورة. ومع ذلك، نجحت MCDL في تقليل هذا الوقت إلى 10 مللي ثانية فقط. هذا يمثل انخفاضاً بنسبة 97.4% في الوقت. ويشير المؤلفون إلى أن هذا يجعل التوسيم في الوقت الفعلي ممكناً، محولاً العملية من عملية بطيئة وثقيلة إلى شيء يحدث بشكل فوري تقرياً.
الدقة: على الرغم من كونها أسرع بكثير، إلا أن MCDL لم تضحِّ بالجودة، بل تفوقت في كثير من الأحيان. في مجموعة بيانات IAPRTC-12، حققت MCDL درجة F1 بلغت 47%، متفوقة على الطريقة التالية الأفضل (MLDL) التي سجلت 47% أيضاً ولكن بمعايير مختلفة، وتفوقت بشكل ملحوظ على طريقة 2PKNN القائمة على البحث والتي سجلت 39%. وفي مجموعة بيانات ESP-GAME، وصلت MCDL إلى 42%، متفوقة مرة أخرى على المنافسين.

لقد استبعد البحث صراحةً فكرة أن مجرد استخدام رياضيات أكثر تعقيداً أو فحص المزيد من الصور هو الحل. ويجادلون بأن دالة "الخسارة التربيعية" المستخدمة في العديد من الطرق الأخرى غير مناسبة لهذه الأوسمة الفوضوية وغير المتوازنة لأنها تنحاز نحو الصفر. وقد أظهرت تجاربهم أن نهجهم "الهامشي"، الذي يتجاهل الأخطاء الصغيرة، يؤدي إلى تعميم أفضل.

الخلاوة

خلص المؤلفون إلى أنه من خلال تلخيص مجموعة بيانات ضخمة في بضعة آلاف من "النماذج الأولية" (على سبيل المثال، استخدام 4,000 نموذج أولي لمجموعة بيانات تضم 20,000 صورة) واستخدام طريقة أذكى لحساب الأخطاء، يمكنك الحصول على أفضل ما في العالمين: دقة عالية وسرعة خاطفة. ويشيرون إلى أن هذه الطريقة فعالة بشكل خاص لأنها تحترم "التشتت" الطبيعي للأوسمة—أي أنها تدرك أن معظم الصور لا تملك سوى عدد قليل من العلامات ذات الصلة. وبينما يشيرون إلى أن الطريقة تعمل بشكل أفضل عندما تكون الميزات البصرية منفصلة جيداً (مثل تلك المستخرجة من شبكات الذكاء الاصطنا الإنترنت الحديثة)، فإن الفكرة الجوهرية المتمثلة في تعلم قاموس مدمج وفعال لملخصات الصور تبدو خطوة صلبة للأمام لجعل توسيم الصور سريعاً وموثوقاً.

بيان المشكلة
يتضمن توصيف الصور تعيين تسميات متعددة للصور، وهي مهمة تزداد تعقيداً بسبب ثلاثة تحديات رئيسية: "عدم توازن الفئات" (اختلافات هائلة في تكرار التسميات)، و"التوصيف غير المكتمل" (غالباً ما تفتقر الصور إلى جميع التسميات ذات الصلة)، و"التوصيف المتنوع" (يجب أن تكون التسميات المتوقعة ممثلة وغير متكررة). ورغم أن الاستراتيجيات القائمة على التشابه (مثل الجيران الأقرب k-nearest neighbors) بديهية، إلا أنها بطيئة بطبيعتها لأنها تتطلب مقارنة صورة استعلام مقابل كل صورة في مجموعة البيانات. هذا العبء الحسابي يعيق التطبيق في الوقت الفعلي. علاوة على ذلك، فإن طرق تعلم القواميس الموجودة غالباً ما تستخدم دالات خسارة المربعات، وهي غير مناسبة لبيانات التسميات المتفرقة وغير المتوازنة، مما يؤدي إلى عمليات إعادة بناء منحازة حيث تُدفع درجات التسمية نحو الصفر.

المنهجية: تعلم القواميس المقترن الهامشي (MCDL)
يقترح المؤلفون تعلم القواميس المقترن الهامشي (MCDL)، وهو نهج مبتكر مصمم لتعلم عدد محدود من النماذج المرئية الأولية (prototypes) وما يقابلها من ناقلات دلالية في آن واحد. الهدف الجوهري هو تحليل الصور الموسومة وتسمياتها كحاصل جمع موزون لهذه النماذج الأولية المتعلمة، مما يسمح بتلخيص مجموعات البيانات الكبيرة وتمكين التوصيف في الوقت الفعلي.

يعتمد الأسلوب على مشكلة تحسين مشتركة تقلل من خسائر إعادة البناء وخسائر "الهينج" (hinge losses) فيما يتعلق بالقواميس المرئية والدلالية. وتشمل المكونات التقنية الرئيسية ما يلي:

بنية القاموس المقترن: يتعلم النموذج قاموساً مقترناً $D_C$ يتكون من قاموس مرئي $D_I$ وقاموس دلالي $D_L$ . ويتكون كل نموذج أولي مقترن من نموذج فرعي مرئي ونموذج فرعي دلالي.
خسارة الهينج الهامشية: بدلاً من خسارة المربعات القياسية، يستخدم MCDL دالة خسارة "المربعات الهينج" الهامشية للنمط الدلالي. تفرض هذه الدالة عقوبات فقط على النتائج الإيجابية الكاذبة والنتائج السلبية الكاذبة التي تنتهك هامشاً معيناً. وهي تتجاهل الدرجات التي تقع ضمن "هامش آمن" (أي التسميات الإيجابية ذات الدرجات العالية بما يكفي أو التسميات السلبية ذات الدرجات المنخفضة بما يكفي)، مما يمنع الانحياز نحو الصفر الشائع في دالة المربعات.
تنظيم $\ell_1$ : لمعالجة الطبيعة عالية الأبعاد للمشكلة وتشتت ناقلات التسمية، يتم تطبيق تنظيم $\ell_1$ على القاموس الدلالي. وهذا يشجع على إنتاج نماذج دلالية أولية متفرقة، مما يضمن ارتباط كل نموذج مرئي أولي بعدد قليل فقط من التسمات ذات الصلة، مما يساعد في منع الإفراط في التخصيص (overfitting).
خوارزمية التحسين: يتم حل عملية التحسين المشترك غير المحدبة عبر خوارزمية تبادلية تتضمن خطوتين رئيسيتين:
1. الترميز المتفرق المقترن الهامشي (MCSC): طريقة تكرارية سريعة تعتمد على "تنظيم الزاوية الأقل" (LARS) لتحديث المعاملات المتفرقة مع تثبيت القواميس.
2. تحديث القاموس: نهج "الاشتقاق الإحداثي العشوائي" لتحديث النماذج الأولية المرئية والدلالية.

المساهمات الرئيسية
تحدد الورقة ثلاث مساهمات رئيسية:

استراتيجية القاموس المقترن: طريقة لتحليل الصور الموسومة إلى نماذج أولية مرئية ومتجهات دلالية مقابلة، مما يسمح بتلخيص البيانات.
دالة الخسارة الهامشية: تقديم دالة خسارة "هينج" للنمط الدلالي تعاقب فقط أخطاء محددة (الإيجابيات/السلبيات الكاذبة خارج الهامش)، على عكس طرق تعلم القواميس المقترنة التقليدية (مثل D-KSVD و LC-KSVD) التي تستخدم خسارة المربعات على التسميات الثنائية.
التفرع عبر تنظيم $\ell_1$ : تطبيق تنظيم $\ell_1$ على النماذج الأولية الدلالية لفرض التفرع، مما يعكس التفرع الطبيعي لناقلات التسمية ويخفف من الإفراط في التخصيص في المساحات عالية الأبعاد.

النتائج التجريبية
قيم المؤلفون منهجية MCDL على أربع مجموعات بيانات: IAPRTC-12، و ESP-GAME، و FLICKR-60K، و FLICKR-125K، باستخدام سمات مستخرجة من بنيات متنوعة لشبكات CNN (VggNet, ResNet, DenseNet, EfficientNet).

الدقة: حقق MCDL درجات F1 رائدة في IAPRTC-12 (47%) و ESP-GAME (42%)، متفوقاً على الطرق المرجعية مثل 2PKNN (الجيران الأقرب ذوي المرحلتين) وطرق تعلم القواميس الأخرى. أظهرت الطريقة توازناً فائقاً بين الدقة والاستدعاء، ويرجع ذلك إلى حد كبير إلى قدرتها على تعيين عدد متغير من التسميات بناءً على عتبات الدرجات بدلاً من عدد ثابت.
الكفاءة: النتيجة الأكثر أهمية هي تقليل وقت التوصيف. بينما تتطلب طريقة 2PKNN تعقيداً قدره $O(N \times M + N \times N \times T)$ $O (N \times M + N \times N \times T)$ (حيث $N$ $N$ هو عدد عينات التدريب)، يقلل MCDL هذا التعقيد إلى $O(K \times M + K \times M^2)$ $O (K \times M + K \times M^{2})$ ، حيث $K$ $K$ هو عدد النماذج الأولية ( $K \ll N$ $K ≪ N$ ).
- في مجموعتي IAPRTC-12 و ESP-GAME، انخفض وقت التوصيف من ~25 مللي ثانية إلى أقل من 1.5 مللي ثانية (انخفاض بنسبة >94%).
- في مجموعة البيانات الأكبر FLICKR-125K، انخفض الوقت من 390 مللي ثانية إلى 10 مللي ثانية (انخفاض بنسبة 97.4%).
القابلية للتوسع: نجحت الطة في تلخيص مجموعات البيانات الكبيرة (على سبيل المثال، تمثيل 124,840 صورة باستخدام ~20,000 نموذج أولي فقط) دون فقدان كبير في الدقة.

الأهمية والادعاءات
تدعي الورقة أن MCDL توفر حلاً قابلاً للتطبيق للتوصيف في الوقت الفعلي من خلال معالجة عدم الكفاءة الحسابية لطرق البحث والتحيزات الإحصائية لدالات الخسارة القياسية في البيئات غير المتوازنة. ويؤكد المؤلفون أنه من خلال تعلم نماذج أولية غنية بالمعلومات تلتقط الارتباطات المرئية والدلالية معاً، تحقق الطريقة دقة عالية مع تقليل الوقت المطلوب للتوصيف بشكل كبير. ويشير العمل إلى أن طرق التوصيف الأخرى يمكن أن تستفيد أيضاً من النماذج الأولية المستخرجة بواسطة MCDL. كما يشير المؤلفون إلى أن العمل المستقبلي قد يتضمن تضمين مصفوفة تحويل لإسقاط السمات المرئية في مساحة أقل أبعاداً للحصول على تمثيلات متفرقة أكثر اتساقاً.

الطريقة الجديدة لتوسيم الصور

ما وجدوه

الخلاوة

أبحاث مشابهة