Continual Image-Text Retrieval via Banzhaf Distillation from the Coalitional Game Perspective
تقترح هذه الورقة شبكة تقطير بانزهاف (BDNet) لاسترجاع الصور والنصوص بشكل مستمر، والتي تعالج تحديات مثل عدم المحاذاة الدلالية والتحريف المعرفي عبر نمذجة تفاعلات الرموز عالية الرتبة من خلال تقييم بانزهاف من منظور نظرية الألعاب الائتلافية للحفاظ على المعرفة الهيكلية عبر الوسائط المتعددة عبر الجلسات التزايدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إن الإنترنت يزخر بالصور والكلمات التي تصفها، وهو عبارة عن مكتبة رقمية هائلة حيث قد تُقرن صورة لغروب الشمس بقصيدة، أو تعليق إخباري، أو منشور عابر على وسائل التواصل الاجتماعي. ولكي تتمكن الحواسيب من فهم هذا العالم، يجب أن تتعلم كيفية الربط بين هاتين اللغتين المختلفتين: اللغة البصرية للبكسلات واللغة اللغوية للجمل. هذه المهمة، المعروفة باسم استرجاع الصور والنصوص، هي المحرك الكامن وراء العثور على صورة محددة عندما تكتب وصفاً لها، أو العثور على التعليق المناسب لصورة ما. ومع ذلك، فإن العالم الحقيقي لا يقدم لنا جميع بياناتنا دفعة واحدة؛ بل تأتي المعلومات في تدفق مستمر، يوماً بعد يوم، جالبة معها موضوعات جديدة، وأنماطاً جديدة، وسياقات جديدة. فالحاسوب الذي تدرّب فقط على صور القطط من العام الماضي قد يواجه صعوبة في التعرف على سلالة جديدة من الكلاب أو طريقة مختلفة لوصف مشهد يظهر اليوم. وهذا التحدي المتمثل في التعلم المستمر دون نسيان ما تم تعلمه سابقاً هو اللغز المركزي الذي يحاول الباحثون حله.
في دراسة جديدة، اقترح فريق من الباحثين من جامعة بكين للتكنولوجيا طريقة مبتكرة لمساعدة الحواسيب على التعامل مع هذا التدفق المستمر من المعلومات المرئية والنصية. وقد أطلقوا على نهجهم اسم "شبكة تجميع بانزهاف" (Banzhaf Distillation Network). ولفهم سبب ضرورة ذلك، تخيل حاسوباً يحاول مطابقة جملة مثل "عائلة تجلس في غرفة معيشة" مع صورة. قد يكتفي الحاسوب البسيط بالبحث عن كلمة "عائلة" وكلمة "غرفة" ويرى ما إذا كانت تظهر في الصورة. لكن الفهم البشري أكثر دقة؛ فهو يعتمد على كيفية عمل تلك الكلمات والأجزاء المرئية معاً كمجموعة واحدة. أدرك الباحثون أن الأساليب الحالية غالباً ما تعامل هذه الروابط بشكل مبسط للغاية، حيث تنظر إلى الكلمات وأجزاء الصور واحداً تلو الآخر، متجاهلة العلاقات المعقدة بينها. فعندما يتعلم الحاسوب مهمة جديدة، مثل التعرف على الرسوم البيانية الطبية، فإنه غالباً ما ينسى كيفية التعامل مع المهمة السابقة، مثل تحديد الحيوانات. يحدث هذا "النسيان" لأن الحاسوب يفشل في الحفاظ على الفهم الهيكلي العميق لكيفية ارتباط الصور والكلمات ببعضها البعض عبر أنواع مختلفة من البيانات.
يستمد حل الفريق إلهامه من فرع من فروع الرياضيات يسمى نظرية الألعاب التعاونية، والتي تدرس كيفية مساهمة المجموعات من اللاعبين في تحقيق هدف مشترك. وفي إطار عملهم، يعامل الباحثون كل قطعة صغيرة من صورة وكل كلمة في جملة كلاعبين أفراد في لعبة. ويطرحون سؤالاً محدداً: ما مدى مساهمة كلمة معينة وجزء معين من الصورة في المعنى الإجمالي عندما يتم الجمع بينهما، خاصة عندما يكونان محاطين بكلمات وأجزاء صور أخرى؟ ومن خلال حساب هذه المساهمة، يمكنهم قياس القيمة الحقيقية للرابط بين التفصيل المرئي والوصف النصي. هذه الطريقة، المعروفة باسم "تقييم بانزهاف" (Banzhaf valuation)، تسمح للحاسوب برؤية ما هو أكثر من مجرد تطابقات معزولة، فهي تتيح له رؤية الشبكة المعقدة من العلاقات التي تمنح المشهد معناه الكامل. إنها وسيلة لتعليم الآلة أن كلمة "يجلس" تكتسب أهميتها الكاملة فقط عند رؤيتها في سياق الأشخاص والأثاث من حولهم.
بنى الباحثون نظاماً يستخدم فكرة نظرية الألعاب هذه لتوجيه عملية التعلم. فبينما يواجه الحاسوب بيانات جديدة، فإنه يستخدم وحدة خاصة للحفاظ على المعرفة الهيكلية التي تعلمها بالفعل. وبدلاً من مجرد حفظ الكلمات التي تطابق الصور، يتذكر النظام قوة العلاقات بينها. وهو يفعل ذلك من خلال مقارنة الفهم الحالي للمشهد بما كان يعرفه من قبل، مما يضمن عدم ضياع التفاصيل الدقيقة — مثل الطريقة المحددة التي ترتبط بها "القطار" بـ "المحطة" أو "القارب" بـ "الماء" — عند وصول معلومات جديدة. كما يستخدم النظام تقنية تسمى "تعلم المحفز" (prompt learning)، حيث يضيف تلميحات صغيرة قابلة للتعديل إلى البيانات لمساعدة الحاسوب على التكيف مع أنواع جديدة من الصور أو أساليب الكتابة دون الحاجة إلى إعادة تدريبه بالكامل. وهذا يسمح للحاسوب بأن يظل مرناً، يتعلم أشياء جديدة مع الحفاظ على معارفه القديمة سليمة.
لاختبار فكرتهم، أجرى الباحثون تجارب على عدة مجموعات بيانات مختلفة، تتراوح من مجموعات الصور والتعليقات اليومية إلى مجموعات متخصصة من الصور الطبية وصور الاستشعار عن بعد. وقارنوا نظامهم الجديد بالأساليب الرائدة الأخرى المستخدمة لهذا النوع من التعلم المستمر. وأظهرت النتائج أن نهجهم كان أفضل بكثير في تذكر المهام الماضية أثناء تعلم مهام جديدة. وفي السيناريوهات التي كان على الحاسوب فيها تعلم تسلسل من الموضوعات المختلفة، حافظ نظامهم على مستوى عالٍ من الدقة، بينما مالت الأساليب الأخرى إلى نسيان الدروس السابقة. فعلى سبيل المثال، عندما طُلب منه استرجاع الصور بناءً على أوصاف نصية عبر مهام متعددة، صنف نظامهم الصور الصحيحة في مراتب أعلى باستمرار مقارنة بمنافسيه. وتشير الدراسة إلى أنه من خلال نمذجة التفاعلات المعقدة على مستوى المجموعة بين الكلمات وأجزاء الصور، يمكن للحواسيب أن تتعلم بشكل أكثر قوة وتتجنب فخ النسيان الشائع.
يقر الباحثون بأن طريقتهم ليست حلاً مثالياً لكل المواقف. ففي الحالات التي يكون فيها الفرق بين البيانات القديمة والجديدة كبيراً للغاية، مثل الانتقال من صور الأشياء اليومية إلى الصور العلمية المتخصصة للغاية، لا يزال النظام يواجه تحديات. كما أشاروا أيضاً إلى أن نهجهم الحالي يتطلب من الحاسوب الاحتفاظ ببعض الأمثلة من البيانات القديمة في الذاكرة للمساعدة في عملية التعلم، وهو أمر قد لا يكون ممكناً في جميع بيئات العالم الحقيقي. ورغم هذه القيود، يقدم هذا العمل منظوراً جديداً ومثيراً للاهتمام حول كيفية تعلم الآلات بشكل مستمر. فمن خلال معاملة الارتباط بين صورة ونص كجهد تعاوني بين العديد من الأجزاء الصغيرة، قدم الباحثون وسيلة للحواسيب لبناء فهم أكثر استقراراً ودقة للعالم، فهم يزداد ثراءً مع كل قطعة جديدة من المعلومات يواجهها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.