SymCLIP: Symmetric Prompting with Adaptive Semantic Labeling for Multi-Intent Recognition

في المشهد الشاسع والمتدفق لوسائل التواصل الاجتماعي، غالبًا ما تحمل الصورة الواحدة أكثر من مجرد سجل بصري؛ فهي تحمل رسالة خفية، أو غرضًا محددًا، أو قصدًا عاطفيًا دقيقًا. فقد تكون صورة لعشاء عائلي تهدف إلى الاحتفال بمناسبة هامة، أو لإظهار الامتنان، أو ببساطة لتوثيق لحظة من الدفء. أما بالنسبة للحواسيب، فإن فك رموز هذه المعاني الخفية يمثل تحديًا هائلًا. وبينما أصبحت تقنيات الذكاء الاصطناعي الحديثة بارعة بشكل ملحوظ في تحديد ما هو موجود فعليًا في الصورة — مثل لون القمي shirt، أو شكل الشجرة، أو عدد الأشخاص في الغرفة — إلا أنها غالبًا ما تجد صعوبة في فهم سبب جمع تلك العناصر معًا. هذه الفجوة بين رؤية الشيء وفهم القصد البشري وراءه هي اللغز المركزي الذي يحاول الباحثون حله. ولجسر هذا الانقسام، توجه العلماء إلى النماذج الضخمة سابقة التدريب التي تعلمت بالفعل الربط بين الصور والكلمات. تعمل هذه الأنظمة كقاعدة أساسية، لكنها غالبًا ما تحتاج إلى دفعة للتركيز على الطبقات التجريدية والذاتية للمعنى التي تحدد التواصل البشري.

قدم فريق من الباحثين من جامعة هينان للتكنولوجيا نهجًا جديدًا يسمى SymCLIP، صُمم خصيصًا لمساعدة الحواسيب على فهم هذه النوايا المعقدة ومتعددة الطبقات في الصور. يعالج عملهم نقطة ضعف شائعة في الأنظمة الحالية: الميل إلى معاملة الجزء البصري من الصورة والوصف النصي لمعناها كمهمتين منفصلتين ومعزولتين. في العديد من الطرق الموجودة، يتعلم الكمبيوتر التعرف على الصورة في مسار، ومعنى الكلمات في مسار آخر، دون أن يجبر الاثنين حقًا على التحدث مع بعضهما البعض خلال عملية التعلم. وجد الباحثون أن هذا الفصل يحد من قدرة النموذج على استيعاب دقة القصد البشري، والذي غالبًا ما يكون غامضًا ومرتبطًا بعمق بالسياق. ولإصلاح ذلك، طوروا طريقة تربط الجانبين البصري والنصي ربطًا وثيقًا، مما يضمن أن فهم الكمبيوتر للصورة يتم توجيهه باستمرار من خلال اللغة التي تصف القصد، والعكس صحيح.

يتضمن جوهر حلهم ابتكارين رئيسيين. أولاً، أنشأوا نظامًا يمكن للكمبيوتر من خلاله توليد أدلة بصرية بناءً على اللغة التي يحاول فهمها. فبدلاً من مجرد النظر إلى صورة والتخمين، يستخدم النموذج الوصف النصي لقصد ما، مثل "الاحتفال" أو "الراحة"، لتشكيل كيفية فحصه للصورة بشكل نشط. وهذا يخلق حلقة تغذية راجعة حيث توجه اللغة الرؤية، مما يساعد الكمبيوتر على التركيز على التفاصيل المحددة التي تهم ذلك المعنى المعين. ثانيًا، ابتعدوا عن استخدام فئات ثابتة وصارمة لهذه النوايا. في الأنظمة التقليدية، تكون قائمة المعاني المحتملة ثابتة، مثل قائمة طعام ذات أصناف غير قابلة للتغيير. أما النهج الجديد فيسمح للكمبيوتر بتعلم وتعديل معنى هذه الفئات مع رؤيته لمزيد من البيانات. فهو يعامل التصنيفات كعناصر مرنة وقابلة للتدريب يمكن أن تتطور لالتقاط الفروق الدقيقة بين النوايا المتشابهة، مما يجعل النظام أكثر قدرة على التكيف مع الواقع الفوضوي لكيفية استخدام الناس للصور فعليًا.

لاختبار أفكارهم، استخدم الباحثون مجموعة كبيرة من الصور تُعرف باسم مجموعة بيانات Intentonomy، والتي تحتوي على آلاف الصور المصنفة ضمن ثمانية وعشرين نوعًا مختلفًا من النوايا البشرية. وعندما وضعوا نظامهم الجديد قيد الاختبار، كانت النتائج واضحة. حقق نموذج SymCLIP درجة أداء بلغت 55.38 في المئة في تحديد النوايا الصحيحة عبر جميع المجالات، وهو تحسن كبير مقارنة بأفضل الطرق السابقة. تشير هذه القفزة التي تقارب عشر نقاط مئوية إلى أن استراتيجية ربط الرؤية واللغة بهذا القرب هي استراتيجية فعالة للغاية. كما تحقق الباحثون مما إذا كان نموذجهم يمكنه التعامل مع مهام ذاتية أخرى، مثل التعرف على العواطف في الوجوه، ووجدوا أنه يعمل بشكل جيد هناك أيضًا، مما يشير إلى أن الطريقة قوية وليست مجرد تقنية محدودة بنوع واحد معين من البيانات.

استكشفت الدراسة أيضًا كيف أثرت الإعدادات المختلفة على نجاح النموذج. ووجدوا أن هناك "نقطة مثالية" لكمية التعلم التي يُسمح للنظام بالقيام بها؛ فإذا كانت قليلة جدًا، فلن يتمكن من استيعاب تعقيد النوايا، وإذا كانت كثيرة جدًا، فإنه يبدأ في حفظ بيانات التدريب بدلاً من تعلم قواعد عامة. ومن خلال موازنة هذه العوامل بعناية، ضمنوا بقاء النموذج مرنًا بما يكفي للتعامل مع صور جديدة وغير مرئية مسبقًا. وأشار الباحثون أيضًا إلى أنه بينما يعد منهجهم خطوة قوية للأمام، فإنه لا يزال يعتمد على جودة بيانات التدريب الأولية ويمكن أن يواجه صعوبات أحيانًا مع النوايا النادرة جدًا أو الغامضة للغاية حيث تكون الأدلة البصرية ضعيفة. ومع ذلك، من خلال إثبات أنه يمكن تعليم الكمبيوتر النظر إلى صورة من خلال عدسة اللغة البشرية، يقدم هذا العمل مسارًا أوضح نحو آلات تفهم حقًا القصص التي نرويها من خلال صورنا.