Predicting semantic consistency between images and Korean hashtags on Instagram
تقترح هذه الورقة إطار عمل للتصنيف الترتيبي خماسي المستويات للتنبؤ بالاتساق الدلالي بين الصور والوسوم (hashtags) الكورية على إنستغرام، مظهرةً أن نموذج CLIP المضبط بدقة والمتكيف مع اللغة الكورية يتفوق على نظيره الإنجلي_ي وعلى المصنفات الكلاسيكية على مجموعة بيانات مشروحة بواسطة GPT-4o، مع تسليط الضوء على الغموض الجوهري للمهمة والأهمية البالغة للملاءمة اللغوية في الفهم متعدد الوسائط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
على منصات مثل إنستغرام، نادراً ما تكون الصورة مجرد صورة فحسب؛ بل هي بيان، وحالة شعورية، وجزء من حوار ثقافي في آن واحد. فعندما ينشر مستخدم صورة لفنجان قهوة بسيط، قد يضع لها وسماً (هاشتاج) بوصف حرفي مثل "قهوة الصباح"، ولكن في كثير من الأحيان، يستخدم وسماً ينقل شعوراً، مثل "الاستشفاء" أو "كآبة يوم الاثنين". هذه الوسوم لا تكتفي بوصف ما هو مرئي، بل تعبر عن العاطفة، واللغة العامية، والفهم الثقافي المشترك. ولكي يفهم الحاسوب وسائل التواصل الاجتماعي حقاً، يجب أن يتعلم قراءة هذه الروابط الضمنية غير الحرفية بين الصورة والكلمات المرفقة بها. وهذه مهمة صعبة لأن العلاقة بين الصورة والوسم ليست مجرد مطابقة بسيطة بنظام "نعم أو لا"، بل توجد على طيف يتراوح بين عدم الارتباط تماماً والارتباط العميق ذي المعنى، وهذا المعنى يعتمد غالباً على سياق لا يمكن للآلة رؤيته بسهولة.
لقد سعى باحثون من جامعة سيول الوطنية وجامعة سونغشين النسائية إلى تعليم الحواسيب كيفية التنقل في هذا المشهد المعقد. وقد ركزوا تحديداً على منشورات إنستغرام الكورية، حيث تمتلئ اللغة بالاختصارات، و"الميمز"، والتعبيرات الثقافية الخاصة التي قد تكون مربكة حتى للمتحدثين بطلاقة. وقد عامل الفريق هذه المشكلة ليس كخيار ثنائي، بل كمقياس خماسي المستويات. فقد طلبوا من نماذجهم تحديد ما إذا كان الوسم غير متسق للغاية، أو منخفض، أو متوسط، أو عالٍ، أو متسق للغاية مع الصورة. وللقيام بذلك، قاموا ببناء مجموعة بيانات تضم أكثر من 12,000 زوج من الصور والوسوم من منشورات عامة. ولأن تصنيف آلاف الروابط الذاتية يدوياً عملية بطيئة وعرضة للاختلاف البشري، فقد استخدموا أولاً أداة ذكاء اصطناعي قوية لتوليد تسميات أولية بناءً على إرشادات صارمة. ثم تحققوا من صحة هذه التسميات من خلال جعل أربعة خبراء بشريين يراجعون عينة من البيانات، لضمان أن أحكام الكمبيوتر كانت قريبة بما يكفي من الفهم البشري لتكون مفيدة.
اختبر الباحثون عدة مقاربات مختلفة لمعرفة أي طريقة هي الأفضل. بدأوا بنماذج عامة موجودة تم تدريبها على ملايين من أزواج الصور والنصوص من الإنترنت. كانت هذه النماذج جيدة في مطابقة الصور مع الأوصاف الحرفية، مثل كلب مع كلمة "كلب"، لكنها واجهت صعوبة مع الوسوم التجريدية والعاطفية الشائعة في وسائل التواصل الاجتماعي. وعندما قام الفريق ببساطة بقياس المسافة الرياضية بين الصورة والنص في ذاكرة الكمبيوتر، كانت النتائج ضعيفة؛ إذ لم تستطع النماذج التمييز بين المستويات الخمسة من الاتساق. ومع ذلك، عندما أضاف الباحثون طبقة اتخاذ قرار بسيطة فوق هذه النماذج "المجمدة"، تحسن الأداء. وقد أظهر هذا أنه بينما فهمت النماذج الأساسية المحتوى العام، إلا أنها كانت بحاجة إلى دليل محدد لتفسير الطبيعة المتدرجة والذاتية للوسوم.
جاء الاكتشاف الأكثر أهمية عندما حاول الفريق تعليم النماذج خصيصاً لهذه المهمة من خلال ضبط إعداداتها الداخلية، وهي عملية تُعرف باسم "الضبط الدقيق" (fine-tuning). لقد اختبروا نموذجين أساسيين مختلفين: أحدهما مصمم للاستخدام العام، والآخر مكيّف خصيصاً للغة الكورية. وكانت النتائج مذهلة؛ فعندما قاموا بالضبط الدقيق للنموذج العام، تراجع أداؤه في الواقع. بدا الأمر وكأن محاولة إجبار نظام عام الأغراض على تعلم مهمة محددة ذات دلالات ثقافية دون أساس قوي في تلك اللغة قد جعلته يفقد طريقه. وفي المقابل، ازدهر النموذج المكيّف للكورية عند إجراء الضبط الدقيق له، حيث حقق أعلى دقة، والأهم من ذلك، أصبح أفضل بكثير في تحديد الوسوم الصعبة وغير الشائعة، بدلاً من مجرد تخمين الوسوم الأكثر تكراراً. وقد أشار هذا إلى أن امتلاك نموذج يفهم اللغة والثقافة مسبقاً كان شرطاً أساسياً لنجاح تعليم الآلة فهم الفروق الدقيقة في التعبير عبر وسائل التواصل الاجتماعي.
وللتأكد مما إذا كان هذا التحسن ضرورياً حقاً، قارن الباحثون أفضل نموذج لديهم خضع للضبط الدقيق مقابل برامج حاسوبية تقليدية قوية تقوم ببساطة بفحص البيانات "المجمدة" دون تغيير النموذج نفسه. ووجدوا أن البرامج التقليدية يمكنها مطابقة دقة النموذج المضبط بدقة. ومع ذلك، كان النموذج المضبط متفوقاً في جانب جوهري واحد: كان أكثر توازناً. فهو لم يتجاهل الحالات النادرة أو الصعبة. وبينما كانت البرامج التقليدية جيدة في الحصول على الإجابات السهلة والشائعة بشكل صحيح، إلا أنها غالباً ما فشلت في الحالات الاستثنائية التي تكتسب أهمية قصوى عند تصفية المحتوى غير ذي الصلة. أما النموذج المضبط، وبفضل تعلمه كيفية تعديل فهمه الداخلي للصور والكلمات معاً، فقد قدم تقييماً أكثر استقراراً وإنصافاً عبر جميع أنواع الوسوم.
كما سلطت الدراسة الضوء على الصعوبة المتأصلة في المهمة نفسها. فحتى بين الخبراء البشريين الذين تحققوا من البيانات، لم يكن هناك اتفاق تام. فقد تطابقوا في درجاتهم الدقيقة في حوالي نصف الأزواج فقط، وكانت معظم الخلافات تقتصر على خطوة واحدة فقط على مقياس المستويات الخمسة. يشير هذا إلى أن الغموض ليس مجرد فشل للكمبيوتر، بل هو سمة من سمات التواصل البشري. فعندما يعبر الوسم عن حالة شعورية أو دعابة ثقافية، غالباً ما لا توجد إجابة واحدة "صحيحة". وقد تمكن أفضل نموذج حاسوبي من الحصول على الإجابة الصحيحة أو إجابة مجاورة لها بنسبة 72 بالمائة تقريباً. ويمثل هذا المستوى من الأداء، رغم أنه ليس مثالياً، خطوة كبيرة للأمام في تعليم الآلات فهم الطبقات العاطفية والثقافية للتعبير البشري، مما يقربها من نقطة القدرة على استيعاب المعنى الكامل لمنشورات وسائل التواصل الاجتماعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.