From Codebooks to VLMs: Evaluating Automated Visual Discourse Analysis for Climate Change on Social Media
تقيم هذه الورقة مدى فعالية نماذج الرؤية واللغة المختلفة للتحليل الخطابي البصري الآلي لتغير المناخ على وسائل التواصل الاجتماعي، مظهرةً أنه بينما يحقق نموذج Gemini-3.1-flash-lite أعلى دقة على مستوى الحالة، فإن النماذج متوسطة الأداء يمكنها أيضاً استعادة الاتجاهات على مستوى السكان بشكل موثوق، مما يوفر بديلاً قابلاً للتوسع للترميز اليدوي للأبحاث واسعة النطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول فهم محادثة ضخمة وفوضوية تجري في ساحة بلدة عملاقة وصاخبة. هذه الساحة هي وسائل التواصل الاجتماعي، والموضوع الذي يصرخ به الجميع هو تغير المناخ.
لسنوات، حاول الباحثون الاستماع إلى هذا الحشد، لكنهم في الغالب كانوا يقرأون فقط الكلمات التي يصرخ بها الناس. لقد تجاهلوا الصور التي يحملها الناس—صور الدببة القطبية، الميمز (Memes) حول موجات الحر، الرسوم البيانية (Infographics) عن ارتفاع مستويات سطح البحر، ولافتات الاحتجاج. هذه الصور تروي جزءاً كبيراً من القصة، ولكن هناك الملايين منها. ومن المستح المستحيل على فريق من الخبراء البشر النظر في كل واحدة منها؛ سيحتاجون إلى عمر كامل وثروة طائلة للقيال بذلك.
هذه الورقة البحثية تشبه فريقاً من العلماء يتساءلون: "هل يمكننا تعليم روبوت فائق الذكاء أن ينظر إلى ملايين الصور هذه بدلاً منا، وهل سيفهم حقاً ما يراه؟"
إليك تفاصيل مغامرتهم، باستخدام بعض التشبيهات البسيطة:
1. المشكلة: "إبرة في كومة قش"
كان لدى الباحثين مجموعتان من الصور:
- مجموعة "المعيار الذهبي" (ClimateCT): صندوق صغير تم اختياره بعناية يحتوي على 1,000 صورة قام خبراء بشريون بتصنيفها بشكل مثالي. فكر في هذا كأنه "نموذج الإجابة" الخاص بالمعلم.
- مجموعة "الغرب المتوحش" (ClimateTV): جبل هائل وفوضوي من أكثر من 1.2 مليون صورة تم جمعها من منصة إكس (تويتر سابقاً). هذا هو العالم الحقيقي—مليء بالزوايا الغريبة، الصور الضبابية، الميمز، والصور المربكة.
2. الأدوات: "الأدمغة الروبوتية"
لم يستخدموا روبوتاً واحداً فحسب؛ بل أحضروا فريقاً كاملاً من نماذج الرؤية واللغة (VLMs).
- فكر في هذه النماذج كأنها متدربون فائقو الذكاء. لقد قرأوا مليارات الكتب ورأوا مليارات الصور.
- بعض هذه النماذج هي نماذج "مفتوحة المصدر" (مجانية الاستخدام، مثل Qwen أو Gemma).
- وبعضها نماذج "شركات التقنية الكبرى" (باهظة الثمن، مثل Gemini من جوجل أو GPT من OpenAI).
- كما اختبروا أيضاً روبوتات أقدم وأبسط (مثل CLIP) وهي جيدة في رصد الأشياء لكنها سيئة في فهم السياق.
3. الاختبار: تحدي "كتاب الرموز" (Codebook)
أعطى الباحثون هذه الروبوتات "كتاب رموز". في الماضي، كان البشر يستخدمون كتب الرموز لتصنيف الصور يدوياً إلى فئات مثل:
- الحيوانات: (هل يوجد دب قطبي؟ حيوان أليف؟ حيوان مزرعة؟)
- العواقب: (هل هذه فيضانات؟ حريق غابات؟ أم مجرد وجه حزين؟)
- الفعل: (هل هناك شخص يحتج؟ أم يقوم بتركيب ألواح شمسية؟)
- المكان/الإطار: (هل هذا في مدينة، أم غابة، أم في الفضاء الخارجي؟)
- النوع: (هل هذه صورة فوتوغرافية، أم رسوم متحركة، أم "ميم"؟)
كان على الروبوتات النظر في الصور وتصنيفها في هذه السلال دون أن تكون مدربة مسبقاً على موضوع تغير المناخ. كان عليهم اكتشاف الأمر بمجرد قراءة التعليمات (البرومبت/Prompts).
4. الاكتشافات الكبرى (لحظات الـ "آها!")
🏆 الفائز: الروبوت "فلاش" (Flash)
وجدوا أن Gemini-3.1-flash-lite كان البطل الواضح. كان بمثابة المتدرب الأذكى في الغرفة. لم يكن بحاجة لأن يكون النموذج الأكبر أو الأغلى ثمناً ليفوز؛ بل احتاج فقط لأن يكون الأداة المناسبة للمهمة. لقد تفوق على الروبوتات الأخرى، حتى تلك الضخمة التي تمتلك 30 مليار بارامتر، والتي كانت تتعثر أحياناً بسبب تعقيدها.
📉 سر "الجيد بما يكفي"
إليك الاكتشاف الأكثر إثارة للدهشة: لم يكن من الضروري أن تكون الروبوتات مثالية لتكون مفيدة.
- إذا طلبت من روبوت تصنيف صورة واحدة محددة، فقد يخطئ بنسبة 30% من المرات.
- ولكن، إذا طلبت منه تصنيف مليون صورة، فإن الأخطاء تلغي بعضها البعض. الروبوت سيعطيك الاتجاه العام الصحيح.
- تشبيه: تخيل أنك تحاول تخمين متوسط طول الأشخاص في ملعب رياضي. إذا طلبت من روبوت "خرقاء" قليلاً قياس كل شخص، فقد يخطئ في بعضهم. لكن إذا طلبت منه قياس الحشد بأكمله، فإن المتوسط الذي سيحسبه سيكون دقيقاً للغاية. بالنسبة لعلماء الاجتماع، معرفة الاتجاه (مثلاً: "الناس ينشرون عن الفيضانات أكثر من الدببة القطبية") غالباً ما يكون أهم من معرفة ما إذا كانت صورة واحدة قد صُنفت بشكل صحيح.
🧠 فخ "الإفراط في التفكير"
حاول الباحثون توجيه الروبوتات لـ "التفكير خطوة بخطوة" (Chain of Thought)، تماماً كما يفعل البشر عند حل مسألة رياضية.
- النتيجة: هذا جعل الروبوتات أسوأ في هذه المهمة المحددة.
- تشبيه: الأمر يشبه أن تطلب من طباخ: "قبل أن تقطع هذه البصلة، يرجى كتابة مقال من 5 فقرات عن تاريخ البصل". وبحلول الوقت الذي ينتهي فيه من الكتابة، يكون قد نسي كيف يقطع. بالنسبة للمهام البصرية، أحياناً تحتاج فقط إلى "الرؤية" و"التنفيذ"، لا التحليل المفرط.
📝 "التعليمات" (Prompt) هي ما يهم
كيفية سؤال الروبوت أمر بالغ الأهمية.
- للأشياء البسيطة (مثل "هل هذه صورة أم رسم؟")، تعمل التعليمات القصيرة بشكل أفضل.
- للأشياء المعقدة (مثل "هل هذا جفاف أم فيضان؟")، احتاج الروبوت إلى شرح أطول وتفصيلي مع أمثلة.
- الدرس المستفاد: لا يمكنك استخدام نفس التعليمات لكل مهمة. يجب عليك تخصيص الطلب.
5. الخاتمة: لماذا يهم هذا؟
هذه الورقة البحثية هي جسر. إنها تخبر علماء الاجتماع: "لم تعد بحاجة لتوظيف 1,000 إنسان لتحليل صور المناخ بعد الآن".
- الطريقة القديمة: يدوية، بطيئة، مكلفة، ومحدودة العينات.
- الطريقة الجديدة: مؤتمتة، سريعة، رخيصة، وقادرة على تحليل المحادثة بأكملها.
بينما ليست الروبوتات مثالية (لا تزال ترتبك بين أشياء متشابهة، مثل "ارتفاع مستوى سطح البحر" مقابل "الفيضانات")، إلا أنها موثوقة بما يكفي لرصد الصورة الكبيرة. يمكنها إخبارنا ما إذا كان العالم يتحول من الحديث عن "الدببة القطبية البعيدة" إلى "الفيضانات المحلية"، وهو بالضبط ما يحتاجه صناع السياسات والعلماء لمعرفة كيفية محاربة تغير المناخ بفعالية.
باختصار: أصبح لدينا أخيراً مساعد روبوت يمكنه قراءة الأخبار المرئية للعالم، وهو مستعد لمساعدتنا في فهم كيف نتحدث عن مستقبل كوكبنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.