Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram
تقيم هذه الورقة مدى فعالية نماذج اللغات الكبيرة متعددة الوسائط، وتحديداً GPT-4o، مقابل نماذج الرؤية الحاسوبية التقليدية في تحليل التواصل السياسي البصري على إنستغرام خلال الانتخابات الفيدرالية الألمانية لعام 2021، مما يثبت أن GPT-4o يتفوق بشكل كبير على الأساليب الحالية في تحديد السياسيين وعدّ الأفراد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول حل لغز: من هو النجم الحقيقي للعرض في حملة انتخابية؟
في عام 2021، شهدت ألمانيا انتخابات كبرى. وخلال هذا الوقت، أغرق السياسيون منصة إنستغرام بآلاف الصور ومقاطع الفيديو القصيرة (المعروفة باسم "القصص" أو Stories) للفوز بالأصوات. لكن الصور كانت كثيرة جداً بحيث لا يمكن لأي إنسان مراجعتها واحدة تلو الأخرى؛ إذ كان الأمر سيتطلب سنوات!
لذا، قرر ثلاثة باحثين من جامعات ألمانية بناء فريق من المحققين الرقميين (نماذج الذكاء الاصطناعي) للقيام بالمهمة. كان هدفهم الإجابة على سؤالين كبيرين:
- هل يمكن للحواسيب أن تصبح أفضل من البشر في تمييز السياسيين؟
- كيف يستخدم السياسيون إنستغرام لجعل أنفسهم يبدون كالشخصية الرئيسية؟
إليك قصة تحقيقهم، مشروحة ببساء.
1. المسابقة: المدرسة القديمة مقابل العقل الخارق الجديد
أقام الباحثون سباقاً بين ثلاثة أنواع مختلفة من "المحققين" من الذكاء الاصطناعي لمعرفة من سيؤدي أفضل مهمة في صور إنستغرام.
- محققو المدرسة القديمة (FaceNet و RetinaFace): هؤلاء يشبهون حراس الأمن المتخصصين. لقد تم تدريبهم فقط للبحث عن الوجوه. هم جيدون في العثور على وجه وسط حشد، لكنهم جامدون نوعاً ما. إذا كان الوجه ضبابياً، أو ملتفاً جانباً، أو مغطى بقناع، فقد يصابون بالارتباك.
- محقق السحابة (Google Cloud Vision): هذه أداة قوية وجاهزة من شركة تقنية عملاقة. هي تشبه استئجار شركة أمن احترافية. إنها جيدة، لكنها "صندوق أسود" — فأنت لا تعرف دائماً بالضبط كيف تتخذ قراراتها.
- العقل الخارق الجديد (GPT-4o): هذا نموذج لغوي كبير متعدد الوسائط. فكر في هذا كأنه متدرب فائق الذكاء قرأ كل كتاب في المكتبة وشاهد كل فيلم صُنع على الإطلاق. بخلاف حراس الأمن الذين يبحثون فقط عن "أشكال الوجوه"، يستطيع هذا المتدرب فهم الصورة. يمكنه التمييز بين شخص حقيقي يقف في حشد وبين صورة لشخص على ملصق إعلاني. كما يمكنه فهم السياق، مثل: "هل هذا الشخص يرتدي قناعاً؟" أو "هل هذه صورة سيلفي ضبابية؟".
النتيجة:
فاز العقل الخارق (GPT-4o) بالسباق بفارق شاسع.
- كان أفضل بك كثيراً في التعرف على السياسيين، حتى عندما كانوا يرتدون أقنعة أو يقفون بعيداً.
- كما كان أفضل بكثير في عدّ الأشخاص الموجودين في الصورة. كانت أدوات الكشف القديمة تقع في الفخ وتعد الوجوه في الخلفية (مثل وجه على لوحة إعلانية) وتظن أن هناك 10 أشخاص بينما لم يكن هناك سوى شخصين. أما العقل الخارق فقد عرف أن عليه عدّ الأشخاص الأساسيين فقط.
التشبيه:
تخيل أنك في حفلة.
- محقق المدرسة القديمة يشبه حارس البوابة الذي يتحقق من الهويات فقط. إذا غطى القبعة وجهك، سيقول: "لا أستطيع رؤيتك، أنت لست هنا".
- العقل الخارق يشبه مضيفاً لبقاً يعرف الجميع. حتى لو كنت ترتدي قبعة أو تقف في الخلف، سيقول المضيف: "آه، هذا هو العمدة! وأرى ثلاثة ضيوف آخرين معه".
2. اللغز: من هو "الشخصية الرئيسية"؟
بمجرد حصولهم على أفضل محقق ذكاء اصطناعي (GPT-4o)، استخدموه لتحليل الانتخابات الألمانية لعام 2021. كانوا يبحثون عن مفهوم يسمى "الرؤية المركزة" (Concentrated Visibility).
فكر في فيلم. أحياناً تركز الكاميرا فقط على البطل (المتقدم في السباق). وأحياناً أخرى تعرض طاقم العمل بأكمله (الحزب).
- الرؤية المركزة تعني أن الكاميرا مقربة بشدة على شخص واحد فقط، مما يجعله يبدو كأهم شخص في العالم.
ماذا وجدوا؟
- المرشحون مقابل الأحزاب: أحب السياسيون الأفراد (المرشحون) أن يكونوا هم "الشخصية الرئيسية". ففي حساباتهم الشخصية على إنستغرام، نشروا الكثير من الصور لأنفسهم، غالباً بمفردهم أو مع عدد قليل جداً من الناس. أرادوا منك أن تقع في حبهم هم.
- الأحزاب كانت أكثر خجلاً: كانت حسابات الأحزاب الرسمية (مثل صفحات CDU أو SPD) أكثر توازناً. فقد عرضوا المرشحين، لكنهم عرضوا أيضاً مجموعات من الناس، وتجمعات، وحشوداً. لم يركزوا بنفس الكثافة على وجه واحد فقط.
- القصص (Stories) مقابل المنشورات الدائمة:
- المنشورات (الدائمة): هي مثل أغلفة المجلات المصقولة. إنها صور عالية الجودة واحترافية. استخدمها كل من المرشحين والأحزاب ليبدوا جادين ورسميين.
- القصص (المحتوى الذي يختفي خلال 24 ساعة): هي مثل فيديوهات "خلف الكواليس". إنها عفوية، غير منظمة، وبسيطة. وجد الباحثون أن المرشحين استخدموا "القصص" لإظهار جوانبهم "الحقيقية"، بينما لم تستخدمها الأحزاب كثيراً لتسليط الضوء على قادتها.
الخلاصة:
يلعب السياسيون لعبة من جزئين. يستخدمون حساباتهم الشخصية ليقولوا: "انظروا إليّ، أنا النجم!" ويستخدمون حسابات أحزابهم ليقولوا: "نحن فريق واحد". ولكن على قصص إنستغرام (Stories)، مال المرشحون حقاً نحو كونهم "الشخصية الرئيسية"، بينما كانت الأحزاب أكثر تحفظاً.
3. لماذا يهم هذا الأمر؟
هذه الدراسة مهمة لسببين:
- الأداة جاهزة: كنا نعتقد سابقاً أن تحليل ملايين الصور مستحيل بدون جيش ضخم من البشر. الآن، لدينا "عقل خارق" من الذكاء الاصطناعي يمكنه القيام بذلك بسرعة، وبتكلفة منخفضة، وبدقة. هذا يعني أن الباحثين يمكنهم دراسة السياسة على نطاق واسع دون قضاء سنوات في العمل اليدوي.
- الاستراتيجية واضحة: نحن نعلم الآن بالضبط كيف يحاول السياسيون كسب قلوبنا. إنهم يستخدمون "الرؤية المركزة" لجعلنا نشعر وكأننا نعرفهم شخصياً، رغم أنهم مجرد وجه على الشاشة.
العقبة (القيود)
اعترف الباحثون ببعض الأمور:
- مشكلة "الصندوق الأسود": العقل الخارق (GPT-4o) مملوك لشركة خاصة. لا يمكننا رؤية الكود الخاص به. إنه يشبه استئجار محقق عبقري لا يريد أن يخبرك كيف حل القضية.
- مشكلة القناع: نظرًا لأن هذه الانتخابات حدثت أثناء الجائحة، فقد ارتدى العديد من السياسيين أقنعة. واجهت نماذج الذكاء الاصطناعي القديمة صعوبة في ذلك، لكن العقل الخارق تعامل مع الأمر بشكل أفضل. ومع ذلك، إذا ارتدى المرشح قناعاً ووقف بعيداً في نفس الوقت، فحتى العقل الخارق قد يرتبك أحياناً.
- مرشحة أنثى واحدة: كانت هناك مرشحة أنثى واحدة فقط في دراستهم (أنالينا بيربوك). كانت نماذج الذكاء الاصطنا_القديمة أسوأ في التعرف على وجهها، مما يشير إلى أن الذكاء الاصطناعي قد يكون لديه انحياز ضد النساء. كان العقل الخارق أفضل، لكننا بحاجة إلى المزيد من البيانات للتأكد.
باخت-اختصار
تتعلق هذه الورقة البحثية بتعليم الحواسيب مشاهدة البرامج السياسية (إنستغرام) وإخبارنا من هم النجوم. وجدوا أن ذكاءً اصطناعياً جديداً وذكياً (GPT-4o) أفضل بكثير من الأدوات القديمة. كما اكتشفوا أن السياسيين استراتيجيون للغاية: يستخدمون حساباتهم الشخصية لتسليط الضوء حصرياً على أنفسهم، محاولين جعلنا نشعر بأنهم أصدقاؤنا، بينما تلعب حسابات أحزابهم دوراً أكثر تحفظاً.
إنه مزيج من التحقيق التقني عالي المستوى وعلم النفس السياسي، يوضح لنا أنه في العصر الرقمي، أن تكون "مرئياً" لا يقل أهمية عن أن تكون مسموعاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.