Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas
تقدم هذه الورقة تصنيفاً جديداً للدعاية يركز على القصد، وطريقة التلقين الهرمي (HiPP)، مما يثبت أن الضبط الدقيق للنماذج اللغوية باستخدام هذا النهج يحسن بشكل كبير من المتانة والأداء عبر مخططات ترميز متنوعة، لا سيية في مجموعات البيانات الغامضة ومنخفضة الاتفاق.
المؤلفون الأصليون:Lukas Stähelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian Möller, Vera Schmitt
المؤلفون الأصليون: Lukas Stähelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian Möller, Vera Schmitt
تخيل أنك تحاول تعليم مجموعة من الروبوتات كيفية رصد البروباغندا (الدعاية) في منشورات وسائل التواصل الاجتماعي. تكمن المشكلة في أن البروباغندا أمر مخادع: فهي قصيرة، وفوضوية، وغالبًا ما تعتمد على "لماذا" كُتبت، وليس فقط على "ماذا" كُتب.
هذه الورقة البحثية تشبه "تقرير درجات" يوضح مدى جودة تعلم مختلف المعلمين الروبوتات (نماذج الذكاء الاصطيي) لهذه المهمة، وهي تختبر ثلاث طرق مختلفة لتعليمهم.
الكتابان المدرسيان (مخططات التوصيف)
أولاً، أنشأ الباحثون كتابين مدرسيين مختلفين أو "كتيبات قواعد" ليتعلم منها الروبوتات.
كتاب "التقنية" (Sahitaj et al.): هذا الكتاب يشبه قائمة مراجعة لخدع محددة. يقول: "إذا رأيت كلمة مخيفة، فهذا 'تخويف'. إذا رأيت هجوماً شخصياً، فهذا 'مغالطة شخصية'". إنه واضح للغاية، واتفق المعلمون البشر (المصنفون) على هذه القواعد معظم الوقت. من السهل تقييمه، لكنه قد يفتقر إلى الصورة الكبيرة.
كتاب "القصد" (الاختراع الجديد): هذا هو اختراع الباحثين الجديد. بدلاً من مجرد سرد الخدع، سألوا: "ما هو هدف هذا المنشور؟" هل الهدف هو "تحويل اللوم"؟ أم "إرباك الجمهور"؟ أم "تبرير العدوان"؟
العقبة: هذا الأمر أصعب بكثير. إنه يشبه سؤال طالب لتخمين "دافع" المعلم بدلاً من مجرد رصد خطأ في القواعد. اختلف المعلمون البشر كثيراً حول هذه التصنيفات لأن الدوافع غامضة وذاتية.
طرق التدريس الثلاث
اختبر الباحثون أربعة عقول روبوتية مختلفة (نماذج ذكاء اصطناعي) باستخدام ثلاث استراتيجيات تعليمية:
طريقة "التعلم من الصفر" (Zero-Shot): أنت فقط تسلم الروبوت الكتاب المدرسي وتقول له: "اذهب واكتشف الأمر بنفسك". كانت الروبوتات سيئة للغاية في هذه الطريقة؛ فقد خمنت بشكل عشوائي، مثل طالب لم يذاكر دروسه.
طريقة "الضبط الدقيق" (Fine-Tuning): هذا هو الاختراق الكبير. عرض الباحثون على الروبوتات آلاف الأمثلة وتركوا لها المجال لتتدرب حتى تتقن الأمر.
النتيجة: كان هذا هو المفتاح السحري. لقد حول الروبوتات الضعيفة والمشتتة إلى روبوتات حادة وتنافسية. وتزعم الورقة أنه بدون جلسة التدريب هذه، لم يكن بإمكان الروبوتات تعلم المهمة بشكل جيد ببساطة.
طريقة "التلقين الهرمي" (HiPP): هذه خدعة ذكية. بدلاً من سؤال الروبوت مباشرة: "ما هو الهدف الرئيسي هنا؟"، يسأله سؤالين متتاليين:
الخطوة 1: "ما هي الخدعة المحددة المستخدمة هنا؟"
الخطوة 2: "حسناً، بناءً على تلك الخدعة، ما هو الهدف الرئيسي؟"
التشبيه: تخيل محاولة تحديد نوع طائر. بدلاً من تخمين النوع فوراً، تسأل أولاً: "هل لديه منقار طويل؟" ثم "بناءً على المنقار الطويل، هل هو طائر مالك الحزين؟"
النتيجة: نجحت هذه الطريقة ذات الخطوتين بشكل أفضل بعد أن تدربت الروبوتات (الضبط الدقيق)، خاصة في كتاب "القصد" الذي كانت قواعده فوضوية. لقد ساعد ذلك الروبوتات على البقاء منظمة عندما تكون الإجابات مربكة.
النتائج: من الفائز؟
أفضل الروبوتات: حققت عائلة روبوتات Qwen (تحديداً Qwen3-14B) الأداء الأفضل بشكل عام. لقد كانوا بمثلة "طلاب المتفوقين".
الوصيف: كان الروبوت Phi-4 قوياً جداً أيضاً، حيث تفوق باستمرار على الروبوت GPT-4.1-nano.
الدرس المستفاد من الصعوبة: سجلت الروبوتات درجات أعلى في كتاب "التقنية" السهل مقارنة بكتاب "القصد" الصعب. وهذا يثبت أن قواعد "القصد" الجديدة هي بالفعل أكثر تحدياً وواقعية، حتى وإن كانت أصعب في التعلم.
لحظة الاستبصار (تحليل الأخطاء)
نظر الباحثون في المواضع التي ارتكبت فيها الروبوتات أخطاءً.
قبل التدريب: كانت الروبوتات تعمل كـ "صائدي كلمات مفتاحية". إذا رأوا كلمات مثل "حرب"، "روسيا"، أو "نازي"، كانوا يصرخون فوراً: "بروباغندا!" حتى لو كان المنشور مجرد تقرير إخباري. كانوا حساسين للغاية.
بعد التدريب: أصبح الروبوتات أكثر ذكاءً. توقفوا عن تصنيف كل تقرير إخباري عن الحرب كدعاية. لقد بدأوا يحددون فقط المنشورات التي تحاول فعلياً التلاعب بالناس.
الارتباك: عندما كان الروبوتات يرتبكون، لم يختاروا إجابات عشوائية. بل خلطوا بين الأهداف المتشابهة (مثل الخلط بين "تحويل اللوم" و"تزييف الواقع"). وهذا في الواقع خبر جيد؛ فهو يعني أنهم يفكرون منطقياً، لكنهم يخطئون في التفاصيل الدقيقة فقط، تماماً كما يفعل البشر.
الخلاصة
تخلص الورقة إلى أنه لبناء روبوت يمكنه حقاً فهم البروباغندا، لا يمكنك مجرد إعطائه كتاب قواعد والأمل في الأفضل. يجب عليك تدريبه (الضبط الدقيق) على أمثلة حقيقية. وبمجرد تدريبه، فإن استخدام عملية تفكير خطوة بخطوة (HiPP) يساعده على التعامل مع مواقف العالم الحقيقي الفوضوية حيث يكون "السبب" وراء الرسالة صعب التحديد.
لقلّدوا أيضاً كتاب "القصد" الجديد والروبوتات المدربة ليستخدمها الآخرون، آملين أن يساعد ذلك الباحثين ليس فقط في فهم أن البروباغندا تحدث، بل في فهم ما الذي يحاول مروجو البروباغندا تحقيقه.
ملخص تقني: الضبط الدقيق باستخدام التلقين الهرمي لتصنيف البروباغندا (الدعاية) بمتانة عبر مخططات التصنيف
بيان المشكلة يواجه اكتشاف البروباغندا في وسائل التواصل الاجتماعي تحديات كبيرة بسبب الطبيعة الصاخبة والقصيرة للنصوص، وانتشار اللغة غير الرسمية، وانخفاض اتفاق الملحظين (IAA). غالبًا ما تكون التصنيفات الحالية متمحورة حول التقنيات (تركز على الأساليب البلاغية مثل "اللغة المشحونة") وتكافح لاستيعاب المقاصد التواصلية الاستراتيجية وراء البروباغندا. علاوة على ذلك، هناك مقايضة في تصميم المخطط: المخططات الواقعية والمعقدة تلتقط التنوع في العالم الحقيقي ولكنها تقلل من موثوقية التدوين، بينما المخططات المبسطة ترفع مستوى الاتفاق على حساب الصلاحية البيئية. بالإضافة إلى ذلك، لا يزال التفاعل بين تصميم مخطط التدوين، وأنظمة الإشراف (التعلم من الصفر مقابل الضبط الدقيق)، واستراتيجيات التلقين (Prompting) غير مستكشف بشكل كافٍ في سياق النماذج اللغوية الكبيرة (LLMs).
المنهجية أجرى المؤلفون تجربة منضبطة لتقييم تصنيف البروباغندا عبر ثلاثة أبعاد متفاعلة: مخطط التدوين، نظام الإشراف، واستراتيجية التلقين.
البيانات والمخططات:
مصدر البيانات: استخدمت الدراسة مجموعة بيانات معيار HQP (30,000 تغريدة باللغة الإنجليزية من بداية الحرب الروسية الأوكرانية).
المخطط (أ) (جديد قائم على المقصد): قدم المؤلفون تصنيفًا جديدًا يجمع 17 تقنية دقيقة في خمس فئات عالية المستوى بناءً على المقصد التواصلي (مثل: إزاحة اللوم، تبرير العدوان، صناعة الإجماع). تم تطوير هذا المخطط عبر عملية تكرارية شملت تدوين الخبراء، وتنسيقًا بمساعدة النماذج اللغوية الكبيرة، وإجماع المجموعة. وقد حقق هذا المخطط اتفاقًا متوسطًا (κ=0.309)، مما يعكس الغموض المتأصل في المقصد ضمن النصوص القصيرة.
المخطط (ب) (Sahitaj et al., 2025): تصنيف متمحور حول التقنية وقائم على النطاق (span-based)، تم تكييفه ليتناسب مع تويتر. في هذه الدراسة، قام المؤلفون بتجميع تقنياته الـ 17 في ست فئات عالية المستوى. أظهر هذا المخطط اتفاقًا أعلى بكثير (κ=0.594).
النماذج: تم تقييم أربعة نماذج لغوية: GPT-4.1-nano، وPhi-4 14B، وQwen2.5-14B، وQwen3-14B. أُجريت التجارب في كل من نظام التعلم من الصفر (Base) ونظام الضبط الدقيق (FT). تم إجراء الضبط الدقيق باستخدام تقنية LoRA للمتغيرات ذات الأوزان المفتوحة، وعبر تحسين واجهة برمجة التطبيقات (API) لنموذج GPT-4.1-nano.
استراتيجيات التلقين:
المباشر-العالي (Direct-High): تتنبأ النماذج بالفئة عالية المستوى مباشرة من النص.
التلقين الهرمي (HiPP): استراتيجية "الرئيسي ← العالي" حيث يتنبأ النموذج أولاً بالتقنية الأكثر بروزًا على المستوى الدقيق، ثم يجمع هذا التنبؤ لتحديد الفئة عالية المستوى في تمريرة واحدة.
التقييم: تم قياس الأداء باستخدام F1-Macro وF1-Weighted لمجموعة اختبار ذهبية متوازنة (200 تغريدة لكل مخطط). شمل تحليل الخطأ مصفوفات الارتباك، وإحصاءات تكرار الكلمات (lemma-frequency)، وتصور PCA لمتجهات TF-IDF.
المساهمات الرئيسية
تصنيف جديد قائم على المقصد: تقدم الورقة أول تصنيف مفاهيمي جديد تمامًا للبروباغندا منذ عام 2019، محولة التركة من الأساليب السطحية إلى الأهداف التواصلية الاستراتيجية.
إطار مقارنة منضبط: تعزل الدراسة آثار تصميم المخطط، والإشراف، والتلقين عبر معاملتها كعوامل متعامدة، مما يوضح كيفية تفاعل هذه العناصر لتشكيل متانة النموذج.
التحقق من التلقين الهرمي (HiPP): يقترح المؤلفون ويتحققون من منهجية HiPP، موضحين فائدتها المحددة في حالات الضبط الدقيق، لا سيما في مخططات التدوين ذات الضجيج والاتفاق المنخفض.
التصنيف عالي المستوى للمخططات القائمة: أنشأ المؤلفون تسميات عالية المستوى لمخطط Sahitaj et al. (2025) عبر إجراء تجميع (clustering)، محققين اتفاقًا عاليًا في التحقق البشري وتوفير خط أساس قوي للمقارنة.
النتائج
تأثير الضبط الدقيق: كان الضبط الدقيق حاسمًا في جميع التكوينات، حيث حول النماذج الضعيفة في نظام التعلم من الصفر إلى أنظمة تنافسية (تحسينات تتراوح بين +0.09 و+0.30 في F1-Weighted). وقد كشف الضبط الدقيق عن اختلافات منهجية كانت غير مرئية في نظام الحالة الأساسية.
أداء المخطط: حقق مخطط Sahitaj أداءً مطلقًا أعلى باستمرار (فجوات تتراوح بين +0.05 و+0.15 في F1-Weighted) بسبب موثوقية تدوينه العالية. ومع ذلك، فإن المخطط القائم على المقصد، رغم كونه أكثر صعوبة، قدم عدسة أكثر ثراءً للأهداف الاستراتيجية.
أداء النماذج: من بين النماذج ذات الأوزان المفتوحة، حققت سلسلة Qwen (وتحديدًا Qwen3-14B) أقوى أداء إجمالي. كما تفوق نموذج Phi-4 14B باستمرار على GPT-4.1-nano عبر كلا المخططين والنظامين.
فعالية HiPP:
في إعدادات التعلم من الصفر، غالبًا ما كان أداء HiPP (الرئيسي ← العالي) أقل من Direct-High، خاصة في المخطط ذي الاتفاق المنخفض (low-IAA)، مما يشير إلى أن التفكيك الهرمي يمكن أن يضخم الضجيج دون تمثيلات مكيفة.
بعد الضبط الدقيق، أصبح HiPP مفيدًا للغاية، خاصة في المخطط القائم على المقصد. فقد وفر ميزة منهجية مستقرة، مما ساعد النماذج على استعادة تسميات أغلبية الأصوات حتى في حالات الاختلاف العالي بين الملحظين.
تحليل الخطأ:
التعلم من الصفر: كانت النماذج شديدة الحساسية للإشارات المعجمية (مثل "أوكرانيا"، "نازي"، "حرب")، مما أدى إلى ارتفاع النتائج الإيجابية الكاذبة.
الضبط الدقيق: انتقلت الأخطاء من المحفزات المعجمية البسيطة إلى الحالات المستقطبة والغامضة حقًا، حيث قللت نماذج HiPP المضبوطة دقيقًا من النتائج الإيجابية الكاذبة في التقارير الحربية المحايدة وركزت الأخطاء على الفئات المتجاورة مفاهيميًا (مثل الخلط بين تشويه الواقع وإزاحة اللوم)، مما يشير إلى فهم أكثر هيكلية للتصنيف.
تصور PCA: أنتج المخطط القائم على المقصد مساحة قرار أكثر كثافة وتداخلًا مقارنة بالمجموعات الأكثر تماسكًا وانفصالًا لمخطط Sahitaj، مما يؤكد الصعوبة الأعلى للمهمة القائمة على المقصد.
الأهمية والادعاءات تدعي الورقة أن مساهمتها الأساسية هي منهجية، حيث تثبت أن الضبط الدقيق ضروري لاكتشاف البروباغندا بمتانة، وأن التلقين الهرمي (HiPP يعمل كتحيز استقرائي مثبت تحديدًا عندما يتم تكييف النماذج مع مساحات التدوين الصاخبة وغير المتوازنة.
ويرى المؤلفون أنه بينما توفر المخططات المتمحورة حول التقنيات والمبسطة إشارات تعلم أوضح، فإن المخططات القائمة على المقصد ضرورية للتحليل الدقيق للأهداف الاستراتيجية للبروباغندا. ويفترضون أن النماذج اللغوية الكبيرة الحديثة، عند ضبطها دقيقًا باستخدام HiPP، تتقارب نحو هياكل خطأ متشابهة وقابلة للتفسير، مما يشير إلى أن الاستنتاجات المستخلصة من عائلة نماذج واحدة يمكن نقلها بشكل معقول إلى عائلات أخرى. يوفر العمل معيارًا تحديًا (مجموعة بيانات HQP مع تسميات المقصد الجديدة) للبحوث المستقبلية حول الاكتشاف الواقعي، مؤكدًا أن الأنظمة المتينة يجب أن تأخذ في الاعتبار المقايضة بين الواقعية البيئية وموثوقية التدوين.
ويبدي المؤلفون تواضعًا، مشيرين إلى أن نتائجهم هي مؤشرات لاتجاهات منهجية بناءً على تقسيم واحد للبيانات، وأن التصنيف المقترح القائم على المقصد، رغم قيمته، يُدخل ضجيجًا متأصلًا يجعل من عملية التصنيف مسألة أكثر صعوبة من الأطر الحالية.