LLM-Driven Data Augmentation and Fine-Tuned Transformers vs. Few-Shot LLMs for Arabic Propaganda Technique Detection
تقدم هذه الورقة مساراً شاملاً للكشف عن الدعاية باللغة العربية يوضح كيف أن تعزيز البيانات القائم على التعلم بلقطات قليلة (few-shot) والموجه بواسطة نموذج GPT-4.1 يتفوق بشكل كبير على الطرق التقليدية، مما يمكّن نموذج BERT مضبوط الدقة من تحقيق نتائج رائدة (F1-Micro=0.66) تتجاوز كلاً من المعايير المرجعية السابقة ونهج النماذج اللغوية الكبيرة ذات اللقطات القليلة، مع الكشف عن أن السمات اللغوية ضارة وأن تعزيز البيانات هو عامل النجاح الحاسم في هذا السياق منخفض الموارد وغير المتوازن.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الصاخب والشاسع لوسائل التواصل الاجتماعي، يختبئ شكل من أشكال الإقناع الخفي في وضح النهار. فخلافاً للأخبار الزائفة التي تعتمد على الأكاذيب الصريحة، يعمل الدعاية (البروباغندا) عبر تحريف الحقيقة، مستخدماً لغة عاطفية وحِيلاً بلاغية لتشكيل كيفية تفسير الناس للحقائق. إنها أداة للتأثير يمكن أن تكون دقيقة واقعياً ولكنها تلاعبية بعمق. وبينما تمت دراسة هذه الظاهرة طويلاً في السياقات الناطقة بالإنجليزية، يمثل العالم العربي تحدياً فريداً؛ فاللغة العربية غنية ومعقدة، بكلمات تتغير صيغتها بناءً على دورها في الجملة، مما يجعل من الصعب على البرامج الحاسوبية القياسية فهم المعنى. علاوة على ذلك، كافح الباحثون للعثور على أمثلة كافية لهذا السلوك لتعليم الحواسيب كيفية رصده. فالبيانات المتاحة شحيحة ومنحازة بشدة، حيث تظهر بعض تقنيات التلاعب مئات المرات بينما تظهر أخرى مرة أو مرتين فقط، مما يترك الآلات عمياء أمام أكثر أشكال التأثير ندرة وخطورة.
لقد وضع فريق من الباحثين من الجامعة الإسلامية في غزة وجامعة سالينتو هدفاً لحل هذه المشكلة المزدوجة: كيفية إنشاء أمثلة تدريب عالية الجودة للحواسيب لتتعلم منها، وتحديد نوع النموذج الحاسوبي الأنسب للكشف عن هذه التقنيات في اللغة العربية. وقد ركزوا على مجموعة بيانات محددة من التغريدات التي تحتوي على سبع عشرة تقنية دعائية مختلفة، تتراوح بين "اللغة المشحونة" التي تستخدم كلمات عاطفية إلى "النبز بالألقاب" الذي يهاجم شخصية الفرد. كانت مجموعة البيانات الأصلية صغيرة جداً وغير متوازنة لتعليم الحاسوب بفعالية. ولإصلاح ذلك، جرب الباحثون ثلاث طرق مختلفة لتوسيع البيانات اصطناعياً؛ فقد حاولوا استخدام نموذج لغوي كبير لاستبدال الكلمات بمرادفاتها، وحاولوا ترجمة التغريدات إلى الإنجليزية ثم إعادتها إلى العربية لإنشاء صياغات جديدة، وحاولوا الطلب من ذكاء اصطناعي قوي كتابة أمثلة دعائية جديدة تماماً بناءً على عدد قليل من الأمثلة الحقيقية.
وكشفت نتائج هذه التجارب عن تسلسل هرمي واضح للنجاح. فقد فشلت الأساليب التقليدية، مثل استبدال الكلمات أو الإدراج العشوائي، فشلاً ذريعاً لأن قواعد اللغة العربية المعقدة تنهار عندما تُنقل الكلمات أو تُغير دون فهم بنية الجملة، حيث أنتجت هذه المحاولات نصوصاً تبدو خاطئة للمتحدث الأصلي للغة. ومع ذلك، عندما طلب الباحثون من ذكاء اصطناعي متطور توليد أمثلة كاملة وجديدة من الدعاية بأسلوب محدد، كانت النتائج استثنائية. فقد أنتجت هذه الطريقة نصاً طبيعياً وصحيحاً نحوياً، بنسبة نجاح بلغت قرابة تسعة وتسعين بالمائة بعد المراجعة البشرية. وقد حولت هذه الاستراتيجية المنفردة مجموعة بيانات صغيرة مكونة من ستمائة مدخل إلى مجموعة قوية تضم أكثر من أربعة آلاف مثال فريد، مما علم الحاسوب بفعالية كيف تبدو تقنيات الدعاية النادرة حقاً.
ومع امتلاك هذه المكتبة الموسعة من الأمثلة الجديدة، اختبر الفريق نهجين مختلفين لتعليم الحواسيب كيفية اكتشاف الدعاية. تضمن النهج الأول "الضبط الدقيق" (fine-tuning)، حيث يتم تعديل نموذج حاسوبي مُدرب مسبقاً خصيصاً لهذه المهمة باستخدام البيانات الجديدة. وتضمن النهج الثاني "التحفيز بالقليل من الأمثلة" (few-shot prompting)، حيث يُعطى ذكاء اصطناعي ضخم عام الغرض عدداً قليلاً من الأمثلة ويُطلب منه تحديد التقنيات دون أي تدريب مسبق. أجرى الباحثون عشرات التجارب، واختبروا بنيات نماذج مختلفة، بل وحاولوا مساعدة النماذج عبر إضافة معلومات إضافية حول القواعد وأسماء الأشخاص أو الأماكن في النص.
وكانت النتائج حاسمة. فكان النظام الأفضل أداءً هو النموذج الذي تم ضبطه بدقة باستخدام البيانات المعززة حديثاً. حقق هذا النظام مستوى من الدقة تجاوز أفضل النتائج السابقة في هذا المجال بفارق كبير، لا سيما في قدرته على رصد التقنيات النادرة والدقيقة التي كان يتم تفويتها سابقاً. واكتشف الباحثون أن إضافة تفاصيل قواعدية إضافية أضرت في الواقع بأداء النماذج، مما يشير إلى أن الفهم الداخلي للحاسوب للغة كان كافياً بالفعل، وأن المعلومات الإضافية لم تؤدِ إلا إلى إحداث ارتباك. وفي المقابل، فإن نماذج الذكاء الاصطناعي العامة والقوية، رغم قدرتها، عانت في تحديد التقنيات النادرة عند إعطائها أمثلة قليلة فقط؛ فقد أدت أداءً جيداً في الحيل الشائعة لكنها فشلت في التعرف على التقنيات الأقل تكراراً، متخلفة بذلك عن النموذج المتخصص والمضبوط بدقة.
وفي الختام، تثبت الدراسة أن النجاح في اللغات المعقدة ذات الموارد المحدودة مثل العربية لا يكمن في استخدام أكبر ذكاء اصطناعي ممكن، بل في تنسيق وتوسيع البيانات المستخدمة لتدريب نموذج متخصص بعناية. لقد وجد الباحثون أن تعزيز البيانات (data augmentation) كان العامل الأهم على الإطلاق، حيث جسر الفجوة بين ما يمكن للحواسيب فعله بالمعلومات المحدودة وما يمكنها تحقيقه مع مجموعة بيانات غنية ومتنوعة. وبينما توفر نماذج الذكاء الاصطناዊ الكبيرة بديلاً مريحاً لا يتطلب تدريباً، إلا أنها لا تستطيع حالياً مضاهاة دقة نموذج تم تعليمه خصيصاً باستخدام مجموعة بيانات كبيرة وعالية الجودة. يوفر هذا العمل مساراً واضحاً للمضي قدماً في بناء أدوات أفضل للكشف عن التلاعب في وسائل التواصل الاجتماعي العربية، موضحاً أنه مع البيانات الصحيحة، يمكن حتى تحديد أكثر أشكال الدعاية مراوغة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.