🤖 AI

LLM-guided Semi-Supervised Approaches for Social Media Crisis Data Classification

تقدم هذه الورقة أول تقييم تجريبي للتعلم شبه المشرف الموجه بنماذج اللغات الكبيرة لتصنيف التغريدات المتعلقة بالأزمات، مما يثبت أن أساليبًا مثل LG-CoTrain تتفوق بشكل كبير على النهج الكلاسيكية في البيئات ذات الموارد المحدودة، ويمكنها نقل معرفة نماذج اللغات الكبيرة إلى نماذج مدمجة وقابلة للنشر تضاهي النماذج اللغوية الكبيرة ذات القدرة على التعلم الصفري.

المؤلفون الأصليون: Jacob Ativo, Bharaneeshwar Balasubramaniyam, Anh Tran, Khushboo Gupta, Hongmin Li, Doina Caragea, Cornelia Caragea

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jacob Ativo, Bharaneeshwar Balasubramaniyam, Anh Tran, Khushboo Gupta, Hongmin Li, Doina Caragea, Cornelia Caragea

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل موقفاً طارئاً هائلاً وفوضوياً، مثل إعصار أو حريق غابات. خلال هذه الأحداث، ينشر الملايين من الناس تحديثات على وسائل التواصل الاجتماعي. بعض المنشورات تقول: "منزلي غارق في المياه!" (طلب إنقاذ)، بينما تقول منشورات أخرى: "الطرق سالكة" (تحديث حالة).

ما هي المشكلة؟ هناك عدد هائل من المنشورات التي لا يمكن للبشر قراءتها في الوقت الفعلي. لذا، تحتاج الحواسيب إلى فرزها تلقائياً. ولكن هنا تكمن العقبة: لتعليم الكمبيوتر كيفية فرز هذه المنشورات، تحتاج عادةً إلى كومة ضخمة من الأمثلة التي قام البشر بتصنيفها مسبقاً (على سبيل المثال: "هذا طلب إنقاذ"، "هذا ليس كذلك"). وفي الكوارث الحقيقية، ليس لديك الوقت لجمع آلاف الأمثلة المصنفة قبل أن يبدأ النظام في العمل.

هذه الورقة البحثية تتحدث عن حيلة ذكية لتعليم الحواسيب كيفية فرز منشورات الأزمات باستخدام عدد قليل جداً من الأمثلة البشرية، وذلك عبر استعارة "القدرة الذهنية" لنموذج ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير، أو LLM).

إليك تفصيل تجربتهم، مشروحاً ببساطة:

الشخصيات المشاركة

"الطالب" (النماذج الصغيرة): هذه برامج حاسوبية قياسية وفعالة (مثل BERTweet)، يمكن نشرها بسرعة على هاتف أو خادم. هي ذكية، لكنها تحتاج إلى تدريب.
"المعلم" (النموذج اللغوي الكبير - LLM): هذا ذكاء اصطناعي ضخم وفائق الذكاء (GPT-4o في هذه الدراسة). إنه يعرف الكثير عن اللغة ويمكنه تخمين معنى المنشور دون أن يتم تدريبه على كارثة معينة. إنه يشبه عبقرياً قرأ كل كتاب في المكتبة ولكنه لم يرَ فيلضاً محدداً من قبل.
"الفصل الدراسي" (البيانات): استخدم الباحثون بيانات من 10 كوارث ماضية (مثل إعصار هارفي وفيضانات كيرالا). لقد تظاهروا بأنهم في فصل دراسي "ضعيف الموارد" من خلال إعطاء الطلاب عدداً ضخماً من المنشورات غير المصنفة، مقابل عدد ضئيل جداً من الأمثلة المصنفة (5، 10، أو 25 مثالاً لكل فئة).

التجربة: طريقتان جديدتان للتدريس

اختبر الباحثون طريقتين جديدتين لاستخدام "المعلم العبقري" لمساعدة "الطالب" على التعلم من كومة البيانات غير المصنفة.

الطريقة 1: VerifyMatch (نظام "التحقق المزدوج")
تخيل أن المعلم العبقري يكتب إجابة لواجب مدرسي لطالب. ولكن بدلاً من قبول الإجابة مباشرة، يقوم "مدقق" (نموذج ذكي آخر) بفحص الإجابة. إذا اتفق المدقق مع المعلم، يتعلم الطالب من الإجابة. وإذا اختلفوا، يتجاهلها الطالب. هذا يمنع الطالب من تعلم الإجابة الخاطئة لمجرد أن المعلم كان واثقاً ولكنه مخطئ.

الطريقة 2: LG-CoTrain (نظام "زميل الدراسة")
هذا هو نجم العرض. تخيل طالبين (نموذجين صغيرين) يدرسان معاً.

المعلم العبقري يعطيهما تلميحاً (تسمية افتراضية) حول مسألة صعبة.
يحاول الطالب (أ) حل المسألة. ويحاول الطالب (ب) حلها أيضاً.
يقارنان ملاحظاتهما. إذا اتفق كلاهما مع تلميح المعلم، فإنهما يتعلمان منه.
يتبادلان الأدوار ويساعد كل منهما الآخر على التحسن.
النتيجة: كانت هذه الطريقة ممتازة للغاية عندما كان لدى الطلاب مساعدة بشرية شبه معدومة (5 أو 10 أمثلة فقط). لقد تعلمت بشكل أسرع وأفضل من أي طريقة أخرى.

ماذا وجدوا (النتائج)

فوز "ضعف الموارد": عندما كان لدى الطلاب أمثلة بشرية قليلة جداً (5 أو 10)، كانت طريقة LG-CoTrain هي الفائزة بوضوح. لقد تعلمت جيداً لدرجة أنها تفوقت فعلياً على المعلم العبقري (GPT-4o) الذي يعمل بمفرده!
- تشبيه: الأمر يشبه سيارة صغيرة وسريعة، مع القليل من التوجيه من سائق سيارات سباق، تنتهي بالقيادة بشكل أسرع مما كان بإمكان السائق قيادة السيارة بمفرده.
تحول "زيادة البيانات": مع منح الباحثين للطلاب المزيد من الأمثلة البشرية (حتى 50 مثالاً)، لم تعد هذه الطرق المتطورة بحاجة إلى المعلم العبقري بقدر الحاجة إليه. حينها، أصبحت طريقة قديمة وأبسط تسمى Self-Training (التدريب الذاتي - حيث يخمن الطالب بمفرده ويتعلم من أفضل تخميناته) هي البطلة.
فحص "المعايرة": في الأزمات، لا تريد من الكمبيوتر أن يكون صحيحاً فحسب؛ بل تريده أن يعرف مدى تأكده. إذا قال "أنا متأكد بنسبة 99% أن هذا طلب إنقاذ"، فمن الأفضل أن يكون محقاً.
- طريقة VerifyMatch كانت رائعة في هذا؛ فقد كانت صادقة جداً بشأن مستوى ثقتها.
- أما LG-CoTrain فكانت الأكثر دقة، لكنها احتاجت إلى المزيد من البيانات لتصبح واثقة جداً من إجاباتها.

الخلاصة الكبرى

تثبت هذه الورقة أنه يمكنك نقل "معرفة" ذكاء اصطناعي ضخم ومكلف إلى برنامج حاسوبي صغير ورخيص وسريع.

إذا كان لديك بيانات شبه معدومة: استخدم طريقة LG-CoTrain. فهي تستخدم الذكاء الاصتني الكبير لتعليم الذكاء الاصطناعي الصغير كيفية التعلم بسرعة.
إذا كان لديك بعض البيانات: قد لا تحتاج إلى الذكاء الاصطناعي الكبير على الإطلاق؛ طريقة أبسط ستؤدي الغرض تماماً.
إذا كنت بحاجة لمعرفة مدى تأكد الكمبيوتر: استخدم VerifyMatch أو طريقة تسمى AUM-ST-MixUp، فهما حذران جداً بشأن مستويات ثقتهما.

لماذا يهم هذا في الكوارث؟

في كارثة حقيقية، قد يكون أمامك 5 دقائق فقط لإعداد نظام باستخدام 10 تغريدات فقط مصنفة من متطوع. يوضح هذا البحث أنه يمكنك استخدام ذكاء اصطناعي كبير لـ "تعليم" ذكاء اصطناعي صغير وسريع في تلك الـ 5 دقائق، مما يخلق أداة يمكنها فرز آلاف التغريدات الواردة فوراً لمساعدة فرق الإنقاذ في العثور على الأشخاص المحتاجين. إنها طريقة لجعل الذكاء الاصطناعي عالي التقنية عملياً ومتاحاً لحالات الطوارئ في العالم الحقيقي.

ملخص تقني: التعلم شبه الإشرافي الموجه بنماذج اللغات الكبيرة لتصنيف بيانات الأزمات

بيان المشكلة

في إدارة الكوارث، توفر منصات التواصل الاجتماعي تدفقاً حيوياً وثنائي الاتجاه للمعلومات، حيث تنشر السلطات التحذيرات وتقدم الجماهير تحديثات حول المواقف. ومع ذلك، فإن دمج هذه التدفقات بفعالية في العمليات الآنية يعوقه فرط المعلومات الذي يتميز بالكمية العالية، والسرعة، وتفاوت الموثوقية. وقد تم تطبيق تعلم الآلة (ML) ومعالجة اللغات الطبيعية (NLP) لتصنيف التغريدات المتعلقة بالأزمات تلقائياً إلى فئات قابلة للتنفيذ (مثل أضرار البنية التحتية، أو طلبات الإنقاذ)، إلا أن النماذج الخاضعة للإشراف تتطلب عادةً كميات كبيرة من البيانات عالية الجودة والموسومة بشرياً. وهذه البيانات غالباً ما تكون نادرة في السياق الحساس للوقت أثناء الاستجابة للكوارث.

تشمل الحلول الحالية تكييف المجال والتعلم شبه الإشرافي (SSL) التقليدي، والتي تجمع بين مجموعات صغيرة موسومة ومجموعات كبيرة غير موسومة عبر التسمية الزائفة (pseudo-labeling). ومع ذلك، فإن جودة التسميات الزائفة التي تولدها نماذج "المعلم" في المراحل الأولى من التدريب يمكن أن تكون مشوبة بالضجيج، مما يؤدي إلى انتشار الخطأ. ومع ظهور نماذج اللغات الكبيرة (LLMs)، هناك إمكانية للاستفادة من قدراتها في التعلم من الصفر (zero-shot) أو من أمثلة قليلة (few-shot) لتوليد تسميات زائفة ذات جودة أعلى لنماذج أصغر وأكثر قابلية للنشر. ومع ذلك، قبل هذا العمل، لم يكن هناك تقييم تجريبي لعملية التعلم شبه الإشرافي الموجهة بنماذج اللغات الكبيرة خصيصاً في مجال الأزمات.

المنهجية

يقدم المؤلفون أول تقييم تجريبي للتعلم شبه الإشرافي الموجه بنماذج اللغات الكبيرة لتصنيف التغريدات المتعلقة بالأزمات. تستخدم الدراسة مجموعة بيانات HumAID، وهي معيار يتكون من 77,196 تغريدة موسومة بشرياً من 19 حدثاً للكوارث، مصنفة إلى 11 فئة إنسانية. تركز التجارب على 10 أحداث كوارث محددة، لمحاكاة بيئات الموارد المنخفضة بميزانيات بيانات موسومة تبلغ 5، 10، 25، و50 مثالاً لكل فئة.

النماذج والأساليب المرجعية

تقارن الدراسة بين نهجين للتعلم شبه الإشرافي الموجه بنماذج اللغات الكبيرة مقابل أساليب التعلم شبه الإشرافي الكلاسيكية والحدود الخاضعة للإشراف:

النماذج المرجعية الخاضعة للإشراف:
- الحد الأدنى: نموذج BERTweet المدرب فقط على المجموعة الموسومة المحدودة ( $D_L$ ).
- الحد الأعلى: نموذج BERTweet المدرب على كامل مجموعة التدريب الموسومة.
- النموذج الصفري (Zero-Shot) للنماذج الكبيرة: نموذج GPT-4o الذي تم تقييمه في إعداد الصفر (بدون تدريب مخصص للمهمة).
النماذج المرجعية الكلاسيكية للتعلم شبه الإشرافي:
- التدريب الذاتي (ST)، التدريب الذاتي الواعي بعدم اليقين (UST)، MixMatch، التدريب الذاتي القائم على AUM (AUM-ST)، وAUM-ST-MixUp، والتدريب الذاتي القائم على الثقة (Conf-ST-MixUp).
نهج التعلم شبه الإشرافي الموجه بنماذج اللغات الكبيرة:
- VerifyMatch: يدمج التسميات الزائفة المولدة بواسطة نموذج لغة كبير مع نموذج تحقق للتحقق من صحة التنبؤات قبل التدريب، مدمجاً مع تقنية MixUp الواعية بالثقة للتخفيف من حدة الانحياز التأكيدي والأخطاء المفرطة في الثقة.
- التدريب المشترك الموجه بنماذج اللغات الكبيرة (LG-CoTrain): إطار عمل للتدريب المشترك ثنائي النماذج حيث يتعلم مصنفان من بعضهما البعض بشكل تكراري مع دمج التسميات الزائفة المولدة بواسطة GPT-4o. وبخلاف طرق MixUp، يحتفظ LG-CoTrain بجميع البيانات الموسومة زائفاً دون تعديل، معتمداً على الاتفاق بين النماذج لتحقيق الاستقرار.

الإعداد التجريبي

المُشفّر (Encoder): تستخدم جميع النماذج العصبية BERTweet كعمود فقري.
التسمية الزائفة: يُستخدم GPT-4o لتوليد تسميات زائفة بنمط الصفر (zero-shot) لمجموعة التدريب غير الموسومة ( $D_U$ ).
المقاييس: يتم تقييم الأداء باستخدام Macro-F1 (لأداء الفئات المتوازنة) وخطأ المعايرة المتوقع (ECE) (لقياس مدى توافق الاحتمالات المتوقعة مع الصحة التجريبية).
المعلمات الفائقة (Hyperparameters): تم ضبطها عبر Weights & Biases وOptuna، رغم ملاحظة المؤلفين وجود عدم استقرار محتمل في الضبط الآلي لضبط النماذج المحولة (transformer) في ظروف الموارد المنخفضة.

النتائج الرئيسية

الأداء في بيئات الموارد المنخفضة

تفوق LG-CoTrain: في حالات الموارد المنخفضة للغاية (5 و10 أمثلة موسومة لكل فئة)، يتفوق LG-CoTrain بشكل كبير على جميع نماذج التعلم شبه الإشرافي الكلاسيكية ونموذج GPT-4o الصفري. وقد حقق أعلى درجات متوسط Macro-F1 (0.608 عند 5 أمثلة/فئة و0.619 عند 10 أمثلة/فئة).
VerifyMatch: يظهر أداءً تنافسياً مع أساليب التعلم شبه الإشرافي الكلاسيكية، ولكنه يبدي خصائص معايرة أقوى (ECE أقل)، لا سيما عند ميزانيات التسمية المتوسطة (25-50 مثال/فئة).
النموذج الصفري مقابل التعلم شبه الإشرافي: بينما يؤدي GPT-4o في وضع الصفر أداءً تنافسياً (Macro-F1 ~0.641)، إلا أن LG-CoTrain يتفوق عليه في عدة أحداث كوارث محددة (مثل إعصار هارفي، إيرما، ماريا) وفي أكثر الإعدادات تقييداً. ومن الجدير بالذكر أن النماذج شبه الإشرافية المدمجة يمكن أن تتفوق على النماذج اللغوية الكبيرة جداً في وضع الصفر في سيناريوهات معينة.

تأثير كمية التسميات

تقلص الفجوة: مع زيادة عدد الأمثلة الموسومة (على سبيل المثال، 50 مثال/فئة)، تتقلص الفجوة في الأداء بين LG-CoTrain والطرق الأخرى.
ظهور التدريب الذاتي: عند الوصول إلى 50 مثال/فئة، يبرز التدريب الذاتي (ST) كنموذج مرجعي قوي، محققاً أعلى Macro-F1 (0.655)، متفوقاً على LG-CoTrain. وهذا يشير إلى أنه عندما تتوفر بيانات موسومة كافية، فإن الفائدة الهامشية للتسمية الزائفة الموجهة بنماذج اللغات الكبيرة تتضاءل.

المعايرة والدراسة الاستئصالية (Ablation)

المعايرة: يحقق AUM-ST-MixUp أدنى قيمة لـ ECE عبر معظم ميزانيات التسمية، مما يشير إلى معايرة فائقة. كما يحافظ VerifyMatch أيضاً على ECE منخفض. يركدي LG-CoTrain على الدقة في إعدادات الموارد المنخفضة، ولكنه يظهر تحسناً في المعايرة مع توفر المزيد من البيانات الموسومة.
الدراسة الاستئصالية: كشفت دراسة استئصالية تقارن بين LG-CoTrain (مع تسميات GPT-4o) وSG-CoTrain (باستخدام تسميات معلم BERTweet) عن فجوة أداء كبيرة. حيث يتفوق LG-CoTrain على SG-CoTrain بمتوسط 0.212 في Macro-F1 عند 5 أمثلة/فئة. وهذا يؤكد أن جودة التسميات الزائفة من نموذج لغة كبير في وضع الصفر هي أفضل بكثير من تلك الناتجة عن نموذج صغير مدرب على بيانات محدودة للغاية.

الاختلافات حسب الحدث

يختلف الأداء بشكل كبير عبر الأحداث المختلفة. تعاني النماذج مع الأحداث غير المتوازنة للغاية (مثل فيضانات كيرالا 2018، حيث تهيمن فئة واحدة) أو الأحداث ذات الفئات النادرة (مثل إعصار إيداي). ويرتبط أداء GPT-4o في وضع الصفر بجودة نتائج LG-CoTrain؛ فالأحداث التي يولد فيها GPT-4o تسميات زائفة عالية الجودة تحقق نتائج تدريب مشترك أفضل.

الأهمية والمساهمات

تزعم الورقة المساهمات والآثار التالية:

أول تقييم تجريبي: يوفر هذا العمل أول تقييم منهجي للتعلم شبه الإشرافي الموجه بنماذج اللغات الكبيرة لتصنيف التغريدات المتعلقة بالأزمات، من خلال مقارنة VerifyMatch وLG-CoTrain مع أساليب التعلم شبه الإشرافي الراسخة على مجموعة بيانات HumAID.
مسار عملي للنشر: تسلط النتائج الضوء على مسار عملي للاستجابة للكوارث في العالم الحقيقي. وتحديداً، يوفر LG-CoTrain آلية لنقل المعرفة من نماذج اللغات القوية إلى نماذج أصغر وأكثر قابلية للنشر (مثل BERTweet)، والتي يمكنها العمل بكفاءة على نطاق واسع وبزمن استجابة منخفض.
استراتيجية تعتمد على الموارد: تحدد الدراسة أن الطريقة المثلى تعتمد على ميزانية التوسيم المتاحة:
- الندرة الشديدة (5-10 مثال/فئة): يعد التعلم شبه الإشرافي الموجه بنماذج اللغات الكبيرة (وتحديداً LG-CoTrain) ضرورياً لتحقيق أداء عالٍ.
- الموارد المتوسطة (50+ مثال/فئة): تصبح الطرق الأبسط والأقل تكلفة مثل التدريب الذاتي تنافسية أو متفوقة، مما يقلل الحاجة إلى استدعاءات واجهة برمجة تطبيقات (API) مكلفة لنماذج اللغات الكبيرة.
- احتياجات المعايرة: عندما تكون تقديرات الثقة الموثوقة بالغة الأهمية لاتخاذ القرار، يفضل استخدام طرق مثل AUM-ST-MixUp أو VerifyMatch.
تحليل التكلفة مقابل الفائدة: يقدر المؤلفون تكلفة النشر (بما في ذلك التسمية الزائفة للنماذج اللغوية الكبيرة والتدريب) بنحو 36 دولاراً لكل حدث، مما يشير إلى أنه بينما يعد التعلم شبه الإشرافي الموجه بنماذج اللغات الكبيرة أكثر تكلفة من التعلم شبه الإشرافي الصرف، إلا أنه يوفر دفعة ضرورية في الأداء عندما تكون البيانات الموسومة شحيحة للغاية.

ختاماً، تثبت الورقة أنه بينما تعد النماذج اللغوية الكبيرة في وضع الصفر نماذج مرجعية قوية، فإن التعلم شبه الإشرافي الموجه بنماذج اللغات الكبيرة يعمل بفعالية على تقطير هذه القدرة في نماذج مدمجة، مما يوفر حلاً قابلاً للتوسع لتصنيف بيانات الأزمات حيث تكون البيانات الموسومة محدودة.