ملخص تقني: كشف الموقف الصفري في الواقع مع التوليد الديناميكي للأهداف والتكيف متعدد الأهداف (DGTA)

1. تعريف المشكلة

تعمل أبحاث كشف الموقف الحالية بشكل أساسي في بيئة مقيدة حيث تكون الأهداف محددة مسبقاً، وثابتة، ومعروفة قبل مرحلة الاستدلال. ومع ذلك، تقدم بيئات وسائل التواصل الاجتماعي في العالم الحقيقي واقعاً أكثر تعقيداً: الأهداف ليست محددة مسبقاً ولا ثابتة؛ فهي ديناميكية، وغالباً ما تكون متعددة لكل نص، ويمكن أن تكون ضمنية أو مجردة (مثل أحداث معينة، أو أفعال، أو حالات مفاهيمية). وتعتمد النهج الحالية، مثل تكييف الهدف غير الخاضع للإشراف أو مهام استخراج الهدف الفردي، على قوائم أهداف مرشحة أو تفشل في التعامل مع تحديد عدة أهداف مجهولة في آن واحد داخل منشور واحد.

لسد هذه الفجوة، يقترح المؤلفون مهمة جديدة: كشف الموقف الصفري في الواقع مع التوليد الديناميكي للأهداف والتكيف متعدد الأهداف (DGTA). تتطلب هذه المهمة من النموذج القيام بما يلي:

1. تحديد جميع أهداف الموقف في النص تلقائياً دون معرفة مسبقة بمساحة تسمية الأهداف.
2. تحديد الموقف (دعم، معارض، أو محايد) لكل هدف تم تحديده.
3. إخراج مجموعة من أزواج (الهدف-الموقف) الديناميكية، مع التعامل مع أعداد متغيرة من الأهداف لكل حالة.

2. المنهجية

2.1 بناء مجموعة البيانات

قام المؤلفون ببناء مجموعة بيانات صينية عالية الجودة لكشف الموقف في وسائل التواصل الاجتماعي متعددة المجالات تضم 70,931 عينة مشروحة.

• جمع البيانات: تم جمع المنشورات من 240 مستخدماً متنوعاً من مستخدمي "ويبو" (Weibo)، مما نتج عنه مجموعة أولية مكونة من 125,176 مدخلاً.
• سير عمل التوسيم (Annotation Pipeline): تم استخدام سير عمل صارم يتضمن:
  • التوسيم التعاوني باستخدام النماذج اللغوية الكبيرة (LLM): قامت ثلاثة نماذج لغوية كبيرة رئيسية (GLM4-9B، Qwen2.5-7B، Llama3-8B) بإجراء تحديد متتالي للأهداف وتحديد للمواقف.
    �   * التحقق المتقاطع: تم قبول العينات فقط إذا اتفقت نموذجان على حد الأدنى من تحديد الكيان المستهدف والموقف معاً.
  • التقييم والتصحيح: قام نموذج ثانوي (DeepSeek-V3) بتقييم العينات الصالحة، مع تحديد العينات ذات الدرجات المنخفضة للمراجعة.
  • التحقق البشري: قام ثمانية مدونين محترفين بالتحقق من جميع العينات الموسومة آلياً.
  • التنظيف: تم حذف 36,379 نصاً منخفض الجودة (يحتوي على تناقضات منطقية أو مراجع غامضة).
• الإحصائيات: تغطي مجموعة البيانات سيناريوهات الهدف الواحد، والهدف المزدوج، والهدف الثلاثي، وسيناريوهات الأهداف المتعددة (>3)، مع توزيع متنوع للمواقف.

2.2 مقاييس التقييم

إدراكاً منهم بأن المقاييس التقليدية تفشل في حالة توليد الأهداف المفتوحة، صمم المؤلفون إطار تقييم متعدد الأبعاد:

• تحديد الهدف: درجة شاملة (C-Score) تجمع بين التشابه الدلالي والمطابقة السطحية:
  $$C\text{-Score} = (\alpha \times \text{BERTScore} + \beta \times \text{BLEU} + \gamma \times \text{ROUGE-L}) \times \text{Recall}$$
  (الأوزان: $\alpha=0.6, \beta=0.2, \gamma=0.2$).
• كشف الموقف: يتم التقييم فقط على العينات التي تتجاوز فيها مقاييس تحديد الهدف عتبات معينة (على سبيل المثال، C-Score $\ge 0.3$)، باستخدام مقاييس الدقة (Precision)، والاستدعاء (Recall)، وF1.

2.3 استراتيجيات الضبط الدقيق (Fine-Tuning)

استكشف المؤلفون استراتيجيتين متمايزتين لضبط النماذج اللغوية الكبيرة (LLMs) باستخدام تقنية LoRA:

1. الضبط الدقيق المتكامل: نهج شامل (End-to-end) حيث يتلقى النموذج تعليمات لتحديد الأهداف وتصنيف المواقف في آن واحد، مخرجاً تسلسلاً من أزواج (الهدف-الموقف).
2. الضبط الدقيق على مرحلتين: نهج منفصل حيث:
   • المرحلة الأولى: يتم ضبط النموذج حصرياً لتحديد الأهداف.
   • المرحلة الثانية: يتم ضبط نموذج منفصل لتصنيف المواقف بناءً على النصوص والأهداف التي تم تحديدها في المرحلة الأولى.

3. المساهمات الرئيسية

• اقتراح المهمة: تحديد مهمة DGTA، التي تعالج الفجوة الحرجة في كشف الموقف الصفري في سيناريوهات العالم المفتوح مع توليد الأهداف الديناميكية والمتعددة.
• مجموعة البيانات: إصدار أول مجموعة بيانات صينية عالية الجودة لكشف الموقف في وسائل التواصل الاجتماعي مخصصة لهذه المهمة، وتتميز بالتحقق الصارم من تعدد النماذج اللغوية الكبيرة والتحقق البشري.
• إطار التقييم: تقديم مقاييس موحدة وشاملة (C-Score) تأخذ في الاعتبار كلاً من الدقة الدلالية للأهداف المولدة وصحة تصنيف الموقف.
• النماذج المرجعية المنهجية: وضع خطوط أساس قوية من خلال مقارنة استراتيجيات الضبط الدقيق المتكامل وثنائي المراحل مقابل النماذج سابقة التدريب والنماذج اللغوية الكبيرة الموجهة بالأوامر (Instruction-prompted).

4. النتائج التجريبية

أُجريت التجارب على مجموعة اختبار طبقية باستخدام نماذج متنوعة، بما في ذلك النماذج سابقة التدريب المضبوطة بدقة (mT5, BERT, RoBERTa)، والنماذج اللغوية الكبيرة الموجهة بالأوامر (GPT-4o, DeepSeek-V3, GLM4-9B, Llama3-8B)، والنماذج اللغوية الكبيرة المضبوطة بدقة (Qwen2.5-7B, DeepSeek-R1-Distill-Qwen-7B).

النتائج الرئيسية:

• تفوق النماذج اللغوية الكبيرة المضبوطة بدقة: تفوقت النماذج اللغبية الكبيرة المضبوطة بدقة بشكل كبير على كل من النماذج سابقة التدريب والنماذج اللغوية الكبيرة التي تعمل بنظام التوجيه الصفري.
  • تحديد الهدف: حقق نموذج Qwen2.5-7B المضبوط بدقة في مرحلتين أعلى درجة شاملة للتعرف على الأهداف (66.99%).
  • كشف الموقف: حقق نموذج DeepSeek-R1-Distill-Qwen-7B المتكامل أعلى درجة F1 لكشف الموقف (79.26%).
• مقارنة الاستراتيجيات:
  • أظهر النهج ثنائي المراحل مزايا في تحديد الأهداف، ويرجع ذلك على الأرجាប់ إلى التركيز على استخراج الكيانات.
  • تفوق النهج المتكامل في كشف الموقف، مما يشير إلى أن نمذجة العلاقة بين الهدف والموقف بشكل مشترك يحسن الاستدلال في السياقات الدلالية المعقدة.
• قدرات الاستدلال: تفوقت النماذج ذات قدرات الاستدلال (مثل DeepSeek-R1) عموماً على تلك التي لا تمتلكها، محققة دقة أعلى في تحديد الأهداف الضمنية والمواقف الدقيقة.
• سلسلة الأفكام (CoT): أدى إدخال CoT في التوجيه إلى تحسين الأداء عبر جميع النماذج المختبرة، وخاصة لـ GLM4-9B (زيادة 7% في C-Score) وQwen2.5-7B (زيادة 4% في F1).
• تعقيد الأهداف: تدهور الأداء مع زيادة عدد الأهداف. حققت النصوص ذات الهدف المزدوج أفضل توافق دلالي، بينما أظهرت النصوص متعددة الأهداف (>3) انخفاضات كبيرة في C-Score بسبب التعقيد الدلالي وتداخل المراجع.
• الصريح مقابل الضمني: أدت النماذج أداءً أفضل بكثير في الأهداف الصريحة. أما الأهداف الضمنية (المفاهيم المجردة) فقد أظهرت استدعاءً (Recall) أعلى ولكن دقة (Precision) أقل، مما يبرز التحدي في تحديد الحدود الدلالية.

5. الأهمية والادعاءات

يزعم البحث أن إطار عمل DGTA ومجموعة البيانات المقترحة يوفران أساساً ضرورياً للنهوض بكشف الموقف من الإعدادات المحكومة والمحددة مسبقاً إلى "الواقع" في وسائل التواصل الاجتماعي الحقيقية. ومن خلال إثبات أن النماذج اللغوية الكبيرة المضبوطة بدقة يمكنها التعامل بفعالية مع التوليد الدينماكي للأهداف والتكيف متعدد الأهداف، يضع هذا العمل خطاً أساسياً قوياً للأبحاث المستقبلية. ويؤكد المؤلفون أن نهجهم يعالج قيود الطرق السابقة التي تعتمد على قوائم أهداف محددة مسبقاً، مما يمكن النماذج من العمل في سيناريوهات تكون فيها الأهداف مجهولة، وضمنية، ومتعددة. إن توفر مجموعة البيانات والنماذج يهدف إلى تسهيل المزيد من الاستكشاف في مجال كشف الموقف في العالم المفتوح.