💬 NLP

Duluth at SemEval-2026 Task 6: DeBERTa with LLM-Augmented Data for Unmasking Political Question Evasions

حقق مدخل فريق دالوث في المهمة السادسة لمسابقة SemEval-2026، والذي يجمع بين نموذج DeBERTa-V3-base وبيانات اصطناعية مُولدة بواسطة النماذج اللغوية الكبيرة لمعالجة عدم توازن الفئات، المركز الثامن بمعدل F1 كلي بلغ 0.76 في تصنيف التهرب من الأسئلة السياسية، مما يثبت أن هذا التعزيز يحسن بفعالية استدعاء الفئة الأقلية رغم التحديات المستمرة في التمييز بين الاستجابات المترددة والواضحة.

المؤلفون الأصليون: Shujauddin Syed, Ted Pedersen

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shujauddin Syed, Ted Pedersen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مقابلة تلفزيونية مباشرة مع رئيس. يسأل المذيع سؤالاً مباشراً: "هل ستزيد الضرائب؟"

قد يجيب الرئيس بثلاث طرق:

الإجابة المباشرة: "نعم، سنفعل ذلك." (رد واضح)
إجابة الـ "ربما": "نحن ندرس الأرقام، لكن الأمر يعتمد على الاقتصاد..." (مراوغ/متردد)
إجابة الـ "لا": "لن أتحدث عن هذا الآن." (عدم رد واضح)

التحدي هو أن السياسيين خبراء في الإجابة رقم 2. يستخدمون كلمات منمقة، ووعوداً غامضة، ومناورات لتجنب إعطاء "نعم" أو "لا" صريحة.

يصف هذا البحث كيف قام فريق من علماء الكمبيوتر من جامعة مينيسوتا دولوث ببناء دماغ روبوت (ذكاء اصطناعي) لرصد هذه الإجابات المراوغة خلال مسابقة SemEval-2026. وإليكم كيف فعلوا ذلك، مشروحاً ببساًطة.

1. المشكلة: الذكاء الاصطناعي كان منحازاً

بدأ الفريق بمجموعة بيانات تضم آلاف مقاطع المقابلات الحقيقية. لكن كانت هناك مشكلة كبيرة: البيانات كانت غير متوازنة.

معظم الإجابات كانت "مراوغة" (تلك الإجابات الملتوية والمراوغة).
عدد قليل جداً من الإجابات كانت "عدم رد واضح" (الرفض الصريح).

كان الأمر يشبه محاولة تعليم طالب التعرف على حيوانات نادرة (مثل نمر الثلوج) بينما 90% من الصور في كتابه المدرسي هي مجرد كلاب. كان الذكاء الاصطناعي يستمر في التخمين بأنها "كلب" (مراوغة) لأن هذا ما يراه غالباً، وفشل في رصد "نمر الثلج" النادر.

2. الحل: مصنع "البيانات المزيفة"

لإصلاح ذلك، لم يكتفِ الفريق بجمع المزيد من المقابلات الحقيقية (لأن ذلك يستغرق وقتاً طويلاً)، بل استعانوا بمساعدين ذكيين للغاية من الذكاء الاصطناعي، وهما Gemini 3 و Claude Sonnet 4.5، ليعملا كـ كُتّاب مبدعين.

لقد أخبروا هؤلاء الكتاب من الذكاء الاصطناعي: "اكتبوا 2,000 إجابة مقابلة مزيفة جديدة تبدو تماماً مثل نوع 'عدم الرد الواضح' النادر، ولكن اجعلوها من تأليفكم."

كان Gemini هو "سيد السياق": حيث كتب سيناريوهات جديدة يرفض فيها السياسي الإجابة بأدب، مع دمج المصطلحات السياسية الواقعية.
كان Claude هو "ملك إعادة الصياغة": حيث أخذ إجابات موجودة بالفعل وأعاد كتابتها بطرق مختلفة لخلق تنوع أكبر.

من خلال إضافة هذه الأمثلة الاصطناعية (المزيفة ولكن الواقعية)، قاموا بموازنة أحجام الفئات. الآن، أصبح لدى الطالب (الذكاء الاصطناعي) كتاب مدرسي يحتوي على عدد متساوٍ من "الكلاب" و"نمور الثلوج".

3. المحرك: دماغ متخصص

استخدم الفريق نموذج ذكاء اصطناعي قوياً يسمى DeBERTa. فكر في DeBERTa كأنه محرك متطور جداً لفهم الاستيعاب القرائي. لكنهم لم يستخدموه فقط "كما هو"، بل قدموا له ثلاثة ترقيات خاصة:

الفقد البؤري - Focal Loss (فلتر التركيز): تخيل طالباً يشعر بالملل من الأسئلة السهلة ويركز فقط على الأسئلة الصعبة. هذه التقنية أخبرت الذكاء الاصطناعي: "لا تضيع وقتك في الإجابات 'المراوغة' السهلة التي تعرفها بالفعل. ابذل كل طاقتك في فهم الإجابات الصعبة التي تخطئ فيها باستمرار."
التعلم على مستوى الطبقات - Layer-wise Learning (التحديث التدريجي): يتكون الذكاء الاصطناعي من طبقات عديدة من "التفكير". أخبر الفريق الطبقات الدنيا (التي تعرف اللغة العامة) أن تبقى هادئة ولا تتغير كثيراً، بينما سمحوا للطبقات العليا (التي تحتاج لتعلم الحيل السياسية) بالتغير بسرعة.
الميزات المنطقية - Boolean Features (ورقة الغش): أعطوا الذكاء الاصطناعي علامتين بسيطتين (نعم/لا) من البيانات، مثل: "هل هذا سؤال يتكون من أجزاء متعددة؟" أو "هل هو سؤال بنعم أو لا؟" ساعد هذا الذكاء الاصطناعي على الانتباه إلى هيكل الجملة، وليس فقط الكلمات.

4. النتائج: أفضل 20%

عندما اختبروا نظامهم:

أنهوا في المركز الثامن من بين 40 فريقاً.
سجلوا 0.76 (على مقي scale حيث 1.0 هو المثالي).
سجل الفريق الفائز 0.89، لكن متوسط بقية الفرق كان 0.70.

هذا يعني أن استراتيجية "مصنع البيانات المزيفة" قد نجحت. لقد حسنوا بشكل كبير قدرة الذكاء الاصطناعي على رصد الإجابات النادرة والمراوغة.

5. اللغز المتبقي: "المنطقة الرمادية"

رغم نجاحهم، لا يزال الذكاء الاصطناعي يعاني مع شيء واحد محدد: التمييز بين الـ "ربما" والـ "نعم".

الارتباك: إذا قال سياسي: "سننظر في مسألة زيادة التمويل، لكننا بحاجة لدراسة الأثر"، فهل هذه إجابة واضحة (لقد قال إنهم سينظرون في الأمر) أم مراوغة (إنه يتهرب)؟
العامل البشري: يشير البحث إلى أن حتى البشر يتجادلون حول هذا الأمر. فالمُصنفون (الأشخاص الذين وضعوا العلامات على البيانات) اختلفوا غالباً حول هذه الإجابات في "المنطقة الرمادية".

لقد ارتكب الذكاء الاصطناعي نفس الأخطاء التي يرتكبها البشر. فقد ارتبك بسبب كلمات "التحوط" (مثل "ربما"، "ننظر في"، "ندرس").

الخلاصة

أظهر فريق "دولوث" أنه يمكنك تعليم الذكاء الاصطناعي كيفية رصد التهرب السياسي من خلال توليد أمثلة مزيفة لسد الفجوات حيث تفتقر البيانات الحقيقية. وبينما لا يزال الذكاء الاصطناعي يتعثر في الإجابات الأكثر دقة وتعقيداً (تلك التي لا يستطيع حتى البشر الاتفاق عليها)، إلا أن هذا النهج أثبت أن البيانات الاصطناعية هي أداة قوية لجعل الذكاء الاصطناعي أكثر ذكاءً بشأن السلوك البشري المعقد.

باخت-اختصار: لقد علموا الروبوت كيفية رصد الـ "ربما" السياسية عبر تغذيته بوجبات من أمثلة الـ "ربما" المولدة بواسطة الذكاء الاصطناعي، مما ساعده على الرؤية من خلال ضباب التلاعب السياسي.

ملخص تقني لورقة: "Duluth في مهمة SemEval-2026 Task 6: استخدام DeBERTa مع بيانات معززة بنماذج اللغات الكبيرة (LLM) لكشف التهرب من الأسئلة السياسية"

1. تعريف المشكلة

تتناول الورقة SemEval-2026 Task 6 (CLARITY)، والتي تركز على كشف وتصنيف استراتيجيات التواصل المراوغة في الخطاب السياسي. تستند هذه المهمة إلى نظريات العلوم السياسية المتعلقة بالالتباس (equivocation)، وتتضمن تحليل أزواج الأسئلة والأجوبة (QA) من المقابلات الرئاسية الأمريكية.

تنقسم المهمة إلى مهمتين فرعيتين بناءً على تصنيف هرمي:

المهمة 1 (التصنيف على مستوى الوضوح - Clarity-level Classification): مشكلة تصنيف ثلاثية الفئات، حيث يجب على النموذج تصنيف الاستجابة كـ:
- رد واضح (Clear Reply): يقدم المعلومات المطلوبة بشكل صريح.
- مبهم (Ambivalent): يقدم استجابة تسمح بتفسيرات متعددة (مثل: ضمني، عام، جزئي، أو مراوغ).
- عدم رد واضح (Clear Non-Reply): رفض صريح، أو ادعاء بجهل، أو طلب توضيح.
المهمة 2 (التصنيف على مستوى التهرب - Evasion-level Classification): مشكلة تصنيف دقيقة ذات 9 فئات، تربط الاستجابات بتقنيات تهرب محددة (مثل: التملص، التشتيت، أو الامتناع عن الإجابة).

التحدي الرئيسي: تعاني مجموعة البيانات من اختلال حاد في الفئات (المبهم: ~59%، الرد الواضح: ~31%، عدم الرد الواضح: ~10%)، مما يؤدي إلى ضعف في استدعاء (recall) الفئات الأقلية في النماذج القياسية. بالإضافة إلى ذلك، فإن التمييز بين "المبهم" و"الرد الواضح" دقيق لغوياً وغالباً ما يؤدي إلى اختلاف في آراء المقيّمين (inter-annotator disagreement).

2. المنهجية

يقترح المؤلفون نظاماً يعتمد على بنية المحولات DeBERTa-V3-base، المعززة باستراتيجيات تدريب وتقنيات تعزيز بيانات محددة.

أ. تعزيز البيانات (لمعالجة الاختلال)

للتخفيف من حدة الاختلال في الفئات، استخدم الفريق توليد بيانات اصطناعية معززة بنماذج اللغات الكبيرة (LLM) لتعزيز الفئات الأقلية (الرد الواضح وعدم الرد الواضح). تم استخدام استراتيجيتين متميزتين:

التوليد الاصطناعي المدرك للسياق (CASA): باستخدام Gemini 3، قام النظام باستخراج الأطر البلاغية من الفئات الأقلية ودمجها مع سياقات سياسية عشوائية. أنتج ذلك 2,672 مثالاً اصطناعياً، مما أدى إلى موازنة مجموعة البيانات تماماً لتصبح 2,040 عينة لكل فئة.
إعادة الصياغة المعجمية (المستوحاة من EDA): باستخدام Claude Sonnet 4.5، طبق النظام استبدال المرادفات، الإدراج العشوائي، التبديل، والحذف على نصوص الإجابات. أنتج ذلك 1,086 مثالاً، مما خلق توزيعاً متوازناً جزئياً.

ضبط الجودة: تم فحص 50 عينة عشوائية يدوياً.
استراتيجية التدريب: تم تطبيق دالة فقدان مرجحة بالثقة (confidence-weighted loss function) أثناء التدريب (وزن 0.7 لبيانات Gemini، و0.5 لبيانات Claude) لتقليل الإفراط في التخصيص (overfitting) على البيانات الاصطناعية.

ب. بنية النموذج والتحسينات

النموذج الأساسي هو Microsoft DeBERTa-V3-base (184 مليون معلمة)، والذي تم اختياره لتفوق أدائه في اللغة السياسية الدقيقة مقارنة بـ BERT وDistilBERT. تم توسيع النظام عبر:

سمات الخطاب البوليانية (Boolean Discourse Features): تم استخراج سمتين ثنائيتين ذوات دلالة إحصائية من البيانات الأصلية (affirmative_questions و multiple_questions) ومعالجتهما عبر شبكة عصبية صغيرة (Linear→ReLU→Dropout)، ثم دمجهما مع مخرجات المحول المجمعة (pooled transformer output).
فقدان التركيز (Focal Loss): تم تنفيذه للتركيز على الأمثلة الصعبة وإعادة وزن الإشارة نحو الفئات الأقلية. الدالة المستخدمة هي $FL(p_t) = -\alpha_t(1 - p_t)^\gamma \log(p_t)$ مع $\gamma = 2.0$ .
تلاشي معدل التعلم عبر الطبقات (LLRD): تلقت الطبقات الدنيا معدلات تعلم أصغر تدريجياً ( $\alpha = 0.9$ ) للحفاظ على المعرفة المسبقة مع السماح بالتكيف مع المهمة في الطبقات العليا.
إعدادات التدريب: مجدول التخميد الجيبي (cosine annealing scheduler) مع فترة إحماء بنسبة 15%، وتراكم التدرج (حجم الدفعة الفعلي 32)، والتوقف المبكر بناءً على Macro F1 الخاص بالتحقق.

3. المساهمات الرئيسية

استراتيجية البيانات المعززة بـ LLM: أثبتت أن البيانات الاصطناعية المولدة بواسطة نماذج لغوية متقدمة (Gemini 3 و Claude Sonnet 4.5) يمكن أن توازن مجموعات التدريب بفعالية وتحسن استدعاء الفئات الأقلية في مهام الخطاب السياسي.
تكامل السمات الهجينة: نجح النظام في دمج سمات الخطاب البوليانية المنفصلة مع تضمينات المحولات المستمرة لالتقاط إشارات لغوية محددة (مثل أنواع الأسئلة) ذات صلة بالتهرب.
تحليل الأخطاء والمواءمة البشرية: حدد النظام أن المصدر الرئيسي للخطأ (الخلط بين "المبهم" و"الرد الواضح") يحاكي خلافات المقيّمين البشر، مما يشير إلى أن النموذج قد وصل إلى سقف مشابه للأداء البشري في هذه الحالات الغامضة.

4. النتائج

تم تقييم النظام على مجموعات الاختبار والتقييم الرسمية باستخدام مقياس Macro F1 كمقياس أساسي.

أداء المهمة 1:
- حقق نموذج DeBERTa-V3-base المعزز بـ Gemini درجة Macro F1 بلغت 0.76 على مجموعة التقييم.
- وضع هذا الفريق في المركز الثامن من بين 40 فريقاً مشاركاً.
- المقارنة: حقق النظام المتصدر (TeleAI) درجة 0.89، بينما كان متوسط الدرجات 0.70. حل نظام Duluth في أفضل 20%.
- تأثير التعزيز: حسنت استراتيجية التعزيز درجة Macro F1 للتقييم من 0.69 (البيانات الأصلية فقط) إلى 0.76.
- الأداء لكل فئة: حقق النموذج F1 قدره 0.73 للفئة "المبهمة"، و0.56 لـ "الرد الواضح"، و0.62 لـ "عدم الرد الواضح". ومن الملاحظ أنه حقق صفر خطأ إيجابي (false positives) لفئة "عدم الرد الواضح" عندما كانت التسمية الحقيقية هي "الرد الواضح".
أداء المهمة 2:
- حقق النظام Macro F1 قدره 0.28 على مجموعة التقييم (المركز 30 من 33).
- يعزو المؤلفون هذا الانخفاض الحاد من مرحلة التطوير (0.45) إلى انزياح التوزيع (distribution shift) بين المرحلتين، مما يسلط الض الضوء على صعوبة التصنيف دقيق التفاصيل دون تحقق قوي.

5. الأهمية والتوجهات المستقبلية

الأهمية: تثبت الورقة أن تعزيز البيانات القائم على LLM هو استراتيجية قابلة للتطبيق وفعالة للتعامل مع اختلال الفئات في مهام معالجة اللغات الطبيعية المتخصصة مثل تحليل الخطاب السياسي. كما توضح أن "المنطقة الرمادية" بين الإجابات المتهربة والواضحة هي الجزء الأكثر صعوبة في المشكلة، والتي غالباً ما يصعب التمييز بينها حتى من قبل البشر.
العمل المستقبلي: يقترح المؤلفون ثلاثة اتجاهات للتحسين:
1. التعلم متعدد المهام (Multi-task Learning): التنبؤ المشترك بتسميات الوضوح ومستوى التهرب للاستفادة من التصنيف الهرمي.
2. سمات الالتفاف (Hedging-Aware Features): الكشف الصريح عن المؤكدات والاشتراطات للتمييز بشكل أفضل بين الإجابات الجزئية والمباشرة.
3. التحقق القوي (Robust Validation): تطوير استراتيجيات تحقق أفضل للمهام دقيقة التفاصيل (المهمة 2) للتعامل مع انزياحات التوزيع.

في الختام، يظهر نظام Duluth أن الجمع بين نماذج المحولات الحديثة وتعزيز البيانات الاصطناعية المستهدفة ودوال الفقد المتخصصة يمكن أن يطور بشكل كبير القدرة على كشف التهرب من الأسئلة السياسية.