💬 NLP

CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

حقق فريق CSE-UOI المركز الثالث في مهمة SemEval-2026 التاسعة عبر توظيف نموذج تجميعي ثنائي للنماذج اللغوية الكبيرة غير المتجانسة، معزز بآلية بوابة التعقيد التداولي المبتكرة التي تستفيد من مؤشرات طول الاستجابة وإشارات النماذج المتقاطعة للكشف عن التهرب السياسي، وذلك بدرجة Macro-F1 بلغت 0.85.

المؤلفون الأصليون: Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مناظرة سياسية على التلفاز. يطرح صحفي سؤالاً صعباً ومباشراً مثل: "هل وافقتَ على هذا الإنفاق؟". فيجيب السياسي، ولكن بدلاً من قول "نعم" أو "لا"، يبدأ بالحديث عن الاقتصاد، أو يلقي اللوم على الإدارة السابقة، أو يلقي خطاباً غامضاً عن "العمل بجد من أجل الشعب".

عقلك يعرف فوراً: إنه يتهرب من السؤال.

تصف هذه الورقة نظاماً حاسوبياً بُني ليفعل بالضبط ما يفعله عقلك، ولكن لآلاف المقابلات في وقت واحد. قام الفريق من جامعة يوانينا والجامعة التقنية الوطنية في أثينا بإنشاء "محقق رقمي" لرصد متى يكون السياسيون مراوغين.

إليك كيف يعمل نظامهم، مشروحاً عبر تشبيهات بسيطة:

1. المشكلة: لعبة "التملص"

المقابلات السياسية مليئة بالحيل. قد يقوم السياسي بـ:

الإجابة بوضوح: "نعم، لقد فعلت ذلك."
الغموض: "نحن ملتزمون بالمسؤولية المالية." (هل هذه إجابة بنعم أم بلا؟ لا أحد يعرف!)
الهروب: "دعونا نتحدث عن خطتنا الرائعة للبنية التحتية بدلاً من ذلك."

كان الهدف من المسابقة (SemEval-2026) هو تعليم الحاسوب تصنيف هذه الإجابات إلى ثلاث فئات: رد واضح، مبهم (مراوغ/غامض)، أو عدم رد واضح (الهروب من السؤال).

2. الحل: فرقة تحقيق من مرحلتين

لم يستخدم الفريق "عقلاً حاسوبياً" واحداً؛ بل بنوا فريقاً من مرحلتين باستخدام نموذجين مختلفين وقويين من الذكاء الاصطناعي (يُطلق عليهما اسم Grok و Gemini). تخيلهما كمحققين لديهما أساليب مختلفة.

المرحلة الأولى: استراتيجية "التملص أولاً"

بدلاً من سؤال الذكاء الاصطناعي: "هل هذه الإجابة واضحة؟"، طرحوا سؤالاً أذكى: "ما هي الحيلة المحددة التي يستخدمها السياسي؟"

لقد علموا الذكاء الاصطناعي رصد 9 أنواع مختلفة من الحيل (مثل "التملص"، أو "إلقاء اللوم"، أو "الإجابة الجزئية"). وبمجرد أن يحدد الذكاء الاصطناعي نوع الحيلة، فإنه يترجم ذلك تلقائياً إلى الإجابة النهائية (واضح، مبهم، أو عدم رد واضح).

لماذا نفعل ذلك؟ الأمر يشبه قيام طبيب بتشخيص مرض محدد (مثل "الإنفلونزا") بدلاً من مجرد التخمين بأنك "تشعر بالمرض". إنه أكثر دقة.

استخدموا تقنية تسمى الاتساق الذاتي (Self-Consistency). تخيل أنك تطلب من نفس المحقق حل القضية 5 مرات. إذا قال في 4 من أصل 5 مرات "إنها عملية تهرب"، فيمكنك أن تكون متأكداً تماماً أنها تهرب. لقد فعلوا ذلك لكل من Grok و Gemini ثم تركوا لهما التصويت على الإجابة النهائية.

المرحلة 2: "بوابة التعقيد التداولية" (DCG)

هذا هو السر الكامن وراء ورقتهم البحثية. حتى مع وجود محققين، قد يصابان بالارتباك في الحالات الأكثر صعوبة. لاحظ الفريق شيئاً غريباً: عندما يكون الذكاء الاصطناعي غير متأكد أو يحاول أن يكون مراوغاً، فإنه يميل إلى التحدث أكثر.

التشبيه: تخيل طالباً يؤدي اختباراً. إذا كان يعرف الإجابة، فإنه يكتبها بسرعة. أما إذا كان يماطل أو يختلق عذراً، فإنه يكتب فقرة طويلة ومملة.
الآلية: يحتوي النظام على قاعدة "بوابة" (مثل إشارة المرور).
1. تحقق من الطول: إذا كانت إجابة الذكاء الاصطناعي طويلة بشكل غير عادي (مثل الطالب الذي يماطل)، فهذا يعتبر علامة تحذير لـ "الغموض".
2. تحقق من الثقة: هل غير الذكاء الاصطناعي رأيه خلال محاولاته الخمس؟ إذا كان غير متسق، فهذه علامة تحذير أخرى.
3. البوابة: إذا تحقق الشرطان معاً (إجابة طويلة + عدم اتساق)، يقول النظام: "انتظر، هذه حالة صعبة. دعونا نلغي التصويت ونصنفها كإجابة مبهمة".

تعمل هذه "البوابة" كشبكة أمان، حيث تلتقط الحالات التي كاد فيها المحققون الرئيسيون ارتكاب خطأ لأن السياسي كان مراوغاً للغاية.

3. لماذا لا نكتفي بإجراء مناظرة؟

جرب الباحثون أيضاً فكرة أخرى: المناظرة متعددة الوكلاء (Multi-Agent Debate). تخيلوا وجود ذكاء اصطناعيين يتجادلان مع بعضهما البعض مثل المحامين في قاعة المحكمة للعثور على الحقيقة.

النتيجة: لم تنجح الفكرة بشكل جيد. لقد أدت المناظرة فقط إلى جعلهم مشتتين أو ضياع الوقت.
الدرس المستفادة: وجود خبيرين مختلفين (Grok و Gemini) يصوتان معاً كان أفضل من جعلهما يتجادلان. تنوع الأفكة انتصر على "النقاش الحاد".

4. النتائج

حققت المنظومة نجاحاً هائلاً.

احتلت المركز الثالث من بين 41 فريقاً في العالم.
حققت درجة 0.85 (حيث 1.0 هي الدرجة الكاملة).
كانت بارعة بشكل خاص في كشف الإجابات "المبهمة" — تلك التي تبدو كإجابات ولكنها ليست كذلك.

ملخص

بنى الفريق نظاماً ذكياً لا يكتفي بقراءة الكلمات فحسب، بل يحلل السلوك.

يطلب من خبيرين مختلفين من الذكاء الاصطناعي تحديد "الحيلة" المستخدمة.
يستمع إلى مقدار كلامهم ومدى ثقتهم.
إذا بدأ الذكاء الاصطناعي في الإطالة والحديث دون تقديم شيء مفيد، يضغط النظام على "زر الغموض" لتصحيح الخطأ.

الأمر يشبه امتلاك محرر فائق الذكاء يعرف أنه عندما يبدأ السياسي (أو الذكاء الاصطناعي) في التحدث كثيراً دون قول أي شيء جوهري، فإنه على الأرجح يخفي شيئاً ما.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نظام CSE-UOI في مهمة SemEval-2026 Task 6: نظام تجميع غير متجانس ذو مرحلتين مع بوابة تعقيد تأملي للكشف عن التهرب السياسي."

1. تعريف المشكلة

تتناول الورقة البحثية SemEval-2026 Task 6، والتي تركز على تصنيف وضوح الاستجابة في المقابلات السياسية. الهدف هو تصنيف أزواج (السؤال-الإجابة) من المقابلات السياسية تلقائياً إلى ثلاث فئات:

رد واضح (Clear Reply): يجيب السياسي على السؤال بشكل مباشر.
مبهم (Ambivalent): تكون الإجابة مراوغة، غامضة، أو غير مباشرة.
عدم رد واضح (Clear Non-Reply): يرفض السياسي صراحةً الإجابة أو يدعي الجهل.

تعتبر هذه المهمة صعبة بسبب الاختلافات البراغماتية (التداولية) الدقيقة في الخطاب السياسي، حيث غالباً ما يصعب التمييز بين تكتيكات التهرب (مثل التملص، وتحويل المسار، والتعميمات) وبين الإجابات الواضحة دون استدلال سياقي عميق.

2. المنهجية

يقترح المؤلفون نظام تجميع غير متجانس ذو مرحلتين يجمع بين الاتساق الذاتي عبر النماذج وآلية تصحيح لاحقة (post-hoc) مبتكرة.

المرحلة الأولى: تجميع ثنائي متجانس النماذج

بدلاً من التنبؤ المباشر بفئات الوضوح الثلاث، يستخدم النظام استراتيجية "التهرب أولاً":

النماذج: يتم استخدام نموذجين لغويين كبيرين (LLMs) متميزين بالتوازي: Grok-4-1-fast-reasoning و Gemini-3-flash-preview.
الاتساق الذاتي (SC): يولد كل نموذج $k=5$ استجابات مستقلة باستخدام مطالبة "سلسلة الأفكام" (Chain-of-Thought - CoT). تُوجه النماذج لتصنيف الاستجابة إلى 9 فئات تهرب دقيقة (مثل: التملص، تحويل المسار، الصريح، الضمني) بدلاً من فئات الوضوح الثلاث النهائية.
الرسم الخرائطي (Mapping): يتم رسم خرائط تسميات التهرب التسعة إلى فئات الوضوح الثلاث المستهدفة بشكل حتمي. يعمل هذا كـ "مخزن أخطاء احتياطي" (error buffer)، حيث أن 62.8% من الأخطاء على مستوى التهرب لا تزال تقع ضمن الفئة الصحيحة للوضوح.
التجميع: يستخدم نظام التصويت المرجح غير المتماثل لتجميع التنبؤات:
- يساهم Grok بـ 5 أصوات (صوت واحد لكل عينة SC).
- يساهم Gemini بصوت "كتلة واحدة" بوزن $w=4$ بناءً على تسمية التهرب الأكثر شيوعاً لديه.
- التنبؤ النهائي للمرحلة الأولى هو فئة الوضوح ذات إجمالي الأصوات المرجحة الأعلى.

المرحلة الثانية: بوابة التعقيد التأملي (DCG)

لمعالجة قيود المرحلة الأولى في العينات "الصعبة" أو الحدية (حيث تختلف النماذج)، قدم المؤلفون DCG، وهي طبقة تصحيح لاحقة غير خاضعة للإشراف ومبتكرة.

الرؤية الجوهرية: يستغل النظام حقيقة أن طول استجابة النموذج اللغوي الكبير (LLM) يرتبط بالغموض. وتحديداً، تشير الاستجابات الطويلة من Gemini غالباً إلى صعوبة تأملية أعلى أو غموض.
اكتشاف الإشارات: يستخدم النظام إشارتين سلوكيتين للكشف عن عدم اليقين:
1. طول استجابة Gemini ( $L_i$ ): متوسط طول عينات الـ 5 (SC).
2. اتساق Grok الذاتي ( $s_i$ ): درجة اتساق عينات Grok الخمس.
منطق البوابة: يتم تفعيل البوابة لإجراء تجاوز (override) فقط إذا تحقق كلا الشرطين (تأكيد متبادل بين النماذج):
1. يتجاوز متوسط طول استجابة Gemini الربيع الأول ( $Q_{25}$ ) للدفعة الحالية ( $L_i > \theta_1$ ).
2. يكون اتساق Grok الذاتي منخفضاً ( $s_i < 1.0$ ).
آلية التصحيح: إذا تم تفعيل البوابة، يقوم النظام بتجاوز مساهمة Gemini في التصويت المرجح، مما يفرض تسميته لتكون "مبهم" (Ambivalent). يستند هذا إلى فرضية أن الطول العالي + الاتساق المنخفض يشيران إلى عينة غامضة تنتمي على الأرجح إلى فئة "المبهم".
التكيف الانتقالي (Transductive Adaptation): يتم حساب العتبة $\theta_1$ ديناميكياً بناءً على الدفعة (Batch-adaptive) (أي تُحسب على دفعة الاستدلال الحالية) بدلاً من كونها ثابتة، مما يسمح للنظام بالتكيف مع تغير التوزيعات بين مجموعات التطوير والتقييم.

3. المساهمات الرئيسية

التجميع غير المتجانس مع استراتيجية "التهرب أولاً": الانتقال من التصنيف المباشر لثلاث فئات إلى تصنيف تسعة فئات للتهرب يقلل من انتشار الأخطاء ويستفيد من نقاط القوة المتميزة لبنى النماذج المختلفة.
بوابة التعقيد التأملي (DCG): آلية خفيفة الوزن ومبتكرة، لاحقة، تستخدم الإشارات السلوكية عبر النماذج (الطول والاتساق) لتكييف عملية التفكير. وبخلاف "المناظرة بين الوكلاء المتعددين" التي تزيد التكلفة الحسابية وعدد الوكلاء، تزيد DCG القدرة التأملية دون الحاجة لمزيد من استدعاءات واجهة برمجة التطبيقات (API) أو التدريب.
التحقق التجريبي من الطول كوسيط: تقدم الورقة دليلاً قوياً على أن طول الاستجابة في النماذج اللغوية الكبيرة يعمل كوسيط قوي للغموض وعدم اليقين في النموذج ضمن الخطاب السياسي.
المقارنة مع المناظرة: قارن المؤلفون صراحةً نهج الدمج الثابت الخاص بهم مقابل المناظرة متعددة الوكلاء. وجدوا أن المناظرة (المراجعة المتكررة للأقراء) لم تحسن الأداء بل أدت إلى تدهوره مقارنة بالتجميع الثابت، مما يشير إلى أن تنوع النماذج أكثر فعالية من الإجماع الحواري لهذه المهمة المحددة.

4. النتائج التجريبية

الأداء: حقق النظام درجة F1 الكلية (Macro-F1) قدرها 0.8505 على مجموعة التقييم العمياء.
الترتيب: أدى ذلك إلى تحقيق المركز الثالث من بين 41 مشاركة.
دراسات الاستئصال (Ablation Studies):
- المرحلة 1 مقابل المرحلة 2: أدى إضافة DCG إلى تحسين Macro-F1 للتقييم من 0.8122 (المرحلة 1) إلى 0.8505 (المرحلة 2)، وهي زيادة كبيرة بنحو 3.8 نقطة.
- المناظرة مقابل الثابت: قللت المناظرة متعددة الوكلاء الأداء (0.7656) مقارنة بالتجميع الثابت (0.7941)، مما يؤكد أن النماذج المتنوعة مع التصويت المرجح تتفوق على حلقات المناظرة المتجانسة.
- حساسية العتبة: تفوقت العتبة المتكيفة مع الدفعة ( $Q_{25}$ ) على العتبات الثابتة، مما يثبت ضرورة التكيف الانتقالي.
تحليل الخطأ: واجه النظام أكبر صعوبة عند الحدود بين "الرد الواضح" $\leftrightarrow$ "المبهم" (86.8% من الأخطاء المتبقية). ارتبط الأداء بشكل وثيق باتفاق المقيّمين البشريين؛ حيث كانت العينات ذات الاتفاق البشري المنخفض أصعب بكثير على النموذج.

5. الأهمية والقيود

الأهمية: توضح الورقة أن التأمل التكيفي باستخدام الوسائط السلوكية (مثل طول الاستجابة) يمكن أن يعزز أداء النماذج اللغوية الكبيرة بشكل كبير في مهام التصنيف المعقدة دون عبء الضبط الدقيق أو المناظرة متعددة الوكلاء. كما توفر إطار عمل عملياً للكشف عن التهرب السياسي يتسم بالمتانة تجاه انحيازات النماذج المختلفة.
القيود:
- الاعتماد على المجال: قد لا يتعمم اعتماد طول الاستجابة كوسيط للغموض بشكل مثالي على جميع المجالات أو النماذج.
- متطلب الدفعة (Batch): تتطلب آلية DCG استدلال الدفعة لحساب العتبة الديناميكية ( $Q_{25}$ )، مما يجعلها أقل ملاءمة لسيناريوهات البث الفوري أحادية العينة الصارمة دون تخزين مؤقت.
- النماذج المملوكة: يعتمد النظام على واجهات برمجة تطبيقات مملوكة (Grok و Gemini)، مما يحد من إمكانية إعادة الإنتاج والنشر في البيئات محدودة الموارد، رغم أن المؤلفين أشاروا إلى إمكانية تكييف النهج مع النماذج مفتوحة الأوزان.

في الختام، نجح نظام CSE-UOI في الجمع بين تنوع النماذج غير المتجانسة وآلية بوابة ذكية مدفوعة بالبيانات لتحقيق نتائج رائدة في تصنيف وضوح الاستجابة السياسية، مما يسلط الضل على إمكانات هندسة "الإشارات السلوكية" في تجميع النماذج اللغوية الكبيرة.