💬 NLP

A comprehensive study of LLM-based argument classification: from Llama through DeepSeek to GPT-5.2

تقدم هذه الورقة تقييماً شاملاً لنماذج اللغات الكبيرة الرائدة، بما في ذلك GPT-5.2 وLlama 4 وDeepSeek، في مهام تصنيف الحجج، مما يثبت أن استراتيجيات التلقين المتقدمة تعزز الأداء بشكل كبير مع الكشف عن أوضاع فشل منهجية في التعامل مع البنى الحجاجية المعقدة.

المؤلفون الأصليون: Marcin Pietroń, Filip Gampel, Jakub Gomułka, Andrzej Tomski, Rafał Olszowski

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Marcin Pietroń, Filip Gampel, Jakub Gomułka, Andrzej Tomski, Rafał Olszowski

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مجموعة من الروبوتات الذكية جداً، ولكنها حرفية للغاية في بعض الأحيان، كيف تفهم الحجج البشرية. هذا هو بالضبط موضوع هذه الورقة البحثية.

أراد الباحثون معرفة ما إذا كانت أحدث "الأدمغة الخارقة" للذكاء الاصطناعي (والتي تسمى النماذج اللغوية الكبيرة أو LLMs) جيدة في "تعدين الحجج" (Argument Mining). وباللغة البسيطة، يعني هذا: هل يستطيع الذكاء الاصطناعي قراءة نص، ومعرفة من يحاجج لصالح ماذا، ومن يعارض ذلك، ومن يقول شيئاً لا يُعتبر حجة حقاً؟

إليك تفصيل لهذه الدراسة باستخدام تشبيهات بسيطة:

1. المتسابقون: "أولمبياد" الذكاء الاصطناعي

وضع الباحثون عدة نماذج مختلفة من الذكاء الاصطناعي في مواجهة بعضها البعض. فكر في الأمر كرياضيين بخلفيات تدريبية مختلفة:

العمالقة (GPT-5.2، Llama 4، DeepSeek): هذه هي النماذج الضخمة، المكلفة، أو شديدة التعقيد. إنهم يشبهون أبطال الأولمبياد الحاصلين على الميداليات الذهبية والذين خضعوا لسنوات من التدريب.
الخيول السوداء (النماذج الأصغر مفتوحة المصدر): هذه نماذج أصغر، ومجانية الاستخدام. أراد الباحثون معرفوا ما إذا كان بإمكان رياضي من "صالة ألعاب رياضية محلية" أن يهزم بطل "الأولمبياد".

2. الحلبة: مجموعات بيانات النقاش

لاختبار الذكاء الاصطناعي، استخدموا مكتبتين ضخمتين من النقاشات البشرية الحقيقية (تسمى UKP و Args.me).

UKP: تشبه مجموعة من التعليقات الساخنة حول مواضيع مثيرة للجدل (الإجهاض، التحكم في الأسلحة، عقوبة الإعدام) من الإنترنت.
Args.me: تشبه نصوصاً من نوادي المناظرة الرسمية.
المهمة: كان على الذكاء الاصطناعي قراءة جملة وتحديد: "هل هذا الشخص مع الفكرة؟ ضدها؟ أم أنه لا يحاجج على الإطلاق؟"

3. استراتيجيات التدريب (التلقين - Prompting)

لم يكتفِ الباحثون بسؤال الذكاء الاصطناعي: "ما رأيك؟" بل جربوا طرقاً مختلفة للسؤال، مثل مدرب يجرب تمارين مختلفة للحصول على أفضل أداء:

سلسلة الأفكار (Chain-of-Thought): أخبروا الذكاء الاصطناعي: "لا تعطني الإجابة فقط. أظهر لي خطوات عملك أولاً. اشرح لماذا تعتقد أن هذه حجة قبل أن تختار جانباً". إنه يشبه طلب من طالب أن يوضح خطوات حل المسألة الرياضية.
إعادة الصياغة (mRAR): طلبوا من الذكاء الاصطناعي إعادة كتابة السؤال بأسلوبه الخاص قبل الإجابة. هذا يشبه محامياً يعيد سرد قصة موكله للتأكد من فهمه لها قبل الذهي للمحكمة.
لجنة التصويت: بدلاً من سؤال ذكاء اصطناعي واحد مرة واحدة، سألوا نفس الذكاء الاصطناعي أربع مرات بأسئلة مختلفة قليلاً. ثم أجروا "تصويتاً" لمعرفة ما قرره الأغلبية. هذا يشبه سؤال أربعة حكام لتقييم لاعبة جمباز وأخذ متوسط درجاتهم لتجنب أي حكم خاطئ واحد.

4. النتائج: من فاز؟

البطل: فاز GPT-5.2 (النموذج المملوك الأكثر تقدماً) بالميدالية الذهبية. حقق دقة تبلغ حوالي 78% في تعليقات الإنترنت و 92% في المناظرات الرسمية.
المفاجأة: نموذج أصغر مفتوح المصدر يسمى gpt-oss-120b حقق نتائج قريبة جداً من البطل! هذا خبر ضخم لأنه يعني أنك لست بحاجة إلى كمبيوتر خارق بمليارات الدولارات للقيام بتحليل جيد للحجج؛ فنموذج أصغر وأرخص يمكنه الوصول إلى 95% من الطريق.
قوة اللجنة: استخدام استراتيجية "لجنة التصويت" رفع درجات الجميع بنسبة تتراوح بين 2% إلى 8%. لقد أثبت ذلك أن سؤال الذكاء الاصطناعي عدة مرات ومتوسط الإجابات يجعله أكثر ذكاءً.

5. أين تعثروا (الهلوسة)

حتى أفضل نماذج الذكاء الاصطناعي ارتكبت أخطاء، ووجد الباحثون بعض الأنماط المضحكة (والمحبطة):

مشكلة "الروبوت الحرفي": إذا احتوت الجملة على أرقام أو حقائق (مثلاً: "أظهرت دراسة أن X")، كان الذكاء الاصطناعي غالباً ما يفكر: "أوه، هذه مجرد حقيقة، وليست حجة!" ويتجاهلها. لكن البشر يعرفون أن الحقائق تُستخدم غالباً لدعم الحجة.
ارتباك كلمة "لكن": يستخدم البشر كلمات مثل "لكن" أو "ومع ذلك" لقلب معنى الجملة. أحياناً كان الذكاء الاصطناعي يرتبك بسبب الجزء الأول من الجملة وينسى أن النقطة الأساسية تأتي بعد كلمة "لكن".
تحيز الموضوع: إذا كان الموضوع عن "عقوبة الإعدام"، كان الذكاء الاصطناعي يفترض أحياناً أن أي تعليق هو ضدها، لمجرد أن هذا ما رآه في بيانات تدريبه. كان يخمن بناءً على الموضوع بدلاً من قراءة الكلمات الفعلية.
مشكلة "المنطقة الرمادية": في بعض الأحيان، كان البشر الذين وضعوا التصنيفات مرتبكين أيضاً! وجد الباحثون أنه في حوالي نصف الحالات التي "فشل" فيها الذكاء الاصطناعي، كان التصنيف البشري غامضاً بالفعل. قد يكون الذكاء الاصطناعي على حق، لكن التصنيف البشري كان خاطئاً.

6. الخلاصة الكبرى

تخبرنا هذه الدراسة بثلاثة أشياء رئيسية:

الذكاء الاصطناعي أصبح جيداً حقاً في فهم الحجج، لكنه ليس مثالياً بعد. لا يزال يعاني مع السخرية، وهياكل الجمل المعقدة، والتلميحات الضمنية.
لست بحاجة إلى أكبر نموذج للفوز. النماذج الأصغر والأكثر ذكاءً، عندما يتم تدريبها جيداً (باستخدام التصويت وإعادة الصياغة)، يمكنها القيام بعمل يقارب النماذج العملاقة المكلفة.
البيانات ليست مثالية. أحياناً تكون "الحقيقة المطلقة" (الإجابة الصحيحة) ضبابية. نحن بحاجة إلى طرق أفضل لتعليم الذكاء الاصطناعي كيفية التعامل مع المناطق الرمادية في النقاش البشري، وليس فقط الحقائق الواضحة والقطعية.

باختصار: علمنا مجموعة من نماذج الذكاء الاصطناعي كيف يكونوا حكام مناظرة. النموذج الأذكى هو من فاز، لكن النماذج الأصغر قدمت أداءً جيداً بشكل مفاجئ عندما أعطيناهم فريقاً من الحكام للتصويت. ومع ذلك، لا يزالون يتعثرون بالسخرية، وجمل "لكن" المعقدة، وأحياناً يكتفون بالتخمين بناءً على الموضوع. نحن بحاجة للاستمرار في تعليمهم كيفية القراءة ما بين السطور!

إليك ملخص تقني مفصل للورقة البحثية بعنوان "دراسة شاملة لتصنيف الحجج القائم على النماذج اللغوية الكبيرة: من Llama عبر DeepSeek وصولاً إلى GPT-5.2".

1. بيان المشكلة

تنقيب الحجج (Argument Mining - AM) هو مهمة تحديد وتصنيف مكونات الحجج (الادعاءات، المقدمات) وعلاقاتها (دعم، هجوم، حياد) تلقائياً داخل النصوص الطبيعية. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) واعداً في مهام معالجة اللغات الطبيعية المختلفة، إلا أن تطبيقها في التصنيف الهيكلي للحجج لا يزال غير مستكشف بشكل كافٍ.

الفجوة: تركز المعايير المرجعية الحالية غالباً على الاستدلال متعدد الخيارات أو توليد الأكواد البرمجية. ويتطلب تصنيف الحجج فهماً دقيقاً للمقدمات الضمنية، والسياق البراغماتي (التداولي)، والعلاقات الدلالية المعقدة (مثل التمييز بين السؤال الاستنكاري والادعاء المباشر).
التحدي: هناك نقص في التقييم المقارن المنهجي للنماذج اللغوية الكبيرة الحديثة (بما في ذلك النماذج مفتوحة الأوزان والنماذج المملوكة لشركات) عبر مجموعات بيانات متعددة. علاوة على ذلك، هناك فهم محدود لكيفية فشل هذه النماذج (أنماط الخطأ) وما إذا كانت استراتيجيات التلقين المتقدمة (مثل سلسلة الأفكام - Chain-of-Thought) تحسن الأداء بفعالية في هذا المجال تحديداً.

2. المنهجية

2.1 مجموعات البيانات

استخدمت الدراسة مجموعتين من النصوص الموثقة يدوياً:

مجموعة UKP: تحتوي على حوالي 25,000 حالة من التعليقات عبر الإنترنت حول ثمانية مواضيع مثيرة للجدل (مثل الإجهاض، والتحكم في الأسلحة). الملصقات: مع، ضد، لا توجد حجة.
مجموعة Args.me: تحتوي على حوالي 48,000 حجة من بوابات المناظرة. الملصقات: مؤيد (PRO) و معارض (CON).

معالجة البيانات: أنشأ المؤلفون مجموعات "كاملة" ومجموعات "مختصرة" (2,000 عينة لكل منها) لإدارة التكاليف الحسابية للنماذج المملوكة لشركات.

2.2 النماذج التي تم تقييمها

قارنت الدراسة طيفاً واسعاً من النماذج:

عائلة Llama: نماذج Llama 3.1 (بأحجام 1B، 3B، 8B، 70B)، وLlama 3.3 (70B)، وLlama 4 Scout (70B).
DeepSeek: نموذج DeepSeek R1 (70B).
عائلة GPT: نموذج GPT-5.2 (مملوك)، ونموذجا GPT oss-20B و GPT oss-120B (مفتوح الأوزان).

2.3 استراتيجيات التلقين (Prompting)

اختبر الباحثون عدة تقنيات تلقين لتحسين الأداء:

mRAR (إعادة الصياغة اليدوية والاستجابة): أربع متغيرات مختلفة من التلقين تختلف في تنسيق الاستجابة (رمزي مقابل لفظي) وفي درجة التفصيل (موجز مقابل مفصل).
سلسلة الأفكار (CoT): تشجيع الاستدلال خطوة بخطوة بشكل صريح. تم تطبيق ذلك بشكل أساسي على نماذج Llama، حيث تمتلك نماذج الاستدلال المملوكة (مثل GPT-5.2) قدرات استدلال مدمجة.
التقييم الذاتي لليقين: طُلب من النماذج تعيين درجة ثقة (0–100%) لتصنيفها.

2.4 خوارما التصويت الجماعي (Ensemble Voting)

لتجميع التنبؤات من عدة تلقينات ( $N=4$ )، تم تنفيذ ثلاث استراتيجيات تصويت:

التصويت البسيط: تصويت الأغلبية (تجاهل درجة الثقة).
تصويت كسر التعادل: تصويت الأغلبية؛ وفي حال التعادل يتم استخدام درجة الثقة التي قيمها النموذج لنفسه لكسر التعادل.
التصويت المرجح: مجموع درجات الثقة لكل فئة؛ الفئة ذات المجموع الأعلى هي الفائزة.

3. المساهمات الرئيسية

أول معيار مرجعي شامل: تقييم منهجي للنماذج اللغوية الكبيرة الحديثة (بما في ذلك GPT-5.2، وLlama 4، وDeepSeek R1) في مهام تنقيب الحجج عبر مجموعتي بيانات رئيسيتين.
تحليل هندسة التلقين: أثبتت الدراسة أن صياغة التلقين (التفصيل والتنسيق) تؤثر بشكل كبير على الأداء، حيث تفوق التنسيق اللفظي الطبيعي على التنسيق الرمزي.
فعالية التصويت الجماعي: أظهرت النتائج أن استراتيجيات التصويت متعددة التلقينات (تحديداً تصويت كسر التعادل والتصويت البسيط) تحسن الدقة (Accuracy) ومقياس F1 باستمرار بنسبة تتراوح بين 2% إلى 8% مقارنة بالتلقين لمرة واحدة.
التحليل النوعي للأخطاء: قدمت الدراسة غوصاً عميقاً في أنماط الفشل، حيث حددت أن النماذج تواجه صعوبة في:
- هياكل الخطاب التباينية (مثل "لكن"، "ومع ذلك").
- النقد الضمني والأسئلة الاستنكارية.
- المواءمة المرجعية (حل مشكلات الضمائر مثل "ذلك" أو "هذا").
- التمييز بين الأوصاف الواقعية والمواقف الحجاجية.
نقد مجموعات البيانات: من خلال دراسة إعادة التوسيم التجريبية، وجد المؤلفون أن 46.4% من "أخطاء" النماذج في مجموعة بيانات الإجهاض الخاصة بـ UKP كانت في الواقع حالات حدية حيث كان التوسيم البشري الأصلي غامضاً. وفي 43.9% من هذه الحالات الحدية، توافق إعادة التوسيم مع تنبؤ النموذج، مما يشير إلى أن المعايير المرجعية الحالية قد تقلل من تقدير أداء النماذج.

4. النتائج الرئيسية

4.1 الأداء الكمي

الأفضل أداءً: حقق GPT-5.2 أعلى دقة: 78.0% في UKP و 91.9% في Args.me.
المنافسون من النماذج مفتوحة الأوزان: قدم نموذج GPT oss-120B أداءً ممتازاً، حيث حقق 82.1% (UKP) و 89.6% (Args.me) باستخدام التصويت، مقترباً جداً من نموذج GPT-5.2 المملوك.
حجم النموذج مقابل الأداء:
- النماذج الصغيرة (مثل Llama 1B) كان أداؤها قريباً من التخمين العشوائي.
- ومن المثير للاهتمام، تفوق GPT oss-20B على نماذج Llama 70B الأكبر حجماً، مما يشير إلى أن الضبط المعماري وقدرات الاستدلال أكثر أهمية من عدد المعلمات وحدها.
تأثير التصويت: وفرت خوارما التصويت تحسينات ذات دلالة إحصائية. على سبيل المثال، في UKP، رفع التصويت أداء GPT oss-120B من حوالي 77.2% إلى 82.1%.

4.2 نتائج تحليل الأخطاء

التحيز المنهجي: تميل النماذج إلى ربط مواضيع محددة بمواقف محددة بغض النظر عن النص (على سبيل المثال، تصنيف خاطئ للبيانات المحايدة حول عقوبة الإعدام على أنها "ضد").
الفشل الهيكلي: كان النوع الأكثر شيوعاً للخطأ هو سوء تفسير الهياكل التباينية (على سبيل المثال، الفشل في إدراك أن الجملة التي تلي كلمة "لكن" هي الحجة الرئيسية).
الاستدلال البراغماتي: واجهت النماذج صعوبة في فهم القصد الضمني، حيث غالباً ما تعامل الأسئلة الاستنكارية أو الحالات الشرطية (counterfactuals) كحقائق محايدة.
الاختلافات بين النماذج:
- GPT oss-120b: عانى من التفسير الحرفي للحقائق والقصد الضمني.
- GPT-5.2: قوي في الاستدلال البراغماتي ولكنه عرضة لضعف الاستدلال الهيكلي المعقد.
- DeepSeek (ds70b): أداء متوسط ولكنه شديد الحساسية للغة العاطفية.

5. الأهمية والآثار المترتبة

كفاءة التكلفة: تثبت الدراسة أن النماذج الأصغر مفتوحة الأوزان (مثل GPT oss-120B)، عند دمجها مع التلقين المتقدم واستراتيجيات التصويت، يمكنها تحقيق تكافؤ في الأداء مع النماذج الضخمة المملوكة لشركات. وهذا يجعل تنقيب الحجما عالي الجودة متاحاً وقابلاً للتوسع دون الاعتماد على واجهات برمجة التطبيقات المغلقة.
محدودية المعايير المرجعية: تشير النتالئج إلى أن مجموعات بيانات تنقيب الحجج الحالية تحتوي على ضوضاء وتوسيم غامض بشكل كبير. يجب أن تأخذ المعايير المرجعية المستقبلية في الاعتبار "الحالات الحدية" وتختبر صراحة الاستدلال على مستوى الخطاب (مثل التعامل مع الجمل التباينية والأدوات البلاغية) بدلاً من مجرد الدقة الإجمالية.
النشر العملي: بالنسبة للتطبيقات في العالم الحقيقي (التكنولوجيا القانونية، تحليل السياسات)، توصي الدراسة باستخدام سير عمل هجين بين البشر والذكاء الاصطناعي أو طرق التصويت الجماعي للتخفيف من التحيزات المنهجية والإخفاقات الهيكلية التي حددتها النماذج.

في الختام، تؤكد هذه الورقة أنه بينما أحدثت النماذج اللغوية الكبيرة ثورة في تنقيب الحجج، فإن قدراتها الاستدلالية ليست مثالية بعد. ويعتمد النجاح بشكل كبير على هندسة التلقين، وتقنيات التصويت الجماعي، والفهم النقدي لـ محدودية مجموعات البيانات الحالية.