OpenDebateEvidence: A Massive-Scale Argument Mining and Summarization Dataset

تخيل أنك تحاول تعليم روبوت كيف يجادل. ليس فقط كيف يدردش، بل كيف يبني قضية منطقية حقيقية، ويكتشف نقاط الضعف في قصة خصمه، ويلخص جبلًا من المعلومات في نقطة واحدة قوية وموجزة. هذا هو عالم "تنقيب الحجج" (argument mining)، وهو فرع من علوم الحاسوب حيث نحاول جعل الآلات تفهم الفن المعقد والمربك للنقاش البشري. فكر في الأمر كأنك تعلم طالبًا كيفية قراءة ألف كتاب مدرسي، وفهم الدرس الجوهري لكل منها، ثم شرحه لصديق دون أن يتوه في التفاصيل. لماذا يهم هذا؟ لأنه إذا استطعنا تعليم الحواسيب القيام بذلك، فستصبح أفضل في مساعدة المحامين على فرز القضايا القانونية، ومساعدة المعلمين في تقييم المقالات، أو حتى مساعدتنا في التنقل عبر محيط المعلومات على الإنترنت. ولكن إليك العقبة: لكي تعلم روبوتًا كيف يجادل، فأنت بحاجة إلى مكتبة ضخمة من الحجج الحقيقية ليدرسها. ولفترة طويلة، كانت تلك المكتبة صغيرة ومليئة بالثغرات.

إليك OpenDebateEvidence، وهي مكتبة جديدة وعملاقة. أدرك الباحثون وراء هذا المشروع أن المجموعات السابقة من حجج المناظرة كانت تشبه علية صغيرة مغبرة؛ مفيدة، لكنها تفتقر إلى الأشياء الأكثر إثارة. أرادوا بناء مكتبة تحتوي على "موسم" كامل من الحجج، وليس مجرد تدريبات ما قبل الموسم. لذا، خرجوا وجمعوا أكثر من 3.5 مليون وثيقة من مناظرات المدارس الثانوية والكليات في جميع أنحاء الولايات المتحدة. هذه ليست مج مجرد مقالات عشوائية؛ إنها "البطاقات" الفعلية التي يستخدمها المناظرون — مقتطفات من مقالات إخبارية، ودراسات علمية، وتقارير حكومية، تم قصها ولصقها بعناية لدعم نقاط محددة. لم يقم الفريق بمجرد رمي هذه الملفات في مجلد؛ بل قاموا بتنظيفها، وتنظيمها، وإضافة قدر هائل من "البيانات الوصفية" (Metadata) (فكر فيها كملصقات تفصيلية على كل كتاب) تخبرك بالضبط نوع الحجة التي هي منها، ومن كتبها، وأين تقع في المناظرة.

ثم تطرح الورقة سؤالًا كبيرًا: إذا استخدمنا هذه المكتبة الضخمة الجديدة لتدريب روبوتات المناظرة لدينا، فهل ستصبح أكثر ذكاءً؟ أخذ المؤلفون بعض أذكى نماذج الذكاء الاصطناعي المتاحة اليوم (مثل LLaMA3 و Mistral) وأعطوها دورة تدريبية مكثفة باستخدام مجموعة البيانات الجديدة هذه. لم يكتفوا بجعل الروبوتات تقرأ فحسب؛ بل استخدموا تقنيات تدريب خاصة لمساعدتها على التعلم بكفاءة دون نسيان ما تعرفه بالفعل. كانت النتائج مبهرة. الروبوتات التي تدربت على هذه المكتبة الضخمة الجديدة لم تصبح أفضل فقط في تلخيص بطاقات المناظرة؛ بل أصبحت أيضًا أفضل في تلخيص أنواع أخرى من النصوص، مثل مشروعات القوانم الحكومية، التي لم ترها من قبل. الأمر يشبه تعليم طالب المناظرة مما يجعله محاميًا أفضل وصحفيًا أفضل أيضًا. تشير الورقة إلى أن امتلاك مجموعة بيانات ضخمة وعالية الجودة هو "الخلطة السرية" لجعل الذكاء الاصطناعي يفهم الاستدلال البشري المعقد، وهم الآن يشاركون هذه المكتبة مع العالم حتى يتمكن الجميع من بناء آلات أكثر ذكاءً ومنطقية.

قصة المكتبة العملاقة

المشكلة: مكتبة صغيرة وقديمة
لفترة طويلة، كان على العلماء الذين يحاولون تعليم الحواسيب كيف تجادل العمل مع مكتبة صغيرة جدًا من الأمثلة. إحدى المجموعات الشهيرة، وتسمى "DebateSum"، كانت تحتوي على حوالي 240,566 مثالاً. ولكن كانت هناك مشكلة: كانت تحتوي في الغالب على حجج "ما قبل الموسم" التدريبية. كان الأمر يشبه محاولة تعلم لعب كرة السلة الاحترافية من خلال مشاهدة تدريبات المعسكر الصيفي فقط. لقد افتقرت إلى الحجج الحقيقية عالية المخاطر والمعقدة التي تحدث خلال الموسم التنافسي الفعلي. كانت المكتبة صغيرة ولم تكن تمثل الطيف الكامل لكيفية جدال البشر.

الحل: OpenDebateEvidence
لإصلاح ذلك، بنى الباحثون OpenDebateEvidence. لقد استخرجوا بيانات من مشروع يسمى OpenCaseList، حيث تشارك فرق المناظرة أدلتها عبر الإنترنت. والنتيجة هي مجموعة ضخمة من 3.5 مليون وثيقة (تحديدًا 3,512,280 وثيقة كاملة النص صالحة). تغطي هذه المكتبة مناظرات من عام 2014 إلى 2022 وتتضمن حججًا من ثلاثة أساليب رئيسية للمناظرة: السياسة (Policy)، ولينكولن-دوغلاس (Lincoln-Douglas)، والمناظرة العامة (Public Forum).

ما يجعل هذه المكتبة مميزة ليس حجمها فحسب؛ بل "الملصقات" المرفقة بكل وثيقة. في المناظرة، يتم تنظيم الدليل مع "قبعة" (الفئة العريضة، مثل "ضرر النفط")، و"جيب" (أي جزء من الخطاب ينتمي إليه)، و"علامة" (ملخص قصير متحيز للنقطة). تحتفظ مجموعة البيانات بكل هذه المعلومات. إنه يشبه امتلاك مكتبة لا يحتوي كل كتاب فيها على عنوان فحسب، بل أيضًا على ملاحظة لاصقة تقول بالضبط في أي فصل ينتمي، وملخص من جملة واحدة كتبه المؤلف. هذا يساعد الحواسيب ليس فقط على تعلم ما يقوله النص، بل كيف يتناسب مع حجة أكبر.

التجربة: تدريب الروبوتات
أراد الباحثون معرفة ما إذا كان بإمكان هذه المكتبة الجديدة جعل نماذج الذكاء الاصطناعي أكثر ذكاءً. أخذوا عدة نماذج لغوية رفيعة المستوى، بما في ذلك LLaMA3-8B و LLaMA3-70B و Mistral-7B. استخدموا حيل تدريب متقدمة مثل LoRA (التكيف منخفض الرتبة)، و ReFT (ضبط التمثيل)، و Orthogonalization. فكر في هذه كطرق مختلفة لـ "ضبط" دماغ الروبوت. LoRA تشبه إضافة سماعة رأس متخصصة لروبوت عام الأغراض لجعله بارعًا في مهمة محددة دون إعادة بناء الشيء بأكمله.

اختبروا هذه الروبوتات في ثلاثة تحديات مختلفة:

1. OpenDebateEvidence: تلخيص بطاقات المناظرة نفسها.
2. BillSum: تلخيص التشريعات الأمريكية (لمعرفة ما إذا كانت المهارات ستنتقل إلى نوع آخر من النصوص).
3. DebateSum: المكتبة القديمة والأصغر (لمعرفة ما إذا كان التدريب الجديد قد ساعد في البيانات القديمة).

النتائج: الأكبر هو الأفضل، والتدريب يساعد
أظهرت النتائج نمطًا واضحًا. أولاً، النماذج الأكبر أدت بشكل عام بشكل أفضل. نموذج LLaMA3-70B (وهو أكبر بكثير من نسختي 8B أو 7B) تفوق باستمرار على النماذج الأصغر. على سبيل المثال، في مجموعة بيانات OpenDebateEvidence، حصل نموذج LLaMA3-70B الأساسي على درجة 33.8% في مقياس يسمى ROUGE-1، بينما حصل نموذج Mistral-7B الأساسي على 27.8% فقط.

ثانيًا، أحدثت تقنيات التدريب فرقًا هائلاً. كان أسلوب الضبط الدقيق LoRA هو النجم المتألق. عندما استخدموا LoRA على نموذج LLaMA3-70B، قفزت درجته إلى 37.2%. هذا يشير إلى أنه حتى مع وجود نموذج ضخم، فإن إعطاءه "ضبطًا" متخصصًا باستخدام هذه المجموعة الجديدة من البيانات يساعده على فهم الحجج بشكل أفضل بكثير.

اختبرت الورقة أيضًا النماذج في مجموعة بيانات BillSum (القوانين الحكومية). ومرة أخرى، جاء النموذج المضبوط بدقة LLaMA3-70B باستخدام LoRA في المقدمة، محققًا درجة ROUGE-1 بلغت 54.6%، متفوقًا حتى على النسخ الأساسية لنماذج قوية مثل Google Gemini و Anthropic Claude. يشير هذا إلى أن تعلم الجدال باستخدام بطاقات المناظرة يساعد الذكاء الاصطناعي فعليًا في أن يصبح أفضل في تلخيص القوانين أيضًا.

ما تقوله الورقة وما لا تقوله
الورقة واضحة جدًا بشأن ما حققته وما لم تحققه. فهي تثبت أن التدريب على مجموعة البيانات الضخمة هذه يحسن الأداء. وهي تقترح أن مجموعة البيانات تتفوق على المجموعات السابقة بسبب حجمها وبياناتها الوصفية الغنية. ومع ذلك، فهي لا تدعي أن مشكلة تنقيب الحجج قد "حُلّت". يشير المؤلفون إلى أن نسختهم المشروحة من مجموعة البيانات (حيث استخدموا ذكاءً اصطناعيًا لتسمية جودة الحجة) هي "سابقة قوية" وليست "حقيقة مطلقة"، مما يعني أنهم لم يتحققوا تمامًا من كل ملصق مع خبراء بشريين بعد. كما أنهم يستبعدون صراحة فكرة أن النماذج الأصغر أو النماذج الأساسية (بدون ضبط دقيق) كافية لتحقيق أفضل النتائج؛ إذ تظهر البيانات أن النماذج الكبيرة مع تقنيات الضبط الدقيق المحددة ضرورية لأعلى مستويات الأداء.

لماذا يهم هذا
من خلال إطلاق مجموعة البيانات هذه للجمهور، يأمل المؤلفون في منح الباحثين والمعلمين والمناظرين أداة قوية. الأمر لا يتعلق فقط بجعل الذكاء الاصطناعي أفضل؛ بل يتعلق بفهم كيفية بناء البشر للحجج. إذا استطعنا تعليم الآلات تحليل هذه الهياكل المعقدة، فقد يكون لدينا يومًا ما أدوات يمكنها مساعدة الطلاب في تعلم المناظرة، ومساعدة المحامين في العثوين على أفضل الأدلة لقضية ما، ومساعدتنا جميعًا في فهم الكم الهائل من المعلومات التي نواجهها كل يوم. تنتهي الورقة بدعوة المجتمع لاستخدام هذا المورد، وتحسينه، وبناء طرق أكثر ذكاءً لفهم الاستدلال البشري.