Persuadability and LLMs as Legal Decision Tools

إليك ملخص تقني مفصل للورقة البحثية بعنوان "القابلية للإقناع واستخدام النماذج اللغوية الكبيرة كأدوات اتخاذ القرار القانوني" من إعداد أويسين ساتل وديفيد ليليس.

1. بيان المشكلة

تتناول الورقة التحدي الحاسم المتمثل في نشر النماذج اللغوية الكبيرة (LLMs) كصناع قرار أو مساعدين قانونيين. أحد المتطلبات الأساسية لاتخاذ القرار القضائي والإداري هو القابلية للإقناع (Persuadability): أي القدرة على التفاعل مع الحجج المقدمة من الأطراف المتنازعة والتأثر بها. ومع ذلك، هناك توتر قائم:

• الجمود الشديد: صانع القرار الذي لا يمكن إقناعه يفشل في النظر في الأدلة أو الحجج الجديدة (مما ينتهك مبدأ "سماع الطرف الآخر" - audi alteram partem).
• المرونة المفرطة: صانع القرار الذي يسهل إقناعه بشكل غير مبرر قد يبني قراراته على المهارة البلاغية للمحامي بدلاً من الجوانب القانونية الموضوعية للقضية.

يتحرى المؤلفان ما إذا كانت النماذج اللغوية الكبيرة الرائدة قادرة على الموازنة بين هذا التوتر. وتحديداً، يتساءلان: إلى أي مدى تتأثر النماذج اللغوية الكبيرة بـ "جودة" (أو هوية) المحامي الذي يولد الحجة، بدلاً من الجوانب القانونية الموضوعية للقضية؟

2. المنهجية

صمم المؤلفان إطار عمل تجريبي ثلاثي الأطراف يتضمن ثلاثة أدوار: المحامون (يولدون الحجج)، والقاضي (يتخذ القرار)، والسيناريوهات (الأسئلة القانونية الصعبة).

أ. السيناريوهات (الأسئلة "الصعبة")

• المصدر: 15 سيناريو مستمد من قرارات محاكم الاستئناف المنقسمة (محكمة الاستئناف الأمريكية، محكمة الاستئناف في إنجلترا وويلز، والمحكمة العليا الأيرلندية).
• المبرر: تشير القرارات المنقسمة (الآراء المخالفة) إلى وجود أسئلة قانونية "صعبة" حيث لا توجد حقيقة موضوعية واحدة، مما يجعل القرار يعتمد على التقدير والإقناع.
• الهيكل: يتضمن كل سيناريو الوقائع والسؤال القانوني المركزي.

ب. نماذج "المحامين" (توليد الحجج)

استُخدمت أربعة نماذج لغوية كبيرة متميزة لتوليد حجج للأطراف المتعارضة:

1. gpt-4o من OpenAI
2. gemmi-3-pro-preview من Google (بميزانية تفكير 4k)
3. gpt-5.1 من OpenAI (بجهد استدلال منخفض)
4. Claude Sonnet 4.5 من Anthropic (بميزانية تفكير 8k)

استراتيجيات التلقين (Prompting):
للتمييز بين المحتوى القانوني الجوهري مقابل الشكل البلاغي، تم تلقين المحامين بطريقتين:

1. الوقائع فقط: تزويدهم بالوقائع والسؤال القانوني فقط (مما يجبر النموذج على توليد حجج مبتكرة).
2. الوقائع + الحجج الأصلية: تزويدهم بالوقائع بالإضافة إلى ملخص للحجج الفعلية التي قُدمت في القضية التاريخية (مما يوفر "تلميحات" حول أفضل النقاط القانونية).

ج. نماذج "القاضي" (اتخاذ القرار)

• النطاق: تم اختبار 20 نموذجاً مختلفاً للقضاة (مزيج من النماذج ذات الأوزان المغلقة والمفتوحة، وبأحجام وهياكل استدلال متنوعة).
• المهمة: يُعطى القاضي سيناريو وحجتين متنافستين (واحدة من كل جانب، تم توليدهما بواسطة نماذج محامٍ مختلفة)، ويجب على القاضي الفصل في القضية كما تفعل محكمة في ذلك الاختصاص القضائي.
• الحجم: تم اختبار كل قاضٍ 1,200 مرة (600 مع الحجج الأصلية، و600 بدونها)، بإجمالي 24,000 تجربة.

د. مقاييس القابلية للإقناع

حدد المؤلفان القابلية للإقناع بناءً على هوية المحامي باعتبارها وسيطاً لجودة الحجة.

• خط الأساس: إذا كان القاضي غير قابل للإقناع، فإن أي محامٍ يجب أن يفوز بنسبة 50% من المرات (توزيع عشوائي).
• القابلية للإقناع الزوجية ($p_2$): تقيس الانحراف عن خط الأساس (50%) عند تنافس محاميين محددين.
  $$p_2 = \frac{|m_1 - m_2|}{2n}$$
  (حيث $m$ هو عدد انتصارات كل محامٍ، و $n$ هو عدد التجارب).
• القابلية للإقناع الجماعية ($p_{pop}$): المقياس التجميعي لمدى انحياز القاضي لنماذج محامين محددة عبر جميع المقارنات.

3. المساهمات الرئيسية

1. الإطار المفاهيمي: تحديد هذا التوتر المحدد بين ضرورة القابلية للإقناع والتعرض غير المبرر للتأثير في سياق اتخاذ القرار القانوني بالذكاء الاصطعي.
2. منهجية مبتكرة: اقتراح إعداد "محامي ضد محامي ضد قاضي" ثلاثي الأطراف لقياس القابلية للإقناع، وهو ما يختلف عن الدراسات الثنائية (مُقنع ضد مُقنع) السابقة.
3. أول استكشاف قانوني منهجي: تقديم أول دراسة تجريبية واسعة النطاق حول القابلية للإقناع في النماذج اللغوية الكبيرة ضمن سياقات الاستدلال القانوني المعقدة.
4. البيانات المفتوحة: نشر جميع الأكواد، والتلقينات، والبيانات (15 سيناريو، 1,200 حجة لكل جانب، 24,000 استجابة قاضٍ) لضمان إمكانية إعادة الإنتاج.

4. النتائج الرئيسية

أ. القابلية العالمية للإقناع

• جميع النماذج قابلة للإقناع: أظهر كل نموذج قاضٍ قابلية ذات دلالة إحصائية للإقناع ($p < 0.05$).
• الحجم: تراوحت القابلية للإقناع الجماعية ($p_{pop}$) بين 0.08 و 0.20. وهذا يعني أن هوية المحامي (وبالتالي جودة الحجة) تغير معدلات الفوز بنسبة 8-21% فوق خط الأساس العشوائي.
• الحالات القصوى: في مقارنات زوجية محددة (على سبيل المثال، أقوى محامٍ ضد أضعف محامٍ)، تراوحت معدلات الفوز بين 63% وأكثر من 90%، مما يشير إلى أن بعض النماذج تنجرف بشدة وراء هوية المحامي.

ب. بنية النموذج وحجمه

• الحجم: الأدلة مختلطة. بشكل عام، كانت النماذج الأكبر أقل قابلية للإقناع من النسخ الأصغر "الخفيفة" ضمن نفس العائلة (مثل claude-sonnet مقابل claude-haiku). ومع ذلك، وجدت استثناءات (على سبيل المثال، كان gpt-5-nano هو النموذج الأقل قابلية للإقناع بشكل عام).
• بنية الاستدلال: كانت النماذج الأكبر ذات ميزانيات "التفكير" أقل قابلية للإقناع بشكل عام، مما يشير إلى أنها تقيم الحجج بشكل أكثر نقدية. ومع ذلك، انعكس هذا الاتجاه في بعض النماذج المفتوحة الأصغر، حيث كانت نسخ "الاستدلال" (reasoning) أكثر قابلية للإقناع.

ج. الجوهر مقابل الشكل

• المحتوى مهم: عندما زُوّد المحامون بـ "الحجج الأصلية" (التلميحات)، انخفضت القابلية للإقناع بشكل عام (مما يشير إلى أن المحتوى أصبح أكثر معيارية).
• الدلالة الإحصائية: رغم أن تأثير توفير الحجج الأصلية كان ضئيلاً، إلا أن التجارب المباشرة أظهرت أن المحامي الذي تم تلقينه بالحجج الأصلية فاز بمعدل أكبر بكثير من المحامي الذي لم يتلقَّها ($p=0.0039$). وهذا يؤكد أن المحتوى القانوني الجوهري يلعب دوراً في الإقناع، وليس مجرد الفصاحة البلاغية.
• المعرفة بالاختصاص القضائي: كانت القابلية للإقنع منخفضة في الولايات القضائية التي تمتلك فيها النماذج بيانات تدريب أكثر (الولايات المتحدة > المملكة المتحدة > أيرلندا). وهذا يشير إلى أنه عندما تفهم النماذج الجوهر القانوني بشكل أفضل، فإنها تكون أقل عرضة للتأثر بالشكل وحده.

5. الأهمية والآثار المترتبة

• جدوى القضاة الآليين: تشير النتائج إلى أن النماذج اللغوية الكبيرة الصغيرة قد لا تكون مناسبة للأدوار القضائية لأن قابليتها العالية للإقناع تنبع على الأرجح من عدم قدرتها على تقييم الحجج المتنافسة نقدياً (فهي تنجرف بسهولة وراء الشكل).
• النماذج الكبيرة: بينما تعد النماذج الأكبر أقل قابلية للإقناع (ربما بسبب التقييم الموضوعي الأفضل)، إلا أنها لا تزال تظهر تعرضاً كبيراً (يصل إلى 4 في المئة في السيناريوهات الزوجية).
• البعد السياسي/الأخلاقي: تخلص الورقة إلى أن تحديد ما إذا كان مستوى قابلية الإقناع في النموذج "مقبولاً" هو مسألة سياسية. فهي تعتمد على التوقعات المجتمعية تجاه نظام العدالة وكيفية تعامله مع الأطراف ذات مهارات المحاماة المتفاوتة.
• العمل المستقبلي: يدعو المؤلفون إلى مزيد من البحث في:
  • ما هي الخصائص المحددة التي تقود الإقناع؟
  • هل يؤدي التعرض للحجج إلى تحسين جودة القرار فعلياً؟
  • مقارنة القابلية للإقناع في النماذج اللغوية الكبيرة مقابل الخبراء القانونيين البشريين.

الخلاصة: النماذج اللغوية الكبيرة قابلة للإقناع بطبيعتها. وبينما تُظهر النماذج الأكبر مقاومة أكبر للتأثير غير المبرر، إلا أنه لا يوجد نموذج محصن تماماً. إن نشرها كصناع قرار يتطلب اختياراً دقيقاً للنماذج بناءً على ملفات قابليتها للإقناع لضمان أن القرارات تُبنى على الجدارة القانونية بدلاً من الهيمنة البلاغية.