Prompting from the bench: Large-scale pretraining is not sufficient to prepare LLMs for ordinary meaning analysis
تجادل هذه الورقة بأن التدريب المسبق واسع النطاق وحده غير كافٍ لإعداد النماذج اللغوية الكبيرة للقيام بتحليل "المعنى العادي" القانوني بشكل موثوق، حيث تكشف الأدلة التجريبية أن استنتاجاتها تفتقر إلى المتانة تجاه التغييرات الطفيفة في الصياغة وتظهر ارتباطاً متوسطاً فقط مع الأحكام البشرية، مما يجعلها غير صالحة للاستخدام المرجعي في السياقات القضائية عالية المخاطر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل قاضياً في قاعة المحكمة يحاول استكشاف المعنى الحقيقي لكلمة غامضة في قانون ما بالنسبة للشخص العادي. على سبيل المثال، هل مصطلح "تنسيق الحدائق" في عقد ما يشمل بناء ترامبولين؟ تقليدياً، قد يسأل القضاوة أنفسهم: "ماذا سيعتقد جاري؟" أو يبحثون عن الكلمات في قاموس.
مؤخراً، بدأ بعض الخبراء القانونيين والقضاة في سؤال النماذج اللغوية الكبيرة (LLMs) -وهي نفس نوع الذكاء الاصطناعي الذي يشغل برامج الدردشة الآلية- للإجابة على هذا السؤال. الفكرة هي: "إذا كان الذكاء الاصطناعي قد قرأ كل شيء تقريباً كُتب على الإنترنت، فلا بد أنه يعرف بالضبط كيف يستخدم الناس العاديون الكلمات، أليس كذلك؟"
هذه الورقة البحثية هي تجربة كبيرة ودقيقة لاختبار ما إذا كانت هذه الفكرة صحيحة. لقد تصرف الباحثون كـ "نقاد صارمين" يجلسون على منصة القضاء، حيث أخضعوا هذه النماذج لاختبار جهد صارم. إليكم ما وجدوه، مشروحاً ببساطة:
١. مشكلة "الساعة المتعطلة"
طلب الباحثون من ١٥ نموذجاً مختلفاً للذكاء الاصطناعي (تتراوح من النماذج الصغيرة إلى الضخمة مثل GPT-4) أن يقرروا ما إذا كانت ١٣٨ حالة تأمينية مغطاة أم لا.
- النتيجة: كانت بعض نماذج الذكاء الاصطناعي تشبه ساعة متعطلة متوقفة عند كلمة "لا". مهما كانت القصة التي تُعرض عليها، كانت تعطي نفس الإجابة في كل مرة.
- الاستعارة: تخيل أنك تسأل خبير أرصاد جوية: "هل تمطر الآن؟" فإذا أجاب بـ "نعم" في يوم مشمس، وفي يوم غائم، وفي عاصفة ثلجية، فهو في الواقع لا ينظر إلى السماء؛ بل هو مجرد يكرر نصاً محفوظاً. فعلت العديد من نماذج الذكاء الاصطناعي هذا بالضبط، حيث فشلت في "قراءة" التفاصيل المحددة للقضية القانونية.
٢. "خدعة السحر" في صياغة السؤال
حاول الباحثون القيام بخدعة سحرية: طلبوا نفس السؤال تماماً، لكنهم غيروا الطريقة التي يسألون بها فقط.
- السيناريو أ: "هل جون مغطى تأمينياً؟ نعم أم لا؟"
- السيناريو ب: "هل جون غير مغطى تأمينياً؟ نعم أم لا؟"
- السيناريو ج: "هل توافق على أن جون مغطى تأمينياً؟"
- النتيجة: كانت إجابة الذكاء الاصطناعي تتقلب بشكل حاد. في نسخة واحدة من السؤال، قد يكون الذكاء الاصطناعي متأكداً بنسبة ٩٠٪ أن جون مغطى. وفي نسخة أخرى (مثل إضافة كلمة "لا" أو تغيير ترتيب الخيارات)، قد يصبح الذكاء الاصطناعي متأكداً بنسبة ٩٠٪ أن جون غير مغطى.
- الاستعارة: الأمر يشبه صندوق اقتراحات يغير رأيه بناءً على لون الورقة التي تكتب عليها. إذا سألت النموذج بطريقة معينة، يقول "نعم". وإذا سألته نفس السؤال ولكن وضعت خيار "لا" أولاً، فإنه يقول "لا". وهذا يعني أن المحامي يمكنه تقنياً "التسوق" بحثاً عن الصيغة التي تعطيه الإجابة التي يريدها، بدلاً من الحصول على الحقيقة.
٣. "المترجم" الذي لا يتحدث اللغة
قارن الباحثون إجابات الذكاء الاصطناعي بما يعتقده البشر الحقيقيون (المتحدثون العاديون باللغة الإنجليزية).
- النتيجة: كان الاتفاق بين الذكاء الاصطلي والبشر متوسطاً فقط. حتى أفضل نماذج الذكاء الاصطناعي (مثل GPT-4) لم تكن تصيب إلا بنسبة ٨٣٪ تقريباً إذا كنت تعرف تماماً كيفية تفسير درجات الاحتمالية الخاصة بها. ولكن في قاعة المحكمة الحقيقية، لا يمكنك الاطلاع على تلك الدرجات؛ أنت تحصل فقط على الإجابة النهائية.
- الاستعارة: تخيل أنك وظفت مترجماً ليخبرك بما يفكر فيه حشد من الناس. إذا كان المترجم يصيب في ٨٣٪ من المرات، فهذا يبدو جيداً. ولكن في قضية قانونية، الخطأ في حالة واحدة من كل ٦ حالات يعد كارثة. إنه يشبه نظام تحديد المواقع (GPS) الذي يوصلك إلى المدينة الصحيحة بنسبة ٨٣٪ من الوقت، ثم يلقي بك في مستنقع في الـ ١٧٪ المتبقية.
الخلاصة
تجادل الورقة بأن مجرد امتلاك الذكاء الاصطناعي لبيانات ضخمة (التدريب المسبق واسع النطاق) لا يعني أنه يفهم كيف يفكر الناس العاديون.
خلص المؤلفون إلى أن نماذج الذكاء الاصطناعي هذه هشة وغير موثوقة للغاية في الوقت الحالي لاستخدامها ككلمة فصل في القضايا القانونية. إنها ليست مصادر "موثوقة" للمعنى العادي بعد. إذا اعتمد القاضي عليها دون التحقق من عملها، فقد يكون واثقاً في ساعة متعطلة أو صندوق اقتراحات يغير رأيه بناءً على حجم الخط.
باخت تختصر: الذكاء الاصطناعي متحدث لبق، لكنه ليس مفكراً موثوقاً عندما يتعلق الأمر بتقرير ما تعنيه الكلمات بالنسبة للناس العاديين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.