💬 NLP

A Two-Phase Stability Study of LLM Judges and Bar Council Examiners on Thai Bar-Exam Free-Form Essays

تكشف هذه الدراسة أنه في حين تتقارب أحكام النماذج اللغوية الكبيرة مع المصححين البشريين في مقالات امتحان المحاماة التايلاندي ذات المعايير الواضحة، إلا أن النماذج اللغوية الكبيرة تفشل بشكل منهجي في إعادة إنتاج تفسير الأقلية البشرية في الحالات الغامضة، حيث تتماشى بدلاً من ذلك بشكل موحد مع وجهة نظر الأغلبية البشرية، مما يؤدي بالتالي إلى حجب عدم قدرتها على استيعاب الطيف الكامل للاختلاف بين الخبراء.

المؤلفون الأصليون: Pawitsapak Akarajaradwong, Wuttikrai Lertprasertphakorn, Chompakorn Chaksangchaichot, Sarana Nutanong

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pawitsapak Akarajaradwong, Wuttikrai Lertprasertphakorn, Chompakorn Chaksangchaichot, Sarana Nutanong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مسابقة عالية المخاطر للحكم على جودة المقالات القانونية. لديك كتاب قواعد محدد للغاية (نموذج التقييم) يخبر المصححين كيفية منح الدرجات. عادة ما يكون كتاب القواعد واضحاً: إذا كانت الإجابة صحيحة، امنح درجة عالية؛ وإذا كان الاستنتاج سيئاً، امنح درجة منخفضة.

لكن في بعض الأحيان، يدخل كتاب القواعد في "منطقة رمادية". فهو لا يحدد بدقة ما يجب فعله عندما يكتب الطالب الإجابة النهائية بشكل صحيح ولكنه ينسى ذكر مرجع قانوني واحد محدد وحاسم. هذه هي منطقة "صمت اللوائح".

هذه الورقة البحثية عبارة عن تجربة من جزأين لمعرفة كيف يتعامل البشر والذكاء الاصطناعي (AI) مع هذه المناطق الرمادية.

الجزء الأول: "الامتحان" (المرحلة الأولى)

أولاً، وضع الباحثون 8 نماذج مختلفة من الذكاء الاصطناعي في "مقعد الطالب". كان عليهم كتابة مقالات قانونية تماماً مثل 42 طالباً حقيقياً في القانون التايلاندي. تم تقييم نماذج الذكاء الاصطناعي بشكل أعمى من قبل خبراء بشريين.

النتيجة: أدى نماذج الذكاء الاصطناعي بشكل مماثل لمتوسط الطلاب البشر. بعضها كان رائعاً، وبعضها متوسط، وبعضها عانى. لقد كانوا جميعاً "داخل اللعبة".

الجزء الثاني: "التصحيح" (المرحلة الثانية)

بعد ذلك، أخذ الباحثون نفس المقالات وطلبوا من مجموعتين تصحيحها:

اللجنة البشرية: ثلاثة مصححين قانونيين حقيقيين ومعتمدين.
لجنة الذكاء الاصطناعي: مجموعة ضخمة مكونة من 26 نموذجاً مختلفاً من الذكاء الاصطناائي (بما في ذلك النماذج التي خاضت الامتحان سابقاً، بالإضافة إلى العديد من النماذج الأخرى).

أعطوا الجميع أربعة أشياء بالضبط للنظر إليها: السؤال، كتاب القواعد، نموذج الإجابة "المثالية"، ومقال الطالب.

الاكتشاف الكبير: "الطريق ذو الاتجاه الواحد"

وجد الباحثون انقساماً مثيراً للاهتمام، ولكن فقط في الأسئلة الصعبة حيث كان كتاب القواعد صامتاً.

الانقسام البشري:
لم يتفق الخبراء الثلاثة (البشر) فيما بينهم.

اثنان منهم (ب و ج) قالوا: "لقد أصاب الطالب النقطة الرئيسية وكان استنتاجه جيداً بما يكفي. امنحوه درجة عالية (6-8)."
واحد منهم (أ) قال: "لقد أغفل الطالب مرجعاً حاسماً. وهذا يجعل استنتاجه 'غير قابل للاستخدام'. امنحه درجة منخفضة جداً (1-2)."
فكر في الأمر كحكم رياضي: اثنان من الحكام يقولان إن اللاعب "داخل الملعب"، وواحد يقول إنه "خارج الملعب". كلاهما يستخدم نفس كتاب القواعد، لكنهما يفسران المنطقة الرمادية بشكل مختلف.

انقسام الذكاء الاصطناعي (عدم التماثل):
هنا أصبح الأمر غريباً. توقع الباحثون أن تنقسم نماذج الذكاء الاصطناعة الـ 26، بحيث ينحاز بعضها إلى الإنسان الصارم (أ) وينحاز البعض الآخر إلى البشر المتساهلين (ب و ج).

لم يحدث ذلك.
22 من أصل 26 نموذجاً للذكاء الاصطناعي انحازوا إلى البشر المتساهلين (ب و ج). لقد منحوا درجات عالية.
3 نماذج من الذكاء الاصطناعي شعرت بالارتباك ومنحت درجات متوسطة.
صفر من نماذج الذكاء الاصطناعي انحازت إلى الإنسان الصارم (أ). حتى النموذج الوحيد الذي حاول أن يكون صارماً (GPT-5.4 Nano) لم يكن متسقاً بما يكفي ليطابق أسلوب الإنسان الصارم حقاً.

الاستعارة:
تخيل مجموعة من 26 كاميرا تلتقط صورة للوحة فنية.

انتقد ثلاثة نقاد فنيين بشر الصورة، اثنان قالا إنها تحفة فنية، وواحد قال إنها فشل.
سألت الـ 26 كاميرا لوصف اللوحة.
النتيجة: اتفقت جميع الكاميرات الـ 26 مع الناقدين اللذين وصفاها بأنها تحفة فنية. ولم تتفق أي من الكاميرات مع الناقد الذي وصفها بالفشل. على الرغم من أن الكاميرات كانت من علامات تجارية وأحجام وأسعار مختلفة، إلا أنها جميعاً "رأت" اللوحة بنفس الطريقة، وتجاهلت تماماً وجهة نظر الناقد الصارم الواحد.

لماذا يهم هذا؟

تجادل الورقة البحثية بأنه عندما نبني أنظمة ذكاء اصطناعي لتصحيح المقالات، فإننا عادة ما نختار الذكاء الاصطناعي الذي يتفق أكثر مع المصحح البشري "المتوسط".

ولأن غالبية البشر في هذه الدراسة (2 من أصل 3) كانوا متساهلين، فقد تعلم الذكاء الاصطناعي أن يكون متساهلاً أيضاً.
لم يتعلم الذكاء الاصطناعي أن يكون "عادلاً" بطريقة متوازنة؛ بل تعلم أن يكون "غير متماثل". لقد تقارب مع رأي الأغلبية وتجاهل تماماً رأي الأقلية، رغم أن رأي الأقلية كان تفسيراً قانونياً صالحاً.

مفاجأة "الدور المزدوج"

لاحظ الباحثون أيضاً شيئاً غريباً بشأن شخصية الذكاء الاصطناعي.

نماذج الذكاء الاصطناعي التي كانت طلاباً سيئين في المرحلة الأولى (حصلت على درجات منخفضة في مقالاتها الخاصة) أصبحت هي الأكثر اتساقاً في كونها مصححين متساهلين في المرحلة الثانية.
نماذج الذكاء الاصطناعي التي كانت طلاباً رائعين في المرحلة الأولى أصبحت فقط "جيدة" كمصححين.
الدرس المستفاد: كونك جيداً في كتابة الإجابة لا يجعلك جيداً في تصحيح الإجابة. المهارات مختلفة تماماً.

الخلاصة

تظهر الدراسة أن حكام الذكاء الاصطناعي مستقرون ومتسقون جداً مع بعضهم البعض، لكن لديهم نقطة عمياء. عندما يختلف الخبراء البشر حول قاعدة في منطقة رمادية، فإن الذكاء الاصطناعي لا يوازن بين الآراء أو يستكشف جميع الآراء الصالحة. بدلاً من ذلك، فإنه ينحاز بشكل ساحق نحو رأي "الأغلبية" البشرية ويتجاهل رأي "الأقلية" تماماً.

إذا كنت تستخدم الذكاء الاصطناعي لتصحيح المقالات، فأنت لا تحصل فقط على رأي ثانٍ؛ بل تحصل على مرآة تعكس رأي الأغلبية بقوة تجعل رأي الأقلية يختفي تماماً.

ملخص تقني: دراسة استقرار مرحلتين حول حكام النماذج اللغوية الكبيرة (LLM) وممتحني مجلس النقابة في المقالات الإنشائية لامتحان المحاماة التايلاندي

بيان المشكلة

تعتمد عمليات التقييم الحالية لمعالجة اللغات الطبيعية (NLP) للمقالات القانونية الإنشائية على فرضيتين غير مختبرتين: (1) أن الاتفاق بين الممتحنين البشريين ذوي المؤهلات يحدد "سقف استقرار" واحد ومسطح عبر جميع العناصر، و(2) أن نجاح الحاكم (LLM) يُقاس بمدى اقتراب اتفاقه مع اللوحة البشرية من هذا السقف. تتحدى هذه الدراسة هذه الافتراضات من خلال التحقيق فيما إذا كان استقرار الخبراء موحداً عبر العناصر، وما إذا كانت مجموعات الحكام من النماذج اللغوية الكبيرة تعيد إنتاج الطيف الكامل للتفسيرات البشرية المشروعة أم أنها تتقارب فقط نحو قراءة أغلبية واحدة. تركز الدراسة على امتحان المحاماة التايلاندي، وهو تقييم إنشائي عالي المخاطر حيث يتضمن التصحيح كلاً من الصحة الحتمية (المطابقة للإجابة النموذجية) والجودة التفسيرية (عمق الاستدلال)، والتي غالباً ما تفتقر إلى توجيهات تنظيمية صريحة.

المنهجية

تستخدم الدراسة بروتوكول مرحلتين بمدخلات متطابقة لعزل أدوار الممتحن والحاكم مع التحكم في تباين المدخلات.

المرحلة الأولى: النماذج اللغوية الكبيرة كممتحنين

المشاركون: 42 طالباً في القانون التايلاندي و8 نماذج لغوية كبيرة (بما في ذلك Claude 4.6 Opus، وGemini 3.1 Pro، وGPT-5.4 Pro، وغيرها).
المهمة: أجاب المشاركون على ثلاثة أسئلة مقالية في القانون المدني والتجاري تحت ظروف تعمية (blinded conditions).
التصحيح: قام ثلاثة ممتحنين مدربين من مجلس النقابة (أ، ب، ج) بتصحيح الإجابات باستخدام معيار (rubric) مكون من 8 مستويات منشور. لم يكن الممتحنون على علم بهوية المشاركين (بشر أم نماذج لغوية).
النتيجة: إنشاء توزيع أساسي للقدرات حيث وقعت النماذج اللغوية ضمن توزيع الطلاب البشر، مما يضمن أن مهمة التصحيح ليست تافهة.

المرحلة الثانية: النماذج اللغوية الكبيرة كحكام

المتن (Corpus): تم اختيار مجموعة فرعية من 15 خلية مصححة بشكل متقاطع (5 إجابات × 3 ممتحنين) للتحليل العميق.
المدخلات: تلقى جميع الحكام (3 بشر و26 نموذجاً لغوياً) نفس المدخلات الرباعية: السؤال، اللوائح الرسمية للتصحيح، الإجابة النموذجية، ومقال المرشح.
لوحة النماذج اللغوية:
- اللوحة المرجعية (Anchor Sub-panel): خضعت ثلاثة نماذج مغلقة الحدود (Claude 4.6 Opus، وGemini 3.1 Pro، وGPT-5.4 Pro) لعملية قياس دقيقة، بما في ذلك اختبارات الحتمية (3 بذور عند درجة حرارة T=0)، واختبارات حذف المدخلات (حذف اللوائح، وحذف الإجابة النموذجية)، وفترات الثقة عبر أسلوب Bootstrap.
- اللوحة الموسعة: تمت إضافة 23 نموذجاً إضافياً تشمل النماذج المغلقة (كبيرة وصغيرة)، والنماذج مفتوحة الأوزان الرائدة، والنماذج مفتوحة الأوزان الصغيرة لاختبار الادعاءات الهيكلية على مستوى المجموعة.
المقاييس: تم قيق استقرار النماذج باستخدام معامل كريبن دورف ألفا (Krippendorff's $\alpha$ )، وارتباط بيرسون الزوجي، ومعامل كوهين كابا الموزون (Cohen's weighted $\kappa$ ).

المساهمات الرئيسية

التقارب غير المتماثل على مستوى المجموعة: تحدد الدراسة عدم تماثل هيكلي في سلوك الحكام من النماذج اللغوية. في العناصر التي يصمت فيها المعيار (rubric) بشأن تفسير الإجابة النهائية الصحيحة مع حذف الاستشهادات القانونية (حدود "الصمت التنظيمي")، تنقسم اللوحة البشرية إلى قراءتين متماسكتين (قراءة الأغلبية ب/ج وقراءة الأقلية أ). لا تنقسم مجموعة النماذج اللغوية بشكل متماثل؛ حيث تتقارب 22 من أصل 26 نموذجاً نحو قراءة الأغلبية (ب/ج)، و3 نماذج تقع في فجوة متوسطة، ونموذج واحد فقط (GPT-5.4 Nano) يقترب من قراءة الأقلية (أ) دون أن يستقر داخلها باستمرار. لا يوجد أي نموذج لغوي يعيد إنتاج قراءة الأقلية.
الفصل بين قدرة الممتحن واستقرار الحاكم: باستخدام تصميم الدور المزدوج (نفس الـ 8 نماذج كأدوار ممتحن وحاكم)، تُظهر الورقة أن أداء النموذج كممتحن لا يتنبأ بمدى توافقه كحاكم. الممتحنون الأضعف غالباً ما يصبحون حكاماً أكثر توافقاً مع (ب/ج)، بينما لا يتوافق الممتحنون الأعلى درجات بالضرورة مع قراءة الأقلية. زيادة القدرة لا تدفع مجموعة النماذج اللغوية نحو قراءة الأقلية.
اللوحة المرجعية المقاسة: تحقيق لوحة مرجعية من ثلاثة نماذج لغوية مع قياس كامل (الحتمية، الحذف، فترات ثقة Bootstrap) حققت معامل $\alpha$ قدره 0.77، وهو أعلى بكثير من $\alpha$ البشري البالغ 0.36 في العناصر المتنازع عليها.

النتائج الرئيسية

مقاييس الاستقرار

العناصر غير المتنازع عليها: في 10 من أصل 15 خلية (السؤالين 1 و3)، حيث يحدد المعيار كلا المحورين، تكون اللوحات البشرية واللغوية متكافئة في الاستقرار ( $\alpha \approx 0.75$ ).
العناصر المتنازع عليها: في 5 خلايا من السؤال الثاني (حدود الصمت التنظيمي)، تنهار اللوحة البشرية إلى $\alpha = -0.34$ بسبب الانقسام بين الممتحن (أ) (الأكثر صرامة، درجة 1-2) والممتحنين (ب/ج) (الأكثر تساهلاً، درجة 6-8).
سلوك النماذج اللغوية في العناصر المتنازع عليها: تحافظ لوحة النماذج اللغوية على استقرار عالٍ ( $\alpha = 0.68$ $α = 0.68$ ) ولكنها تتقارب حصرياً نحو قراءة (ب/ج).
- 22/26 نموذجاً: سجلت في نطاق (ب/ج) ( $m_c \in [5, 8]$ ).
- 3/26 نموذجاً: سجلت في الفجوة المتوسطة ( $3 < m_c < 5$ ).
- 1/26 نموذجاً (GPT-5.4 Nano): اقترب من نطاق (أ) ( $m_c = 2.33$ ) لكنه فشل في التسجيل باستمرار ضمنه.
- النتيجة: لم يعيد أي نموذج لغوي إنتاج قراءة الأقلية البشرية.

تشخيص أوضاع الفشل

تحدد الدراسة ثلاثة أوضاع فشل متميزة في النماذج اللغوية تبتعد عن الكتلة الأغلبية:

تكميم المقياس (Claude Haiku 4.5): يقلص مقياس الدرجات إلى حاوية ثنائية (نجاح/رسوب: 3.5 أو 7.5)، ويفشل في التعبير عن الدرجات المتوسطة.
التصحيح بناءً على الإجابة النهائية فقط (GPT-5.4 Mini): يتجاهل المحور التفسيري، ويمنح درجات عالية بناءً على صحة النتيجة النهائية فقط، بغض النظر عن جودة الاستدلال.
التصحيح الصارم للاستدلال (GPT-5.4 Nano): يعاقب بصرامة على حذف الاستشهادات في المحور التفسيري، مما يجعله يتماشى مع قراءة الأقلية (أ)، لكنه يفتقر إلى الاتساق عبر كامل مجموعة البيانات.

اختبارات المتانة

الحتمية: عند درجة حرارة $T=0$ ، تظهر النماذج المرجعية استقراراً داخلياً عالياً (Claude $\alpha=0.998$ )، مما يؤكد أن التنوع بين النماذج (0.77) هو سمة من سمات المجموعة وليس ناتجاً عن الضجيج.
حذف المدخلات: يؤدي حذف اللوائح أو الإجابة النموذجية إلى تقليل استقرار لوحة النماذج اللغوية، لكنه لا يعكس اتجاه الفجوة (يبقى $\alpha$ الخاص بالنماذج اللغوية أعلى من $\alpha$ البشري).
تحليل الدور المزدوج: الارتباط بين درجة الممتحن وتوافق كتلة الحاكم هو ارتباط استكشافي وسالب ( $r = -0.34$ )، مما يشير إلى أن الممتحنين الأضعف (الذين قد يعتمدون أكثر على المحور الحتمي) يتماشون بقوة أكبر مع أغلبية (ب/ج) كحكام.

الأهمية والادعاءات

تدعي الورقة أن "سقف الاستقرار" في تقييم النماذج اللغوية القانونية ليس خطاً مسطحاً، بل هو خط صدع يقع عند حدود الصمت التنظيمي حيث يترك المعيار جودة التفسير لتقدير الخبراء.

عدم تماثل الاتفاق: إن الاتفاق العالي للوحة النماذج اللغوية ( $\alpha$ ) لا يعني إعادة إنتاج متوازنة للتباين البشري. بدلاً من ذلك، يعكس تقارباً منهجياً نحو قراءة الأغلبية البشرية. إن أي معيار يختار حكماً من النماذج اللغوية عبر تعظيم الاتفاق مع مرجع بشري (الذي يكون عادةً منحازاً للأغلبية) سيرث، بحكم التصميم، هذا عدم التماثل وسيقصي الحكام القادرين على تبني قراءة الأقلية.
عنق زجاجة التفسير: تحدد الدراسة "عنق زجاجة التفسير في المعيار" كمنطقة محددة حيث يصمت التنظيم عن كيفية تصحيح إجابة صحيحة ذات استدلال غير مكتمل. في هذه المنطقة، تنقسم اللوحات البشرية طبيعياً إلى قراءات متماسكة ومشروعة، بينما تتقارب مجموعات النماذج اللغوية نحو جانب واحد.
محدودية التوسع (Scaling): تشير النتائج إلى أن مجرد زيادة قدرة النموذج لا يحل عدم التماثل هذا؛ فالنماذج الأكبر لا تتبنى قراءة الأقلية تلقائياً. التقارب هو خاصية هيكلية لمجموعة النماذج اللغوية تجاه هذا المعيار تحديداً، وهي مستقلة عن حجم النموذج، أو الشركة المصنعة، أو فئة السعر.

تخلص الورقة إلى أن بروتوكولات التقييم الحالية تحجب المساحة الكاملة للقراءات البشرية المشروعة. وتدعو إلى معايير (benchmarks) تعرض استقرار اللوحة لكل حالة تفسيرية وتقيم الحكام من النماذج اللغوية مقابل عدة قراءات بشرية مشروعة بدلاً من هدف واحد متوسط.