Self-Verification is All You Need To Pass The Japanese Bar Examination
تقدم هذه الورقة نموذجاً للتحقق الذاتي تم تدريبه على مجموعة بيانات تحاكي بأمانة التنسيق الأصلي ونظام التصحيح الخاص بامتحان المحاماة الياباني، مما يثبت قدرته على تجاوز درجة النجاح الرسمية والتفوق على استراتيجيات الوكلاء المتعددين المعقدة أو الاستراتيجيات القائمة على التفكيك دون تغيير هيكل الامتحان الأصلي.
تخيل عالماً تكون فيه الحواسيب مثل طلاب فائقي الذكاء قرأوا كل كتاب كُتب تقريباً. هذه "نماذج اللغات الكبيرة" (LLMs) مذهلة في الدردشة، وكتابة القصص، وحل المسائل الرياضية. لكن هناك جزءاً صعباً: فالذكاء لا يعني بالضرورة الاحتراف. فكر في الأمر كشخص يعرف كل قواعد كرة القدم ولكنه لم يلعب مباراة واحدة فعلياً؛ قد يعرف النظرية، لكنه على الأرجح سيتعثر بالكرة عند بدء المباراة. ينطبق هذا بشكل خاص على الامتحانات عالية المخاطر، مثل امتحان المحاماة الياباني. فالأمر لا يتعلق فقط بمعرفة القانون؛ بل يتعلق باتباع تنسيق محدد وصارم للغاية حيث يتعين عليك تقييم عدة عبارات في آن واحد واختيار التوليفة الصحيحة بدقة. إذا أخطأت في قطعة صغيرة واحدة، ستكون الإجابة بأكملها رسوباً. السؤال الكبير الذي طرحه الباحثون هو: هل يمكن لهؤلاء الطلاب من الذكاء الاصطناعي اجتياز هذا الامتحان الحقيقي دون تعديل، أم أنهم يحتاجون لتغيير الاختبار لجعله أسهل بالنسبة لهم؟
قرر باحث من جامعة كيو اكتشاف ذلك، واكتشف شيئاً مفاجئاً: لم يكن الذكاء الاصطناعي بحاجة لتبسيط الاختبار. في الواقع، جعل تبسيط الاختبار يجعل الذكاء الاصطناعي أسوأ في الاختبار الحقيقي. فبدلاً من تفكيك أسئلة الامتحان إلى ألغاز صغيرة وسهلة بنظام "صواب أو خطأ" (وهو ما حاولت دراسات أخرى القيام به)، قام الباحث بتعليم نموذج الذكاء الاصطناعي الخاص به كيفية التعامل مع الأسئلة تماماً كما تظهر في الامتحان الحقيقي. لقد استخدم حيلة ذكية تسمى "التحقق الذاتي". تخيل أنك تؤدي اختباراً، وتكتب إجاباتك، ثم قبل تسليم الورقة، تقوم بدور معلم صارم وتراجع عملك الخاص. يسأل النموذج نفسه: "مهلاً، هل تتوافق هذه الإجابة حقاً مع القواعد؟". إذا رصد خطأً، يقوم بتصحيحه.
كانت النتائج نجاحاً باهراً. فعند اختباره على امتحان المحاماة الياباني الفعلي لعام 2024، سجل نموذج الذكاء الاصطناዊ الخاص بهم 96 درجة من أصل 175 درجة ممكنة. وكانت درجة النجاح الرسمية للطلاب البشر في ذلك العام هي 93 درجة. وهذا يعني أن الذكاء الاصطناዊ قد اجتاز الامتحان دون أن يغير أحد الأسئلة أو قواعد التصحيح. جرب الباحث طرقاً متطورة أخرى، مثل جعل عدة "وكلاء" من الذكتاء الاصطناዊ يعملون معاً كفريق من المحامين يتناظرون في قضية ما، لكن تلك الأساليب أدت في الواقع إلى أداء أسوأ من النموذج الواحد الذي يقوم بالتحقق الذاتي. كما وجدوا أن تدريب الذكاء الاصطناዊ على أسئلة مبسطة ومجزأة (مثل مجموعة بيانات JBE-QA الشهيرة) لم يساعد؛ إذ عانت تلك النماذج عندما واجهت التنسيق الحقيقي والمعقد.
تشير الدراسة إلى أن "الخلطة السرية" لم تكن جعل الذكاء الاصطناዊ أكثر ذكاءً أو تزويده بمزيد من البيانات، بل تعليمه احترام القواعد الصارمة للامتحان وأن يكون هو الناقد لنفسه. فمن خلال التدريب على التنسيق الأصلي وإضافة خطوة التحقق الذاتي الإضافية، تعلم النموذج الحفاظ على اتساق منطقه عبر نقاط قانونية متعددة. ويؤكد الباحث بحذر أنه بينما اجتاز الذكاء الاصطناዊ هذا القسم المحدد من الاختيار من متعدد، فإن هذا لا يعني أنه مستعد ليكون محامياً حقيقياً في قاعة المحكمة بعد؛ فهو لا يزال غير قادر على كتابة الحجج القانونية الطويلة أو التعامل مع الجزء الخاص بالأسئلة المقالية. ولكن بالنسبة لهذا الاختبار المحدد وعالي الضغط، فإن الرسالة واضحة: أحياناً، أفضل طريقة لحل مشكلة صعبة ليست بتفكيكها، بل بالنظر إلى الصورة الكاملة، ومراجعة عملك، والالتزام بالقواعد.
=== ملخص تقني: التحقق الذاتي هو كل ما تحتاجه لاجتياز امتحان نقابة المحامين الياباني ===
بيان المشكلة
على الرغم من التقدم السريع في النماذج اللغوية الكبيرة (LLMs)، لا يزال تحقيق أداء موثوق في الاختبارات المهنية عالية الهيكلية يمثل تحديًا كبيرًا. يمثل امتحان نقابة المحامين الياباني (تحديدًا جزء الاختيار من متعدد "الإجابات القصيرة") معيارًا فريدًا بسبب متطلباته الصارمة:
الاستدلال المعقد: تتطلب الأسئلة التقييم المشترك لعدة قضايا متفاعلة (على سبيل المثال، تحديد قيمة الحقيقة لثلاث عبارات قانونية متميزة في آن واحد).
التنسيق الصارم: يجب أن تلتزم الإجابات بقيود صارمة (مثل تسلسلات رقمية محددة مثل "112" أو اختيار خيار واحد من مجموعة خيارات). أي خطأ في عبارة واحدة يؤدي إلى إبطال الإجابة بأكملها.
فجوة التقييم: غالبًا ما تقوم النهج السابقة، مثل مجموعة بيانات (JBE-QA)، بتفكيك الأسئلة المعقدة إلى أحكام مستقلة (صواب/خطأ). وبينما يبسط هذا عملية التدريب، إلا أنه يغير هيكل الامتحان بشكل جوهري. وبناءً على ذلك، يظل من غير الواضح ما إذا كانت النماذج المدربة على بيانات مفككة يمكنها النجاح تحت معايير التقييم الشاملة والأصلية للامتحان الفعلي.
المنهجية
يقترح المؤلف نهج التحقق الذاتي (Self-Verification) المدرب على مجموعة بيانات وفية للتنسيق (format-faithful dataset)، متجنبًا تفكيك المهام أو البنى المعقدة متعددة الوكلاء.
1. بناء مجموعة البيانات
المصدر: أسئلة الامتحان الفعلية من 2019 إلى 2024 (Reiwa 1–6) المقدمة من وزارة العدة اليابانية.
الهيكل: على عكس JBE-QA، التي تفكك الأسئلة إلى مهام ثنائية مستقلة، تحافظ هذه المجموعة على تنسيق الامتحان الأصلي. يتضمن كل نموذج السؤال الكامل، وجميع العبارات المكونة له، وتنسيق الإجابة المطلوب (على سبيل المثال، الأرقام المتسلسلة التي تمثل قيمة الحقيقة لكل عبارة).
التقسيم: تُستخدم البيانات من 2019 إلى 2023 (R1–R5) للتدريب، بينما يُستخدم امتحان 2024 (R6) كمجموعة اختبار محجوزة لمحاكاة ظروف التحضير الواقعية.
التعليق التوضيحي: يتضمن فئات الموضوعات (دستوري، مدني، جنائي) والدرجات الممنوحة بناءً على مخطط التصحيح الرسمي، والذي يتضمن قواعد الدرجات الجزئية (على سبيل المثال، فقدان النقاط بسبب خطأ واحد في سؤال مجمع).
2. استراتيجية الضبط الدقيق للتحقق الذاتي
تتضمن المنهجية الجوهرية عملية استدلال من خطوتين باستخدام نموذج واحد مضبوط دقيقًا:
التوليد الأولي: يتم ضبط النموذج دقيقًا لتوليد إجابة الامتحان الصحيحة مباشرة من السؤال الكامل، دون تفكيك المشكلة.
التحقق من الاتساق: في وقت الاستدلال، يقوم النموذج بمرحلة ثانية. حيث يتم توجيهه لإعادة تقييم تنبؤه الأولي (fθ(q)) مقابل سياق السؤال الأصلي.
تقوم دالة التحقق gθ(q,fθ(q)) بتقييم الاتساق بين السؤال والإجابة المتوقعة.
يتم توجيه النموذج لتعديل الإجابة فقط في حالة اكتشاف عدم اتساق واضح؛ وإلا فإنه يحافظ على المخرج الأصلي.
تستخدم هذه العملية نفس معاملات النموذج ولكن مع مطالبات (prompts) مختلفة (واحدة للتوليد، وأخرى للتصحيح المتحفظ).
3. النماذج المرجعية والمقارنات
تقيم الدراسة عدة استراتيجيات:
النماذج الأساسية: GPT-4.1 بنظام (Zero-shot) و (Few-shot).
التدريب المفكك: النماذج التي تم ضبطها دقيقًا على مجموعة بيانات JBE-QA (تنسيق التفكيك إلى صواب/خطأ).
البنى متعددة الوكلاء: مسارات عمل تضم وكلاء منفصلين للاسترجاع، والتحقق، واستخراج المعرفة، والاستدلال النهائي، والتي تم اختبارها مع نماذج مشتركة وأخرى مضبوطة دقيقًا بشكل مستقل.
النتائج الرئيسية
أُجريت التجارب على امتحان نقابة المحامين الياباني لعام 2024 (Reiwa 6)، حيث درجة النجاح الرسمية هي 93 من أصل 175.
أداء التحقق الذاتي: حقق النموذج الذي تم ضبطه دقيقًا على مجموعة البيانات الوفية للتنسيق الخاصة بالمؤلف، والمعززة بالتحقق الذاتي، درجة قدرها 94.7 (متوسط)، بحد أقصى بلغ 96، متجاوزًا عتبة النجاح البالغة 93.
بدون التحقق الذاتي، سجل نفس النموذج 92.3، وهو قريب بالفعل من خط النجاح.
حسن التحقق الذاتي الأداء باستمرار عبر جميع متغيرات النماذج (الأساسي، والمضبط على JBE-QA، والمضبط على نموذج المؤلف)، مما يثبت أنه تقنية مستقلة عن نوع النموذج.
فشل التفكيك: أدت النماذج التي تم ضبطها دقيقًا على مجموعة بيانات JBE-QA (التنسيق المفكك) إلى أداء أسوأ بكثير (الدرجة: 64.0–80.7) في الامتحان الأصلي، حتى مع استخدام التحقق الذاتي. يشير هذا إلى أن التدريب على قضايا مبسطة ومستقلة يفشل في تعليم النموذج كيفية الاستدلال عبر القيود المشتركة.
فشل الأنظمة متعددة الوكلاء: حققت مسارات العمل متعددة الوكلاء (سواء المشتركة أو المضبوطة بشكل مستقل) أداءً أقل من نهج النموذج الواحد، حيث سجلت درجات تترا-واح بين 71.0 و 75.7. ويعزو المؤلف ذلك إلى انتشار الخطأ وصعوبة الحفاظ على الاتساق العالمي عبر الوكلاء الموزعين في المهام ذات القيود الصارمة.
دقة التصحيح: يسلط البحث الضوء على أن الدقة وحدها ليست كافية. نظرًا لقواعد الدرجات الجزئية في الامتحان (على سبيل المثال، الحصول على 4 من أصل 5 أسئلة فرعية صحيحة في مجموعة واحدة قد يؤدي إلى صفر نقاط)، يجب أن تحقق النماذج اتساقًا عالميًا عاليًا. كانت خطوة التحقق الذاتي حاسمة في تصحيح أخطاء العبارات الفردية التي كانت ستؤدي لولا ذلك إلى صفر من النقاط لمجموعة الأسئلة.
الأهمية والادعاءات
يدعي البحث تقديم أول عرض لنموذج لغوي كبير يجتاز امتحان نقابة المحامين الياباني دون تغيير هيكل السؤال الأصلي أو قواعد التصحيح.
الإشراف الوفي للتنسيق أمر بالغ الأهمية: تشير النتائج إلى أن الحفاظ على الهيكل الأصلي متعدد القضايا للامتحان أثناء التدريب ضروري لتمكين النماذج من مواءمة المعرفة القانونية المحلية مع اتساق القرار العالمي. إن تبسيط المهمة (عبر التفكيك) يخلق انزياحًا في التوزيع يعيق الأداء في الامتحان الفعلي.
التحقق الذاتي كمحفز: تقترح الدراسة أن العديد من الأخطاء في النماذج القوية والمضبوطة دقيقًا لا تنبع من نقص المعرفة القانونية، بل من فشل في الاتساق العالمي. يعمل التحقق الذاتي كآلية خفيفة الوزن وغير تدريبية لاستخراج المعرفة الكامنة وتصحيح حالات فشل التماسك.
البساطة فوق التعقيد: خلافًا للتوجهات التي تفضل الأنظمة المعقدة متعددة الوكلاء، يجادل المؤلف بأن نهج النموذج الواحد المصمم بعناية مع التحقق الذاتي يتفوق على البنى الأكثر تعقيدًا في مهام الاستدلال المهني عالية المخاطر التي تتطلب اتساقًا صارمًا.
الحذر بشأن المعايير المرجعية: يحذر البحث من استخلاص استنتاجات حول الكفاءة القانونية من المعايير المرجعية التي تبسط هيكل المهمة بشكل كبير (مثل JBE-QA)، لأنها لا تلتقط الاستدلال الشامل المطلوب للتأهيل المهني.
المحددات
يشير المؤلف صراحةً إلى أن عمله يقتصر على الجزء الخاص بالاختيار من متعدد من الامتحان. وهو لا يتناول مكون الإجابة الحرة (المقال)، الذي يتطلب بناء الحجج والتحكم في الاستشهاد. علاوة على ذلك، يعتمد هذا النهج على نموذج أساسي قوي (GPT-4.1) ولا يدعي استبدال التعليم القانوني الرسمي أو الحكم المهني.