On Measuring Semantic Preservation in Legal Ontology Learning
تقترح هذه الورقة وتتحقق من صحة إطار تقييم جديد يقيس الفقدان الدلالي في تعلم الأنطولوجيا القانونية من خلال مقارنة أداء النماذج اللغوية الكبيرة في المهام على الوثائق المصدرية مقابل التمثيلات المهيكلة، مما يكشف أن الحفاظ على الدلالات يتباين بشكل كبير اعتماداً على الاقتران المحدد بين النماذج اللغوية وطرق تعلم الأنطولوجيا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فهم عقد قانوني معقد. لديك خياران: يمكنك تغذية الروبوت بالنص الأصلي الفوضوي المكتوب بشرياً، أو يمكنك ترجمة هذا النص إلى خريطة منظمة للغاية تسمى "الأنطولوجيا" (Ontology). فكر في الأنطولوجيا كأنها خزانة ملفات ضخمة ومصنفة بدقة مثالية، حيث كل مفهوم هو درج، وكل علاقة هي ملصق واضح. الفكرة هي أن هذه الخريطة المنظمة يجب أن تساعد الروبوت على التفكير بشكل أفضل مما لو كان يعتمد على النص الفوضوي. لكن هنا تكمن المشكلة: عندما تأخذ قصة مليئة بالدقة واللمسات الإنسانية وتجبرها على الدخول في خزانة ملفات جامدة، قد تفقد عن غير قصد أهم النكهات. هذه هي مشكلة "الفقدان الدلالي" (Semantic Loss)؛ أي فقدان المعنى أثناء الحفاظ على الهيكل. لقد برع العلماء في التحقق مما إذا كانت خزانة الملفات مبنية بشكل صحيح (هل الملصقات على الأدراج صحيحة؟)، لكنهم لم يجدوا طريقة جيدة للتحقق مما إذا كانت "محتويات" الأدراج لا تزال لذيذة بما يكفي لحل المشكلة الفعلية. تأتي هذه الورقة البحثية لتملأ هذه الفجوة، وتطرح سؤالاً بسيطاً ولكنه حيوي: "هل تحويل نصنا إلى خريطة منظمة يساعد الروبوت حقاً، أم أنه يجعل الروبوت أغبى عبر تجريده من التفاصيل التي يحتاجها؟"
قرر مؤلفا هذه الورقة، ألبرت سادوفسكي وجاروسواف أ. تشودزياك، اختبار هذه الفكرة باستخدام ساحة لعب محددة وصعبة للغاية: اتفاقيات الاندماج القانونية. هذه عقود ضخمة ومعقدة توقعها الشركات عندما تشتري بعضها البعض، وهي مليئة بالتفاصيل الدقيقة والشروط القانونية الدقيقة. أرادوا معرفة ما إذا كان تحويل هذه العقود إلى أنطولوجيات يساعد نماذج اللغات الكبيرة (LLMs) — وهي روبوتات الدردشة الذكية للغاية التي نستخدمها اليوم — في الإجابة على الأسئلة حولها.
وللقيام بذلك، أعدوا تجربة ذكية. أولاً، تركوا ستة نماذج ذكاء اصطناعي مختلفة تقرأ العقود الأصلية الفوضوية وتجيب على 34 نوعاً مختلفاً من الأسئلة القانونية. أعطى هذا لهم درجة "خط الأساس"، والتي تمثل أقصى قدر من المعلومات يمكن للذكاء الاصطناعي فهمه من النص الأصلي. ثم، أخذوا نفس تلك العقود وأجروا عليها ثلاث طرق مختلفة لـ "تعلم الأنطولوجيا" (LLMs4OL، وNeOn-GPT، وNeOn-CoT) لتحويلها إلى خرائط منظمة. وأخيراً، طرحوا نفس الأسئلة على نفس نماذج الذكاء الاصطناعي، ولكن هذه المرة، كان بإمكانهم النظر فقط إلى الخرائط المنظمة، وليس إلى النص الأصلي.
كانت النتائج صادمة نوعاً ما. وجدت الورقة أنه في كل حالة تقريباً، ساء أداء نماذج الذكاء الاصطناعي عندما اضطرت لاستخدام الخرائط المنظمة بدلاً من النص الأصلي. الأمر يشبه أخذ حساء لذيذ ومعقد، وتصفيته من كل المرق والتوابل لصنع قائمة مرتبة من المكونات فقط، ثم سؤال طاهٍ عن كيفية إعادة صنع طعم الحساء باستخدام تلك القائمة فقط. كان "الفقدان الدلالي" حقيقياً وقابلاً للقياس. في المتوسط، فقدت نماذج الذكاء الاصطناعي ما بين 8.4 و27.4 نقطة مئوية من الدقة اعتماداً على الطريقة المستخدمة. كانت طريقة LLMs4OL هي المذنب الأكبر، حيث تسببت في تلاشي أكبر قدر من المعلومات، بينما كانت NeOn-GPT هي "الأقل سوءاً"، حيث حافظت على أكبر قدر من المعنى.
ومع ذلك، تصبح القصة أكثر إثارة للاهتمام عندما تنظر إلى أي نموذج ذكاء اصطناعي كان يقوم بالقراءة. اكتشفت الورقة أن الفقدان لم يكن متساوياً للجميع؛ فقد اعتمد الأمر بشكل كبير على "شخصية" نموذج الذكاء الاصطناعي والطريقة المستخدمة لبناء الخريطة. على سبيل المثال، عمل نموذج يسمى Gemini بشكل جيد بشكل مفاجئ مع طريقة محددة تسمى NeOn-CoT، حيث حافظ على حوالي 86-88% من المعنى الأصلي للمهام الصعبة. ولكن إذا اقترنت تلك الطريقة نفسها بنموذج مختلف، فإن الأداء سينهار. وهذا يشير إلى عدم وجود طريقة واحدة "مثلى" لبناء هذه الخرائط القانونية؛ بدلاً من ذلك، عليك إيجاد التطابق المثالي بين عقل الذكاء الاصطناعي وأداة صنع الخريطة.
لاحظ المؤلفون أيضاً أن نوع السؤال كان مهماً جداً. إذا كان السؤال بسيطاً، مثل "هل الإجابة نعم أم لا؟"، فإن الخرائط المنظمة تعمل بشكل مثالي تقريباً، ولا تفقد أي معلومات تقريباً. ولكن إذا كان السؤال يتطلب فهم الفروق القانونية الدقيقة — مثل الفرق بين "أكثر من مجرد احتمال" و"من المحتمل معقولاً" — فإن الخرائط المنظمة تفشل فشلاً ذريعاً، وغالباً ما تفقد ما يصل إلى 65% من المعنى. لم يستطع الهيكل الجامد للأنطولوجيا استيعاب ظلال الاحتمالات الدقيقة التي يعتمد عليها المحامون.
في النهاية، لا تقول الورقة إن علينا التوقف عن استخدام الأنطولوجيا. بدلاً من ذلك، فهي تحذرنا من افتراض أن جعل الأشياء منظمة يجعلها أفضل تلقائياً. يقترح المؤلفون أنه قبل أن نثق في خريطة منظمة لمساعدة الذكاء الاصطناعي في اتخاذ القرارات القانونية، نحتاج إلى اختبارها أولاً لنرى ما إذا كانت تحفظ المعنى الذي نهتم به حقاً. لقد وجدوا أنه بالنسبة للاستدلال القانوني المعقد، فإن عملية تحويل النص إلى خريطة منظمة غالباً ما تجرد التفاصيل التي تجعل الإجابة صحيحة. لذا، بينما تظل الأنطولوجيات مفيدة لتنظيم البيانات، نحتاج أن نكون حذرين من رمي "الطفل مع ماء الاستحمام"، خاصة عندما يكون "الطفل" هو حجة قانونية دقيقة يمكن أن تغير مسار صفقة بمليارات الدولارات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.