DALDALL: Data Augmentation for Lexical and Semantic Diverse in Legal Domain by leveraging LLM-Persona

إليك ملخص تقني مفصل لورقة البحث بعنوان "DALDALL: تعزيز البيانات من حيث التنوع المعجمي والدلالي في المجال القانوني عبر الاستفادة من شخصية النماذج اللغوية الكبيرة (LLM-Persona)".

1. بيان المشكلة

ندرة البيانات في المجالات ذات الموارد المحدودة: يعاني استرجاع المعلومات (IR) في المجالات المتخصصة مثل القانون من نقص في بيانات التدريب عالية الجودة والموسومة. ويتطلب إنشاء مثل هذه المجموعات خبرة قانونية مكلفة.
قصور أساليب التعزيز الحالية: بينما تستطيع النماذج اللغوية الكبيرة (LLMs) توليد بيانات اصطناعية، إلا أن الطرق الحالية (مثل التلقين بلقطات قليلة - few-shot prompting) غالبًا ما تعطي الأولوية للكم على حساب الجودة. فهي تميل إلى إعادة استخدام المفردات من الأمثلة الأولية، مما يؤدي إلى انخفاض في التنوع المعجمي (تكرار الصياغة) وعدم كفاية التنوع الدلالي (نقص تنوع وجهات النظر). وهذا يحد من قوة نماذج الاسترجاع، لا سيما في مجال استرجاع المعلومات القانوني حيث تختلف الاستعلامات بشكل كبير في الهيكل والمصطلحات.

2. المنهجية: DALDALL

يقترح المؤلفون إطار عمل DALDALL (تعزيز البيانات من أجل التنوع المعجمي والدلالي في المجال القانوني عبر الاستفادة من شخصية النماذج اللغوية الكبيرة)، والذي يستخدم التلقين القائم على الشخصية (persona-based prompting) لتوليد استعلامات قانونية اصطناعية متنوعة.

المكونات الأساسية:

• التلقين القائم على الشخصية: بدلاً من التلقين العام، يتم تعيين أدوار مهنية محددة (شخصيات) للنموذج اللغوي الكبير مثل المحامين، والمدعين العامين، والقضاة، وأساتذة القانون. تجلب كل شخصية منظوراً، وهدفاً، ونمطاً لغوياً متميزاً لصياغة الاستعلام.
• عملية توليد من مرحلتين:
  1. استخراج العناصر الأساسية: قبل عملية التعزيز، يقوم النظام باستخراج المكونات القانونية الثابتة من الاستعلام الأصلي باستخدام إطار عمل IRAC (المسألة، القاعدة، التطبيق، الخلاصة). يضمن ذلك أن الاستعلامات المولدة تحافظ على المعنى القانوني الجوهري والحقائق.
  2. تعزيز الاستعلام: يقوم النموذج اللغوي الكبير بتوليد استعلامات اصطناعية بناءً على العناصر الأساسية المستخرجة والشخصية الموكلة إليه.
     • التلقين التقليدي (Vanilla Prompt): يولد استعلامات دون تعيين دور محدد.
     • تلقين الشخصية (Persona Prompt): يولد استعلامات عبر محاكاة وجهة نظر مهني قانوني محدد.
• الإعداد التجريبي:
  • مجموعات البيانات: تم التقييم باستخدام COLIEE (بيانات حالات طويلة، حوالي 6,000 رمز) و CLERC (استرجاع الاستشهادات، حوالي 350 رمزاً).
  • النماذج: تم اختبار خمسة نماذج استرجاع كثيفة (DPR, LegalBERT, BGE-base, multilingual-e5-base, BGE-M3) بالإضافة إلى نموذج خط أساس متفرق (BM25).
  • الضبط الدقيق (Fine-tuning): تم ضبط النماذج على البيانات الأصلية، والبيانات المعززة بالأسلوب التقليدي، والبيانات المعززة بالشخصية (في حالتي "فقط" و"المزيج").

3. المساهمات الرئيسية

1. استراتيجية تعزيز مبتكرة: تقديم نهج قائم على الشخصية مصمم خصيصاً لاسترجاع المعلومات القانوني، مما أثبت أن تعيين أدوار مهنية محددة يحفز تنوعاً معجمياً ودلالياً أعلى بكثير مقارنة بالتلقين القياسي بلقطات قليلة.
2. التحليل التجريبي للتنوع: تقديم تحليل دقيق أظهر أن التعزيز القائم على الشخصية يحسن درجات Self-BLEU (مما يشير إلى انخفاض التشابه بين العينات المولدة) ويغير توزيع الفضاء الدلالي، حتى عندما تختلف أطوال النصوص المدخلة بشكل جذري.
3. التحقق من الأداء: إثبات أن نماذج الاسترجاع التي تم ضبطها بدقة باستخدام البيانات المعززة بالشخصية تحقق أداءً تنافسياً أو متفوقاً في استدعاء المعلومات (Recall) مقارنة بتلك المدربة على البيانات الأصلية أو التعزيزات العامة، خاصة لنماذج مثل DPR و BGE-base.

4. النتائج الرئيسية

• التنوع المعجمي: تفوق التلقين القائم على الشخصية باستمرار على التلقين التقليدي.
  • في CLERC، تحسنت درجة Self-BLEU بنسبة 15% (0.368 مقابل 0.435).
  • في COLIEE، تحسنت درجة Self-BLEU بنسبة 23% (0.318 مقابل 0.414).
  • الاستنتاج: ناتجة عن المنظورات المهنية المتميزة للشخصيات، وليس فقط بسبب طول النص المدخل.
• التنوع الدلالي:
  • في COLIEE (النصوص الطويلة)، أنتجت الشخصيات تشابهاً جيب التمام الداخلي (Intra-Cosine Similarity) أقل (0.778 مقابل 0.799)، مما يشير إلى أنها استكشفت مناطق دلالية مختلفة من وقائع القضية.
  • في CLERC (النصوص القصيرة)، كانت الشخصيات متنوعة معجمياً ولكنها تقاربت دلالياً، مما يشير إلى أن ثراء النص المدخل يؤثر على التباين الدلالي.
• أداء الاسترجاع:
  • حققت نماذج الاسترجاع الكثيفة (DPR, BGE-base) التي تم ضبطها باستخدام بيانات "مزيج الشخصية" (Persona-mix) درجات استدعاء أفضل من تلك المدربة على البيانات التقليدية.
  • استدعاء BM25: من المثير للاهتمام أن الاستعلامات المعززة بالشخصية أظهرت استدعاءً أقل قليلاً في BM25 مقارنة بالاستعلامات الأصلية، مما يشير إلى أنها تقدم تنوعاً معجمياً أكبر (مما يشكل تحدياً للنموذج) بدلاً من مجرد مطابقة الكلمات المفتاحية.
  • حساسية النموذج: كانت الفوائد أكثر وضوحاً لنماذج الاسترجاع الكثيفة العامة. أما النماذج المتخصصة مثل LegalBERT فلم تتفوق على الخطوط المرجعية، ويرجع ذلك على الأرجح إلى أن الصياغة "الطبيعية" للاستعلامات المولدة بالشخصية تعارضت مع تمثيلاتها القانونية المدربة مسبقاً.

5. الأهمية والخاتمة

• الجودة فوق الكمية: تؤكد الورقة أنه في المجالات ذات الموارد المحدودة وعالية المخاطر مثل القانون، فإن توليد بيانات اصطناعية عالية الجودة ومتنوعة أكثر أهمية من توليد كميات هائلة من البيانات متوسطة الجودة.
• إطار عمل عملي: يقدم DALDALL طريقة عملية وقابلة للتكرار لتعزيز مجموعات البيانات التدريبية في مهام استرجاع المعلومات المتخصصة دون الحاجة إلى تسميات بشرية جديدة.
• القابلية للتعميم: رغم التركيز على البيانات القانونية الإنجليزية، فإن المنهجية (استخدام شخصيات متخصصة لتعزيز التنوع) قابلة للتطبيق في مجالات متخصصة أخرى (مثل الطب) حيث توجد أدوار مهنية متميزة.
• العمل المستقبلي: يشير المؤلفون إلى قيود تتعلق بغياب التحقق القانوني البشري للمحتوى المولد، والحاجة إلى استكشاف التعميم عبر اللغات وتشكيلات الشخصيات المثلى.

باختاً، نجح DALDALL في الاستفادة من قدرات الاستنتاج للنماذج اللغوية الكبيرة من خلال لعب الأدوار لحل مشكلة ندرة البيانات في استرجاع المعلومات القانوني، مما أنتج بيانات تدريب غنية معجمياً وأمينة دلالياً للسياق القانوني الأصلي.