Hyperparameter Analysis in Retrieval-Augmented Generation Systems Applied to the Public Prosecutor’s Office of the State of Espírito Santo Corpus

تخيل أن لديك صديقاً آلياً (روبوت) فائق الذكاء، يمكنه كتابة المقالات، وإلقاء النكات، والإجابة على أي سؤال تقريباً تطرحه عليه. هذا الروبوت يشبه طالباً عبقرياً قرأ كل ما هو موجود على الإنترنت. ولكن هناك مشكلة: هذا الطالب لديه ذاكرة سيئة جداً للحقائق. إذا سألته عن قانون معين، فقد يختلق بثقة قاعدة تبدو مثالية ولكنها مزيفة تماماً. يُطلق على هذا "الهلوسة" (Hallucination)، وهي مشكلة كبيرة عندما تحتاج إلى معلومات دقيقة، كما هو الحال في قاعة المحكمة أو المستشفى.

ولحل هذه المشكلة، اخترع العلماء حيلة ذكية تسمى "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation - RAG). فكر في الأمر كأنك تعطي صديقك الروبوت مجموعة من الكتب المدرسية قبل الامتحان مباشرة. فبدلاً من التخمين من ذاكرته الخاصة، يقوم الروبوت أولاً بالبحث عن الإجابة في الكتب، ثم يكتب رده بناءً فقط على ما وجده. إنه يشبه المحقق الذي يراجع ملف الأدلة قبل كتابة التقرير. ولكن هناك التواء في القصة: طريقة تنظيمك لتلك الكتب مهمة. هل تمزق الصفحات إلى قصاصات صغيرة؟ أم تبقي الفصول كاملة معاً؟ وكم عدد الصفحات التي تسمح للروبوت بقراءتها قبل أن يبدأ في الكتابة؟ إذا ضبطت هذه الإعدادات بشكل خاطئ، فقد يفتقد الروبوت الدليل الحاسم أو يصاب بالارتباك بسبب كثرة الضجيج والمعلومات غير الضرلة. وهذا بالضبط هو اللغز الذي قرر فريق من الباحثين في البرازيل حله.

---

معضلة المحقق: ضبط الآلة

في ولاية إسبيريتو سانتو بالبرازيل، يمتلك مكتب النائب العام (MPES) مكتبة ضخمة من الوثائق القانونية—آلاف القوانين والقواعد واللوائح. لسنوات، كان العثور على قاعدة معينة كابوساً؛ حيث كان على الموظفين المدنيين معرفة مكان البحث بدقة، وإلا سيعلقون في مكانهم. ولمساعدة هؤلاء، قاموا ببناء مساعدة افتراضية تدعى "فابي" (Fabi) (تيمناً بموظفة حقيقية واسعة المعرفة). تستخدم "فابي" حيلة الـ RAG: فهي تقرأ المكتبة القانونية وتجيب على أسئلة الموظفين.

لكن "فابي" لم تكن مثالية. أحياناً كانت تفقد تفاصيل مهمة، وأحياناً أخرى كانت تعطي إجابات غامضة. تساءل الباحثون، بقيادة هيتور كوارتيزاني وفريقه، سؤالاً بسيطاً: ما هي الإعدادات التي تجعل "فابي" أفضل محقق ممكن؟ لم يكتفوا بالتخمين، بل تعاملوا مع المشكلة كتجربة علمية ضخمة. لقد اختبروا كل توليفة من أربعة "مقابض" مختلفة في النظام لمعرفة أي منها سينتج إجابات أكثر دقة وأمانة وفائدة.

إليك ما قاموا بتغييره وما وجدوه:

1. استراتيجية "التقطيع" (Chunking)

تخيل أن لديك قصة قانونية طويلة ومعقدة. كيف تقطعها لتعطيها للروبوت؟

• الطريقة القديمة (التكرارية - Recursive): تقطيع القصة إلى قطع ثابتة الحجم، مثل تقطيع رغيف خبز إلى قطع بحجم 500 حرف. هذا سهل، لكنك قد تقطع جملة في منتصفها، مما يفقدها معناها.
• الطريقة الذكية (الدلالية - Semantic): تقطيع القصة فقط عندما يتغير الموضوع. إذا انتقل القانون من "قواعد الإجازات" إلى "أجر العمل الإضافي"، فهذا هو مكان القطع. هذا يحافظ على الأفكار كاملة.

النتيجة: اكتشف الباحثون أن "الطريقة الذكية" (التقطيع الدلالي) كانت الفائزة بوضوح. وتحديداً، التقطيع بناءً على المئوي الخامس والتسعين لتغير المواضيع (بمعنى، التقطيع فقط عندما يتغير الموضوع بشكل كبير) حافظ على أكبر قدر من المعلومات سليمة. أما "الطريقة القديمة" المتمثلة في التقطيع إلى قطع صغيرة بحجم 500 حرف فقد كانت سيئة للغاية؛ لأنها قطعت المنطق القانوني، مما جعل من المستحيل على الروبوت العثور على الإجابة الصحيحة. في العمل القانوني، يمكن أن يكون فقدان تفصيل واحد كارثياً، لذا كان الحفاظ على القصة كاملة هو العامل الأهم.

2. طريقة البحث (Retrieval)

كيف تجد "فابي" الصفحات الصحيحة في المكتبة؟

• البحث المتجهي (Vector Search): يشبه هذا سؤال الروبوت: "جد لي أشياء تشبه شعور هذا السؤال". إنه رائع لفهم المعنى ولكنه قد يفتقد الكلمات الدقيقة.
• البحث المعجمي (Lexical Search): يشبه فهرس المكتبة الكلاسيكي. يبحث عن تطابقات الكلمات الدقيقة. هو ممتاز للمصطلحات المحددة ولكنه سيء في فهم السياق.
• البحث الهجين (Hybrid Search): هو أفضل ما في العالمين. يستخدم حيلة رياضية خاصة (تسمى دمج الرتب التبادلية - Reciprocal Rank Fusion) للجمع بين بحث "الشعور" وبحث "الكلمة الدقيقة".

النتيجة: كان البحث الهجين هو البطل. من خلال الجمع بين الطريقتين، استطاعت "فابي" العثية على المستندات الصحيحة حتى لو طرح المستخدم سؤاله بطريقة غريبة أو استخدم مصطلحاً قانونياً محدداً جداً. فالبحث القائم على "الشعور" وحده لم يكن كافياً، والبحث القائم على "الكلمة الدقيقة" وحده كان جامداً للغاية. معاً، جعلا النظام أكثر موثوقية.

3. كم تقرأ؟ (Top-K)

عندما تجد "فابي" المستندات الأفضل، كم يجب أن تقرأ قبل الإجابة؟ هل تقرأ 5 صفحات؟ أم 20؟

• النتيجة: كلما قرأت أكثر، أصبحت أفضل—ولكن حتى نقطة معينة. قراءة 20 مستنداً أعطت أفضل النتائج. اتضح أن إعطاء الروبوت "شبكة" أكبر لالتقاط المعلومات ساعده في العثور على الأدلة الصحيحة، حتى لو كانت بعض الصفحات الإضافية تحتوي على بعض الضجيج. ومع ذلك، لاحظ الباحثون أنه بعد 15 مستنداً، توقف التحسن في جودة الإجابة النهائية عن كونه ذا دلالة إحصائية. لذا، بينما كانت قراءة 20 مستنداً أفضل قليلاً، إلا أنها كانت تستهلك قوة حاسوبية أكبر. وقد اقترحوا أنه في المستقبل، يمكن للنظام استخدام مرشح (فلتر) أذكى لقراءة صفحات أقل مع الحصول على نفس النتائج الرائعة.

4. القدرة الذهنية (اختيار النموذج اللغوي الكبير - LLM)

أخيراً، اختبروا "عقلين" مختلفين لـ "فابي": العقل الضخم والذكي جداً gpt-4o، والعقل الأصغر والأسرع gpt-4o-mini.

• المفاجأة: قد تعتقد أن العقل الأكبر والأغلى ثمناً هو الذي سيفوز. لكن العقل الأصغر gpt-4o-mini كان في الواقع يؤدي بنفس الكفاءة، بل وأحياناً بشكل أفضل!
• لماذا؟ كان العقل العملاق ذكياً جداً لدرجة أنه كان يحاول أحياناً أن يكون مبدعاً أكثر من اللازم. عندما يقرأ الروبوت 20 مستنداً، يبدأ العقل الكبير في خلط الأفكار أو التفسير الزائد للنص، مما يؤدي إلى أخطاء صغيرة. أما العقل الأصغر، فقد كان أكثر طاعة؛ حيث التزم بدقة بالنص المقدم، واستخرج الحقائق دون إضافة "نكهته" الخاصة. بالنسبة لمساعد قانوني يحتاج إلى الدقة، كان أن يكون حرفياً أكثر نوعاً ما بمثابة قوة خارقة.

الحكم النهائي

لم يقم الباحثون بمجرد التخمين؛ بل أجروا 3,840 تجربة مختلفة (أي اختبار 96 إعداداً مختلفاً مقابل 40 سؤالاً مختلفاً) واستخدموا رياضيات متقدمة لإثبات نتائجهم.

وقد خلصوا إلى أنه لبناء أفضل مساعد قانوني:

1. يجب تقطيع المستندات حسب الموضوع، وليس حسب الحجم الثابت.
2. يجب استخدام البحث الهجين الذي يجمع بين المعنى والكلمات الدقيقة.
3. يجب قراءة حوالي 20 مستنداً لضمان عدم تفويت أي شيء.
4. يجب استخدام نموذج الذكاء الاصطناعي الأصغر والأرخص (gpt-4o-mini) لأنه يتبع التعليمات بصرامة أكبر ويرتكب أخطاء أقل.

تعد هذه الدراسة أمراً بالغ الأهمية لأنها تتجاوز مرحلة "لنحاول هذا ونرى ما سيحدث". إنها تستخدم العلم الصارم لتخبرنا بالضبط كيفية ضبط هذه الأدوات القوية حتى لا تبدو ذكية فحسب، بل تكون حقاً ذكية وموثوقة. بالنسبة لمكتب النائب العام، يعني هذا أن "فابي" يمكنها الآن مساعدتهم في العثور على القوانين الصحيحة بشكل أسرع وبأخطاء أقل، مما يجعل النظام القانوني يعمل بشكل أفضل للجميع.