ملخص تقني: أثر حجم قطعة النص على أداء التوليد المعزز بالاسترجاع (RAG)

بيان المشكلة

تعمل أنظمة التوليد المعزز بالاسترجاع (RAG) على تحسين نماذج اللغات الكبيرة (LLMs) من خلال استرجاع المعرفة الخارجية لتأصيل توليد النصوص، مما يقلل من مشكلات الهلوسة والمعلومات القديمة. ومع ذلك، فإن هناك مكوناً حرجاً لم يُستكشف كفاية في مسارات RAG، وهو دقة تقسيم المستندات (حجم القطعة/Chunk size). وبينما يؤثر حجم القطعة نظرياً على دقة الاسترجاع، وصحة السياق، وجودة التوليد، والكفاءة الحسابية، إلا أنه غالباً ما يتم اختياره دون تقييم صارم. وتتعامل الأدبيات الحالية مع تقسيم المستندات كخطوة معالجة مسبقة ثابتة أو تركز على التحسين ما بعد الاسترجاع، مما يترك فجوة في فهم كيفية تأثير المتغير الأساسي وهو "حجم القطعة" — عند عزله عن العوامل الأخرى — على الأداء العام للنظام عبر مختلف بنيات النصوص.

المنهجية

تستخدم هذه الدراسة تصميماً تجريبياً مضبوطاً لعزل دقة القطعة (chunk granularity) كمتغير أساسي مع تثبيت جميع العوامل الأخرى.

• المادة المصدرية: استخدم الباحثون كتباً جامعية كاملة متطابقة (كتاب رياضيات وكتاب سردي) لضمان أن الاختلافات في الأداء تعزى حصرياً إلى استراتيجية التقسيم وليس لتباين المحتوى.
• استراتيجيات التقسيم: تم تقسيم المستندات إلى أربع درجات دقة متميزة:
  • الجمل: حدود الجمل الفردية.
    ️ الفقرات: حدود مستوى الفقرة.
  • الصفحات: حدود مستوى الصفحة.
  • الفصول: حدود مستوى الفصل.
  • ملاحظة حول التنفيذ: بينما استخدمت بعض الاستراتيجيات التعبيرات النمطية (regex)، استخدمت هذه الدراسة التقسيم الوكيل (agentic segmentation) (باستخدام نموذج لغة كبير لاستخراج القطع بشكل تكراري من نافذة منزلقة) لمستويات الفقرة والجملة لضمان وجود حدود طبيعية مستقلة عن عيوب التنسيق الخام.
• بنية المسار (Pipeline Architecture):
  1. المعالجة المسبقة: تنظيف النص الخام (إزالة فواصل الأسطر، أرقام الصفحات، والوصلات بين الكلمات).
  2. التضمين (Embedding): تم تضمين كل قطعة باستخدام نموذج تضمين كثيف مدرب مسبقاً وفهرستها في قواعد بيانات متجهية منفصلة لكل درجة دقة.
  3. الاسترجاع: تم تضمين مطالبات المستخدم، وبحث التشابه الجيبي (cosine similarity) استرجع أكثر $n$ من القطع تشابهاً.
  4. التوليد: تم دمج القطع المسترجعة مع مطالبة المستخدم وتغذيتها إلى نموذج لغة كبير لتوليد استجابة.
• مقاييس التقييم:
  • فعالية الاسترجاع: تم قياسها باستخدام الرتبة العكسية (Reciprocal Rank - RR). حيث قام "وكيل صلة" (LLM) بالتحقق مما إذا كانت القطعة المسترجعة تحتوي على المعلومات اللازمة للإجابة على المطالبة.
  • مجموعة البيانات: تم اختبار 100 مطالبة تم إنشاؤها بواسطة ChatGPT، تتفاوت في النطاق، والخصوصية، والتعقيد، ضد جميع استراتيجيات التقسيم.

النتائج الرئيسية والتحليل

وجدت الدراسة أن الحجم الأمثل للقطعة يعتمد بشدة على الطبيعة الهيكلية للنص المصدر، حيث لا توجد استراتيجية واحدة تتفوق على الجميع في جميع الوسائط.

• النص المهيكل/كثيف المعلومات (كتاب الرياضيات):
  • أفضل أداء: حقق التقسيم على مستوى الفقرة أعلى متوسط درجة استرجاع.
  • التحليل: وفرت القطع متوسطة الحجم التوازن الأمثل بين دقة الاسترجاع واكتمال السياق. كانت قطع مستوى الجملة دقيقة ولكنها تفتقر أحياناً إلى السياق الكافي، بينما أدخلت قطع مستوى الفصول الكثير من الضجيج، مما قلل من الدقة.
• النص السردي (الكتاب السردي):
  • أفضل أداء: تفوق تقسيم مستوى الجملة بشكل كبير على جميع الطرق الأخرى (متوسط RR بلغ 0.294).
  • التحليل: في السياقات السردية، غالباً ما تكون التفاصيل ذات الصلة محصورة في أسطر محددة من الحوار أو الوصف. القطع الأكبر (صفحات، فصول، فقرات) أدت إلى تخفيف هذه التفاصيل المحددة، مما جعل من الصعب على نظام الاسترجاع عزل المحتوى المفيد.
• المقايضات:
  • القطع الصغيرة: تحسن دقة الاسترجاع ولكنها تزيد من متطلبات التخزين، ووقت الفهرسة، وعدد عمليات التضمين.
  • القطع الكبيرة: تقلل من عبء التخزين ولكنها تخاطر بإدخال سياق غير ذي صلة (ضجيج) وتقليل جودة الاسترجاع.
  • التقسيم الوكيل (Agentic Chunking): رغم أنه ينتج حدوداً أكثر دلالة، إلا أنه يفرض تكاليف حسابية كبيرة أثناء المعالجة المسبقة، مما يحد من القدرة على التوسع.

المساهمات الرئيسية

1. عزل المتغيرات: على عكس الأعمال السابقة التي غالباً ما تخلط بين حجم القطعة ونماذج التضمين أو الهياكل الخاصة بالمجال، تعزل هذه الدراسة دقة القطعة باستخدام مادة مصدرية متطابقة لتقييم تأثيرها بدقة.
2. التحسين المعتمد على السياق: تثبت الورقة أن نهج "الحجم الواحد للجميع" في التقسيم هو نهج غير مثالي. فهي تقدم دليلاً تجريبياً على أن الدقة المثالية تتغير بناءً على ما إذا كان النص مهيكلاً/كثيف المعلومات (يفضل الفقرات) أو سردياً/غزيراً بالحوار (يفضل الجمل).
3. التقييم الشامل: تقيم الدراسة كلاً من فعالية الاسترجاع في المرحلة الأمامية (عبر الرتبة العكسية) والآثار المترتبة في المرحلة اللاحقة على جودة التوليد، مما يقدم رؤية شاملة لمقايضة التقسيم.

الأهمية والتوجهات المستقبلية

تدعي الورقة أن التصميم الفعال لأنظمة RAG يتطلب تجاوز معايير التقسيم الثابتة. تكمن الأهمية في ترسيخ فكرة أن حجم القطعة يجب أن يكون جانباً قابلاً للضبط في تصميم النظام، بما يتماشى مع هيكل المادة المصدرية لموازنة الدقة والسياق.

يقترح المؤلفون عدة مسارات للبحث المستقبلي بناءً على هذه النتائج:

• التقسيم التكيفي/الوكيل: تطوير أنظمة تقوم بتقسيم النص ديناميكياً بناءً على هيكل المستند، أو قصد الاستعلام، أو تغذية الاسترجاع الراجعة (على سبيل المثال، استخدام قطع أصغر للاستعلامات القائمة على الحقائق وقطع أكبر للاستنتاج).
• النهج الهجين: استكشاف طرق تجمع بين أحجام قطع متعددة أو تجمع السياق ديناميكياً من وحدات ذرية للتخفيف من مقايضة (الدقة-السياق) المتأصلة في المخططات الثابتة.

تخلص الورقة إلى أن مواءمة طرق التقسيم مع هيكل المادة المصدرية أمر ضروري لتحسين كل من جودة الاسترجاع وأداء التوليد بطريقة متسقة وفعالة.