CHOP: Chunkwise Context-Preserving Framework for RAG on Multi Documents

إليك ملخص تقني مفصل لورقة البحث بعنوان "CHOP: إطار عمل للحفاظ على السياق عبر التجزئة في أنظمة استرجاع المعلومات المعزز بالتوليد (RAG) للمستندات المتعددة."

1. بيان المشكلة

تواجه أنظمة استرجاع المعلومات المعزز بالتوليد (Rative-Augmented Generation - RAG) الحالية تحديات كبيرة عند معالجة مجموعات المستندات المتعددة (مثل الأدلة التقنية، أو كتب السياسات) التي تتميز بتداخل لغوي ودلالي عالٍ.

• مشكلات التجزئة (Fragmentation Issues): تؤدي عملية التجزئة القائمة على الطول القياسية إلى قطع استمرارية الخطاب، مما يكسر روابط الإحالة (مثل "هذه الطريقة"، "المعادلة 3") والإشارات المحلية، وهو ما يقلل من القدرة على التفسير والاستدعاء.
• التعارضات الدلالية (Semantic Conflicts): في بيئات المستندات المتعددة، يؤدي المحتوى شبه المتطابق والمراجع المتعارضة إلى حدوث غموض في الاسترجاع. غالبًا ما تتصادم المستندات المتشابهة في الفضاء الشعاعي (Vector Space)، مما يؤدي إلى:
  • ارتباك في الاسترجاع (استرجاع أجزاء غير ذات صلة ولكنها متشابهة دلاليًا).
  • الهلوسة والأخطاء الواقعية في المخرجات المولدة.
  • عدم القدرة على التمييز بين المواضيع المختلفة أو نماذج المنتجات المختلفة ضمن تدفق المستند الواحد.
• محدودية الاستقلالية (Independence Limitation): تعالج معظم الأساليب الحالية الأجزاء بشكل مستقل، متجاهلةً التبعيات على مستوى الخطاب (التعريفات، الانتقالات، الإحالات المرجعية) التي تمتد عبر حدود الأجزاء.

2. المنهجية: إطار عمل CHOP

إطار عمل CHOP (الحفاظ على السياق عبر التجزئة) هو إطار مصمم لتعزيز الاسترجاع من خلال معالجة الأجزاء بالتتابع وإثراءها بـ بيانات وصفية واعية بالسياق (Context-aware metadata). يعمل الإطار على مبدأ أن الأجزاء التي تنتمي إلى نفس التدفق الموضوعي يجب أن تشترك في بصمة دلالية متسقة، بينما تؤدي التحولات الموضوعية إلى بدء بصمة جديدة.

يتكون الإطار من مكونين رئيسيين:

أ. مستخرج CNM (مستخرج الفئة–الاسم–النموذج)

يولد هذا المكون بصمة هيكلية مدمجة لكل جزء لتثبيت موقعه الدلالي.

• المدخلات: جزء نصي $C_i$.
• المخرجات: ثلاثية $M_i = \{Category, Nouns, Model\}$.
  • الفئة (Category): عائلة المنتج الواسعة (مثل "مكيف هواء").
  • الأسماء (Nouns): اسم أو اسمان جوهريان يلتقطان الهدف/الإجراء الأساسي، بتنسيق صارم (مثل "<الفئة> <الاسم المحدد>").
  • النموذج (Model): أسماء النماذج أو السلاسل المحددة (مثل "225B").
• الآلية: يقوم نموذج لغوي كبير (LLM) باستخراج هذه البيانات الهيكلية بتنسيق JSON. إذا كان أحد الحقول غامضًا أو مفقودًا، يتم تعيينه كـ null.
• الوظيفة: تعمل هذه البصمة كبادئة (Prefix) للجزء، مما يعمل على تثبيت الإطار السياقي وتوضيح الإشارات إلى الكيانات والوحدات قبل عملية التضمين (Embedding).

ب. وحدة قرار الاستمرارية (Continuity Decision Module)

تحدد هذه الوحدة ما إذا كان الجزء الجديد ينتمي إلى نفس تدفق المستند السابق أم أنه يمثل تحولًا موضوعيًا.

• المدخلات: زوج من الأجزاء المتجاورة $(C_i, C_{i+1})$.
• منطق القرار: يقوم مصنف يعتمد على نموذج لغوي كبير (LLM) بتقييم ما إذا كان $C_{i+1}$ استمرار لـ $C_i$ بناءً على قواعد القرار (مثل نفس فئة المنتج/النموذج مقابل نموذج جديد أو علامات مستند جديد).
• تحديث الحالة:
  • إذا كانت الاستمرارية = TRUE: يرث الجزء الحالي الـ CNM الخاص بالجزء السابق ($M_{i+1} = M_i$). هذا يحافظ على التماسك الدلالي عبر التدفق.
  • إذا كانت الاستمرارية = FALSE: يتم استخراج CNM جديد للجزء الحالي ($M_{i+1} = \text{CNM}(C_{i+1})$)، مما يشير إلى تحول موضوعي ويمنع انتشار الخطأ.
• بناء التضمين (Embedding Construction): يتم إنشاء المدخل النهائي لقاعدة البيانات الشعاعية عن طريق إضافة الـ CNM الخاص بالجزء كبادئة:
  $$x_i = [\text{PFX}(M_i) \parallel C_i]$$
  $$e_i = \text{Embed}(x_i)$$

3. المساهمات الرئيسية

1. التجزئة الحافظة للسياق: على عكس التجزئة الثابتة أو الدلالية البحتة، يحافظ CHOP ديناميكيًا على السياق عبر الأجزاء من خلال وراثة البيانات الوصفية (CNM) عندما تكون المواضيع مستمرة، مما يحل مشكلة "الإحالات اليتيمة" بفعالية.
2. التنظيم الدلالي (Semantic Regularization): من خلال إضافة بصمات CNM الهيكلية كبادئات للأجزاء، يقوم CHO بتنظيم الفضاء الشعاعي. هذا يقلل من التصادمات الدلالية بين المستندات المتشابهة ولكن المتميزة (مثل نماذج مختلفة من نفس المنتج)، مما يحسن قدرة المسترجع على التمييز دون الحاجة لإعادة تدريب نموذج المسترجع.
3. التعامل القابل للتوسع مع المستندات المتعددة: تم تصميم إطار العمل خصيصًا للمستندات التقنية الطويلة والمجمعة حيث يوجد تداخل عالٍ بين المستندات الفرعية، وهي حالة غالبًا ما تفشل فيها مسارات RAG التقليدية.

4. النتائج التجريبية

قام المؤلفون بتقييم CHOP باستخدام مجموعة بيانات MRAMG-Bench (المستمدة من أدلة المنتجات)، ومقارنته بـ Naive-500T (أجزاء ثابتة بطول 500 توكن) و Cosine-Chunking (كشف الحدود الدلالية).

أداء الاسترجاع (الجدول 1):

• معدل الإصابة في المركز الأول (Top-1 Hit Rate): حقق CHOP نسبة 90.77%، متفوقًا بشكل كبير على Naive-500T بنسبة (81.28%) و Cosine-Chunking بنسبة (70.77%).
• جودة الترتيب (Ranking Quality): أظهر CHOP أداءً فائقًا في MRR@K و NDCG@K عبر جميع قيم $K$. على سبيل المثال، وصل NDCG@10 إلى 0.9291 لـ CHOP مقابل 0.8698 لـ Naive-500T.
• الرؤية المستخلصة: لا يسترجع CHOP الأدلة الصحيحة بشكل أكثر تكرارًا فحسب، بل يقوم أيضًا بترتيبها في مرتبة أعلى، مما يشير إلى قدرة أفضل على التمييز في الصلة.

أداء التوليد (الجدول 2):

• باستخدام الأجزاء المسترجعة كمدخلات لنموذج لغوي كبير (Gemma-12B)، قدم CHOP باستمرار جودة توليد أعلى.
• المقاييس: حقق CHOP مكاسب في F1، و ROUGE-L، و BERTScore عبر إعدادات الاسترجاع Top-3 و Top-5 و Top-10.
• الأثر: ترجم التحسن في الاسترجاع مباشرة إلى تقليل الهلوسة وتقديم إجابات أكثر دقة، مما يثبت أن التأسيس (Grounding) الأفضل يؤدي إلى توليد أفضل.

5. الأهمية والخاتمة

• معيار عملي: يقدم CHOP نهجًا عمليًا وقابلًا للتوسع لبناء قواعد معرفية عالية الجودة لأنظمة RAG في سيناريوهات المستندات المتعددة في العالم الحقيقي دون الحاجة إلى إعادة تدريب معقدة لنموذج المسترجع الأساسي.
• الكفاءة مقابل الفعالية: يوازن الإطار بين التكلفة الحسابية (باستخدام النماذج اللغوية الكبيرة فقط لاستخراج البيانات الوصفية وقرارات الاستمرارية) وبين المكاسب الكبيرة في دقة الاسترجاع وموثوقية التوليد.
• الاتجاهات المستقبلية: يخطط المؤلفون لاستكشاف البادئات التكيفية، ونمذجة الاستمرارية الديناميكية للمدخلات المتدفقة، واستراتيجيات خفيفة الوزن لتقليل تكاليف الاستدلال بشكل أكبر.

باختًا، يعالج CHOP الفجوة الحرجة في أنظمة RAG الحالية حيث يُفقد السياق أثناء عملية التجزئة. ومن خلال فرض الاستمرارية السياقية عبر وراثة البيانات الوصفية والتنظيم الدلالي عبر البادئات الهيكلية، فإنه يقلل بشكل كبير من ارتباك الاسترجاع في مجموعات المستندات المعقدة والمتداخلة.