Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هندسة السياق المنهجية لـ RAG: ضمانات إحصائية عبر التنبؤ الموحد (Conformal Prediction)."

1. بيان المشكلة

تهدف أنظمة التوليد المعزز بالاسترجاع (RAG) إلى ترسيخ النماذج اللغوية الكبيرة (LLMs) في الأدلة المسترجعة لتقليل الهلوسة. ومع ذلك، تواجه خطوط أنابيب RAG الحالية قيودين حرجين:

• ضجيج وتشبع السياق: تعاني النماذج اللغوية الكبيرة من تأثير "الضياع في المنتصف" (lost-in-the-middle)، حيث يتدهور الانتباه للأدلة الموجودة في منتصف المطالبات (prompts) الطويلة. علاوة على ذلك، غالبًا ما تدخل مقتطفات غير ذات صلوة أو ذات صلة هامشية في المطالبة، مما يؤدي إلى تخفيف الأدلة المفيدة وتضخم تكاليف الرموز (tokens).
• الافتقار إلى التحكم الإحصائي: تعتمد طرق التصفية الحالية قبل التوليد على استدلالات (مثل top-$k$ retrieval) أو درجات ثقة غير معايرة للنماذج اللغوية الكبيرة. لا توفر هذه الأساليب ضمانات إحصائية بشأن مقدار الأدلة ذات الصلة التي يتم الاحتفاظ بها. وبناءً على ذلك، فإن التصفية الشديدة تخاطر بفقدان المعلومات الحيوية، بينما تفشل التصفية المتحفظة في تقليل ضجيج السياق.

يقترح المؤلفون "هندسة السياق" (Context Engineering) كحل: وهي آلية منهجية لتصفية المحتوى المسترجع قبل عملية التوليد لضمان الحفاظ على كسر محدد من الأدلة ذات الصلة مع تقليل الضجيج إلى أدنى حد.

2. المنهجية

تقدم الورقة إطار عمل باستخدام التنبؤ الموحد المنقسم (Split Conformal Prediction - CP) لتحقيق ضمانات تغطية (coverage guarantees) ذات عينات محدودة وخالية من التوزيعات (distribution-free).

سير العمل الأساسي

1. الاسترجاع والتقسيم: يسترجع الاستعلام $q$ مجموعة من المستندات $D_q$، والتي يتم تقسيمها إلى مقتطفات متداخلة $S_q$ (نوافذ بطول 500 حرف مع تداخل قدره 100 حرف).
2. التسجيل (Scoring): يتم تخصيص درجة عدم مطابقة (nonconformity score) $A(q, s)$ لكل مقتطف $s$ باستخدام أحد نموذجين:
   • Conformal-Embedding: يستخدم التضمينات الكثيفة (Qwen3-Embedding-8B) حيث تكون الدرجة هي $1 - \cos(\text{emb}(q), \text{emb}(s))$.
   • Conformal-LLM: يستخدم نموذجًا لغويًا كبيرًا (GPT-4o) لتقييم الصلة على مقياس من $[0, 1]$، وتُعرف الدرجة بأنها $1 - \text{rating}$.
3. المعايرة (Calibration): تُستخدم مجموعة معايرة منفصلة $D_{cal}$ (تحتوي على تسميات صلة حقيقية $r(q,s)$) لحساب العتبة $\hat{\tau}_\alpha$.
   • يتم ضبط العتبة لتكون المئينية التجريبية $(1-\alpha)$ لدرجات المقتطفات ذات الصلة في مجموعة المعايرة.
   • تمثل $\alpha$ معدل عدم التغطية الذي يحدده المستخدم (على سبيل المثال، $\alpha=0.1$ يعني استهداف الاحتفاظ بـ 90% من المقتطفات ذات الصلة).
4. التصفية: في وقت الاختبار، يتم الاحتفاظ بالمقتطف إذا كان $A(q, s) \le \hat{\tau}_\alpha$.
5. التوليد: يتم تمرير المجموعة المصفاة $K_q$ إلى النموذج اللغوي الكبير لإنشاء الإجابة.

الضمان النظري

تحت افتراض التبادل (exchangeability) بين بيانات المعايرة وبيانات الاختبار، تضمن الطريقة:
$$P(s \in K_q \mid r(q, s) = 1) \ge 1 - \alpha$$
يضمن هذا الاحتفاظ بنسبة محددة من المقتطفات ذات الصلة باحتمالية عالية، بغض النظر عن معايرة دالة التسجيل الأساسية.

3. المساهمات الرئيسية

1. إطار عمل منهجي: تقديم إطار عمل للتنبؤ الموحد لـ RAG يحول تصفية السياق من عملية استدلالية إلى عملية قائمة على أسس إحصائية مع ضمانات تغطية رسمية.
2. التحقق التجريبي: إثبات أن التصفية الموحدة تحقق التغطية المستهدفة مع تقليل حجم السياق بمقدار 2-3 أضعاف عبر اثنين من المعايير الرئيسية (NeuCLIR و RAGTIME).
3. استقلالية النموذج: لا يتطلب هذا النهج إعادة تدريب المولد أو المسترجع ويعمل مع كل من دوال التسجيل القائمة على التضمين (embeddings) أو النماذج اللغوية الكبيرة.
4. الأثر اللاحق: دليل على أن التصفية الصارمة (إزالة المحتوى الزائد) يمكن أن تحسن بالفعل الدقة الواقعية (ARGUE F1) عن طريق تقليل الضجيج، بينما تحافظ التصفية المتوسطة على الدقة.

4. النتائج التجريبية

تم تقييم إطار العمل على NeuCLIR (استرجاع المعلومات متعدد اللغات) و RAGTIME (مسار TREC RAG).

• ضمانات التغطية: حقق كل من Conformal-Embedding و Conformal-LLM التغطية المستهدفة أو تجاوزوها قليلاً عبر قيم $\alpha$ المختلفة (من 0.05 إلى 0.40). تتبع Conformal-Embedding الخط المستهدف بشكل أكثر سلاسة، بينما أظهر Conformal-LLM قفزات منفصلة بسبب فئات التقييم المكممة.
• تقليص السياق:
  • أزال Conformal-Embedding ما نسبته 25-55% من المقتطفات عند مستويات التغطية الصارمة ($\alpha \le 0.20$).
  • أزال Conformal-LLM ما نسبته 46-70% من المحتوى.
  • في المقابل، فشلت النماذج الاستدلالية المرجعية (مثل top-$k$ أو عتبات جيب التمام الثابتة) في الحفاظ على تغطية متسقة (على سبيل المثال، حقق top-30 تغطية بنسبة 76% فقط في NeuCLIR).
• الجودة الواقعية اللاحقة (NeuCLIR):
  • التصفية الصارمة ($\alpha=0.05, 0.10$): تحسنت درجات ARGUE F1 (على سبيل المثال، من 0.69 كخط أساس إلى 0.72 لنموذج Embedding). يشير هذا إلى أن إزالة المحتوى الزائد/غير ذي صلة يساعد النموذج اللغوي على التركيز على الأدلة ذات الإشارة العالية.
  • التصفية المتوسطة ($\alpha=0.20$): ظلت الدقة غير قابلة للتمييز إحصائيًا عن الخط المرجعي غير المصفى، حتى مع تقليل السياق بنسبة ~50%.
  • الاستنتاج: جزء كبير من السياق المسترجع هو محتوى زائد؛ وإزالته لا تضر، بل يمكن أن تساعد في التوليد الواقعي.

5. الأهمية والعمل المستقبلي

• الموثوقية: يضع هذا العمل "أساسًا خفيف الوزن ومستقلاً عن النموذج" لـ RAG، مما يسمح للممارسين بضبط حجم السياق بناءً على ضمان إحصائي للاستدعاء (recall) بدلاً من العتبات التعسفية.
• الكفاءة: من خلال تقليل حجم السياق بمقدار 2-3 أضعاف، تقلل الطريقة من تكاليف الاستدلال وتخفف من تأثير "الضياع في المنتصف" دون التضحية بالدقة.
• الاتجاهات المستقبلية: يخطط المؤلفون لاستكشاف إعادة المعايرة التكيفية (adaptive recalibration) للتعامل مع تغيرات التوزيع (مثل تغير المجال أو الموضوع) حيث قد يتم انتهاك افتراض التبادل بين مجموعات المعايرة والاختبار.

باختصار، تجادل الورقة بأن التنبؤ الموحد (Conformal Prediction) هو المفتاح لـ "هندسة السياق المنهجية"، مما يمكّن أنظمة RAG من أن تكون أكثر كفاءة (سياق أصغر) وأكثر موثوقية (استدعاء مضمون للأدلة) في آن واحد.