💬 NLP

Rule-Based Explanations for Retrieval-Augmented LLM Systems

تقترح هذه الورقة إطار عمل مبتكرًا لتوليد قواعد "إذا-فإن" (if-then) لتفسير أنظمة التوليد المعزز بالاسترجاع (RAG) عبر ربط مصادر المعلومات المسترجعة بمخرجات النموذج، وذلك باستخدام تحسينات مستوحاة من خوارزمية "أبريوري" (Apriori) للتغلب بكفاءة على التحديات الحسابية لاختبار دمج المصادر بطريقة القوة الغاشمة.

المؤلفون الأصليون: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة آلي فائق الذكاء (نموذج لغوي كبير، أو LLM) يمكنه الإجابة على أي سؤال تقريبًا. لكن هذا الروبوت لديه سر: فهو لا يعتمد فقط على ذاكرته الخاصة. عندما تسأله سؤالًا، يركض أولاً إلى المكتبة، ويحضر حفنة من الكتب (المستندات المسترجعة)، يقرؤها، ثم يجيبك. هذا ما يسمى بـ RAG (التوليد المعزز بالاسترجاع).

المشكلة؟ أحيانًا يعطيك الروبوت إجابة غريبة، خاطئة، أو حتى خطيرة. قد تسأله: "لماذا قلت ذلك؟" فيكتفي الروبوت بالقول: "لأنني قرأت الكتب". ولكن أي كتب؟ وهل خدك كتاب واحد محدد؟

تقدم هذه الورقة البحثية طريقة جديدة لمعرفة أي الكتب (أو قطع المعلومات) بالتحديد هي التي تجعل الروبوت يتصرف بطريقة معينة. هم يسمون هذه الطريقة "قواعد (إذا-إذن)" (If-Then Rules).

الفكرة الجوهرية: تشبيه "الوصفة"

فكر في إجابة الروبوت كأنها كعكة. "المكونات" هي المستندات التي وجدها الروبوت.

الطريقة القديمة (نسب الميزات - Feature Attribution): تشبه النظر إلى الكعكة والقول: "الدقيق ساهم بنسبة 30%، والسكر بنسبة 20%، والبيض بنسبة 10%". إنها تعطيك درجة، لكنها لا تخبرك ماذا سيحدث إذا أزلت مكونًا ما.
الطريقة الجديدة (التفسيرات القائمة على القواعد): تشبه بطاقة وصفة تقول: "إذا أضفت 'التوابل السيئة' (المستند X) و 'العشب المربك' (المستند Y)، فإن الكعكة سيكون طعمها سيئًا للغاية".

الهدف من البحث هو العثور على "بطاقات الوصفات" هذه تلقائيًا. يريدون معرفة: "أي مزيج محدد من المستندات يجبر الروبوت على إعطاء إجابة خاطئة؟"

كيف يفعلون ذلك: لعبة "متذوق الطعم"

للعثدو على هذه القواعد، يمكنك نظريًا اختبار كل الاحتمالات الممكنة من الكتب. إذا كان لديك 10 كتب، فهناك أكثر من 1,000 مزيج! اختبارها جميعًا واحدًا تلو الآخر سيستغرق وقتًا طويلاً جدًا.

ابتكر المؤلفون لعبة ذكية تسمى "منقب القواعد" (Rule Miner). إليك كيف تعمل باستخدام تشبيه الشبكة (Lattice - هرم مزخرف):

هرم التشكيلات: تخيل هرمًا حيث القمة هي "جميع الكتب العشرة معًا" والقاعدة هي "لا توجد كتب على الإطلاق". كل طبقة في المنتصف تمثل مزيجًا مختلفًا من الكتب.
اختبار "الطعم السيئ": يحدد الفريق "الطعم السيئ" (مثل تشخيص طبي خاطئ أو حقيقة مهلوسة).
التقليم الذكي (الخدعة السحرية):
- يبدأون من قمة الهرم (جميع الكتب). يختبرون المزيج.
- إذا كان المزيج طعمه "جيد": فهم يعرفون أن أي مزيج أصغر مأخوذ من هذه المجموعة قد يكون أيضًا جيدًا. يستمرون في البحث للأسفل.
- إذا كان المزيجم طعمه "سيئ": هذا هو المفتاح. إذا كان مزيج معين من الكتب يسبب إجابة سيئة، فإن أي مجموعة تتضمن هذه الكتب ستؤدي أيضًا إلى إجابة سيئة.
- التقليم: بدلًا من اختبار كل مزيج أصغر يتضمن تلك "الكتب السيئة"، تقول الخوارزمية: "نحن نعلم بالفعل أن هذا الفرع بأكمله من الهرم سيئ! لا داع نحتاج لاختبار الأبناء لهذا الفرع". تقوم الخواروذية بقص أجزاء ضخمة من الهرم، مما يوفر وقتًا هائلًا.

لديهم نسختان من هذا المنقب:

المنقب الأحادي (Mono Miner): يبحث عن نوع واحد من القواعد في كل مرة (مثل: "ما الذي يسبب إجابة سيئة؟").
المنقب المزدوج (Dual Miner): يبحث عن نوعين في آن واحد (مثل: "ما الذي يسبب إجابة سيئة؟" و "ما الذي يسبب إجابة جيدة؟").

أمثلة من الواقع من الورقة البحثية

1. سيناريو الطبيب
تخيل أن طبيبًا يسأل الروبوت: "ما هو أفضل علاج لإرهاق كوفيد الطويل (Long COVID)؟"

يستدعي الروبوت 5 مقالات طبية.
يقول الروبوت: "تناول مكملات الكالسيوم!" (وهذا خطأ وخطير).
يقوم "منقب القواعد" بتشغيل لعبته. يكتشف قاعدة: "إذا كان المقال 2 (منشور مدونة) و المقال 4 (إشاعة من منتدى) موجودين في المزيج، فإن الروبوت سيوصي بالكالسيوم".
النتيجة: تعرف المستشفى بالضبط أي المقالات يجب إزالتها أو إصلاحها لإيقاف الروبوت عن تقديم نصيحة خطيرة.

2. سيناريو الأمن "الفريق الأحمر" (Red Team)
تخيل فريق أمن يحاول اختراق روبوت. لديهم 50 مستندًا "مسمومًا" مصممة لخداع الروبوت للكشف عن رمز سري.

اختبار جميع التشكيلات لـ 50 مستندًا أمر مستحيل (قد يستغرق سنوات).
يستخدم "منقب القواعد" استراتيجية "فرق تسد". يقسم الـ 50 مستندًا إلى مجموعتين كبيرتين. يختبرهما. يجد المجموعة السيئة. يقسم تلك المجموعة إلى نصفين. يستمر في التقسيم حتى يجد المستندين اللذين، عند دمجهما، يخترقان النظام.
النتيجة: وجدوا "الثغرة" المكونة من زوج من المستندات في دقائق بدلاً من سنوات.

لماذا هذا مهم؟

قابل للتنفيذ: على عكس الطرق الأخرى التي تعطيك مجرد "درجة"، تخبرك هذه الطريقة بما يجب تغييره بالضبط. "أزل المستند X".
مضمون: القواعد مؤكدة بنسبة 100%. إذا قالت القاعدة: "إذا كان X موجودًا، فالإجابة خاطئة"، فهذا يحدث دائمًا. لا يوجد مجال للتخمين.
فعال: باستخدام خدعة "التقليم" الخاصة بهم، يمكنهم حل مشكلات قد تستغرق من الكمبيوتر الخارق أسابيع لحلها.

الخلا الخلاصة

تقدم هذه الورقة البحثية أداة تحقيق للذكاء الاصطناعي. بدلًا من مجرد قول "الذكاء الاصطناعي مرتبك"، تتيح لنا أن نقول "الذكاء الاصطناعي مرتبك تحديدًا لأن لقد قرأ هذين المستندين معًا". إنها تحول الصندوق الأسود إلى نظام شفاف حيث يمكننا رؤية أي المكونات تفسد الكعكة بالضبط.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التفسيرات القائمة على القواعد لأنظمة النماذج اللغوية الكبيرة المعززة بالاسترجاع (RAG)."

1. بيان المشكلة

تعمل أنظمة التوليد المعزز بالاسترجاع (RAG) على تحسين النماذج اللغوية الكبيرة (LLMs) من خلال حقن مصادر معرفية خارجية وديناميكية وقت الاستدلال. وبينما يؤدي هذا إلى تحسين الدقة الواقعية، إلا أنه يعقد مسألة إثبات المصدر (Provenance): أي فهم لماذا أنتج النموذج مخرجاً معيناً بناءً على مجموعة محددة من الوثائق المسترجعة.

تواجه أساليب الذكاء الاصطناعي القابل للتفسير (XAI) الحالية قيوداً في هذا السياج:

تخصيص الميزات (مثل LIME و SHAP): توفر درجات لأهمية المدخلات ولكنها ليست قابلة للتنفيذ (لا يمكنها بسهولة اقتراح كيفية تغيير المدخل لتغيير المخرج).
التفسيرات المقابلة للواقع (Counterfactual Explanations): تحدد الحد الأدنى من التغييرات في المدخلات لتغيير المخرج، ولكن يمكن أن تولد عدداً هائلاً من التفسيرات المقابلة للواقع الصالحة، مما يربك المستخدمين النهائيين.
الاستشهادات (Citations): غالباً ما تكون عرضة للهلوسة وتفتقر إلى الضمانات الصارمة.

تعالج هذه الورقة الفجوة في توفير تفسيرات قابلة للتنفيذ، ومضمونة، وموجزة لأنظمة RAG باستخدام قواعد (if-then rules) تربط وجود أو غياب مصادر مسترجعة محددة بمخرجات نموذج معينة.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر لاستخراج التفسيرات القائمة على القواعد لأنظمة RAG "الصندوق الأسود".

أ. صياغة القواعد

يعرف إطار العمل القواعد بناءً على استبعاد الميزات (Feature Ablation) (الاحتفاظ بمصادر RAG محددة أو حذفها).

المدخل: يتم تقسيم المطالبة (Prompt) $x$ إلى سياق $c$ (تعليمات ثابتة/سؤال) ومجموعة مصادر $s = \{s_1, ..., s_n\}$ (وثائق مسترجعة).
مسند المخرج ( $O$ ): دالة يحددها المستخدم (مثل "نموذج لغوي كبير كحكم") تعيد القيمة 1 إذا استوفى مخرج النموذج $y$ شرطاً معيناً (مثل "يحتوي على معلومات مضللة" أو "صحيح واقعياً").
أنواع القواعد:
1. قاعدة الاحتفاظ (Retention Rule): "إذا تم الاحتفاظ بالمصادر $s' \subseteq s$ ، فإن المخرج يستوفي $O$ ."
2. قاعدة الاستبعاد (Omission Rule): "إذا تم استبعاد المصادر $s' \subseteq s$ ، فإن المخرج يستوفي $O$ ."
الصلاحية: تكون القاعدة صالحة (بثقة 100%) إذا تحقق مسند المخرج لـ جميع التشكيلات الممكنة من المصادر التي تستوفي الشرط المتقدم. وهذا يخلق بنية صلاحية تكرارية حيث تعتمد صلاحية القاعدة على أسلافها في شبكة (Lattice) القوة الجزئية.

ب. خوارزميات البحث

مساحة البحث هي مجموعة القوة (Power Set) لمجموعة المصادر $s$ ، والتي تشكل شبكة (Lattice) بحجم $2^{|s|}$ . لتجنب التقييم بالقوة الغاشمة لجميع التشكيلات $2^{|s|}$ ، يقترح المؤلفون خوارزميتين محسنتين مستوحاتين من خوارزمية Apriori ولكن تمت إعادة تعريفهما لخدمة الصلاحية الدقيقة للقواعد بدلاً من مجموعات العناصر المتكررة.

منقب القواعد الأحادي (Mono Rule Miner):
- يستخرج نوعاً واحداً من القواعد (إما الاحتفاظ أو الاستبعاد) في تمريرة واحدة.
- التقنية: يستخدم البحث بالعرض (BFS) من الأعلى إلى الأسفل مع البرمجة الديناميكية والإنهاء المبكر.
- التقليم (Pruning): إذا وُجدت مجموعة جزئية غير صالحة (فشل المسند)، يتم تقليم جميع أحفادها (المجموعات الجزئية التي تحتفظ/تستبعد عناصر أقل/أكثر) فوراً لأنها لا يمكن أن تكون صالحة.
- التعقيد: يتم تقليل تعقيد المساحة إلى $O(\binom{|s|}{\lfloor |s|/2 \rfloor})$ عن طريق تخزين مستويين فقط من الشبكة في كل مرة.
منقب القواعد المزدوج (Dual Rule Miner):
- يستخرج كلا نوعي القواعد (الاحتفاظ والاستبعاد) في آن واحد وفي تمريرة واحدة.
- التقنية: يستخدم "تمثيل القناع" (Mask Representation) لتفسير نفس المجموعة الجزئية بطريقتين (كمجموعة احتفاظ لمسند واحد ومجموعة استبعاد لآخر).
- التقليم: يتم تقليم العقدة فقط إذا كانت غير صالحة لكلا نوعي القواعد.
- الكفاءة: أكثر كفاءة من تشغيل تمريرتين منفصلتين من النوع الأحادي (Mono)، خاصة لمجموعات المصادر الصغيرة، رغم أنها تضحي ببعض قوة التقليم مقارنة بـ Mono.

ج. استراتيجية التوسع لمجموعات $|s|$ الكبيرة

عندما يكون عدد المصادر $|s|$ كبيراً (مثلاً > 10)، يصبح التعقيد الأسي غير قابل للحل. تقترح الورقة استراتيجية فرق تسد (Divide-and-Conquer):

تجميع المصادر في دفعات خشنة الحبيبات.
تنقيب القواعد على هذه المجموعات.
استبعاد المجموعات التي لا تظهر فيها قواعد صالحة.
تقسيم المجموعات المتبقية تكرارياً حتى الوصول إلى مستوى الحبيبات الأصلي.

3. المساهمات الرئيسية

أول إطار عمل قائم على القواعد لـ RAG: يقدم أول تعريف رسمي وخوارزمية تنقيب للتفسيرات القائمة على القواعد المصممة خصيصاً لأنظمة RAG، مع التمييز بين قواعد "الاحتفاظ" و"الاستبعاد".
خوارزميات تنقيب فعالة: تطوير منقبين (Mono و Dual) يستفيدان من تعريفات الصلاحية التكرارية وتقليم الشبكة لتقليل عدد استدعاءات استدلال النموذج (LLM inference) بشكل كبير مقارنة بالأساليب التقلية بالقوة الغاشمة.
رؤى قابلة للتنفيذ: يوفر آلية لتحديد مجموعات الوثائق التي تسبب الهلوسة، أو التحيز، أو الأخطاء الواقعية، مما يمكن أمناء قواعد البيانات من تحديد المصادر الإشكالية أو إزالتها.
التحقق التجريبي: يثبت النهج من خلال دراسات حالة نوعية (المعلومات المضللة في الرعاية الصحية، واختبار الاختراق لسلامة الذكاء الاصطناعي) ومعايير كمية (HotpotQA).

4. النتائج التجريبية

أ. الكفاءة والتقليم

فعالية التقليم: في مجموعة بيانات HotpotQA (مع ما يصل إلى 10 مصادر)، قام منقب Mono بتقليم ما يصل إلى 50% من العقد لقواعد الاحتفاظ و 70% لقواعد الاستبعاد مقارم نهج القوة الغاشمة الساذج.
Dual مقابل Mono: يتجنب منقب Dual إعادة تقييم العقد عند البحث عن كلا نوعي القواعد، محققاً كفاءة تقترب من 100% بالنسبة لتمريرة واحدة، بينما يتطلب تشغيل Mono مرتين حوالي 200% من استكشاف الشبكة.
القابلية للتوسع: النظام قابل للتطبيق لـ $|s| \le 10$ (وهو المعتاد في استرجاع top-k لـ RAG)، حيث يجد جميع القواعد في دقائق. بالنسبة للمجموعات الأكبر، نجحت استراتيجية "فرق تسد" في تحديد القواعد الدنيا بعدد استدعاءات أقل بكثير من البحث الشامل.

ب. دراسات الحالة

الرعاية الصحية (Long COVID): حدد النظام أن الاحتفاظ بوثائق معينة ( $D_2$ و $D_4$ ) تسبب باستمرار في جعل النموذج يوصي بعلاجات غير فعالة، على الرغم من أن تلك الوثائق بمفردها لم تكن كافية للتسبب في الخطأ. سمح ذلك للخبراء بتحديد مصادر معينة للمراجعة.
سلامة الذكاء الاصطناعي (Red Teaming): في سيناريو يحتوي على 50 مصدراً معادياً، حددت استراتيجية "فرق تسد" زوجاً أدنى من المصادر الذي، عند دمجهما، نجح في تجاوز فلاتر السلامة (حقن المطالبات - Prompt Injection)، بينما لم تفعل المصادر الفردية ذلك.

ج. المتانة

عشوائية النماذج اللغوية (LLM Stochasticity): أظهرت التجارب مع درجة حرارة $T=1.0$ أنه رغم تباين الإجابات، سمح التصويت بالأغلبية عبر العينات باستخراج قواعد "دقيقة" بدقة واستدعاء عاليتين.
النموذج اللغوي كحكم (LLM-as-a-Judge): حقق النموذج اللغوي الثانوي المستخدم للحكم على اتساق المخرجات دقة بلغت 98.89% و استدعاء بنسبة 100% مقابل التحقق من الخبراء البشريين، مما يثبت موثوقيته في تحديد مسند المخرج.

5. الأهمية والأثر

القابلية للتنفيذ: على عكس تخصيص الميزات، توفر هذه القواعد شروطاً ثنائية واضحة ("إذا قمت بإزالة الوثيقة X، يختفي الخطأ") يمكن للمطورين والمراجعين التصرف بناءً عليها فوراً.
الثقة والسلامة: يوفر الإطار طريقة صارمة لتدقيق خطوط أنابيب RAG بحثاً عن المعلومات المضللة، والتحيز، والثغرات الأمنية (مثل حقن المطالبات)، مما يضمن بقاء النماذج اللغوية وفية لإرشادات الرعاية الصحية أو معايسات السلامة.
التقدم النظري: يجسد هذا العمل الفجوة بين تنقيب القواعد الترابطية (Apriori) وبين تفسير الذكاء الاصطناعي الحديث، من خلال تكييف مفاهيم تنقيب البيانات الكلاسيكية للتعامل مع الطبيعة غير الحتمية للذكاء الاصطناعي التوليدي عبر الصلاحية التكرارية والتقليم.

في الختام، تضع هذه الورقة منهجية تأسيسية لجعل أنظمة RAG شفافة وقابلة للتحكم من خلال ترجمة سلوكيات النموذج المعقدة إلى قواعد بسيطة وقابلة للتحقق تعتمد على مصدر البيانات المسترجعة.