💬 NLP

Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

تقدم هذه الورقة "الاستنتاج التوجيهي" (Derivation Prompting)، وهي تقنية توجيه جديدة قائمة على المنطق لتعزيز التوليد المعزز بالاسترجاع، تعمل على بناء أشجار استنتاج قابلة للتفسير للحد بشكل منهجي من الهلوسة والاستدلال الخاطئ في المهام كثيفة المعرفة.

المؤلفون الأصليون: Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكي جداً ومطلع، (وهو الذكاء الاصطناعي) بارع في الإجابة على الأسئلة، ولكنه أحياناً يختلق أشياء من عنده أو يرتبك عندما لا تكون الإجابة واضحة تماماً. هذه مشكلة شائعة في نماذج الذكاء الاصطناعي الحالية، خاصة عندما يُطلب منها الإجابة على أسئلة محددة بناءً على مجموعة من الوثائق.

تقدم هذه الورقة طريقة جديدة للتحدث مع أمين المكتبة هذا تسمى "التحفيز الاشتقاقي" (Derivation Prompting). فبدلاً من مجرد سؤاله: "ما هي الإجابة؟" والأمل في الحصول على أفضل نتيجة، يعلّم المؤلفون أمين المكتبة كيفية بناء الإجابة خطوة بختوة، مثل حل لغز أو إثبات مسألة رياضية.

إليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: أمين المكتبة "المهلوس"

عادةً، عندما تسأل الذكاء الاصطناعي سؤالاً، فإنه يلتقط بضع صفحات ذات صلة من كتاب ما ويحاول كتابة إجابة فوراً. أحياناً يصيب، ولكن في كثير من الأحيان قد "يهلوس" — مما يعني أنه يذكر بثقة شيئاً ليس موجوداً في الكتاب فعلياً، أو يخلط بين الحقائق. إنه يشبه طالباً يخمن الإجابة في الاختبار لأنه "يعتقد" أنه يعرفها، بدلاً من النظر في الكتاب المدرسي.

2. الحل: بناء "شجرة منطقية"

يقترح المؤلفون طريقة جديدة مستوحاة من البراهين المنطقية. تخيل أنك تبني شجرة:

الجذور: هي الحقائق التي وجدتها في الوثائق ("الفرضيات").
الأغصان: هي الخطوات التي تتخذها لربط تلك الحقائق.
الثمرة: هي الإجابة النهائية.

بدلاً من القفز مباشرة إلى الثمرة، يُجبر الذكاء الاصطناعي على إنماء الأغصان أولاً. يجب عليه اتباع مجموعة محددة من القواعد (مثل الوصفة) لدمج الحقائق.

3. القواعد: "صندوق أدوات" الذكاء الاصطناعي

تحدد الورقة مجموعة صغيرة من "الحركات" التي يمكن للذكاء الاصطناعي القيام بها، تشبه الحركات في لعبة لوحية. على سبيل المثال:

الاستخراج (Extract): "خذ هذه الجملة المحددة من الوثيقة".
الدمج (Combine): "خذ الحقيقة (أ) والحقيقة (ب) وضعهما معاً".
التنقيح (Refine): "أعد صياغة هذه الحقيقة لتناسب السؤال بشكل أفضل، ولكن دون تغيير المعنى".
لا توجد معلومة (NoInfo): "إذا لم تساعدك أي من الحقائق، فاعترف بأنك لا تعرف".

يجب على الذكاء الاصطناعي اختيار قاعدة، وتطبيقها على الحقائق، ثم كتابة النتيجة. بعد ذلك، ينظر إلى هذه النتيجة ويقرر: "هل هذه هي الإجابة النهائية؟ إذا لم تكن كذلك، فأنا بحاجة لاستخدام قاعدة أخرى على هذه النتيجة الجديدة".

4. لماذا يساعد هذا: تشبيه "موقع البناء"

فكر في إجابة الذكاء الاصطناعي العادية كأنها مقاول يقوم ببناء جدار بشكل عشوائي ويأمل أن يستقيم. إذا كان الجدار مائلاً، فلن تعرف السبب إلا بعد أن يسقط.

التحفيز الاشتقاقي يشبه مقاولاً يتعين عليه أن يريك المخططات وسجل البناء خطوة بخطوة.

القابلية للتفسير: لأن الذكاء الاصطناعي يبني "شجرة" من الخطوات، يمكنك النظر إلى الأغصان الوسطى والقول: "مهلاً، لقد دمجت هاتين الحقيقتين بشكل خاطئ"، أو "لقد اختلقت حقيقة هنا". من السهل جداً رصد الخطأ لأن المسار مرئي.
التحكم: من خلال إجبار الذكاء الاصطناعي على اتباع قواعد، يصبح من غير المرجح أن يبتعد عن المسار ويختلق أشياء من عنده. إنه يشبه إعطاء الذكاء الاصطناعي قائمة مراجعة صارمة؛ فلا يمكنه تخطي الخطوات أو ابتكار خطوات جديدة.

5. ماذا وجدوا؟

اختبر المؤلفون هذه الطريقة على مشكلة واقعية: الإجابة على أسئلة الطلاب حول القواعد الإدارية الجامعية. وقارنوا بين ثلاث طرق:

السياق الطويل (Long Context): إعطاء الذكاء الاصطناعي الكتاب كاملاً دفعة واحدة.
الاسترجاع المعزز بالبحث التقليدي (Standard RAG): الطريقة المعتادة المتمثلة في التقاط بضع صفحات والإجابة.
التحفيز الاشتقاقي (Derivation Prompting): طريقة طريقة الخطوات والقواعد الجديدة.

النتائج:

قللت الطريقة الجديدة من "الإجابات السيئة" (الإجابات الخاطئة أو التي تختلق معلومات) بشكل ملحوظ.
لم تجعل هذه الطريقة الذكاء الاصطناعي أسرع بالضرورة في العثيد على الإجابة الصحيحة، لكنها جعلت الإجابات التي يقدمها أكثر موثوقية بكثير.
عملت الطريقة بشكل أفضل مع نموذج ذكاء اصطناعي ذكي جداً (Claude Opus). أما النموذج الأصغر والأقل قوة (Claude Haiku)، فقد استطاع اتباع القواعد ولكنه تعثر أحياناً أو أنتج إجابات أقل جودة، مما يظهر أن الذكاء الاصطناعي يحتاج أن يكون "ذكياً بما يكفي" لاتباع تعليمات المنطق.

الخلاصة

تقترح هذه الورقة طريقة لمنع الذكاء الاصطناعي من التخمين عبر إجباره على "إظهار خطوات عمله" باستخدام هيكل شجري منطقي وقائم على القواعد. إنها تحول الذكاء الاصطناعي من مجرد مخمن واثق إلى محلل للمشكلات دقيق يعمل خطوة بخطوة، مما يجعل استخدامه أكثر أماناً للأسئلة الهامة القائمة على الحقائق.

ملخص تقني: التلقين بالاشتقاق لتعزيز التوليد المستند إلى الاسترجاع

بيان المشكلة
على الرغم من التقدم الذي أحرزته النماذج اللغوية الكبيرة (LLMs) في مجال الإجابة على الأسئلة (QA)، إلا أنها لا تزال عرضة للهلوسة والاستنتاج الخاطئ، لا سيما في المهام التي تتطلب معرفة مكثفة وتخصصية. يحاول إطار عمل "التوليد المستند إلى الاسترجاع" (RAG) التخفيف من حدة هذه المشكلة عبر ربط توليد النموذج بالوثائق المسترجعة. ومع ذلك، فإن تقنيات تعزيز الاستدلال الحالية، مثل "سلسلة الأفكور" (CoT) و"شجرة الأفكار" (ToT)، تفتقر إلى القيود الصريحة حول كيفية بناء خطوات الاستدلال الوسيطة. هذا الغياب للمنهجية النظامية يسمح للنماذج بتوليد مسارات استدلال غير منضبطة، مما يؤدي إلى منطق معيب وهلوسات حتى عند توفير السياق.

المنهجية: التلقين بالاشتقاق (Derivation Prompting)
يقترح المؤلفون "التلقين بالاشتقاق"، وهو تقنية مبتكرة لخطوة التوليد في إطار عمل RAG، مستوحاة من الاشتقاقات المنطقية في المنطق القضاياوي. بدلاً من توليد إجابة حرة الشكل، تقوم هذه الطريقة ببناء "شجرة اشتقاق" مهيكلة حيث يتم استنتاج نتيجة بشكل منهجي من مجموعة من الفرضيات الأولية (قطع الوثائق المسترجعة) باستخدام قواعد محددة مسبقاً.

الآلية الجوهرية: تعامل العملية القطع المسترجعة كمجموعة من الفرضيات $\{h_1, \dots, h_n\}$ . ويُكلف النموذج اللغوي بتطبيق مجموعة من قواعد اللغة الطبيعية لتحويل أو دمج هذه الفرضيات لاستنتاج نتيجة $c$ تجيب على الاستعلام $q$ .
مجموعة القواعد: تستخدم الطريقة مجموعة محددة من القواعد المعرفة بلغة طبيعية، وتشمل:
- الاستخراج (Extract): عزل جزء محدد من فرضية ما.
- الدمج (Concat): الجمع بين فرضيات مستقلة.
- التحقيق (Instantiate): تعميم فرضية ما لتناسب حالة معينة.
- التركيب (Compose): دمج فرضيات تشترك في عنصر مشترك.
- التهذيب (Refine): تكييف فرضية ما لتناسب الاستعلام دون تغيير دلالاتها.
- عدم وجود معلومات (NoInfo): التصريح صراحةً عندما تفتقر الفرضيات إلى المعلومات الضرورية.
التنفيذ الخوارزمي: العملية تكرارية؛ حيث يقرر النموذج اللغوي أي قاعدة سيطبق، ويختار الفرضيات ذات الصلة، ثم يولد نتيجة جديدة. إذا لم تكن النتيجة هي الإجابة النهائية، تُضاف إلى قائمة الفرضيات للخطوات اللاحقة.
استراتيجيات التنفيذ: قيم المؤلفون نهجين للتنفيذ:
1. تلقين الخطوة الواحدة: عزل كل تطبيق للقاعدة كاستدعاء مستقل للنموذج اللغوي.
2. تلقين الاشتقاق الكامل: استخدام استراتيجية "التعلم من أمثلة قليلة" (Few-Shot) لتوجيه النموذج اللغوي في بناء شجرة الاشتقاق بأكملها في استدعاء استدلال واحد.
  ووجدت الدراسة أن تلقين الاشتقاق الكامل أكثر كفاءة من الناحية الحسابية بشكل ملحوظ (باستبدال $n$ من عمليات الاستدعاء باستدعاء واحد) مع تقديم نتائج مماثلة.

دراسة حالة وتقييم
تم تقييم الطريقة في مجال محدد: المعلومات الإدارية لكلية الهندسة في جامعة لابلاتوبليسكا (Universidad de la República) في أوروغواي.

مجموعة البيانات: 135 استعلاماً حقيقياً من مستخدمين مستمدة من رسائل بريد إلكتروني تاريخية، تمت معالجتها لإزالة البيانات الشخصية.
النماذج المرجعية: قارنت الدراسة "التلقين بالاشتقاق" مقابل:
- نظام RAG القياسي (باستخدام Cross-Encoder للاسترجاع).
- نهج نافذة السياق الطويلة (تغذية الوثائق الكاملة مباشرة للنموذج).
النماذج: استخدمت التجارب عائلة نماذج Claude 3 من Anthropic (Haiku وOpus).
مقياس التقييم: تقييم آلي باستخدام Claude Opus كحكم، حيث يتم تسجيل الإجابات على مقياس من 1 إلى 5 بناءً على معايير تميز بين "غير مقبول" (متناقض/خاطئ، الدرجات 1-2) و"مقبول" (غير متناقض، الدرجات 3-5).

النتائج
أظهرت التجارب أن التلقين بالاشتقاق يحسن دقة أنظمة RAG بشكل كبير:

الحد من الإجابات غير المقبولة: حقق التلقين بالاشتقاق مع نموذج Claude Opus نسبة 89.6% من الإجابات المقبولة، مقارنة بـ 77.8% لنظام RAG القياسي و76.3% لطرق السياق الطويل. ويمثل هذا انخفاضاً جوهرياً في الهلوسة والمعلومات المتناقضة.
الدقة مقابل الاستدعاء: بينما قللت الطريقة من الأخطاء بشكل جذري (الدرجات 1 و2)، إلا أنها لم ترفع بالضرورة عدد الإجابات الأكثر تفصيلاً (الدرجات 4 و5). في كثير من الحالات التي فشلت فيها الطرق الأخرى بسبب الهلوسة، حدد التلقين بالاشتقاق نقص المعلومات بشكل صحيح (الدرجة 3) عبر قاعدة NoInfo.
التبعية للنموذج: ترتبط فعالية الطريقة بقدرة النموذج. وبينما قدم Claude Opus أداءً قوياً، أظهر نموذج Claude Haiku الأصغر انخفاضاً في الإجابات عالية الجودة (الدرجات 4 و5) رغم تقليله للأخطاء، مما يشير إلى أن بناء اشتقاقات صالحة يتطلب قدرة كبيرة من النموذج.
القابلية للتفسير: النتيجة الرئيسية هي أن شجرة الاشتقاق قابلة للتفسير. فعند حدوث أخطاء، يمكن تتبعها وصولاً إلى تطبيقات قواعد محددة (مثل الهلوسة أثناء خطوة التهذيب)، مما يسمح للمستخدمين بتحديد الاستدلال المعيب بدلاً من مجرد تلقي إجابة خاطئة.

الأهمية والادعاءات
يزعم البحث أن التلقين بالاشتقاق يقدم بديلاً منضبطاً وقابلاً للتفسير لتقنيات الاستدلال الحالية. فمن خلال إجبار عملية التوليد على المرور عبر تسلسل من قواعد المنطق المحددة مسبقاً، تقيد هذه الطة حرية النموذج في الهلوسة، مما يضمن بقاء الإجابات مرتكزة في الوثائق المسترجعة. ويؤكد المؤلفون أنه بينما تحسن الطريقة الدقة وتقلل المخرجات غير المقبولة، فإن نجاحها يعتمد على قدرة النموذج اللغوي الأساسي على فهم وتطبيق المنطق القائم على القواعد بفعالية. ويشير العمل إلى أن هذا النهج القائم على المنطق يمكن تعميمه على سيناريوهات RAG أخرى، وربما على مهام غير متعلقة بـ RAG، بشرماً بتعريف مجموعات القواعد المناسبة.