💬 NLP

Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning

تقترح هذه الورقة إطار عمل للاستدلال المنطقي المعزز بالاسترجاع يقوم بتحديد والتحقق من المقدمات الخاطئة في استعلامات المستخدم بشكل استباقي قبل عملية التوليد، مما يقلل بفعالية من هلوسة النماذج اللغوية الكبيرة ويحسن الدقة الواقعية دون الحاجة إلى الوصول إلى لوجيت (logit) النموذج أو إجراء ضبط دقيق واسع النطاق.

المؤلفون الأصليون: Yuehan Qin, Shawn Li, Yi Nian, Xinyan Velocity Yu, Yue Zhao, Xuezhe Ma

نُشر 2026-02-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuehan Qin, Shawn Li, Yi Nian, Xinyan Velocity Yu, Yue Zhao, Xuezhe Ma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسأل أمين مكتبة ذكيًا ومطلعًا جدًا (الذكاء الاصطناği) للحصول على نصيحة. ولكن، قد تسأله بالخطأ سؤالاً مبنيًا على كذبة.

المشكلة: سؤال "الفخ"
لنفترض أنك سألت: "ما هي أفضل طريقة لعلاج حساسية المأكولات البحرية باستخدام البنسلين؟"

هنا يكمن الفخ: البنسلين لا يعالج حساسية المأكولات البحرية. في الواقع، لا علاقة بينهما تمامًا. ولكن لأن أمين المكتبة حريص جدًا على أن يكون مفيدًا ولبقًا، فقد يقول: "نعم، البنسلين رائع لهذا الغرض! فهو يقلل من الالتهاب..."

أمين المكتبة لم يكذب عن قصد؛ بل قبل "نقطة البداية" الخاطئة التي وضعتها (المقدمة) واعتبرها حقيقة، ثم بنى قصة كاملة فوقها. وهذا ما يسمى "الهلوسة" (Hallucination). في العالم الحقيقي، إذا حدث هذا في تقديم نصيحة طبية، فقد يكون الأمر خطيرًا.

الطرق الحالية للإصلاح تشبه محاولة الإمساك باللص بعد أن يكون قد سرق المال بالفعل. فهي إما تتطلب إعادة كتابة دماغ أمين المكتبة بالكامل (تدريب مكلف) أو تتطلب منه فحص أفكاره أثناء التحدث (وهو أمر بطيء ويتطلب وصولًا خاصًا).

الحل: "مدقق الحقائق" قبل الكلام
يقترح مؤلفو هذه الورقة نظامًا جديدًا: لا تدع أمين المكتبة يتحدث حتى يقوم مدقق حقائق بالتحقق من سؤالك.

يسمونه "التحقق من المقدمة عبر الاستدلال المنطقي المعزز بالاسترجاع" (Premise Verification via Retrieval-Augmented Logical Reasoning). وإليك كيف يعمل، باستخدام تشبيه بسيط:

1. المترجم (الشكل المنطقي)

أولاً، يأخذ النظام سؤالك المبعثر بلغة طبيعية ويترجمه إلى "كود" صارم ومنظم أو مخطط منطقي.

سؤالك: "هل فيلم The Dark Knight هو الفائز بجوائز نقابة ممثلي الشاشة السادسة عشرة؟"
المخطط: IsRecipient(The Dark Knight, 16th SAG Awards)

هذا الإجراء يجرد السؤال من الحشو ويعزل الحقائق الجوهرية: من الذي يتم الحديث عنه، وما هو الادعاء الموجه إليه.

2. مساعد أمين المكتبة (الاسترجاع)

قبل أن يجيب أمين المكتبة الرئيسي، يقوم مساعد متخصص (المسترجع - Retriever) بأخذ ذلك "المخطط" ويجري بحثًا في قاعدة البيانات الرئيسية للمكتبة (رسم بياني للمعرفة - Knowledge Graph) للتحقق مما إذا كان هذا الادعاء موجودًا.

يبحث المساعد: هل فاز فيلم The Dark Knight بجوائز نقابة ممثلي الشاشة السادسة عشرة؟
تقول قاعدة البيانات: لا. لقد فاز بالفعل بجوائز الأوسكي الـ 81.

3. العلم الأحمر (التحقق)

يدرك المساعد أن سؤالك يحتوي على مقدمة خاطئة. وبدلاً من ترك أمين المكتبة الرئيسي يخمن، يضع النظام علامة حمراء كبيرة على سؤالك.

النظام يقول لأمين المكتبة: "مهلًا، قبل أن تجيب، لاحظ أن هذا السؤال يحتوي على مقدمة خاطئة. فيلم The Dark Knight لم يفز بتلك الجائزة."

4. الإجابة المصححة

الآن، يقوم أمين المكتبة الرئيسي (النموذج اللغوي الكبير - LLM) بتوليد الإجابة، لكنه مسلح بالحقيقة.

الإجابة القديمة (الهلوسة): "نعم، لقد فاز بتلك الجائزة!"
الإجابة الجديدة (المصححة): "لا، هذا غير صحيح. لم يفز فيلم The Dark Knight بجوائز نقابة ممثلي الشاشة السادسة عشرة. إليك الجوائز التي فاز بها بالفعل..."

لماذا هذا أفضل؟

إنه "فحص ما قبل الإقلاع": بدلاً من إصلاح الطائرة بعد تحطمها، يقوم هذا النظام بفحص المحرك قبل الإقلاع.
إنه رخيص وسريع: لا يتطلب إعادة تدريب دماغ الذكاء الاصطناعي. إنه يضيف فقط خطوة "بحث سريع".
يعمل على "الصناديق السوداء": لست بحاجة لرؤية "أفكار" الذكاء الاصطناعي الداخلية (اللوجيتس) لجعله يعمل. يمكنه العمل حتى لو كان الذكاء الاصطناعي "صندوقًا أسود" (مثل الواجهات البرمجية التجارية).
يتعامل مع الفخاخ المعقدة: هو بارع بشكل خاص في الأسئلة "متعددة الخطوات" (الأسئلة التي تتطلب ربط عدة نقاط ببعضها)، حيث تكون الكذبة مخبأة في عمق سلسلة المنطق.

باختصار:
تعلمنا هذه الورقة أنه لإيقاف الذكاء الاصطناعي عن اختلاق الأمور، لا ينبغي لنا فقط أن نقول له "كن حذرًا". بدلاً من ذلك، يجب أن نزوده بـ مدقق حقائق يترجم السؤال إلى قائمة تحقق، ويتحقق من الحقائق مقابل قاعدة بيانات موثوقة، ويحذر الذكاء الاصطناعي إذا كان السؤال مبنيًا على كذبة قبل أن يبدأ في كتابة إجابته. الأمر يشبه وجود حارس أمن يتحقق من هويتك قبل السماح لك بدخول المبنى، بدلاً من طردك بعد أن تسببت بالفعل في المشاكل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "لا تدعه يهلوِس: التحقق من المقدمات عبر الاستدلال المنطقي المعزز بالاسترجاع."

1. تعريف المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs) لظاهرة الهلوسة الواقعية (factuality hallucinations)، لا سيما عند الاستجابة للاستفسارات التي تحتوي على مقدمات خاطئة (False Premises - FPQs). المقدمة الخاطئة هي عبارة ضمن استعلام المستخدم تتناقض مع الحقائق الراسخة (على سبيل المثال: "هل البنسلين آمن لعلاج حساسية القشريات؟" يفترض وجود علاقة خاطئة بين البنسلين وحساسية القشريات).

التحدي: غالبًا ما تثق النماذج اللغوية الكبيرة في الافتراضات المضمنة في النص (prompt) وتولد استجابات تبدو منطقية ولكنها غير صحيحة واقعيًا.
قصور الحلول الحالية:
- التخفيف اللاحق (Post-hoc mitigation): الطرق مثل فك التشفير التبايني (contrastive decoding) أو تحليل عدم اليقين (uncertainty analysis) تحدث غالبًا بعد عملية التوليد أو تتطلب الوصول إلى احتمالات النموذج (logits) (النماذج ذات الصندوق الأبيض)، مما يحد من استخدامها مع النماذج ذات الصندوق الأسود.
- الأساليب القائمة على التدريب: يعد الضبط الدقيق (Fine-tuning) أو التدريب المسبق للكشف عن المقدمات الخاطئة مكلفًا حاسوبيًا ويتطلب بيانات واسعة النطاق.
- التدفق الدلالي (Semantic flow): غالبًا ما تحافظ الأسئلة ذات المقدمات الخاطئة على تدفق دلالي طبيعي، مما يجعل من الصعب اكتشافها عبر طرق الكشف التقليدية عن البيانات الخارجة عن التوزيع (out-of-distribution detection).

2. المنهجية

يقترح المؤلفون إطار عمل للاستدلال المنطقي المعزز بالاسترجاع يمنع الهلوسة من خلال اكتشاف وتحديد المقدمات الخاطئة قبل أن يقوم النموذج اللغوي بتوليد الاستجابة. تتكون العملية من ثلاث مراحل رئيسية:

أ. استخراج الصيغة المنطقية (Logical Form Extraction)

بدلاً من معالجة الاستعلام بلغة طبيعية خام، يقوم النظام أولاً بتحويل استعلام المستخدم ( $q$ ) إلى صيغة منطقية مهيكلة ( $L(q)$ ).

العملية: يقوم نموذج لغوي كبير (مثل GPT-4o-mini) بتحليل الاستعلام لاستخراج المحمولات (predicates) والكيانات (entities)، محولاً النص إلى تمثيل رمزي (مثال: Nominated("Lord of the Rings", "Best Director")).
الغرض: هذا التجريد يعزل الادعاءات الواقعية الجوهرية، مما يسهل التحقق من علاقات محددة مقابل قاعدة معرفية دون التشتت بالتعقيدات اللغوية.

ب. الاسترجاع المهيكل والتحقق (Structured Retrieval and Verification)

يستخدم النظام نهج التوليد المعزز بالاسترجاع (RAG) للتحقق من الصيغة المنطقية مقابل رسم بياني للمعرفة (Knowledge Graph - KG).

المسترجعات (Retrievers): يقيم البحث ثلاثة أنواع من المسترجعات لإيجاد الأدلة ذات الصلة (الثلاثيات/الرسوم البيانية الفرعية) في قاعدة المعرفة:
1. المعتمد على التضمين (Embedding-based): يستخدم مشفرات مدربة مسبقًا (مثل all-roberta-large-v1) لحساب تشابه جيب التمام بين الصيغة المنطقية والثلاثيات الرسومية.
2. غير البارامتري (G-retriever): يستخدم خوارزمية شجرة ستينر لجمع الجوائز (PCST) لاستخراج رسوم بيانية فرعية ذات صلة دون معاملات قابلة للتعلم.
3. المعتمد على النماذج اللغوية (LLM-based): يستخدم نماذج مثل GraphRAG/ToG لتسجيل مدى صلة الرسوم البيانية الفرعية المسترجعة.
التحقق: يقارن النظام الأدلة المسترجعة ( $G^*$ ) مع التأكيدات المنطقية في الاستعلام. إذا تعارض الاستعلام مع الأدلة المسترجعة، يتم تفعيل مؤشر المقدمة الخاطئة ( $F(q)=1$ ).

ج. تخفيف الهلوسة (هندسة الأوامر - Prompt Engineering)

بمجرد اكتشاف مقدمة خاطئة:

التوسيم (Flagging): يتم تحديث الاستعلام الأصلي بإضافة ملاحظة محددة: "ملاحظة: يحتوي هذا السؤال على مقدمة خاطئة."
التوليد: يقوم النموذج اللغوي بتوليد الاستجابة النهائية باستخدام هذا الأمر المعدل. هذه التعليمات الصريحة تجبر النموذج على رفض الافتراض الخاطئ بدلاً من الهلوسة بالتأكيد عليه.
الميزة: لا تتطلب هذه الطريقة الوصول إلى احتمالات النموذج (logits)، ولا تتطلب ضبطًا دقيقًا، وتعمل بالكامل على مستوى الاستدلال (متوافقة مع الصندوق الأسود).

3. المساهمات الرئيسية

تمثيل الصيغة المنطقية: تقديم الصيغ المنطقية كتمثيل وسيط لتحليل الاستعلام. توضح الورقة أن هذا النهج المهيكل يحسن بشكل كبير دقة اكتشاف المقدمات عبر مختلف أنواع المسترجعات مقارنة باستخدام النصوص الخام.
الاكتشاف الصريح للمقدمات: إطار عمل مبتكر يحدد المقدمات الخاطئة صراحةً وينبه النموذج اللغوي إليها قبل التوليد، مما ينقل النموذج من "تخفيف الهلوسة بعد حدوثها" إلى "منعها استباقيًا".
الكفاءة المستقلة عن النموذج: هذا النهج خفيف الوزن، حيث لا يتطلب أي تكلفة تدريب ولا يتطلب الوصول إلى الأوزان الداخلية للنموذج، مما يجعله سهل التكامل في سلاسل توريد النماذج اللغوية الكبيرة ذات الصندوق الأسود.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات: KG-FPQ (الأسئلة ذات المقدمات الخاطئة القائمة على الرسم البياني للمعرفة)، CREAK (الاستدلال القائم على المنطق العام)، و FEVER (استخراج الحقائق).

أداء اكتشاف المقدمات:
- في مجموعة بيانات KG-FPQ، حقق استخدام الصيغ المنطقية في كل من مرحلتي الاسترجام والكشف مع G-retriever أعلى أداء: 94.44% لمعدل الإيجاب الحقيقي (TPR) و 97.12% لدرجة F1.
- تفوق هذا بشكل كبير على النماذج المرجعية مثل "الادعاء المباشر" (Direct Claim) (إجابة النموذج بنعم/لا مباشرة) و RAG القياسي بدون صيغ منطقية.
- متعدد الخطوات مقابل أحادي الخطوة (Multi-hop vs. Single-hop): أظهرت الطريقة أكبر مكاسب في الأسئلة متعددة الخطوات (الاستدلال المعقد)، حيث قفزت دقة الكشف من ~68% (الادعاء المباشر) إلى 95.2% (G-retriever مع الصيغ المنطقية).
تخفيف الهلوسة:
- حققت الطريقة المقترحة أعلى دقة عبر نماذج لغوية متعددة (GPT-4o-mini, GPT-3.5, Llama-3.1, Qwen2.5).
- على سبيل المثال، في نموذج Qwen2.5، حققت الطريقة دقة بنسبة 95.2%، متفوقة على نماذج مثل Majority Vote و Direct RAG و Perplexity AI.
- على عكس طرق "الأمر" (Prompt) التي تحذر بغموض من الأخطاء المحتملة، أدى التوسيم الصريح لـ المقدمة الخاطئة المحددة إلى أداء أفضل في الأسئلة الصحيحة (تجنب الحذر غير الضروري).
الكفاءة:
- تضيف الطريقة عبئًا حسابيًا ضئيلاً (حوالي 0.6 ثانية إضافية لكل استعلام) مقارًا بـ Contrastive Decoding (حوالي 10.6 ثانية)، والذي يتطلب خطوات فك تشفير متكررة.

5. الأهمية والتأثير

السلامة والموثوقية: يوفر إطار العمل طريقة منهجية لمنع النماذج اللغوية من التعامل مع المعلومات المضللة، لا سيما في المجالات عالية الخطورة مثل الرعاية الصحية والتمويل حيث يمكن أن تؤدي المقدمات الخاطئة إلى نصائح خطيرة.
القابلية للتوسع: من خلال تجنب الضبط الدقيق والوصول إلى الاحتمالات (logits)، يمكن نشر هذا النهج فورًا للنماذج ذات الصندوق الأسود، مما يعالج فجوة حرجة في أبحاث تخفيف الهلوسة الحالية.
تعزيز الاستدلال: تشير النتائج إلى أن تحويل اللغة الطبيعية إلى صيغ منطقية يعزز قدرة النموذج على إجراء استدلال عميق ومتعدد الخطوات والتحقق من الحقائق، بدلاً من الاعتماد على مطابقة الأنماط السطحية.

في الختام، تقدم الورقة حلاً قوياً وفعالاً ومستقلاً عن النموذج لمشكلة "المقدمة الخاطئة"، حيث تثبت أن التحقق من المقدمات قبل التوليد عبر الاستدلال المنطقي هو استراتيجية متفوقة على التصحيح اللاحق لضمان الاتساق الواقعي في مخرجات النماذج اللغية الكبيرة.