💬 NLP

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

تقدم هذه الورقة البحثية F-DPO، وهو امتداد بسيط لـ Direct Preference Optimization يستفيد من تسميات الحقيقة الثنائية لتصحيح ترتيب أزواج التفضيل وتطبيق هوامش مدركة للحقيقة، مما يقلل بفعالية من الهلوسة ويحسن الدقة الواقعية عبر مختلف النماذج اللغوية الكبيرة دون الحاجة إلى نماذج مكافأة مساعدة أو مسارات تدريب معقدة.

المؤلفون الأصليون: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً موهوباً، واثقاً، ومطلعاً يُدعى LLM (نموذج لغوي كبير). هذا الطالب بارع في كتابة المقالات، والإجابة على الأسئلة، والظهور بمظهر الخبير. ولكن، هناك عقبة: أحياناً، عندما لا يعرف الإجابة، لا يقول "لا أعرف"، بل يؤلف قصة تبدو مثالية ولكنها كاذبة تماماً. نحن نسمي هذا الهلوسة (Hallucination).

لفترة طويلة، حاول المعلمون (الباحثون في الذكاء الاصطناعي) إصلاح ذلك عبر عرض أمثلة على الإجابات الجيدة للطالب. لكن الطالب تعلم درساً سيئاً: "إذا بدوت واثقاً وسلساً، سأحصل على درجة عالية، حتى لو كان ما قلته خطأ".

يقدم هذا البحث طريقة تعليمية جديدة تسمى F-DPO (تحسين التفضيل المباشر المدرك للحقائق). فكر فيها كـ "نظام درجات يضع الحقيقة أولاً" لمنع الطالب من الإفلات بالأكاذيب المنمقة.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: فخ "الكذبة الناعمة"

تخيل أن معلماً يسأل الطالب: "ما هي عاصمة أستراليا؟"

الطالب (أ) (الحقيقة): "كانبيرا". (قصيرة، مملة، لكنها حقيقية).
الطالب (ب) (المهلوس): "سيدني! إنها أكبر مدينة وأكثرها شهرة، والجميع يعرف ذلك". (طويلة، واثقة، فصيحة، ولكنها خاطئة).

في طرق التدريب القديمة، كان المعلم غالباً ما يفضل الطالب (ب) لأن الإجابة بدت أكثر إبهاراً وثقة. تعلم الذكاء الاصطناعي أن الأسلوب يتفوق على المضمون، مما أدى إلى زيادة كذبه.

2. الحل: "فلتر التحقق من الحقائق"

أدرك مؤلفو هذا البحث أنهم ليسوا بحاجة إلى "محقق حقائق" معقد ومكلف لتقييم كل إجابة. كانوا بحاجة فقط إلى ملصق بسيط (نعم/لا): هل هذا حقيقي أم أنه هلوسة؟

لقد بنوا نظاماً يعتمد على حيلتين رئيسيتين:

الحيلة (أ): "التبديل" (قلب الملصقات)

أحياناً، يعطي المعلم بالخطأ "نجمة ذهبية" لكذبة و"علامة حمراء" للحقيقة لأن الكذبة بدت أفضل.

الإصلاح: قبل أن يدرس الطالب الدرجة، يقوم النظام بفحص الحقائق. إذا كانت الإجابة ذات "النجمة الذهبية" كذبة، وكانت الإجابة ذات "العلامة الحمراء" حقيقة، يقوم النظام بتبديل الدرجات.
النتيجة: يتعلم الطالب: "مهلاً، لقد حصلت على درجة سيئة لأنني قلت الحقيقة؟ وحصلت على درجة جيدة لأنني كذبت؟ لا، هذا خطأ. يجب أن أصلح فهمي". هذا يجبر الذكاء الاصطناعي على إدراك أن الحقيقة هي الشيء الوحيد الذي يهم، بغض النظر عن مدى سلاسة الجملة.

الحيلة (ب): "مكافأة الحقيقة" (هامش الحقيقة)

تخيل لعبة فيديو تحصل فيها على نقاط إضافية عند إصابة هدف محدد.

التدريب القياسي: تحصل على نقاط مقابل إصابة أي هدف.
تدريب F-DPO: إذا أصبت هدفاً حقيقياً بينما أصاب خصمك هدفاً كاذباً، تحصل على مكافأة ضخمة.
النتيجة: يتعلم الذكاء الاصطناعي إعطاء الأولوية بشدة للإجابات الصحيحة واقعياً، حتى لو كانت أقل "تنميقاً" من الأكاذيب.

3. مسار البيانات: بناء "صالة التدريب الرياضية"

لتعليم الذكاء الاصطناعي هذه الطريقة الجديدة، لم يستخدم الباحثون معلمين بشريين فقط (الذين قد يكونون منحازين)، بل بنوا "صالة تدريب رياضية" (Training Gym):

أخذوا أسئلة وإجابات موجودة مسبقاً.
استخدموا ذكاءً اصطناعياً فائق الذكاء (GPT-4) ليعمل كمحقق حقائق صارم، يصنف الإجابات كـ "صحيحة" أو "مزيفة".
قاموا حتى بإنشاء أكاذيب مزيفة عن قصد (من خلال طلب من ذكاء اصطناعي أخذ إجابة حقيقية وتغييرها ببراعة) لإعطاء الطالب المزيد من التدريب على تمييز الفرق.
خلطوا هذه الأمثلة بحيث يرى الطالب كل السيناريوهات الممكنة: حقيقة مقابل حقيقة، حقيقة مقابل كذبة، وكذبة مقابل كذبة.

4. النتائج: أذكى، وليس فقط أكثر براعة

اختبروا هذه الطريقة الجديدة على سبعة نماذج مختلفة من الذكاء الاصطناعي (تتراوح من الصغيرة إلى الكبيرة). كانت النتائج بمثابة علاج سحري للكذب:

كذب أقل: على نموذج واحد محدد (Qwen3-8B)، انخفض معدل الهلوسة بمقدار 5 أضعاف. فقد انتقل من الكذب في 42% من الإجابات إلى الكذب في 8% فقط.
درجات أفضل: حصلت النماذج على درجات أعلى بكثير في اختبارات "الصدق".
التعميم: حتى عندما طرحوا على النماذج أسئلة لم يروها من قبل (مثل معلومات عامة مخادعة)، ظلت النماذج صادقة.

تشبيه الصورة الكبيرة

فكر في تدريب الذكاء الاصطناعي القديم كأنه تعليم رجل مبيعات بارع جداً في الكلام لدرجة أنه يستطيع بيع الجليد لآسكيمو، حتى لو كان الجليد يذوب. هو يعطي الأولوية لـ طريقة العرض.

أما F-DPO فهو يشبه توظيف مراقب جودة يوقف رجل المبيعات ويقول له: "توقف عن التحدث بسرعة كبيرة. هل المنتج جليد حقاً؟ هل هو بارد؟ إذا حاولت بيعي ماءً دافئاً على أنه جليد، فقد فشلت، بغض النظر عن روعة خطابك".

لماذا هذا مهم؟

هذه الطريقة مميزة لأنها بسيطة وغير مكلفة.

لا تحتاج إلى ذكاء اصطناعي ثانٍ ومكلف لتقييم كل إجابة.
لا تحتاج إلى قراءة كل كلمة في الإجابة للعثور على الكذبة.
تحتاج فقط إلى علامة بسيطة (صواب/خطأ).

باستخدام هذا النهج البسيط القائم على "الحقيقة أولاً"، أظهر الباحثون أنه يمكننا جعل المساعدين الرقميين أكثر موثوقية، وأمانة، وسلامة، خاصة في المجالات عالية الخطورة مثل الطب والقانون والتمويل، حيث يمكن أن تكون الكذبة الواثقة خطيرة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقليل الهلوسة في النماذج اللغوية الكبيرة عبر تعلم التفضيل المدرك للحقائق" (F-DPO).

1. بيان المشكلة

غالبًا ما تظهر النماذج اللغوية الكبيرة (LLMs) هلوسات — أي توليد استجابات بليغة وواثقة ولكنها غير صحيحة من الناحية الواقعية. وبينما تعمل أساليب المحاذاة مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) وتحسين التفضيل المباشر (DPO) على تحسين اتباع التعليمات، إلا أنها غالبًا ما تؤدي دون قصد إلى تعزيز الهلوسة.

الصراع الجوهري: غالبًا ما تعطي تسميات التفضيل (سواء كانت بشرية أو آلية) الأولوية للبلاغة، والثقة، والتوسع في الإجابة على حساب الصحة الواقعية. قد يفضل المقيمون إجابة واثقة ولكنها خاطئة (مثل: "سيدني هي عاصمة أستراليا") على إجابة أقل تفصيلًا ولكنها دقيقة ("كانبيرا").
محدودية الأساليب الحالية: تعتمد النهج الحالية التي تركز على الحقائق غالبًا على:
- نماذج مكافأة أو أدوات تحقق مساعدة (مما يزيد من التعقيد).
- خطوط إنتاج تدريبية متعددة المراحل.
- الإشراف على مستوى الرمز (Token-level supervision) (توصيفات دقيقة للغاية).
- غالبًا ما تفشل هذه الأساليب في تصحيح السبب الجذري: أزواج التفضيلات المختلة الترتيب حيث تكون الاستجابة "المختارة" هلوسة والاستجابة "المرفوضة" حقيقية.

2. المنهجية: F-DPO (تحسين التفضيل المباشر المدرك للحقائق)

يقترح المؤلفون F-DPO، وهو امتداد لمرحلة واحدة من DPO القياسي يتطلب فقط تسميات حقائق ثنائية (حقيقي مقابل هلوسة) ولا يتطلب نماذج مكافأة خارجية.

أ. بناء البيانات

قام المؤلفون ببناء مجموعة بيانات تفضيل مدركة للحقائق عن طريق تعزيز مجموعة بيانات Skywork Reward-Preference:

التسمية الثنائية: يتم وسم كل استجابة في زوج التفضيل بتسمية ثنائية $h \in \{0, 1\}$ ، حيث $0 $تعني حقيقي و$ 1$ تعني هلوسة، باستخدام حكم نموذج لغوي (GPT-4o-mini).
التعزيز الاصطناعي: لضمان تغطية متوازنة لتكوينات الحقائق، تم توليد متغيرات هلوسة اصطناعية عبر توجيه نموذج لغوي لإدخال ادعاءات معقولة ولكن غير صحيحة في الإجابات الحقيقية.
الموازنة: تمت إعادة موازنة مجموعة البيانات عبر تكوينات $(h_{winner}, h_{loser})$ .

ب. الآليات الجوهرية

يقدم F-DPO تعديلين رئيسيين على هدف DPO القياسي:

قلب التسميات (التصحيح الحتمي):
- يفترض DPO القياسي أن "الفائز" ( $y_w$ ) هو دائمًا الأفضل. ومع ذلك، إذا كانت $y_w$ هلوسة ( $h_w=1$ ) وكانت $y_l$ حقيقية ( $h_l=0$ )، فإن التدريب على هذا الزوج يعزز الهلوسة.
- يحسب F-DPO الفرق في الحقائق $\Delta h = h_l - h_w$ .
- إذا كان $\Delta h < 0$ (أي أن الاستجابة المختارة أقل واقعية)، يتم قلب التسميات: تصبح الاستجابة الحقيقية هي الفائزة، وتصبح الهلوسة هي الخاسرة. يضمن ذلك عدم تدريب النموذج أبدًا على تفضيل استجابة هلوسة على استجابة حقيقية.
جزاء الهامش المدرك للحقائق:
- يعمل D-PO القياسي على تعظيم الهامش بين الاحتمالات اللوغاريتمية للفائز والخاسر.
- يعدل F-DPO الهامش $m$ بطرح حد جزاء يتناسب مع فرق الحقائق:
  $m_{fact} = m_{\pi, \pi_{ref}} - \lambda \cdot \Delta h$
- الأثر:
  - إذا كان $\Delta h = 1$ (الفائز حقيقي، والخاسر هلوسة)، يتم تقليل الهامش الفعال بمقدار $\lambda$ . هذا يجبر النموذج على تخصيص احتمال أعلى بكثير للاستجابة الحقيقية لتقليل الخسارة، مما يضخم إشارة التعلم للحقائق.
  - إذا كان $\Delta h = 0$ (كلاهما حقيقي أو كلاهما هلوسة)، يتحول الهدف إلى DPO القياسي، مما يحافظ على إشارات التفضيل الأصلية للخصائص الأخرى (مثل الأسلوب أو الفائدة).

ج. هدف التدريب

دالة الخسارة النهائية هي:
$L_{F-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot (m_{\pi, \pi_{ref}} - \lambda \cdot \Delta h) \right) \right]$
حيث $\lambda$ هو معامل قابل للضبط يتحكم في قوة جزاء الحقائق.

3. المساهمات الرئيسية

خوارزمية مبتكرة: تقديم F-DPO، وهو أسلوب بسيط من مرحلة واحدة على مستوى الاستجابة يصحح عدم الاتساق بين التفضيل والحقيقة باستخدام تسميات ثنائية فقط.
ابتكار في الآلية: الجمع بين قلب التسميات (لتصحيح التوجيه المشوش) وهامش مشروط بالحقائق (للتأكيد على فجوات الصحة) دون الحاجة لنماذج مساعدة.
تقييم شامل: التحقق عبر سبعة نماذج لغوية مفتوحة الأوزان (تتراوح من 1 مليار إلى 14 مليار معلمة) من عائلات متنوعة (Qwen, LLaMA, Gemma).
التعميم: إثبات الأداء القوي خارج نطاق التوزيع (OOD) على معيار TruthfulQA.

4. النتائج التجريبية

تسجل الورقة تحسينات كبيرة في الحقائق وتقليل معدلات الهلوسة مقارنة بكل من النماذج الأساسية وDPO القياسي.

تقليل الهلوسة:
- في نموذج Qwen3-8B، قلل F-DPO معدل الهلوسة بمقدار 5 أضعاف (من 0.424 إلى 0.084).
- في نموذج Qwen2.5-14B، حقق معدل هلوسة يقترب من الصفر وهو 0.008 (تحسن بمقدار رتبة عشرية كاملة عن النموذج الأساسي).
درجات الحقائق:
- تحسنت درجات الحقائق بنسبة 50% في Qwen3-8B (من 5.26 إلى 7.90).
التعميم خارج نطاق التوزيع (TruthfulQA):
- في Qwen2.5-14B، حسن F-DPO دقة MC1 بمقدار +17% (0.500 $\leftarrow$ 0.585) ودقة MC2 بمقدار +49% (0.357 $\leftarrow$ 0.531).
- في المقابل، أدى DPO القياسي غالبًا إلى تدهور الأداء على TruthfulQA، مما يؤكد أن تحسين التفضيل القياسي يمكن أن يضر بالصدق.
دراسات الاستئصال (Ablation Studies):
- قلب التسميات: ضروري لتصحيح الأزواج المختلة الترتيب؛ حيث يؤدي الجمع بينه وبين جزاء الهامش إلى أفضل النتائج.
- قوة الجزاء ( $\lambda$ ): يتحسن الأداء بشكل مطرد مع $\lambda$ حتى يصل إلى 100، وبعد ذلك تبدأ العوائد في التناقص.
- كفاءة البيانات: يحقق الأسلوب أداءً مماثلاً باستخدام 25% فقط من بيانات التدريب.
- الفائدة (Helpfulness): يحافظ F-DPO عمومًا على درجات الفائدة أو يحسنها، وإن لوحظ مقايضة طفيفة في Qwen3-8B حيث أدى التحسين المفرط للحقائق إلى تقليل الغنى الأسلوبي قليلاً.

5. الأهمية والأثر

البساطة والكفاءة: يلغي F-DPO الحاجة إلى خطوط إنتاج معقدة متعددة المراحل، أو توصيفات على مستوى الرمز، أو نماذج مكافأة مساعدة، مما يجعله عالي الكفاءة من حيث الحوسبة وسهل التنفيذ.
معالجة "فخ البلاغة": يعالج مباشرة مشكلة جعل النماذج اللغوية تُكافأ على كونها تبدو واثقة بدلاً من كونها صحيحة، وهو نمط فشل حرج في المجالات عالية الخطورة مثل الطب والقانون.
القابلية للتوسع: يتوسع الأسلوب بفعالية عبر أحجام النماذج (1B–14B) ويتعمم على معايير غير مرئية، مما يشير إلى أنه حل قوي لمحاذاة النماذج اللغوية مع الصدق.
المحاذاة الأخلاقية: يظهر التحليل النوعي أن F-DPO يحسن قدرة النموذج على رفض الطلبات الضارة أو غير الأخلاقية (مثل تجاوز التشفير) مع الحفاظ على التأسيس الحقائقي، مما يشير إلى وجود تآزر بين الحقائق والمحاذاة الأمنية.

باختًا، يوفر F-DPO إطار عمل عملي وفعال لتقليل الهلوسة من خلال تصحيح إشارة التفضيل صراحةً لإعطاء الأولوية للصحة الواقعية على مجرد البلاغة.