💬 NLP

From Detection to Diagnosis: Advancing Hallucination Analysis with Automated Data Synthesis

تقترح هذه الورقة تحولاً جذرياً من كشف الهلوسة إلى تشخيصها عبر تقديم "مهمة تشخيص الهلوسة" ومسار آلي لتخليق البيانات (HDG) لتدريب نموذج متخصص (HDM-4B-RL) لا يكتفي بتحديد الهلوسة فحسب، بل يقوم أيضاً بتحديد موقعها وتفسيرها وتصحيحها، محققاً أداءً هو الأفضل في فئته مع توفير ملاحظات قابلة للتنفيذ لتحسين النموذج.

المؤلفون الأصليون: Yanyi Liu, Qingwen Yang, Tiezheng Guo, Feiyu Qu, Jun Liu, Yingyou Wen

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yanyi Liu, Qingwen Yang, Tiezheng Guo, Feiyu Qu, Jun Liu, Yingyou Wen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً ومطلعاً. تسأله سؤالاً، فيعطيك إجابة طويلة وواثقة. لكن أحياناً، يختلق الروبوت أشياء من خياله. قد يقول مثلاً: "برج إيفل يقع في لندن"، رغم أنك تعلم أنه في باريس. يُسمى هذا "الهلوسة" (Hallucination).

لفترة طويلة، تعامل الباحثون مع الأمر كأنه مجرد حارس أمن. كانت مهمة الحارس الوحيدة هي الصراخ بكلمة "قف!" أو "انطلق!" (نعم/لا). إذا ارتكب الروبوت خطأً، يقوم الحارس بالإشارة إليه. لكن الحارس لم يكن يستطيع إخبارك أين الخطأ، أو لماذا حدث، أو كيف يمكن إصلاحه. كان الأمر يشبه معلماً يضع دائرة حول إجابة خاطئة في اختبار دون كتابة أي ملاحظات. وهذا ليس مفيداً جداً إذا كنت تريد حقاً التعلم أو إصلاح الروبوت.

تقترح هذه الورقة البحثية نهجاً جديداً: "طبيب الهلوسة" (The Hallucination Doctor).

بدلاً من مجرد حارس أمن، نحن بحاجة إلى طبيب يمكنه:

الكشف: "نعم، المريض مريض".
التحديد الموضعي: "العدوى موجودة تحديداً في الرئة اليسرى".
التفسير: "هو مريض لأنه تعرض لفيروس".
العلاج: "إليك الوصفة الطبية لعلاجه".

إليك كيف بنى المؤلفون هذا "الطبيب" وكيف يعمل، مقسماً إلى خطوات بسيطة:

1. المشكلة: نحن بحاجة إلى معلم أفضل

نماذج الذكاء الاصطناعي الحالية بارعة في التحدث، لكنها أحياناً تكذب بثقة. الأدوات الموجودة حالياً يمكنها إخبارك إذا كانت هناك كذبة، لكنها لا تستطيع شرح الكذبة أو إصلاحها. تجادل هذه الورقة بأننا بحاجة إلى التحول من مجرد اكتشاف الأخطاء إلى تشخيصها.

2. الحل: مصنع "الأخبار المزيفة" (HDG)

لتعليم نموذج كيف يكون طبيباً، تحتاج إلى الكثير من حالات التدريب. لكن العثور على أمثلة من العالم الحقيقي حيث يكذب فيها الذكاء الاصطناعي أمر صعب. لذا، بنى المؤلفون آلة تسمى "مولد تشخيص الهلوسة" (HDG).

فكر في هذا الأمر كأنه مصمم مستويات ألعاب فيديو متخصص.

الخطوة 1: يأخذ مجموعة من الحقائق الحقيقية (مثل مقالات ويكيبيديا).
الخطوة 2: يقوم بتخريبها عمداً. يستبدل "الوردة الحمراء" بـ "وردة وردية"، أو يحذف رقماً حاسماً، أو يغير خطوة رياضية.
الخطوة 3: ينشئ إجابة "صحيحة" وإجابة "مكسورة".
الخطوة 4: يكتب "ورقة غش" مفصلة للطالب (الذكاء الاصطناعي)، تحدد بدقة أي كلمة هي الخاطئة، ولماذا هي خاطئة، وما هي الإجابة الصحيحة.

هذا المصنع ينتج آلافاً من هذه السيناريوهات "المكسورة"، مما يخلق صالة ألعاب رياضية ضخمة للتدريب للذكاء الاصطناعي.

3. الطالب: HDM-4B-RL

قام المؤلفون بتدريب نموذج ذكاء اصطناعي محدد (يسمى HDM-4B-RL) باستخدام هذه الصالة الرياضية.

الحجم: هو نموذج بـ "4 مليارات معامل" (parameter). في عالم الذكاء الاصطناعي، هذا يشبه سيارة سيدان مدمجة وفعالة. إنها أصغر بكثير من "السيارات الخارقة" الضخمة (مثل نماذج 32B أو 70B) التي يستخدمها الجميع.
التدريب: لم يكتفوا بإخبار السيارة كيف تقود؛ بل استخدموا نظام مكافآت خاصاً (مثل نظام تسجيل النقاط في ألعاب الفيديو). إذا نجح النموذج في رصد الكذبة، وتحديد الجملة بدقة، وشرحها، وإصلاحها، فإنه يحصل على نقاط. وإذا فشل، يحصل على صفر.

4. النتائج: السيارة السيدان المدمجة تفوز بالسباق

وضع المؤلفون "سيارتهم السيدان المدمجة" (HDM-4B-RL) في مواجهة "السيارات الخارقة" (النماذج الضخمة مثل GPT-4 أو Qwen-32B) و"حراس الأمن" القدامى (أدوات الاكتشاف فقط).

الاكتشاف: كانت السيارة المدمجة أسرع وأفضل في رصد الأكاذيب مثل السيارات الخارقة تماماً.
التشخيص: عندما طُلب منها إيجاد الكذبة المحددة وإصلاحها، كان أداء السيارة المدمجة قريباً جداً من أداء السيارات الخارقة الضخمة، لكنها فعلت ذلك بشكل أسرع وبقدر أقل من قوة الحوسبة.
تعزيز "الاستنتاج": وجدوا أنه عندما يُسمح للنموذج بـ "التفكير" (استخدام عملية استنتاج خطوة بخطوة) قبل الإجابة، يصبح أكثر ذكاءً، مما يقلص الفجوة مع النماذج العملاقة.

لماذا هذا مهم؟

تخيل أنك تبني ذكاءً اصطناعياً طبياً أو قانونياً. لا يمكنك الاكتفاء بنظام يقول لك "هذا خطأ". أنت بحاجة إلى نظام يقول: "هذا خطأ لأنه يتعارض مع تاريخ المريض، وإليك الجرعة الصحيحة".

تظهر هذه الورقة أنك لست بحاجة إلى كمبيوتر خارق ضخم ومكلف للقيام بذلك. فمن خلال تدريب نموذج أصغر وأكثر ذكاءً باستخدام بيانات اصطناعية عالية الجودة، يمكنك بناء ذكاء اصطناعي لا يكتفي برصد الأخطاء فحسب، بل يفهمها ويصلحها. إنه انتقال من نظام إنذار بسيط يعتمد على "نعم/لا" إلى مشخّص ذكي يعمل بدوام كامل.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "من الكشف إلى التشخيص: تعزيز تحليل الهلوسة عبر توليد البيانات آلياً."

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) بشكل متكرر من الهلوسة، والتي تُعرف بأنها توليد محتوى غير متوافق مع الحقائق أو السياق المصدر. وهذا يقوض الثقة في المجالات الحساسة مثل الطب والقانون.

القصور الحالي: يركز البحث الحالي بشكل أساسي على الكشف الثنائي (تصنيف المخرجات كـ "مهلوسة" أو "غير مهلوسة"). وبينما تعد هذه الطرق فعالة في رصد الأخطاء، إلا أنها تفتقر إلى القابلية للتفسير والقابلية للتنفيذ. فهي تفشل في تقديم ملاحظات دقيقة (مثل: أين وقع الخطأ، أو لماذا حدث، أو كيف يمكن إصلاحه)، مما يعيق التصحيح الآلي للنماذج والمراجعة بمساعدة البشر.
التحول المقترح: يدعو المؤلفون إلى تحول جذري في النموذج من مجرد الكشف (Detection) البسيط إلى التشخيص (Diagnosis) الشامل.

2. المنهجية

تقدم الورقة منهجية مكونة من جزئين: خط إنتاج لتوليد البيانات آلياً ونموذج تعلم تعزيزي متخصص.

أ. تعريف مهمة تشخيص الهلوسة

حدد المؤلفون مهمة جديدة تتطلب من النماذج أداء أربع قدرات جوهرية:

الكشف (Detection): تحديد ما إذا كان المحتوى يتوافق مع المصدر.
التحديد الموضعي (Localization): تحديد أجزاء النص المهلوسة بدقة.
القابلية للتفسير (Explainability): تقديم تعليل باللغة الطبيعية لسبب عدم الاتساق.
التخفيف (Mitigation): اقتراح تصحيحات أو توليد محتوى منقح.

ب. مولد تشخيص الهلوسة (HDG)

لمعالجة نقص البيانات عالية الجودة لهذه المهمة المعقدة، صمم المؤلفون خط إنتاج آلي (HDG) يقوم بتوليد بيانات من مجموعات بيانات التدתה المسبق الخام (ويكيبيديا). يتكون خط الإنتاج من أربع مراحل:

توليد عينات البذر (Seed Sample Generation): أخذ عينات نصية وتوليد تعليمات متنوعة (تلخيص، رياضيات، منطق) مع استخدام سلسلة الأفكط (CoT) للاستدلال.
تعزيز العينات (Sample Augmentation): تطبيق استراتيجيات اضطراب محكوم لحقن الهلوسة:
- تعزيز السياق: إضافة مشتتات أو حذف تفاصيل رئيسية.
- حقن الهلوسة: الاستبدال المباشر للكيانات (مثلاً: "وردة حمراء" $\leftarrow$ "وردة وردية") أو اضطراب سلسلة الاستدلال.
- استبدال المعلومات الضبابية: استبدال الأرقام الدقيقة بتقديرات تقريبية غامضة (لمهام التلخيص).
التحقق من الجودة (Quality Verification): استخدام مجموعة من المصنفات وتقنية "النموذج كحكم" (LLM-as-a-Judge) للتحقق من السلاسة، والتماسك، وصحة التصنيف.
**إثراء البيانات الوصفية (Metadata Enrichment):im: تزويد العينات ببيانات وصفية تشمل مواقع الهلوسة على مستوى الجملة، وتسميات صعوبة المهمة، ومسارات الاستدلال.

المخرج: مجموعة بيانات مكونة من 18,453 عينة عالية الجودة تغطي مهام الأسئلة والأجوبة والتلخيص.

ج. نموذج تشخيص الهلوسة (HDM-4B-RL)

النموذج الأساسي: Qwen3-4B.
خوارزمية التدريب: تحسين السياسة النسبي للمجموعات (GRPO). اختار المؤلفون GRPO بدلاً من الضبط الدقيق الخاضع للإشراف القياسي (SFT) للحفاظ على قدرات الاستدلال الهجين الأصلية للنموذج مع مواءمته مع مهام التشخيص.
دالة المكافأة: نظام مكافأة شامل قائم على القواعد ( $R$ $R$ ) يتكون من:
- $R_{struct}$ : يضمن مخرجات بصيغة JSON قابلة للقراءة آلياً.
- $R_{acc}$ : دقة التصنيف الثنائي (الكشف).
- $R_{loc}$ : مكافأة التحديد الموضعي بناءً على التداخل بين النطاقات المتوقعة والحقيقية.
- الصيغة: $R = \alpha_1 R_{struct} + \alpha_2 R_{acc} + \alpha_3 R_{loc}$ (مع أوزان 1.0، 0.5، 0.5).

3. المساهمات الرئيسية

نموذج جديد: صياغة مهمة تشخيص الهلوسة، والانتقال من التصنيف الثنائي إلى إطار تشخيصي متعدد الأبعاد (الكشف، التحديد الموضعي، التفسير، التخفيف).
خط إنتاج بيانات آلي: تطوير HDG، وهو خط إنتاج قابل للتوسع يولد بيانات تشخيصية متنوعة وموسومة من مجموعات بيانات خام دون الاعتماد على مجموعات بيانات NLI/QA الموجودة.
نموذج فعال: تدريب HDM-4B-RL، وهو نموذج بـ 4 مليارات معلمة يحقق أداءً رائداً (SOTA) في مهام التشخيص، مما يثبت أن الضبط الدقيق المتخصص يمكن أن ينافس النماذج الأكبر بكثير.

4. النتائج التجريبية

تم تقييم النموذج على معايك قياسية تشمل HaluBench (للأسئلة والأجوبة)، وSummEval (للتلخيص)، ومعيار تشخيص مخصص.

أداء الكشف:
- حقق HDM-4B-RL متوسط درجة F1 كلي (Macro F1) بلغ 79.65، متفوقاً على النموذج المتخصص السابق (Lynx-8B، الذي سجل 77.25) رغم كونه نصف الحجم.
- تفوق على النماذج القوية مغلقة المصدر مثل GPT-4.1 (75.37) واقترب من أداء نموذج Qwen3-32B القائم على الاستدلال (81.70).
أداء التشخيص (من البداية للنهاية):
- في سير عمل التشخيص الكامل (الكشف + التحديد الموضعي + التخفيف)، أظهر HDM-4B-RL مقايضة فائقة بين الدقة والكفاءة.
- بينما حققت طرق خط الإنتاج متعددة الخطوات (باستخدام نماذج أكبر) دقة أعلى قليلاً في التحديد الموضعي، إلا أنها تسببت في تأخير (Latency) بمقدار 4.9 ضعف مقارنة بنموذج HDM-4B-RL ذي المسار الواحد.
- حقق HDM-4B-RL نتائج تنافسية في التخفيف (AlignScore: 69.16)، مقترباً بشدة من النماذج ذات مقياس 32B.
رؤى دراسة الاستبعاد (Ablation Insights):
- وضع الاستدلال: أدى تمكين قدرات الاستدلال إلى تعزيز الأداء بشكل كبير (زيادة +2.91 في درجة F1 في وضع الاستدلال مقابل وضع غير الاستدلال).
- تحسين الاستدعاء (Recall): أدى تدريب التعلم التعزيزي (RL) إلى تحسين الاستدعاء بشكل ملحوظ (+4.62 في وضع الاستدلال، و+5.97 في الوضع غير الاستدلالي)، مما يشير إلى أن النموذج أصبح أفضل بكثير في تحديد جميع حالات الهلوسة الحقيقية دون التضحភាព بالدقة.

5. الأهمية والخاتمة

الموثوقية: يوفر هذا العمل مساراً عملياً لبناء أنظمة ذكاء اصطناعي أكثر موثوقية من خلال الانتقال من "رصد الأخطاء" إلى "إصلاح الأخطاء".
الكفاءة: يثبت العمل أن نموذجاً متخصصاً وخفيف الوزن (4 مليارات معلمة) مدرب على بيانات تشخيصية مُخلّقة يمكنه التفوق على النماذج الأكبر والأكثر عمومية في مهام الموثوقية المحددة، مما يوفر حلاً فعالاً من حيث التكلفة للبيئات محدودة الموارد.
القابلية للتوسع: يوفر خط إنتاج HDG طريقة قابلة للتوسع لتوليد بيانات تدريب لمهام الاستدلال المعقدة، مما يقلل الاعتماد على التوسيم اليدوي.

القيود: مصدر البيانات الحالي محدود بويكيبيديا؛ ويجب أن يتوسع العمل المستقبلي ليشمل مجالات متخصصة (قانونية، طبية). بالإضافة إلى ذلك، اقتصرت التجارب على نموذج 4B، وسيكون التوسع نحو بنيات أكبر توجهاً مستقبلياً.