🤖 AI

CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text

تقدم الورقة البحثية CiteCheck، وهو إطار عمل هجين يجمع بين الاسترجاع الأكاديمي والتحقق الهيكلي باستخدام النماذج اللغوية الكبيرة للكشف بدقة عن هلاوس الاستشهاد في النصوص العلمية، محققاً أداءً فائقاً على معيار مرجعي جديد تم إنشاؤه في مجال الفيزياء مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Khashayar Khajavi, Shaghayegh Sadeghi, Rise Adhikari, Alexander Tessier

نُشر 2026-05-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Khashayar Khajavi, Shaghayegh Sadeghi, Rise Adhikari, Alexander Tessier

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقرأ تقريراً علمياً كتبه روبوت واثق جداً وسريع جداً. يكتب الروبوت ببراعة، ولكنه عندما يسرد الكتب والأوراق البحثية التي استخدمها كمصادر، فإنه أحياناً يخترع أشياء من عنده. قد يخترع عنوان كتاب، أو يخلط بين أسماء المؤلفين، أو حتى يبتكر ورقة بحثية كاملة لم توجد قط. هذا ما يسمى بـ "هلوسة الاستشهاد" (Citation Hallucination).

تقدم الورقة التي زودتني بها أداة جديدة تسمى CITECHECK للإمساك بهذه الأخطاء. فكر في CITECHECK ليس كروبوت يحاول التخمين، بل كـ أمين مكتبة محقق فائق الذكاء لديه مهمة محددة: وهي التحقق مما إذا كان المرجع حقيقياً وما إذا كانت التفاصيل صحيحة.

إليك كيف يعمل CITECHECK، مقسماً إلى خطوات بسيطة:

1. "البحث في المكتبة" (الاسترجاع - Retrieval)

عندما يرى CITECHECK استشهاداً (مثل "Smith, 2023, The Physics of Stars")، فإنه لا يكتفي بالثقة في ذاكرة الروبوت. بدلاً من ذلك، يتصرف كأمين مكتبة يركض فوراً إلى الرفوف (أو الإنترنت) للبحث عن الكتاب الفعلي.

يقوم بالتحقق من قواعد بيانات متعددة (مثل CrossRef وSemantic Scholar وarXiv) للعثور على الورقة الحقيقية التي تطابق العنوان.
إذا لم يجد تطابقاً، فهو يدرك فوراً أن الاستشهاد على الأرجه مزيف.

2. لعبة "أوجد الفروق" (التحقق - Verification)

بمجرد أن يجد أمين المكتبة الكتاب الحقيقي، يضع CITECHECK الاستشهاد الخاص بالروبوت جنباً إلى جنب مع غلاف الكتاب وتفاصيله الحقيقية.

يستخدم "حكماً" ذكياً يعتمد على الذكاء الاصطناعي لمقارنتهما.
الدرجة: يمنح الحكم الاستشهاد درجة من 0 إلى 10.
- 10 (تطابق تام): لقد أصاب الروبوت في كل شيء.
- 6 أو 7 (هلوسة طفيفة): الكتاب موجود بالفعل، لكن الروبوت أخطأ في السنة، أو أخطأ في تهجئة اسم المؤلف، أو غير الرابط (URL) قليلاً. الأمر يشبه طلب بيتزا وحصولك على المكونات الصحيحة ولكن بنوع عجين مختلف.
- 0 أو 1 (هلوسة كبرى): الكتاب غير موجود على الإطلاق، أو أن الروبوت يصف كتاباً مختلفاً تماماً. الأمر يشبه طلب بيتزا وحصولك على شطيرة غير موجودة.

3. "الرأي الثاني" (مرحلة المراجعة - Reviewer Pass)

أحياناً، قد يكون الروبوت مخادعاً. قد يعطيك رابطاً (URL) حقيقياً (مثل رابط لورقة بحثية حقيقية) ولكنه يربطه بعنوان أو مؤلف مزيف. الأمر يشبه إعطاءك عنوان منزل حقيقي ولكن إخبارك بأن الشخص الخطأ هو من يسكن هناك.

يحتوي CITECHECK على خطوة "مُراجع" لهذه الحالات المشبوهة. حيث يقوم ذكاء اصطناعي ثانٍ بالتدقيق بعمق للتأكد من أن العنوان والمؤلفين يتطابقان فعلياً مع الرابط، وليس مجرد الرابط نفسه.

"ساحة التدريب" (المعيار المرجعي - The Benchmark)

لإثبات نجاعة أداتهم، بنى المؤلفون "صالة ألعاب رياضية للتدريب" للنظام. لقد أخذوا 982 استشهاداً حقيقياً من الفيزياء وصنعوا منها نوعين من النسخ المزيفة:

تزييفات طفيفة: أوراق بحثية حقيقية مع أخطاء صغيرة ومخادعة (مثل تغيير "2023" إلى "2024").
تزييفات كبرى: أوراق بحثية مختلقة تماماً تبدو منطقية ولكنها غير موجودة.

النتائج: المحقق ينتصر

عندما اختبروا CITECHECK مقابل نماذج الذكاء الاصطناعي الكبيرة الأخرى (مثل GPT وClaude وGemini)، كانت النتائج واضحة:

كان CITECHECK هو الأفضل. فقد نجح في تحديد الاستشهادات الحقيقية مقابل المزيفة بنسبة 89% من الوقت.
لماذا فاز؟ لأن نماذج الذكاء الاصطناعي الأخرى حاولت التخمين من ذاكرتها أو بمجرد قراءة النص. فاز CITECHECK لأنه خرج بالفعل وتحقق من الحقائق مقابل قواعد البيانات الحقيقية قبل اتخاذ القرار.
حتى عندما مُنحت النماذج الأخرى "أوراق غش" (أمثلة لما يجب البحث عنه) أو سُمح لها باستخدام الإنترنت، لم تستطع التغلب على منهجية CITECHECK القائمة على "البحث أولاً، ثم المقارنة".

الخلاصة

تزعم الورقة أنه لإيقاف الذكاء الاصطناعي عن الكذب بشأن مصادره، لا يمكنك مجرد مطالبة الذكاء الاصطناعي بأن "يكون صادقاً". بل تحتاج إلى نظام يسترجع الأدلة الحقيقية أولاً ثم يستخدم مقارنة منظمة لكشف الأكاذيب. وهذا بالضبط ما يفعله CITECHECK، حيث يعمل كمدقق حقائق موثوق للكتابة العلمية.

ملخص تقني: CITECHECK

بيان المشكلة

تتزايد وتيرة دمج النماذج اللغوية الكبيرة (LLMs) في سير العمل العلمي، بما في ذلك صياغة المخطوطات وإنشاء التقارير. ومع ذلك، لا تزال هناك مشكلة موثوقية حرجة قائمة: وهي أن هذه النماذج تولد بشكل متكرر "هلوسات استشهادية". وهذه الهلوسات هي مراجع تبدو شرعية من حيث الأسلوب ولكنها تحتوي على بيانات وصفية (metadata) فاسدة (مثل مؤلفين أو سنوات أو معرفات كائن رقمي DOI غير صحيحة) أو تشير إلى أوراق بحثية غير موجودة تمامًا. تقوض هذه الأخطاء إمكانية التتبع، والنسب، وإعادة الإنتاج في التواصل العلمي. تعتمد طرق التحقق الحالية غالبًا على المعرفة البارامترية الداخلية للنموذج أو عمليات البحث البسيطة عبر الويب، والتي تكافح للتمييز بين الانحراف الطفيف في البيانات الوصفية وبين التزييف الكامل، أو تفشل في ربط عملية التحقق بالأدلة الأكاديمية المهيكلة.

المنهجية: إطار عمل CITECHECK

CITECHECK هو إطار عمل هجين مصمم للكشف عن الهلوسات الاستشهادية من خلال ربط كل مرجع بمصادر أكاديمية خارجية بدلاً من الاعتماد على المعرفة الداخلية للنموذج اللغوي الكبير. يعمل النظام من خلال مسار مهيكل يتكون من أربع مراحل رئيسية:

1. استخراج البيانات الوصفية (Metadata Extraction)

يقوم النظام أولاً بتحليل سلسلة الاستشهاد الخام إلى حقول مهيكلة (العنوان، المؤلفون، السنة، الرابط URL، معرف الكائن الرقمي DOI، معرف arXiv). وهو يستخدم مُحللًا يعتمد على القواعد للأنماط القياسية، ويستدعي مُحللًا يعتمد على النماذج اللغوية الكبيرة فقط عندما يفشل الاستخراج الحتمي. تهدف هذه الخطوة إلى توليد إشارات استرجاع دون تحديد الصلاحية.

2. تسلسل استرجاع المرشحين (Candidate Retrieval Cascade)

يحاول CITECHECK تحديد المنشور الحقيقي المقابل للاستشهاد باستخدام تسلسل شلالي (waterfall cascade) عبر مصادر خارجية متعددة:

البحث المباشر: إذا وجد معرف arXiv، يتم إجراء بحث مباشر في arXiv أولاً.
واجهات برمجة التطبيقات المهيكلة (Structured APIs): يستعلم النظام من CrossRef وSemantic Scholar وOpenAlex باستخدام عمليات بحث قائمة على العنوان.
التراجع للبحث عبر الويب: إذا فشلت المصادر المهيكلة في تقديم تطابق موثوق، يتم تفعيل بحث مدعوم بالنماذج اللغوية الكبيرة عبر الويب.
منطق الاختيار: يتم قبول المرشحين بناءً على تشابه "ليفنشتاين" (Levenshtein similarity) المعياري بين عنوان الاستشهاد المنظف وعنوان المرشح، مع معايير إضافية لمستويات الثقة (مثل تلك الموجودة في CrossRef) وإشارات ترتيب قائمة على السنة.

3. التحقق المهيكل بواسطة النماذج اللغوية الكبيرة (Structured LLM Verification)

بمجرد استرجاع المنشور المرشح، يقوم نموذج لغوي للتحقق بمقارنة البيانات الوصفية للاستشهاد الأصلي مقابل البيانات الوصفية للمرشح المسترجع. وخلافًا لطلبات التصنيف العادية، يخرج النموذج المحقق:

درجة عددية (من 0 إلى 10) تمثل درجة الاتفاق.
مستوى الثقة مع تفسير موجز.
تحديد التناقضات المحددة.
يستخدم النظام درجة عددية للسماح بحدود قرار معايرة بدلاً من الاعتماد على التصنيف الفئوي للنموذج، والذي قد يكون غير متسق.

4. العتبة ومرحلة مراجعة التدقيق (Thresholding and Reviewer Pass)

يتم تعيين الدرجة العددية إلى ثلاثة تسميات باستخدام عتبات ثابتة ( $\tau_M$ و $\tau_E$ ) تم تحديدها في مجموعة تحقق:

دقيق (EXACT): الاستشهاد يصف المنشور الحقيقي بأمانة ( $s \ge \tau_E$ ).
طفيف (MINOR): الورقة المقصودة موجودة، لكن الحقول الوصفية فاسدة ( $\tau_M \le s < \tau_E$ ).
جوهري (MAJOR): لا يوجد منشور مطابق، أو أن المرشح متباين للغاية ( $s < \tau_M$ ).

يتم تطبيق "مرحلة مراجعة التدقيق" (Reviewer Pass) للحالات المشبوهة حيث يؤدي معرف (رابط URL أو معرف arXiv) إلى ورقة حقيقية، ولكن التشابه في العنوان منخفض. يقوم حكم ثانٍ (نموذج لغوي آخر) بإعادة تقييم هذه الحالات لضمان أن نص الاستشهاد يصف المصدر بدقة، مما يمنع النتائج الإيجابية الكاذبة حيث يتم ربط رابط صالح ببيانات وصفية مفبركة.

بناء مجموعة البيانات

لتقييم إطار العمل، قام المؤلفون ببناء معيار مرجعي يتكون من 982 استشهادًا مستمد من أدبيات الفيزياء، تغطي تسعة مجالات فرعية (مثل الفيزياء الفلكية، فيزياء المادة المكثفة، الحوسبة الكمومية).

الفساد المتحكم فيه: تتضمن مجموعة البيانات استشهادات صالحة، و"هلوسات طفيفة" (انحراف البيانات الوصفية مثل تغيير المؤلفين أو السنوات مع الحفاظ على هوية الورقة)، و"هلوسات جوهرية" (مراجع مفبركة بالكامل تظل منطقية من الناحية الموضوعية).
التوليد: تم توليد الفساد باستخدام GPT-4o-mini مع إعدادات محددة لدرجة الحرارة (temperature) لمحاكاة أخطاء النسخ (طفيفة) والتزييف الجوهري (جوهري).
التوازن: مجموعة المعايير النهائية متوازنة تقريبًا عبر الفئات الثلاث (36.25% صالحة، 30.55% طفيفة، 33.20% جوهرية).

النتائج

عند تقييمه على مجموعة اختبار مستقلة مكونة من 792 استشهادًا، حقق CITECHECK:

دقة بنسبة 88.9%
F1-Score كلي (Macro-F1) بنسبة 88.7

الأداء المقارن:

تفوق CITECHECK على النماذج اللغوية المباشرة (GPT-5.4، Claude Sonnet 4.6، Gemini 2.5 Flash) في كل من إعدادات "التعلم من المحاولة الصفرية" (zero-shot) و"التعلم من أمثلة قليلة" (few-shot).
تفوق على أقوى نموذج أساسي (Claude Sonnet 4.6 مع البحث عبر الويب وأمثلة قليلة) بمقدار 5.8 نقطة في F1-Score الكلي و 5.7 نقطة في الدقة.
والجدير بالذكر أن CITECHECK حقق ذلك مع بقائه في مرحلة "التعلم من المحاولة الصفرية" عند مرحلة التحقق، مما يثبت أن التحقق القائم على الاسترجاع أكثر فعالية من الإشراف السياقي أو التوجيه وحده.
دراسات الاستبعاد (Ablation Studies): أدى إزالة التراجع للبحث عبر الويب إلى تقليل F1-Score الكلي بمقدار 7.0 نقاط، وأدى إزالة مرحلة مراجعة التدقيق إلى تقليله بمقدار 4.0 نقاط، مما يؤكد ضرورة كل من الاسترجاع الواسع والمراجعة المستهدفة للتعامل مع انحراف البيانات الوصفية الدقيق.

الأهمية والادعاءات

يدعي البحث أن التحقق الموثوق من الاستشهادات يتطلب تحولًا من الاعتماد على المعرفة الداخلية للنماذج اللغوية الكبيرة إلى مسار يجمع بين الاسترجاع الأكاديمي، والمقارنة المهيكلة بالنماذج اللغوية، وقواعد القرار المعايرة.

تشمل النقاط الرئيسية التي أكد عليها المؤلفون ما يلي:

الاسترجاع أمر ضروري: تواجه النماذج اللغوية الكبيرة القوية صعوبة في اكتشاف الهلوسات بدون الوصول إلى أدلة خارجية؛ البحث عبر الويب يحسن أداء النموذج الأساسي بشكل كبير ولكنه غير كافٍ بمفرده دون مقارنة مهيكلة.
المقارنة المهيكلة فوق التوجيه (Prompting): إن معاملة التحقق كعملية استرجاع مرشح متبوعة بمقارنة البيانات الوصفية تحقق دقة أعلى من التوجيه المباشر، خاصة بالنسبة للهلوسات "الطفيفة" حيث توجد الورقة ولكن البيانات الوصفية فاسدة.
الكشف الدقيق: نجح إطار العمل في التمييز بين المطابقات الدقيقة، والأخطاء الطفيفة في البيانات الوصفية، والتزييف الجوهري، وهو فارق دقيق غالبًا ما يُفقد في الكشف الثنائي "حقيقي مقابل مزيف".

يخلص المؤلفون إلى أن CITECHECK يوفر أساسًا لمسارات التحقق الأوسع للنصوص العلمية المولدة بالذكاء الاصطناعي، رغم إقرارهم بالقيود المتعلقة بالتركيز الحالي على الفيزياء والحاجة إلى عمل مستقبلي حول المراجع المولدة طبيعيًا بواسطة النماذج اللغوية الكبيرة والمواءمة على مستوى الادعاءات.