A Self-Healing Architecture for Mitigating Bibliographic Hallucinations in LLM-Generated Academic Texts
تقدم هذه الورقة بنية مبتكرة ذاتية الإصلاح تكتشف وتخفف ذاتياً من الهلوسات الببليوغرافية في النصوص الأكاديمية المولدة بواسطة النماذج اللغوية الكبيرة عبر الجمع بين التحقق متعدد الطبقات وعملية تنقية فعالة قائمة على الجمل، محققة دقة تحديد عالية (0.96) ومقللة التكاليف الحسابية بشكل كبير مع ضمان النزاهة العلمية.
المؤلفون الأصليون:Davide Tosi, Edoardo Crescenzo Mauriello, Andrea Utzeri
في عالم الكتابة المعاصر، أصبحت الحواسيب شركاء بارعين بشكل ملحوظ؛ إذ يمكنها صياغة المقالات، وتلخيص التقارير المعقدة، ومحاكاة نبرة الباحث المتمرس بسهولة مذهلة. هذه الأدوات، المعروفة باسم نماذج اللغات الكبيرة، تعمل من خلال التنبؤ بالكلمة التالية في الجملة بناءً على الأنماط التي تعلمتها من كميات هائلة من النصوص. ومع ذلك، فإن هذه القوة تنطوي على نقطة ضعف خفية؛ فبسبب إعطاء هذه الأنظمة الأولوية لتدفق اللغة على الحقائق الصارمة للعالم الواقعي، فإنها قد تخترع أحياناً تفاصيل تبدو منطقية تماماً ولكنها كاذبة بالكامل. وفي مجال الكتابة الأكاديمية، تظهر هذه المشكلة بشكل أكثر خطورة في الحواشي السفلية وقوائم المراجع. فقد تولد الحواسب استشهاداً يبدو صحيحاً، مكتملاً بعنوان ومؤلف ورمز رقمي فريد يسمى (DOI)، ليجد القارئ البشري لاحقاً أن الورقة لم توجد قط، أو أن المؤلف لم يكتبها، أو أن التاريخ مستحيل. هذه الظاهرة، المعروفة باسم "الهلوسة"، تهدد نزاهة البحث العلمي، حيث صدرت بالفعل عقوبات قانونية وأكاديمية بحق مهنيين قدموا وثائق تحتوي على مثل هذه المراجع المختلقة.
لقد طور فريق من الباحثين في جامعة "إنسبريا" في إيطاليا نظاماً جديداً مصمماً لكشف هذه الأخطاء وإصلاحها تلقائياً، ويطلقون على ابتكارهم اسم بنية "الترميم الذاتي" (self-healing architecture). وبدلاً من محاولة إجبار الحاسوب على أن يكون مثالياً منذ البداية، وهو أمر ثبت صعوبته، يعمل نظامهم بمثابة محرر صارم يتدخل بعد كتابة النص. وهو يعمل من خلال عملية مكونة من أربع خطوات تحاكي المراجعة البشرية الدقيقة. أولاً، يقوم النظام بمسح المستند بالكامل للعثور على كل مرجع، بغض النظر عن طريقة تنسيقه. بعد ذلك، يعمل كمدقق للحقائق، حيث يرسل كل استشهاد إلى قواعد بيانات رسمية وموثوقة تضم سجلات المنشورات العلمية الحقيقية ليرى ما إذا كانت تتطابق معها. وإذا وُجد المرجع مزيفاً أو غير صحيح، يقوم النظام بإزالته أو استبداله بالتفاصيل الصحيحة. وأخيراً، يعيد النظام كتابة الجمل التي أُجريت عليها التغييرات لضمان بقاء النص ينساب بسلاسة ومن الناحية النحوية. يسمح هذا النهج للحاسوب بتوليد المسودة الأولية بينما تضمن طبقة أخرى قائمة على الأدلة جودة المنتج النهائي وموثوقيته.
ولاختبار مدى نجاح هذه الطريقة، أنشأ الباحثون مجموعة كبيرة من ألف استشهاد؛ بعضها حقيقي، والبعض الآخر تم تعديله عمداً لمحاكاة أنواع الأخطاء التي ترتكبها الحواسيب، مثل اختراع رمز رقمي أو تغيير سنة النشر. وقد مرروا هذه الاستشهادات عبر أربعة نماذج حاسوبية رائدة لمعرفة مدى قدرة نظام الترميم الذاتي على كشف الزيف. وكانت النتائج مشجعة؛ فقد نجح النظام في تحديد الغالبية العظمى من المراجع المختلقة، محققاً معدل دقة يتجاوز 96 بالمئة. وكان فعالاً بشكل خاص في كشف الاستشهادات التي تحتوي على رموز رقمية غير موجودة في أي قاعدة بيانات حقيقية. وفي اختبار أساسي باستخدام أحد النماذج الحاسوبية دون شبكة الأمان هذه، تبين أن ما يقرب من 40 بالمئة من الرموز الرقمية المولدة كانت مزيفة، مما يعني أن نصف المراجع تقريباً كانت ستؤدي بالقراء إلى طرق مسدودة. ومع وجود نظام الترميم الذاتي، تم كشف هذه الأخطاء وتصحيحها.
اكتشف الباحثون أيضاً أن الطريقة التي يعيد بها النظام كتابة النص تؤثر بشكل كبير على الكفاءة. في البداية، فكروا في جعل الحاسوب يعيد كتابة الفقرة بأكملة في كل مرة يجد فيها خطأً، إلا أنهم وجدوا أن هذه العملية بطيئة ومكلفة، وتستهلك قدراً كبيراً من القدرة الحوسبية. وبدلاً من ذلك، قاموا بتحسين النظام ليركز فقط على الجمل المحددة التي تحتوي على الأخطاء. ومن خلال عزل الأجزاء المعيبة فقط وإصلاحها، قلل النظام الوقت المستغرق لمعالجة النص بنسبة تقارب 68 بالمئة، وخفض تكلفة الموارد الحوسبية بنفس القدر تقريباً. وهذا يعني أنه يمكن استخدام هذه الأداة في المستندات الكبيرة دون أن تصبح بطيئة جداً أو مكلفة لدرجة تجعلها غير عملية.
تقر الدراسة بأن النظام ليس مثالياً ويعتمد على قواعد البيانات التي يفحصها؛ فإذا كانت هناك ورقة بحثية حقيقية ولكن لم يتم إدخالها في تلك السجلات المحددة، فقد يصنفها النظام خطأً على أنها مزيفة. علاوة على ذلك، استخدمت الاختبارات استشهادات تم إفسادها عمداً من قبل الباحثين لمحاكاة الأخطاء، بدلاً من استخدام نصوص مولدة تلقائياً من قبل الحواسيب فقط. وهذا يعني أن معدلات النجاح العالية الملحوظة هي مؤشر قوي على إمكانات النظام، لكن الأداء في العالم الحقيقي قد يختلف قليلاً. ورغم هذه القيود، يوضح هذا العمل أن إضافة طبقة خارجية من التحقق يمكن أن يحسن بشكل كبير من موثوقية الكتابة الأكاديمية المولدة آلياً. ومن خلال الجمع بين سرعة الذكاء الاصطناعي والقواعد الصارمة للتحقق من الحقائق، أنشأ الباحثون أداة تساعد في ضمان بقاء السجل الأكادى دقيقاً، حتى عندما تأتي المسودة الأولى من آلة.
ملخص تقني: بنية ذاتية الإصلاح للحد من الهلوسات الببليوجرافية في النصوص الأكاديمية المولدة بواسطة النماذج اللغوية الكبيرة (LLMs)
بيان المشكلة أصبحت النماذج اللغوية الكبيرة (LLMs) جزءًا لا يتجز de في الكتابة الأكاديمية، ومع ذلك فهي غالبًا ما تولد "هلوسات ببليوجرافية" — وهي استشهادات تبدو سليمة من الناحية الهيكلية ولكنها تشير إلى معرفات كائنات رقمية (DOIs) غير موجودة، أو تنسب التأليف بشكل خاطئ، أو تفبرك بيانات النشر الوصفية. تشير الأدبيات الحالية إلى أن معدلات الهلوسة في المراجع المولدة بواسطة النماذج اللغوية الكبيرة يمكن أن تتجاوز 25%، حيث تنتج بعض النماذج أكثر من 90% من الاستشهادات المفبركة. وبخلاف أنظمة التوليد المعزز بالاسترجاع (RAG) التي تربط المخرجات بقواعد بيانات خارجية، تقوم النماذج اللغوية الكبيرة القياسية بتوليد المراجع بناءً على احتمالات الأنماط اللغوية، مما يفتقر إلى آليات داخلية للمقارنة المرجعية مع الفهارس الموثوقة مثل CrossRef أو OpenAlex. وتعتمد الحلول الحالية غالبًا على التحقق البشري أو مجرد وضع علامات على الأخطاء دون تصحيحها، مما يترك فجوة في مسارات الإصلاح الذاتي المستقلة لما بعد التوليد.
المنهجية: بنية MPAR يقترح المؤلفون "النموذج اللغوي الكبير ذاتي الشفاء" (Self-healing LLM)، وهو بنية برمجية نمطية لمعالجة ما بعد التوليد، مصممة لاكتشاف والتحقق من وتصحيح الهلوسات الببليوجرافية بشكل مستقل عن الأوزان الداخلية للنموذج المولد. يعمل النظام عبر مسار مكون من أربع مراحل: المراقبة-التخطيط-التنفيذ-المراجعة (MPAR):
المراقبة (الاستخراج): بدلاً من الاعتماد على أنماط التعبيرات النمطية (regex) الجامدة، تستفيد هذه الوحدة من الاستدلال اللغوي للنموذج اللغوي الكبير لتحديد جميع الأجزاء الببليوجرافية (معرفات DOI، مراجع المؤلف والسنة، إلخ) داخل النص. وهي تفرض تنسيق مخرجات JSON مقيد لاستخراج قائمة مرشحة للاستشهادات موحدة، بغض النظر عن دقتها الواقعية.
التخطيط (التحقق): تقوم هذه المرحلة بربط المرشحين المستخرجين بالسجلات الموثوقة، وبشكل أساسي CrossRef و OpenAlex.
بالنسبة لـ DOIs، تقوم بعملية تحقق هرمية: التحقق مما إذا كان الـ DOI يؤدي إلى سجل، ثم مقارنة البيانات الوصفية (المؤلفون، العنوان، السنة) مع السجل القانوني باستخدام المطابقة الضبابية والتداخل النسبي.
تُصنف الاستشهادات التي تفتقر إلى DOIs أو تحتوي على بيانات وصفية غير كاملة على أنها "غير قابلة للتحقق".
يتم تطبيق عتبة تشابه عنوان محافظة (0.97) لضمان مستويات عالية من الثقة في التحقق.
التنفيذ (التصحيح): بناءً على حالة التحقق، تطبق هذه الوحدة تحويلات حتمية:
صحيح: استبدال الاستشهادات المشوشة/غير الكاملة بنسخ موحدة ومكتملة البيانات الوصفية منسقة وفقًا للأنماط القياسية (مثل APA).
غير صحيح: إزالة المدخلات المفبركة تمامًا.
غير قابل للتحقق: إضافة علامة [UNVERIFIABLE] للحفاظ على استمرارية الخطاب مع الإشارة بشفافية إلى نقص البيانات الوصفية.
المراجعة (التحسين): تعمل المرحلة النهائية على استعادة التماسك اللغوي. فهي تعزل فقط الجمل التي تحتوي على نائبات (مثل [[OMIT]]) أو علامات وتعيد كتابتها باستخدام النموذج اللغوي الكبير لإزالة الآثار واستعادة التدفق النحوي. ومن الأهمية بمكان أن هذه الوحدة تستخدم استراتيجية تحسين قائمة على الجملة بدلاً من إعادة معالجة النص بالكامل لتحسين الكفاءة الحسابية.
المساهمات الرئيسية
مسار مستقل: أول إطار عمل مقترح يقدم مسارًا كاملاً وشاملًا لعمليات اكتشاف والتحقق من وتصحيح المراجع الببليوجرافية بعد التوليد دون تدخل بشري.
تصميم نمطي: تفصل بنية MPAR بين الاستخراج والتحقق والإصلاح، مما يسمح للنظام بالعمل كـ "طبقة شفاء ذاتي" فوق أي نموذج خلفي للنماذج اللغبية الكبيرة.
تحسين الكفاءة: تقديم استراتيجية تحسين على مستوى الجملة تستهدف فقط الأجزاء المعدلة من النص، مما يقلل بشكل كبير من استهلاك الرموز (tokens) وزمن الاستجابة مقارنة بإعادة معالجة النص الكامل.
التقييم الشامل: التقييم عبر أربعة نماذج خلفية متنوعة (Anthropic, DeepSeek, Google, OpenAI) باستخدام مجموعة بيانات حقائقية مكونة من 1,000 استشهاد، بما في ذلك استشهادات فاسدة اصطناعيًا لمحاكاة أنواع محددة من الهلوسة.
النتائج التجريبية تم تقييم النظام على مجموعة بيانات تضم 1,000 استشهاد تغطي أربعة فئات من الاضطرابات: مراجع صحيحة، بيانات DOI وصفية غير صحيحة، استشهادات مفبركة/غير محددة، ومعرفات DOI غير موجودة.
الأداء المرجعي: كشف اختبار مرجعي باستخدام gpt-4o-mini أن 40% من الـ DOIs المولدة كانت غير صالحة (غير موجودة)، مما يؤكد انتشار المشكلة.
دقة التحقق: حقق مسار الشفاء الذاتي متوسط دقة تحديد بلغ 0.96 ودرجة F1 بلغت 0.93 عبر النماذج الأربعة المختبرة.
حققت ثلاثة نماذج (claude-haiku-4-5, gemini-2.5-flash, deepseek-v4-flash) درجات F1 تتراوح بين 0.936 و 0.948 مع دقة تتجاوز 96%.
أظهر gpt-4o-mini أداءً أقل قليلاً (F1: 0.889، Recall: 0.849) ولكنه حافظ على تحكم قوي في الإيجابيات الكاذبة.
الكفاءة الحسابية: قللت استراتيجية التحسين القائمة على الجملة إجمالي استخدام الرموز بنسبة 67.4%، والتكلفة بنسبة 68.9%، وزمن الاستجابة بنسبة 67.8% مقارنة بتحسين النص الكامل، دون تدهور في جودة المخرجات.
الأهمية والادعاءات يزعم البحث أن "النموذج اللغوي الكبير ذاتي الشفاء" يوفر حلاً قابلاً للتوسع، وشفافاً، وقوياً لتعزيز موثوقية المحتوى الأكاديمي المولد آلياً. ومن خلال دمج التأسيس الواقعي الخارجي (CrossRef/OpenAlex) مع الإصلاح المستهدف، تعالج البنية "فخ المصداقية" حيث تخفي النثر المتماسك التدهور الواقعي. ويؤكد المؤلفون أن هذا النهج لا يستبدل النموذج المولد، بل يعمل كصمام أمان ضروري لما بعد المعالجة، مما يضمن احتفاظ النصوص الأكاديمية المنتجة بواسطة الذكاء الاصطناعي بسلامتها الواقعية فيما يتعلق بالاستشهادات. وتساهم هذه الدراسة في تطوير أدوات كتابة أكاديمية أكثر موثوقية مدعومة بالذكاء الاصطناعي من خلال تقديم آلية للتخفيف ذاتياً من خطر الهلوسات الببليوجرافية المحددة.
الاعتراف بالقصور يشير المؤلفون إلى أن فعالية النظام محدودة بمدى تغطية CrossRef و OpenAlex (وهي أضعف بالنسبة للكتب، والمؤلفات غير الإنجليزية، والمسودات الأولية/preprints). علاوة على ذلك، يعتمد الاختبار على استشهادات فاسدة اصطناعياً بدلاً من الهلوسات العضوية البحتة، مما يعني أن أرقام الدقة المسجلة يجب اعتبارها تقديراً للحد الأعلى. كما يستبعد التقييم الحالي المقارنات مع أنظمة RAG المتكاملة ولم يتم اختباره ضد أساليب الاستشهاد غير التقليدية أو العدائية.