← أحدث الأبحاث
💻 computer science

Hallucination Span Detection with Input-Side Evidence Alignment

تقدم هذه الورقة مهمة جديدة وطريقة قائمة على المشفر للكشف عن الأجزاء الهلوسية في النصوص التي تولدها النماذج اللغوية الكبيرة، وذلك عبر الاستفادة من إمكانية التنبؤ بالرموز المخلصة من الأدلة المدخلة لتحديد الهلوسات ومواءمتها مع مصدرها في آن واحد.

المؤلفون الأصليون: Miyu Yamada, Yuki Arase

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Miyu Yamada, Yuki Arase

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لقد أحدثت النماذج اللغوية الكبيرة تحولاً في كيفية تفاعلنا مع الحواسيب، حيث تعمل كمحركات قوية يمكنها تلخيص الأخبار، والإجابة على الأسئلة المعقدة، وصياغة المستندات. تعمل هذه الأنظمة من خلال التنبؤ بالكلمة التالية في الجملة بناءً على الأنماط التي تعلمتها من كميات هائلة من النصوص. ومع ذلك، فإن عيباً مستمراً يقوض موثوقيتها: فهي تخترع الحقائق أحياناً. هذه الظاهرة، المعروفة باسم "الهلوسة"، تحدث عندما يولد النموذج معلومات تبدو منطقية ولكنها إما غير مدعومة بالمادة المصدرية أو تتعارض معها مباشرة. وبالنسبة للمستخدمين الذين يعتمدون على هذه الأدوات في المهام الحرجة، فإن التمييز بين الملخص المفيد والقصة المختلقة أمر صعب. ويكمن التحدي الجوهري ليس فقط في معرفة وجود خطأ ما، بل في تحديد الكلمات الخاطئة بدقة وإيجاد الجزء المحدد من النص الأصلي الذي يثبت خطأها. وبدون هذا المستوى الدقيق من التفاصيل، تظل عملية التحقق من صحة مستند طويل عملية مملة ويدوية.

لقد طور باحثون في معهد طوكيو للعلوم نهجاً جديداً لحل هذه المشكلة، حيث نقلوا التركيز من الحكم على نص كامل إلى فحص الكلمات الفردية. وبدلاً من مطالبة الكمبيوتر ببساطة بتصنيف فقرة كاملة على أنها صحيحة أو خاطئة، تعمل طريقتهم مثل عدسة مكبرة، حيث تمسح المخرجات المولدة كلمة بكلمة لترى ما إذا كان يمكن تتبعها وصولاً إلى المصدر. ويعمل الفريق بناءً على ملاحظة بسيطة ولكنها قوية: إذا كانت الكلمة في الملخص أمينة للنص الأصلي، فيجب أن يكون بمقدور الكمبيوتر التنبؤ بها باستخدام المادة المصدرية فقط كدليل. وعلى العكس من ذلك، إذا كانت الكلمة عبارة عن هلوسة، فسيكون من المستحيل التنبؤ بها من المصدر لأن المعلومات ببساطة غير موجودة هناك. ومن خلال تدريب نموذج لاختبار هذه القدرة على التنبؤ، ابتكر الباحثون نظاماً لا يكتفي فقط بتمييز الكلمات المختلقة، بل يسلط الضوء أيضاً على الدليل المحدد في المدخلات الذي يدعم المعلومات الصحيحة.

تبدأ العملية بتفكيك النص المولد إلى أجزاء ذات معنى، مثل العبارات أو الجمل، بدلاً من معاملته ككتلة واحدة. ثم يأخذ النظام كلمة من أحد هذه الأجزاء ويخفيها مؤقتاً، طالباً من النموذج تخمين ما يجب أن تكون عليه تلك الكلمة بناءً على النص المدخل الأصلي فقط. إذا استطاع النموذج تخمين الكلمة المخفية بثقة باستخدام المصدر، فإن النظام يحددها كمعلومة أمينة. أما إذا واجه النموذج صعوبة في التخمين، أو إذا كانت درجة الثقة منخفضة، فإن النظام يضع علامة على الكلمة كـ "هلوسة محتملة". ومن الأهمية بمكان أنه بما أن النموذج اضطر للنظر في النص المصدر لإجراء تخمينه، فإنه ينتج بشكل طبيعي رابطاً بين كلمة المخرجات والجزء المحدد من المدخلات الذي ساعده. وهذا يخلق خريطة للأدلة، توضح للمستخدم بالضبط أين وجد النموذج معلوماته، أو في حالة الخطأ، أين فشل في إيجاد أي دعم.

لاختبار هذه الفكرة، استخدم الباحثون مجموعة بيانات تحتوي على آلاف الأمثلة حيث حدد البشر بالفعل الأجزاء التي كانت غير صحيحة واقعياً في الإجابات المولدة. وقارنوا طريقتهم الجديدة بالتقنيات الحالية، بما في ذلك تلك التي تعتمد على نماذج ضخمة ومعقدة لقراءة النصوص والحكم عليها. وأظهرت النتائج أن نهجهم الأخف والأكثر تركيزاً كان بارعاً للغاية في العثور على الأخطاء. وبينما أخفقت الطرق الأخرى أحياناً في اكتشاف الأخطاء تماماً، نجح هذا النظام الجديد في تحديد الغالبية العظمى من الكلمات المهلوسة، وخاصة تلك المختلقة بالكامل. كما أثبت فعاليته في ربط الكلمات الصحيحة في الملخص بالجمل الصحيحة في المصدر، مما يوفر مساراً واضحاً من الأدلة يمكن للمستخدم اتباعه.

ومع ذلك، كشفت الدراسة أيضاً عن نقطة ضعف محددة في قدرة النظام على اكتشاف أنواع معينة من الأخطاء. فقد واجهت الطريقة صعوبة عندما كانت الهلوسة عبارة عن تناقض مباشر، مثل تغيير رقم من "أربعة" إلى "عشرين" بطريقة لا تزال تبدو مشابهة للأصل من الناحية القواعدية والسياقية. في هذه الحالات، وجد النموذج أن السياق المحيط متشابه جداً لدرجة أنه ظل واثقاً في تنبؤه، وفشل في إدراك التغيير الطفيف في المعنى. وأشار الباحثون إلى أنه بينما يتفوق النظام في رصد المعلومات الغائبة تماماً عن المصدر، فإنه يحتاج إلى مزيد من الصقل لالتقاط هذه الأخطاء الخداعية والأكثر تناقضاً. ورغم هذا القصور، فإن هذا العمل يمثل خطوة كبيرة للأمام في جعل الذكاء الاصطناه أكثر شفافية، حيث يقدم وسيلة عملية للتحقق من صحة المحتوى الذي تولده الآلة من خلال ربط كل ادعاء مباشرة بمصدره.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →