DeMTS: Denoising Trajectories as Multivariate Time Series for Hallucination Detection in Diffusion Language Models
تقترح الورقة البحثية DeMTS، وهو إطار عمل جديد للكشف عن الهلوسة في النماذج اللغوية الكبيرة القائمة على الانتشار (Diffusion Large Language Models)، والذي يعامل مسارات إزالة الضجيج (denoising trajectories) كسلاسل زمنية متعددة المتغيرات للحفاظ على المعلومات الهيكلية الكاملة لخطوات الرموز (token-step structural information)، مما يتفوق على الأساليب الحالية من خلال التقاط الأنماط المعقدة بفعالية مثل التقارب غير المتسق وانتشار الخطأ عبر الرموز (cross-token fault propagation).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهر جيل جديد من الآلات المولدة للنصوص، مبتعداً عن الطريقة التقليدية المتمثلة في كتابة كلمة تلو الأخرى في خط مستقيم وصارم. بدلاً من ذلك، تقوم هذه النماذج، المعروفة باسم نماذج اللغات الضخمة الانتشارية (diffusion large language models)، بتوليد النصوص من خلال عملية صقل متكررة. تخيل صورة ضبابية تكتسب الوضوح ببطء؛ وبالمثل، تبدأ هذه النماذج بتسلسل مشوش ومضطرب من الكلمات، ثم تقوم بتنقيته تدريجياً، خطوة بخطوة، حتى تظهر جملة متماسكة. وبينما يوفر هذا النهج مزايا فريدة في السرعة والمرونة، فإنه يشترك في عيب جوهري مع أسلافه: الميل إلى "الهلوسة". لا تتعلق هذه الحالة بحلم الآلة، بل هي فشل في التحقق من الحقائق، حيث تنتج الآلة جملًا بليغة وتبدو واثقة ولكنها تحتوي على معلومات خاطئة تماماً أو غير مدعومة. ويعد اكتشاف هذه الأخطاء أمراً صعباً لأن المخرج النهائي غالباً ما يبدو مثالياً، مما يخفي الأخطاء التي حدثت خلال المراحل الوسطى الفوضوية من عملية الإنشاء.
لطالما حاول الباحثون رصد هذه الأخطاء من خلال النظر في الإجابة النهائية أو عبر فحص مدى عدم يقين النموذج في لحظات محددة. ومع ذلك، تشير دراسة جديدة إلى أن هذه الأساليب غالباً ما تغفل عن الأدلة الأكثر دلالة. تكمن المشكلة في أن أدوات الكشف الحالية تميل إلى تسطيح التاريخ المعقد لكيفية إنشاء النموذج للنص؛ فهي إما تنظر فقط إلى الجدول الزمني لعملية الإنشاء أو فقط إلى الكلمات الفردية، مما يؤدي فعلياً إلى التخلص من الخريطة الغنية ثنائية الأبعاد لكيفية تطور عدم اليقين عبر كل من الزمن والكلمات المحددة التي يتم تشكيلها. ومن خلال ضغط هذه البيانات، تفقد هذه الأدوات القدرة على رؤية كيف يمكن لخطأ في جزء واحد من الجملة أن يمتد ليفسد بقية الجملة، أو كيف قد تفشل كلمات مختلفة في الاستقرار على حقيقة واثقة في الوقت ذاته.
ولحل هذه المعضلة، طور فريق من العلماء إطار عمل جديداً يسمى DeMTS، والذي يعامل عملية إنشاء الجملة بأكملها كإشارة معقدة متعددة الطبقات بدلاً من مجرد قائمة بسيطة من الخطوات. وبدلاً من إجبار الإشارات الداخلية للنموذج على اتخاذ خط واحد، قام الباحثون بتنظيم البيانات للحفاظ على العلاقة بين كل كلمة وكل لحظة من لحظات عملية الإنشاء. وقد أدركوا أن المواقع الخام للكلمات في الجملة ليست مستقرة بما يكفي لتتبعها بشكل موثوق، حيث يمكن أن يحمل الموقع نفسه معانٍ مختلفة في جمل مختلفة. ولإصلاح ذلك، أنشأوا نظاماً يجمع إشارات النموذج المشوشة والمتغيرة في فئات ثابتة ومتسقة. فكر في الأمر كفرز كومة فوضوية من قطع الأحجية المختلطة إلى صناديق متميزة ومصنفة بناءً على شكلها ولونها، بدلاً من محاولة تتبعها بترتيبها الأصلي المربك.
بمج-ب ව صياغة هذه المجموعات المستقرة، طبق الباحثون تقنية نمذجة ديناميكية لمراقبة كيفية تفاعل هذه المجموعات وتغيرها بمرور الوقت. ووجدوا أن الهلوسات تترك بصمة مميزة في هذه العملية. ففي الاستجابة الصادقة، تميل أجزاء الجملة المختلفة إلى الاستقرار في حالة من الثقة معاً. أما في الاستجابة المهلوسة، فغالباً ما يظهر النموذج علامات على "التقارب غير المتسق"، حيث تصبح بعض الكلمات واثقة للغاية بينما تظل كلمات أخرى مهتزة وغير مستقرة. علاوة على ذلك، لاحظ الباحثون "انتشار الخطأ عبر الكلمات المتجاورة" (cross-token fault propagation)، حيث تتسبب كلمة غير مستقرة أو خاطئة في جعل الكلمات المجاورة تنحرف بعيداً عن الحقيقة، مما يخلق سلسلة من الأخطاء التي تنتشر عبر الجملة. ومن خلال تتبع هذه الأنماط المحددة من عدم الاستقرار والتفاعل، يمكن للنظام الجديد رصد الكذبة حتى قبل أن تُنطق بالكامل.
اختبر الباحثون هذا النهج على نموذجين مختلفين من نماذج اللغات الضخمة عبر ثلاث مجموعات بيانات متميزة للإجابة على الأسئلة، تتراوح من المعرفة العامة إلى مهام الاستدلال المعقدة. وأظهرت النتائج أن هذه الطريقة الجديدة تفوقت بشكل كبير على التقنيات الحالية، حيث نجحت في تحديد المعلومات الخاطئة بدقة أعلى بكثير. والأهم من ذلك، ظل النظام فعالاً وقوياً، مما أثبت قدرته على تعميم نتائج أبحاثه على أنواع جديدة من الأسئلة دون الحاجة إلى إعادة تدريبه لكل موضوع على حدة. وتوضح الدراسة أنه من خلال احترام البنية الكاملة ثنائية الأبعاد لكيفية تفكير هذه النماذج — أي الحفاظ على الجدول الزمني وعلاقات الكلمات معاً — يمكننا بناء ضمانات أفضل بكثير ضد الأخطاء الخفية والواثقة التي تؤرق الذكاء الاصطناعي الحديث.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.