MMD-Flagger: Leveraging Maximum Mean Discrepancy to Detect Hallucinations
تقدم الورقة البحثية MMD-Flagger، وهي طريقة للكشف عن الهلوسة في وقت الاختبار للنماذج اللغوية الكبيرة تستفيد من تباين المتوسط الأقصى (Maximum Mean Discrepancy) لتحليل استقرار المخرجات عبر درجات حرارة فك التشفير المتغيرة، مما يتيح تحديد الأخطاء الواقعية بشكل موثوق دون الحاجة إلى تسميات توضيحية للحقيقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، أصبحت النماذج اللغوية الكبيرة أدوات قوية قادرة على توليد نصوص تشبه النصوص البشرية، والإجابة على أسئلة معقدة، وحتى المساعدة في اتخاذ القرارات المستقلة. ومع ذلك، تمتلك هذه الأنظمة عيباً مستمراً: فهي تنتج أحياناً عبارات تبدو سلسة وواثقة ولكنها غير صحيحة واقعياً بالكامل. هذه الظاهرة، المعروفة باسم "الهلوسة"، تشكل خطراً جسيماً على السلامة، خاصة عندما يتم نشر هذه النماذج في مجالات حرجة مثل القانون أو الطب أو القيادة الذاتية، حيث يمكن لخطوة خاطئة واحدة أن تؤدي إلى عواقب كارثية. ويتمثل التحدي الجوهري للباحثين في كيفية اكتشاف هذه الأخطاء في الوقت الفعلي دون الوصول إلى مفتاح إجابة "المعيار الذهبي". وبما أن هذه النماذج تعمل دون تحقق خارجي أثناء الاستخدام المباشر، يجب على العلماء إيجاد طريقة للحكم على موثوقية الإجابة بناءً على سلوك النموذج نفسه فقط. ويكمكم المفتاح في ذلك في فهم كيفية تفاعل النموذج مع التغييرات الطفيفة في إعداداته الداخلية؛ فإذا كان النموذج واثقاً حقاً ومرتكزاً على الحقائق، يجب أن تظل إجاباته ثابتة حتى عندما تتغير ظروف توليدها قليلاً. أما إذا كانت الإجابة عبارة عن اختلاق، فإن مخرجات النموذج تميل إلى أن تصبح غير مستقرة ومضطربة تحت تلك التغييرات نفسها.
وبناءً على هذا المبدأ، طور فريق من الباحثين من فرنسا وألمانيا طريقة جديدة تسمى MMD-Flagger للإمساك بهذه الهلوسات. لا يعتمد نهجهم على التحقق من الحقائق مقابل قاعدة بيانات أو تدريب نموذج جديد لرصد الأخطاء، بل يعمل كـ "مراقب استقرار" يراقب كيف يتغير مخرج النموذج اللغوي عند تعديل "درجة الحرارة" في عملية توليده. وفي سياق هذه النماذج، "درجة الحرارة" هي إعداد يتحكم في مقدار العشوائية التي يتم إدخالها عند اختيار النموذج للكلمة التالية. تجعل درجة الحرارة المنخفضة النموذج شديد التوقع والتكرار، بينما تسمح درجة الحرارة المرتفلة باستجابات أكثر إبداعاً وتنوعاً. وقد افترض الباحثون أن الإجابة الصادقة ستظل مستقرة نسبياً عبر هذه الإعدادات المختلفة، في حين أن الإجابة المهلوسة ستتذبذب وتتغير في شكلها بشكل دراماتيكي مع تغير درجة الحرارة.
ولاختبار هذه الفكرة، أنشأ الباحثون نظاماً يولد نسخاً متعددة من الإجابة لنفس السؤال، وفي كل مرة باستخدام إعداد مختلف لدرجة الحرارة. ثم قارنوا الإجابة الأصلية مقابل هذه النسخ المتنوعة باستخدام أداة إحصائية تسمى "الفرق المتوسط الأقصى" (Maximum Mean Discrepancy). تقيس هذه الأداة مدى اختلاف مجموعتين من البيانات عن بعضهما البعض. ومن خلال رسم هذه الاختلافات عبر نطاق من درجات الحرارة، ينشئ النظام مساراً بصرياً، أو "مساراً حركياً" (trajectory). ووجد الباحثون أنه عندما يكون النموذج صادقاً، يكون هذا المسار سلساً ومتوقعاً، وغالباً ما يرتفع بثبات مع زيادة العشوائية. ومع ذلك، عندما يهلوس النموذج، يتخذ المسار شكلاً مميزاً على هيئة حرف U حاد. ويعمل هذا الانخفاض في منتصف المنحنى كإشارة واضة على أن النموذج يكافح للحفاظ على معنى متسق، مما يحدد بفعالية الاستجابة بأنها غير موثوقة.
قيم الفريق هذه الطريقة باستخدام نماذج لغوية حديثة، بما في ذلك عائلات Llama-3 وGemma-3، على مجموعة بيانات اختبار مصممة لاختبار الدقة الواقعية عبر لغات متعددة. وقارنوا طريقتهم الجديدة بعدة تقنيات موجودة تعتمد على تشابه النصوص أو الحالات الداخلية للنموذج. وأظهرت النتائج أن فعالية اكتشاف الهلوسة تعتمد بشكل كبير على بنية النموذج المحددة؛ فبينما حقق MMD-Flagger (Ensemble) أفضل أداء في Llama-3.1-8B وGemma-3-4B، أدت مقدرات أخرى أداءً أفضل في Llama-3.2-3B. وقد أثبت النظام مرونة كافية للعمل مع أنواع مختلفة من البيانات المستخرجة من النموذج، مثل المعنى الخام للكلمات أو الطبقات الخفية للشبكة العصبية. وفي حالة اختبار محددة تتعلق بسؤال حول قطة في برنامج تلفزيوني، نجح النظام في تحديد إجابة مهلوسة فاتتها الطرق الأخرى، حيث رصد اللحظة التي بدأ فيها مخرج النموذج في الانحراف نحو الهراء مع تغير درجة الحرارة. وعلى العكس من ذلك، في دراسة حالة مختلفة تتعلق بمجموعة موسيقية من غلاسكو، كشف التحليل عن سيناريو فشل فيه MMD-Flagger في اكتشاف هلوسة حددها منهج آخر (KLE) بشكل صحيح، مما يسلط الض الضوء على أن مسار مخرجات النموذج يمكن أن يظل أحياناً سلساً بشكل مخادع حتى عندما يكون المحتوى غير صحيح.
وعلى الرغم من هذه النتائج الواعدة، يقر الباحثون بأن الطريقة لها قيود. نظرًا لأنها تتطلب توليد العديد من النسخ من الإجابة لبناء ملف تعريف استقرار موثوق، فقد تكون مكلفة حاسوبياً وأبطأ من مجرد طلب إجابة واحدة من النموذج. وهذا يجعلها أقل مثالية للتطبيقات التي تتطلب استجابات فورية، رغم أنها تظل أداة قوية للأنظمة ذات الأهمية القصوى للسلامة حيث تكون الدقة هي الأهم. وتشير الدراسة إلى أنه من خلال مراقبة استقرار مخرجات النموذج عبر ظروف مختلفة، يمكننا بناء طبقة أكثر موثوقية من الرقابة للذكاء الاصطناعي. يقدم هذا النهج طريقة لمراجعة موثوقية الوكلاء المستقلين دون الحاجة لمعرفة الإجابة الصحيحة مسبقاً، مما يوفر خطوة حاسمة نحو أنظمة ذكاء اصطناٍ أكثر أماناً واعتمادية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.