Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals
تقدم هذه الورقة البحثية InnerExpert، وهي طريقة مبتكرة للكشف عن الهلوسة على مستوى الرمز (per-token) تستفيد من الإشارات الداخلية الفريدة لبنيات خليط الخبراء (MoE) — مثل إنتروبيا الموجه (router entropy) وعدم توافق الخبراء (expert disagreement) — لتحقيق أداء فائق عبر مجموعات بيانات متعددة مع تطلب تمريرة أمامية واحدة فقط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة المحركات التي تقف وراء جيل جديد من الذكاء الاصطناعي، وهي قادرة على كتابة المقالات، وحل المشكلات، وإجراء محادثات تبدو بشرية بشكل لافت. ومع ذلك، يكمن وراء هذه الطلاقة خلل مستمر: فهذه الآلات تخترع أحيانًا حقائق بثقة تامة. وتحدث هذه الظاهرة، المعروفة باسم "الهلوسة"، عندما يولد النموذج محتوى يبدو معقولًا ولكنه كاذب تمامًا. وبينما تكون هذه الأخطاء غير ضارة في الدردشة العادية، إلا أنها تصبح خطيرة عندما يُستخدم النموذج لتقديم نصائح طبية، أو أبحاث قانونية، أو تقارير إخبارية. ويتمثل التحدي الجوهري للعلماء ليس فقط في رصد هذه الأكاذيب بعد وقوعها، بل في كشفها في اللحظة التي تحدث فيها، ومن الناحية المثالية، تحديد الكلمة الدقيقة التي يبدأ عندها الحق ينحلّ.
لسنوات، حاول الباحثون حل هذه المشكلة من خلال طلب تكرار الإجابة من النموذج عدة مرات، أو التحقق مما إذا كانت النسخ المختلفة من القصة تتفق مع بعضها البعض. هذه الأساليب فعالة، لكنها بطيئة ومكلفة، إذ تتطلب من الحاسوب القيام بالعمل نفسه عدة مرات لمجرد العثور على خطأ واحد. ويبحث نهج أحدث في داخل "دماغ" النموذج أثناء تفكيره، بحثًا عن علامات دقيقة لعدم اليقين في حساباته الداخلية. ومع ذلك، فإن معظم هذه الفحوصات الداخلية تقتصر على النماذج القياسية. أما نوع آخر من البنى الأكثر قوة، والذي يُسمى "خليط الخبراء" (Mixture-of-Experts)، فقد أصبح شائعًا مؤخرًا لأنه أسرع وأكثر كفاءة. يعمل هذا التصميم مثل فريق من المتخصصين، حيث يقرر مدير مركزي أي خبير محدد يجب استدعاؤه لكل كلمة يتم توليدها. وحتى الآن، تم تجاهل الإشارات الناتجة عن ديناميكية هذا الفريق إلى حد كبير لأغراض كشف الأكاذيب.
في دراسة جديدة، طور باحثون من البرتغال طريقة تسمى "InnerExpert" تضع إشارات الفريق الداخلي هذه للعمل أخيرًا. فبدلاً من مطالبة النموذج بتكرار نفسه أو الانتظار حتى نهاية الجملة للتحقق من الأخطاء، يقوم "InnerExpert" بمراقبة عملية التوجيه الداخلية للنموذج في الوقت الفلي. وبينما يولد النموذج استجابة، يقرر موجه صغير أي شبكة "خبراء" يجب أن تتعامل مع الكلمة الحالية. وقد وجد الباحثون أنه عندما يوشك النموذج على الهلوسة، يظهر هذا الموجه علامات ارتباك؛ فقد يختلف الخبراء فيما بينهم، أو قد يكافح الموجه لتحديد أي متخصص هو الأنسب للمهمة. ومن خلال تتبع لحظات التردد والخلاف هذه، جنبًا إلى جنب مع الإشارات القياسية حول كيفية تركيز النموذج لانتباهه، يستطيع "InnerExpert" تعيين درجة ثقة لكل كلمة أثناء إنشائها.
لقد درب الفريق نظامهم باستخدام نهج مؤتمت وذكي؛ حيث قاموا بتغذية النموذج بآلاف الأسئلة وجعلوا ذكاءً اصطناعيًا منفصلًا وعالي القدرة يعمل كحكم لتصنيف الإجابات بأنها إما حقيقية أو مختلقة. سمح هذا لـ "InnerExpert" بتعلم التعرف على الأنماط المحددة للإشارات الداخلية التي تسبق الهلوسة، دون الحاجة إلى أي إنسان يقرأ البيانات ويصححها يدويًا. وبمجرد تدريبه، يعمل النظام ككاشف خفيف الوزن يعمل جنبًا إلى جنب مع النموذج الرئيسي، حيث يتطلب تمريرة واحدة فقط من البيانات لإنتاج نتيجة، ولا يحتاج إلى إبطاء النموذج أو مطالبته بتوليد نص إضافي.
وعند اختباره على خمس مجموعات بيانات مختلفة ونوعين مختلفين من النماذج الكبيرة، أثبت "InnerExpert" فاعلية ملحوظة. فقد نجح في تحديد الإجابات المهلوسة بدقة تصل إلى 0.91 على مستوى الجملة و0.76 على مستوى الكلمة الفردية. وتمثل هذه الأرقام تحسنًا كبيرًا عن الأساليب الحالية، التي غالبًا ما تكافح لتحديد مكان بدء الكذبة بالضبط. كما تمكن النظام من التعميم بشكل جيد، حيث قدم أداءً قويًا حتى في الأسئلة المتعلقة بأحداث وقعت بعد تدريب النموذج الأصلي، وهو سيناريو شائع تزداد فيه الهلوسة. والأهم من ذلك، أنه حقق هذا المستوى العالي من الكشف مع إضافة قدر ضئيل جدًا من التكلفة الحسابية، مما يجعله عمليًا للاستخدام في العالم الحقيقي.
كما كشفت الدراسة أنه لا توجد إشارة واحدة من إشارات الفريق الداخلي للنموذج كافية للإمساك بجميع الأكاذب بمفردها. فبعض الإشارات كانت أفضل في اكتشاف الأخطاء في نوع معين من النماذج، بينما عملت إشارات أخرى بشكل أفضل في نوع آخر. وتجلت القوة الحقيقية لـ "InnerExpert" من خلال دمج كل هذه الإشارات المختلفة — ارتباك الموجه، واختلاف الخبراء، وأنماط الاستخدام — في درجة واحدة موحدة. سمح هذا الجمع للنظام برؤية صورة أوضح لثقة النموذج مما يمكن لأي مقياس منفرد توفيره. وقد أثبت الباحثون أنه من خلال الاستماع إلى "الدردشة الداخلية" لخبراء النموذج، استطاعوا اكتشاف عدم اليقين بدقة كان من المستحيل تحقيقها سابقًا دون إبطاء النظام.
يشير هذا العمل إلى أن الطريق نحو ذكاء اصطناعي أكثر موثوقية قد لا يتطلب بناء نماذج أكبر أو أنظمة تحقق أكثر تعقيدًا، بل قد يكمن في إعطاء اهتمام أكبر للإشارات التي تنتجها النماذج بالفعل ولكن يتم تجاهلها. فمن خلال تعلم قراءة العلامات الدقيقة للتردد في عملية صنع القرار الداخلية للنموذج، يمكننا بناء أنظمة تعرف متى تخمن ومتى تكون متأكدة. ويشير الباحثون إلى أنه رغم فعالية طريقتهم، إلا أنها ليست حلاً مثاليًا، وسيتعين على العمل المستقبلي استكشاف مدى قدرة هذه التقنيات على الانتقال إلى لغات مختلفة ومهام أكثر تنوعًا. ومع ذلك، توفر الدراسة حاليًا وسيلة واضحة وفعالة لكشف الهلوسة في اللحظة التي تحدث فيها، مما يقدم أداة عملية لجعل مخرجات الذكاء الاصطناعي أكثر موثوقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.