SIRIN: A Unified Toolkit for Detecting Contextual Hallucinations in Retrieval-Augmented and Memory-Grounded LLM Systems
تُعد SIRIN مجموعة أدوات موحدة وواجهة ويب تفاعلية تدمج نماذج كشف متعددة لتحديد الهلوسة السياقية وتقييم قابلية الإجابة على الاستعلام في أنظمة النماذج اللغوية الكبيرة المعتمدة على الاسترجاع، والوكيلة، والمستندة إلى الذاكرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث مع روبوت فائق الذكاء والسرعة، قد قرأ كل كتاب تقريبًا في المكتبة. تطرح عليه سؤالاً، فيجيبك فوراً بقواعد لغوية سليمة ونبرة واثقة. لكن هنا تكمن المشكلة؛ فأحياناً يقوم هذا الروبوت بتأليف أشياء من خياله. قد يخبرك بأن حدثاً تاريخياً وقع في التاريخ الخطأ، أو أن شخصية في قصة فعلت شيئاً لم تفعله أبداً. يُطلق على هذا اسم "الهلوسة". الروبوت لا يكذب عليك عن قصد، بل هو بارع جداً في جعل الأمور تبدو منطقية لدرجة أنه ينسى التحقق من حقائقها.
في عالم الذكاء الاصطناعي، هناك طريقتان رئيسيتان نحاول من خلالهما منع حدوث ذلك. إحدى الطرق هي تزويد الروبوت بمجموعة محددة من الملاحظات (تسمى "السياق" أو "الدليل") وإخباره: "أجب باستخدام هذه الملاحظات فقط". هذا يشبه إعطاء طالب ورقة مرجعية أثناء الاختبار. الطريقة الأخرى هي بناء "كاشف للحقيقة" يمكنه شم رائحة انحراف الروبوت عن تلك الملاحظات. لفترة طويلة، كان بناء كواشف الحقيقة هذه أمراً فوضوياً؛ فبعض الكواشف لا تعمل إلا إذا استطعت التلصص داخل عقل الروبوت (كوده الداخلي)، بينما يعمل بعضها الآخر فقط إذا استطعت قراءة إجابته النهائية. وبعضها يتحقق مما إذا كان الروبوت واثقاً، بينما يعمل البعض الآخر كمعلم صارم يصحح المقال. ولأن هذه الأدوات بُنيت بطرق مختلفة تماماً، فقد كان من الصعب مقارنتها أو استخدامها معاً لإبقاء ذكائنا الاصطناعي صادقاً.
هنا يأيد SIRIN، وهي مجموعة أدوات جديدة ابتكرها باحثون في مختبر Sber AI Lab، تعمل كمترجم عالمي وسكين سويسري متعدد الاستخدامات للإمساك بأكاذيب الذكاء الاصطناعي. فكر في SIRIN كـ "برج مراقبة للتحكم في الهلوسة". بدلاً من إجبارك على الاختيار بين أنواع مختلفة من كواشف الحقيقة، يجمع SIRIN كل هذه الأنواع تحت سقف واحد. إنه يوحد ثلاث طرق مختلفة تماماً للتحقق من الذكاء الاصطناعي:
- "مسح الدماغ" (التنقيب - Probing): ينظر داخل عقل الروبوت أثناء تفكيره ليرى ما إذا كان يتردد أو يشعر بالارتباك، حتى قبل أن يتكلم.
- "المعلم الصارم" (القاضي - Judge): يستخدم ذكاءً اصطناعياً ثانياً ومستقلاً لقراءة الإجابة والملاحظات جنباً إلى جنب ليرى مدى تطابقهما.
- "مقياس الثقة" (عدم اليقين - Uncertainty): يقيس مدى اهتزاز الروبوت بشأن إجابته، مثل طالب متوتر ليس متأكداً مما إذا كان قد درس بما يكفي.
لا يتوقف SIRin عند مجرد كشف الأكاذيب بعد أن يتحدث الروبوت، بل يتحقق أيضاً قبل أن يبدأ الروبوت في الكتابة ليرى ما إذا كانت الملاحظات التي لديه كافية للإجابة على السؤال أصلاً. إذا كانت الملاحظات ناقصة، يقول SIRIN: "توقف! لا يمكنك الإجابة على هذا بعد"، مما يمنع الروبوت من التخمين.
وجد الباحثون أنه من خلال الجمع بين هذه الأساليب، يمكنهم بناء شبكة أمان أقوى. وعندما اختبروا SIRIN في مهام متنوعة، كانت طريقة "المعلم الصارم" (باستخدام قاضٍ ذكاء اصطناعي مُدرب) هي الأكثر دقة في رصد الأكاذيب، خاصة عندما كان لديهم الكثير من الأمثلة للتعلم منها. ومع ذلك، كانت طريقة "مسح الدماغ" جيدة بشكل مفاجئ في كشف الأخطاء حتى عندما لم يكن لديهم الكثير من الأمثلة للدراسة، مما يجعلها خياراً خفيفاً وفعالاً.
ولعل الاكتشاف الأكثر إثارة هو كيف يعمل SIRIN كـ "حارس بوابة" لأنظمة الذاكرة طويلة المدى. تخيل عميل ذكاء اصطناعي يتذكر محادثاتك على مدار أسابيع؛ إذا أخطأ هذا العميل في تذكر تفصيل ما، فقد يبني ذاكرة خاطئة جديدة بالكامل فوقها، مما يؤدي لتراكم الخطأ. أظهر الباحثون أنه باستخدام SIRin كـ "نقطة تفتيش" قبل أن يجيب العميل، يمكنهم رفع دقة الإجابات التي يقدمها من حوالي 62% إلى ما يقرب من 79%، مع تقليل عدد الحقائق المختلقة تماماً إلى النصف.
باختصار، تشير الورقة البحثية إلى أن كشف هلوسات الذكاء الاصطناعي لا يتعلق بإيجاد كاشف واحد مثالي، بل يتعلق ببناء نظام مرن يمكنه مزج وتوفيق أنواع مختلفة من الفحوصات. يثبت SIRIN أنه عندما توحد هذه الأدوات في واجهة واحدة سهلة الاستخدام، يمكنك جعل أنظمة الذكاء الاصطناعي أكثر موثوقية بشكل كبير، حيث تكشف الادعاءات غير المدعومة وتوضح بالضبط أين أخطأ الروبوت، وكل ذلك دون الحاجة إلى إعادة كتابة الكود الأساسي للذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.