Toward Faithful Retrieval-Augmented Generation with Sparse Autoencoders
تقدم هذه الورقة RAGLens، وهو كاشف للهلوسة خفيف الوزن وقابل للتفسير يستخدم المشفرات التلقائية المتفرقة (SAEs) لتحديد سمات تنشيط داخلية محددة في النماذج اللغوية الكبيرة (LLMs) تشير إلى عدم الأمانة في التوليد المعزز بالاسترجاع.
تخيل أنك تستخدم مساعداً رقمياً عالي التقنية لمساعدتك في كتابة تقرير. وللتأكد من دقته، قمت بإعطائه مجموعة من الكتب المرجعية (وهذا ما يسمى RAG، أو التوليد المعزز بالاسترجاع).
المشكلة؟ حتى مع وجود الكتب أمامه مباشرة، يقع المساعد أحياناً في "الهلوسة". قد يخبرك بثقة عن تاريخ من كتاب آخر، أو يخترع رقماً يبدو منطقياً ولكنه غير موجود في النص. الأمر يشبه طالباً يفتح الكتاب المدرسي أثناء الامتحان، ومع ذلك يجيب على سؤال بناءً على حلم رآه ليلة أمس.
الطرق الحالية لكشف هذه الأكاذيب إما أنها مكلفة للغاية (عبر سؤال ذكاء اصطناعي "عبقري خارق" للتدقيق في كل شيء) أو أنها بطيئة جداً.
لقد ابتكر الباحثون "RAGLens"، وإليك كيف يعمل باستخدام تشبيه إبداعي:
التشبيه: "ماسح الدماغ" لكشف الكاذبين
تخيل أن الذكاء الاصطناعي شخص يتحدث إليك. عادةً، عندما يتحدث شخص ما، أنت تسمع فقط الكلمات الخارجة من فمه (المخرجات). إذا كذب، يصعب تمييز ذلك لأن صوته يبدو طبيعياً تماماً.
ومع ذلك، اكتشف العلماء أنه حتى عندما يكذب شخص ما، فإن دماغه يرسل شرارات كهربائية صغيرة ومحددة في مناطق معينة. تعمل المشفرات التلقائية المتفرقة (SAEs) — وهي التقنية المستخدمة في هذه الورقة البحثية — مثل جهاز رنين مغناطيسي (MRI) عالي الدقة لفحص الدماغ. فبدلاً من مجرد الاستماع إلى الكلمات، يقوم RAGLens بـ "مسح" الأفكار الداخلية للذكاء الاصطعي أثناء حديثه.
إيجاد "شرارة الكذب": وجد الباحثون أنه عندما يوشك الذكاء الاصطناعي على الهلوسة برقم أو تاريخ، تضيء "شرارة" (ميزة) محددة جداً في شبكته العصبية الداخلية. الأمر يشبه رؤية "مركز الخداع" في الدماغ وهو يتوهج باللون الأحمر.
المحقق خفيف الوزن: بدلاً من الحاجة إلى كمبيوتر خارق ضخم لمراقبة كل فكرة، يستخدم RAGLens مرشحاً رياضياً ذكياً (يسمى المعلومات المتبادلة - Mutual Information) لتجاهل "ضجيج الخلفية" الناتج عن التفكير الطبيعي ومراقبة تلك "شرارات الكذب" المحددة فقط. وهذا يجعله سريعاً وخفيف الوزن للغاية.
تغذية "القلم الأحمر" الراجعة: لأن RAGLens يمكنه رؤية بالضبط أي شرارة داخلية أطلقت الإنذار، فهو لا يكتفي بالقول: "أنت تكذب"، بل يمكنه الإشارة إلى جملة محددة والقول: "مهلاً، لقد اخترعت هذا التاريخ للتو؛ راجع الكتاب مرة أخرى". هذا يشبه معلماً يستخدم قلماً أحمر ليدور حول خطأ محدد في ورقة الطالب بدلاً من مجرد إعطائه درجة رسوب.
لماذا يهم هذا؟
إنه دقيق: فهو يكشف الأكاذيب بشكل أفضل من أي طريقة أخرى لأنه ينظر إلى مصدر الفكرة، وليس فقط الكلمات النهائية.
إنه شفاف: فهو لا يعطي مجرد إجابة بـ "نعم/لا"؛ بل يقدم تفسيراً. إنه يخبرك لماذا يعتقد أن الذكاء الاصطناعي غير مخلص للنص.
إنه معلم وليس مجرد قاضٍ: نظرًا لأنه يوفر ملاحظات محددة، يمكن للذكاء الاصطناعي فعلياً استخدام هذه المعلومات لـ "تصحيح نفسه" وإعادة كتابة الجملة لتكون صحيحة.
باخت-القول: RAGLens يشبه منح المساعد الرقمي ساعة "كاشفة للحقيقة" تراقب موجات دماغه، مما يسمح له بالإمساك بأخطائه قبل أن تتحول إلى مشاكل كبيرة.
ملخص تقني: نحو توليد مدعم بالاسترجاع (RAG) يتسم بالأمانة باستخدام المشفّرات التلقائية المتفرقة (RAGLens)
1. بيان المشكلة
يهدف التوليد المدعم بالاسترجاع (RAG) إلى تحسين واقعية النماذج اللغوية الكبيرة (LLMs) من خلال ربط الاستجابات بأدلة خارجية. ومع ذلك، تظل "إخفاقات الأمانة" — حيث تتعارض الاستجابة مع السياق المسترجع، أو تُدخل تفاصيل غير مدعومة، أو تتوسع خارج نطاق الأدلة — تحديًا حرجًا.
تواجه طرق كشف الهلوسة الحالية مقايضة بين:
المكتشفات المتخصصة: تتطلب كميات هائلة من البيانات عالية الجودة والموسومة لضبط النموذج (fine-tuning).
النموذج اللغوي كحَكَم (LLM-as-a-Judge): تكاليف استدلال عالية واحتمالية إنتاج استدلال "يبدو منطقيًا ولكنه غير أمين".
سبر التمثيلات الداخلية: رغم كونها واعدة، إلا أن الطرق التقليدية (باستخدام الحالات الخفية أو درجات الانتباه) تعاني من تعدد المعاني للنيورونات (حيث يمثل نيورون واحد مفاهيم متعددة غير مترابطة) ومن غموض الحالات الخفية عالية الأبعاد.
2. المنهجية: RAGLens
يقترح المؤلفون RAGLens، وهو مكتشف خفيف الوزن وقابل للتفسير، يستفيد من المشفّرات التلقائية المتفرقة (SAEs) لفك تشابك تنشيطات النماذج اللغوية الكبيرة وتحويلها إلى ميزات ذات معنى دلالي و"أحادية المعنى".
مسار عمل RAGLens:
استخراج الميزات المتفرقة: يقوم النموذج باستخراج الحالات الخفية من طبقة محددة من النموذج اللغوي الكبير. يقوم مشفر SAE بتحويل هذه الحالات إلى متجه متفرق من الميزات (zt)، حيث تكون قلة من الميزات نشطة في أي وقت معين.
تلخيص الميزات على مستوى الحالة: للانتقال من مستوى الرمز (token) إلى مستوى الحالة، تستخدم الطريقة التجميع الأقصى عبر القنوات (channel-wise max pooling). وهذا يلتقط ذروة تنشيط كل ميزة عبر التسلسل المولد بالكامل.
اختيار الميزات بناءً على المعلومات: بدلاً من استخدام جميع ميزات SAE (التي تكون عديدة)، يستخدم المؤلفون المعلومات المتبادلة (MI) لتصنيف الميزات بناءً على مقدار المعلومات التي توفرها عن تسمية الهلوسة (ℓ). يتم اختيار أعلى K′ من الميزات الأكثر إخبارًا فقط.
التنبؤ الشفاف عبر نماذج الجمع المعممة (GAMs): يتم تغذية الميزات المختارة في نموذج جمع معمّم (GAM). وخلافًا للشبكات العصبية العميقة، يقوم نموذج GAM بنمذجة المخرجات كمجموع من دوال الشكل أحادية المتغير: g(E[ℓ∣z~])=β0+∑fj(z~j). تتيح هذه البنية للنموذج أن يكون عالي الدقة وقابلًا للتفسير بالكامل في آن واحد.
3. المساهمات الرئيسية
الكشف القائم على SAE: يثبت أن ميزات SAE يمكنها التقاط إشارات دقيقة وقابلة للتفسير يتم تحفيزها تحديدًا بواسطة هلوسات RAG (مثل الأرقام أو التواريخ غير المدعومة).
إطار عمل RAGLens: يقدم مسار عمل خفيف الوزن وعالي الأداء للكشف، والتفسير، والتخفيف من حدة المشكلة.
التفسير والتخفيف: يوفر كلاً من التفسيرات المحلية (تحديد الرموز المحددة التي تسببت في الهلوسة) والتفسيرات العالمية (فهم المفهوم الذي تمثله ميزة معينة). وهذا يتيح "التخفيف اللاحق"، حيث يتم توجيه النموذج لإعادة صياغة مخرجاته بناءً على ملاحظات محددة.
التبرير النظري: يقدم برهانًا رياضيًا (النظرية 1) يبرر لماذا يعد التجميع الأقصى (max pooling) استراتيجية فعالة في نظام التنشيط المتفرق لتعظيم المعلومات المتبادلة.
4. النتائج التجريبية
أداء متفوق: في اختبارات مثل RAGTruth و Dolly، تفوق RAGLens باستمرار على النماذج المرجعية الحالية، بما في ذلك الطرق القائمة على التلقين (prompt-based)، والطرق القائمة على عدم اليقين (الارتباك/Perplexity، والاعتلاج/Entropy)، وطرق التمثيل الداخلي (ReDeEP). حقق درجات AUC تتجاوز 80% في عدة مهام.
التعميم عبر النماذج: أظهر المؤلفون أن المكتشف القائم على SAE والذي تم تدريبه على نموذج واحد يمكنه اكتشاف الهلوسة بفعالية في مخرجات نماذج أخرى، مما يشير إلى أن النماذج اللغوية الكبيرة تمتلك معرفة داخلية كامنة بالأمانة تتجاوز قدراتها على الاستدلال الصريح.
التخفيف الفعال: أدى استخدام ملاحظات RAG (خاصة الملاحظات على مستوى الرمز) إلى تقليل معدلات الهلوسة بشكل كبير في مخرجات Llama2-7B، كما تم التحقق من ذلك بواسطة العديد من الحكام الآليين (LLM judges) والمقيمين البشريين.
رؤى التصميم:
اختيار الطبقة: عادة ما يصل الأداء إلى ذروته في الطبقات الوسطى من النموذج اللغوي الكبير.
اختيار المتنبئ: تفوقت نماذج GAM على النماذج الأكثر تعقيدًا مثل MLP و XGBoost، مما يثبت أن العلاقة بين ميزات SAE والهلوسة يمكن التقاطها بفعالية من خلال النمذجة الجمعية.
5. الأهمية
تمثل هذه الورقة خطوة مهمة في التفسير الآلي (mechanistic interpretability) المطبق على RAG. ومن خلال الانتقال من الحالات الخفية "الصندوق الأسود" نحو الميزات المتفرقة "الشفافة"، يوفر RAGLens مخططًا لبناء أنظمة ذكاء اصطناعي جديرة بالثقة. إنه يوضح أننا لا نستطيع فقط اكتشاف متى يهلوس النموذج، بل وأيضًا لماذا (من خلال تحديد المفهوم الدلالي المحدد الذي تم تطبيقه بشكل خاطئ) وكيف يمكن إصلاحه، مما يجعله عالي التطبيق في المجالات عالية المخاطر مثل الطب أو القانون.