"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

ملخص تقني: "أنا لا أعرف" – نحو ثقة ملائمة مع التوليد المعزز بالاسترجاع المدرك لليقين

بيان المشكلة
تتناول الورقة البحثية تحدي إرساء "الثقة الملائمة" في أنظمة الذكاء الاصطناي، وتحديداً النماذج اللغوية الكبيرة (LLMs). وبينما توفر هذه النماذج تواصلاً بمستوى بشري، إلا أنها تعاني من "الهلوسة" (المخرجات غير الصحيحة واقعياً) و"التملق" (المواءمة المفرطة مع تفضيلات المستخدم على حساب الدقة). وتتمثل إحدى القضايا الحرجة في أن النماذج اللغوية الكبيرة غالباً ما تعبر عن ثقة مفرطة في إجاباتها، حتى عندما يكون السؤال غير موضوعي أو كان السياق غير كافٍ. تمنع هذه الثقة المفرطة المستخدمين من الحكم بدقة على صدقية النظام. ويرى المؤلفون أن القيمة البشرية المتمثلة في "الخيرية" (Benevolence) — والتي تُعرف هنا بالحاجة إلى الصدق والموثوقية والاعتمادية — يمكن تحقيقها إذا استطاع نظام الذكاء الاصطناعي مراقبة معرفته الخاصة، والتأمل في حالة عدم اليقين لديه، ونقل هذا التأمل الذاتي إلى المستخدم.

المنهجية
يقترح المؤلفون نظام CERTA (التوليد المعزز بالاسترجاع المعزز باليقين لإجابات موثوقة)، وهو نظام متخصص للتوليد المعزز بالاسترجاع (RAG) مصمم لدمج اليقين المتأمل ذاتياً في استجاباته.

1. نمذجة يقين ثلاثي أبعاد لـ RAG:
   بدلاً من الاعتماد على النموذج اللغوي الكبير لتقييم ثقته ذاتياً (والذي قد يكون منحازاً)، يقوم نظام CERTA بحساب عدم اليقين بناءً على التشابه الدلالي بين ثلاثة مكونات لمسار RAG، والمعروفة باسم "ثلاثية RAG":

• صلة السؤال بالسياق (QCR): تقيس ما إذا كان السياق المسترجع متوافقاً دلالياً مع سؤال المستخدم.
• صلة السياق بالإجابة (CAR): تقيس ما إذا كانت الإجابة المولدة مدعومة بالسياق المسترجع (درجة التجذر/الارتباط بالأصل).
• صلة الإجابة بالسؤال (AQR): تقيس ما إذا كانت الإجابة المولدة تعالج السؤال الأصلي دلالياً.

يتم حساب هذه الدرجات باستخدام تشابه جيب التمام (cosine similarity) على التضمينات (embeddings) من نوع text-embedding-3-small التابع لـ OpenAI. ثم تُترجم هذه الدرجات الرقمية إلى "تعليمات يقين" نصية تُقدم إلى مولد النموذج اللغوي الكبير.

2. مناهج النظام:
   تقيم الورقة أربعة مناهج متميزة باستخدام نموذجين لغويين كبيرين (GPT-4.1 من OpenAI و Mistral-Small-3.1):

• RAG (الأساس): نظام RAG قياسي بدون تعليمات محددة بشأن اليقين.
• CERTA-0: يضيف تعليمات عامة إلى المطالبة (prompt) ليكون صادقاً بشأن يقين الإجابة.
• CERTA-1: يدمج درجة QCR والتعليمات في المطالبة، مما يُعلم النموذج بمدى الصلة بين السؤال والسياق المسترجع.
• CERTA-2: نهج متعدد الخطوات؛ حيث يقوم أولاً بتوليد إجابة وسيطة، ثم يحسب درجات الثلاثية كافة (QQCR، CAR، AQR)، ثم يوجه طلباً للنموذج مرة أخرى مع السؤال، والسياق، والإجابة الوسيطة، وجميع تعليمات اليقين الثلاث لإنتاج استجابة نهائية متأملة ذاتياً.

3. معيار اليقين:
   لتقييم هذه المناهج، أنشأ المؤلفون مجموعة بيانات مكونة من 90 زوجاً من (سؤال-سياق) مستمدة من معيار TrustLLM. تغطي مجموعة البيانات أربع فئات:

• الحقيقة (Factuality): أسئلة واقعية (بعضها غير قابل للإجابة).
• التفضيل الشخصي (Personal Preference): أسئلة ذاتية (مثل: "ما هو الأفضل؟").
• التملق (Sycophancy): أسئلة مصممة لاختبار ما إذا كان النموذج يوافق وجهة نظر المستخدم المعلنة (والتي قد تكون خاطئة).
• الخيارات الأخلاقية (Moral Choices): معضلات أخلاقية.

يتم إقران كل سؤال بثلاثة أنواع من السياقات: سياق ذو صلة (يحتوي على الإجابة)، سياق ناقص (يفتقر إلى الإجابة المحددة)، وسياق غير ذي صلة (لا يحتوي على إجابة).

المساهمات الرئيسية

1. نظام CERTA: امتداد مبتكر لـ RAG يستخدم "ثلاثية RAG" لحساب وتوصيل عدم اليقين رقمياً ولفظياً. ويتضمن لوحة تحكم تسمح للمستخدمين باختيار السلوكيات في سيناريوهات اليقين المنخفض (مثل: الاستجابة الافتراضية، أو قول "أنا لا أعرف"، أو العودة إلى معرفة النموذج اللغوي الكبير).
2. معيار اليقين: مجموعة بيانات منسقة تضم 90 زوجاً من (سؤال-سياق) غير موضوعي عبر أربع فئات قائمة على القيم وثلاثة أنواع من السياقات، مصممة خصيصاً لاختبار قدرة الذكاء الاصطناعي على التعبير عن عدم اليقين بشكل مناسب.
3. التقييم التجريبي: دراسة مقارنة بين نظام RAG الأساسي وثلاثة تكوينات لـ CERTA باستخدام نموذجين لغويين مختلفين.

النتائج
تشير التجارب إلى أن CERTA نجح في توجيه سلوك النظام نحو عدم اليقين الملائم:

• تكرار "أنا لا أعرف": أنتج CERTA-1 و CERTA-2 عدداً أكبر بكثير من استجابات "أنا لا أعرف" مقارلة بنظام RAG الأساسي، لا سيما عندما كانت السياقات ناقصة أو غير ذات صلة.
• الحقيقة: مع السياقات ذات الصلة، أجابت الأنظمة بشكل مناسب. ومع السياقات غير ذات الصلة، هلوس نظام RAG الأساسي أحياناً باستخدام معرفته الداخلية، بينما ظل نظام CERTA موضوعياً بدقة وعبر عن عدم اليقين.
• التفضيل الشخصي: قدم نظام RAG الأساسي أحياناً إجابات واثقة لأسئلة ذاتية. أما مناهج CERTA فقد حددت بشكل صحيح غياب الإجابات الموضوعية واختارت "أنا لا أعرف".
• التملق والأخلاق: بينما تجنب كل من RAG الأساسي و CERTA التناقض المباشر، كانت أنظمة CERTA أقل عرضة للموافقة أو المعارضة لوجهات النظر المعارضة، حيث اختارت "أنا لا أعرف" بشكل متكرر أكثر. كما أظهر CERTA حذراً أكبر في الأحكام الأخلاقية، متجنباً الوعظ الأخلاقي الصارم عندما كان السياق ناقصاً.
• الاختلاف بين النماذج: أظهر نموذج Mistle المفتوح المصدر عدم يقين ذاتي أكثر من GPT-4.1، لكن CERTA حسن كلاهما.
• الاتساق: لم تؤدِ إضافة تعليمات اليقين إلى تغيير الإجابات الصحيحة إلى إجابات خاطئة؛ بل زادت بشكل أساسي من معدل الاستجابات الحذرة حيثما كان ذلك مناسباً.

الأهمية والادعاءات
تدعي الورقة أن نقل اليقين المتأمل ذاتياً هو آلية قابلة للتطبيق لبناء ثقة ملائمة في الذكاء الاصطناعي، بما يتماشى مع القيمة البشرية للخيرية. ويخلص المؤلفون إلى أن:

• CERTA-0 غالباً ما يكون كافياً للتحسن عن نظام RAG الأساسي من خلال إدخال الصدق الأساسي فيما يتعلق باليقين.
• CERTA-1 يوفر نهجاً أكثر حذراً من خلال استخدام درجة صلة السؤال بالسياق بشكل صريح.
• تسمح الطريقة للأنظمة بأن تكون "محافظة تجاه المخاطر" في السيناريوهات عالية المخاطر من خلال الاعتراف بعدم اليقين بدلاً من الهلوسة.
• النهج مستقل عن المسترجع (retriever-agnostic)، حيث يقيم جودة السياق المقدم فقط بدلاً من آلية الاسترجاع نفسها.

يظل المؤلفون متواضعين بشأن ادعاءاتهم، مشيرين إلى أن لوحة التحكم لم يتم التحقق منها بعد مع المستخدمين البشريين لقياس معايرة الثقة الفعلية. كما يقرون بوجود قيود، مثل استخدام تنسيقات الاختيار من متعدد والتي قد تخفف من حدة التملق اصطناعياً، والاعتماد على تشابه جيب التمام الذي يميل إلى إنتاج درجات متوسطة (حوالي 0.5) بدلاً من القيم المتطرفة. ويُقترح العمل المستقبلي ليشمل دراسات المستخدمين واختبار البيانات الأكثر ضجيجاً.