💬 NLP

Is This Your Final Answer? Cross-Contextual Consistency as a Measure of LLM Credibility

تقدم هذه الورقة "الاتساق عبر السياقات" (C3)، وهو مقياس يقيم مصداقية النماذج اللغوية الكبيرة من خلال قياس استقرار استجابات النموذج تحت التغيرات السياقية، مما يثبت أن الاتساق الأعلى يرتبط بدقة أكبر ويعمل كأداة تشخيصية لتشبع الاختبارات المعيارية.

المؤلفون الأصليون: Siyang Wu, Yibo Jiang, Bryon Aragam

نُشر 2026-08-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Siyang Wu, Yibo Jiang, Bryon Aragam

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة ما إذا كان صديقك يعرف حقاً الإجابة على لغز صعب، أم أنه مجرد يخمن ويأمل في أن يحالفه الحظ. في عالم الذكاء الاصطناوي، وتحديداً مع النماذج اللغوية الكبيرة (LLMs)، يعد هذا لغزاً هائلاً. هذه البرامج الحاسوبية تشبه الصناديق السوداء فائقة الذكاء التي يمكنها كتابة القصص، وحل المسائل الرياضية، والدردشة مثل البشر. ولكن لأنها "صناديق سوداء"، لا يمكننا التلصص بداخلها لنرى كيف تفكر؛ نحن فقط نرى الإجابات التي تقدمها. السؤال الكبير للعلماء هو: كيف نعرف ما إذا كان الذكاء الاصطناعي واثقاً وصحيحاً حقاً، أم أنه مجرد يحاكي الأنماط التي رآها من قبل دون أن يفهم المنطق فعلياً؟

ولحل هذه المعضلة، يحاول الباحثون عادةً سؤال الذكاء الاصطناعي: "ما مدى تأكدك؟" أو يطلبون منه الإجابة على نفس السؤال عشر مرات ليروا ما إذا كان سيعطي نفس الإجابة. ولكن كما تشير هذه الورقة البحثية، يمكن للذكال الاصطناعي أن يكون كاذباً سيئاً. فقد يقول إنه متأكد بنسبة 100% حتى عندما يكون مخطئاً، أو قد يعطي نفس الإجابة الخاطئة في كل مرة لأنه علق في حلقة مفرغة. تقدم هذه الورقة طريقة جديدة لاختبار صدق الذكاء الاصطناعي، ليس بسؤاله مباشرة، بل بمراقبة كيفية تفاعله عندما تغير القصة المحيطة بالسؤال. فكر في الأمر كأنك محقق يستجوب شاهداً: إذا كان الشاهد يقول الحقيقة، فسيقول الشيء نفسه سواء سألته في قاعة المحكمة، أو أثناء احتساء القهوة، أو بينما يرتدي قبعة مضحكة. إذا تغيرت قصته في كل مرة تعدل فيها الإطار، فمن المرجح أنه ليس صادقاً.

الورقة البحثية التي تحمل عنوان "هل هذه إجابتك النهائية؟ الاتساق عبر السياقات كمقياس لمصداقية النماذج اللغوية الكبيرة"، تقترح طريقة تسمى الاتساق عبر السياقات (C3). الفكرة الجوهرية بسيطة: إذا كان الذكاء الاصطناعي "يعرف" حقاً الإجابة، فيجب أن تظل تلك الإجابة مستقرة حتى عند إضافة ضجيج خلفي محايد وغير ضار إلى السؤال. على سبيل المثال، إذا سألت "ما هو 2+2؟"، يجب أن يقول الذكاء الاصطناعي "4". إذا أضفت جملة مثل "تخيل أنك قرصان يحب الرياضيات. ما هو 2+2؟"، فيجب أن يظل الذكاء الاصطناعي يقول "4". إذا غير الذكاء الاصطناعي إجابته فجأة إلى "5" لمجرد أنك أضفت قصة القرصان، فهذا يشير إلى أن الذكاء الاصطناعي لا يقوم بالاستنتاج المنطقي، بل يتفاعل فقط مع الكلمات الموجودة على الصفحة.

اختبر الباحثون هذه الفكرة على 26 نموذجاً مختلفاً من الذكاء الاصطناعي عبر ستة أنواع مختلفة من المهام، بما في ذلك الرياضيات، والحقائق، والبرمجة. ووجدوا أنه عندما لا تتغير إجابة الذكاء الاصطناعي كثيراً بعد إضافة هذه التحولات السياقية "المحايدة"، فمن المرجح جداً أن تكون إجابته صحيحة. في الواقع، اكتشفوا أن C3 هو متنبئ أفضل للصدق من سؤال الذكاء الاصطناعي عن مدى ثقته أو طلب تكرار السؤال. وتشير الدراسة إلى أن هذا "الاستقرار تحت الضغط" هو إشارة قوية على أن النموذج لديه فهم داخلي صلب، بدلاً من مجرد التخمين.

أحد النتائج الأكثر إثارة للاهتمام هو أن C3 يمكن أن يساعد العلماء في اكتشاف متى يكون الاختبار "معطلاً". فأحياناً، تحصل نماذج الذكاء الاصطناعي على درجات كاملة في اختبار ما ليس لأنها ذكية، بل لأنها حفظت الإجابات أثناء تدريبها. تُظهر هذه الورقة أن هذه الإجابات "المحفوظة" غالباً ما تكون "هشة"؛ فهي تبدو مثالية على السطح ولكنها تنهار عند إضافة القليل من الضجيج السياقي. في المقابل، تظل الإجابات التي تُفهم حقاً ثابتة. وهذا يساعد الباحثين على رؤية أي أجزاء من الاختبار تقيس الذكاء وأيها يقيس الذاكرة فقط.

كما نظر المؤلفون في كيفية عمل ذلك لأنواع مختلفة من الذكاء الاصطناعي. ووجدوا أنه كلما أصبحت نماذج الذكاء الاصطناعي أكبر وأكثر قوة، أصبحت إجاباتها أكثر اتساقاً وموثوقية تحت هذا الاختبار. ومع ذلك، حتى النماذج الأكثر ذكاءً ليست مثالية؛ فهي لا تزال تظهر بعض عدم الاستقرار عندما يتغير السياق، مما يثبت أنها ليست "شبيهة بالبشر" تماماً في تفكيرها بعد. وتخلص الورقة إلى أنه بينما لا يعد C3 عصا سحرية تضمن صحة الإجابة، إلا أنه أداة جديدة قوية للتحقق مما إذا كان الذكاء الاصطناعي متسقاً وموثوقاً، مما يساعدنا على الثقة في هذه الأنظمة قليلاً عندما يتم اختبارها.

ملخص تقني: الاتساق عبر السياقات كمقياس لمصداقية النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تعمل النماذج اللغوية الكبيرة (LLMs) كأنظمة "صندوق أسود" قوية، مما يجعل من الصعب تحديد ما إذا كانت مخرجاتها تعكس معتقدات داخلية مستقرة أم مجرد مطابقة سطحية للأنماط. وبينما تُظهر هذه النماذج أداءً قويًا في مهام متنوعة، إلا أنها تفشل كثيرًا في الحفاظ على الاتساق المنطقي. ومن الأمثلة على ذلك "لعنة الانعكاس" (الفشل في الربط بين الحقائق المستنتجة منطقيًا) و"اختطاف السياق" (تغيير الإجابات عند إضافة سياق محايد دلاليًا). وتواجه طرق التقييم الحالية قيودًا كبيرة:

طرق الإشارات الداخلية: لا يمكن تطبيق الأساليب التي تستخدم احتمالات مستوى الرمز (token-level probabilities) أو الحالات الخفية على النماذج مغلقة المصدر، كما أنها تواجه صعوبة في التعامل مع الاستجابات مفتوحة النهايات.
الثقة المبلغ عنها ذاتيًا: غالبًا ما تُظهر النماذج ثقة مفرطة، حيث تقدم درجات ثقة عالية لإجابات غير صحيحة.
الاتساق الذاتي وإعادة الصياغة: يمكن أن تعاني هذه الطرق من إخفاقات ميكانيكية، مثل وقوع النماذج في فخ تكرار نفس الإجابة الخاطئة عبر عمليات توليد متعددة، أو إدخال انزياح دلالي أثناء إعادة الصياغة، مما يؤدي إلى تقديرات ثقة مبالغ فيها.

هناك حاجة لنهج "الصندوق الأسود" منضبط لتقييم مصداقية النموذج، لا يعتمد على المعرفة الخارجية، أو معاملات النموذج، أو المقاييس المبلغ عنها ذاتيًا.

المنهجية: الاتساق عبر السياقات (C3)

يقترح البحث خاصية سلوكية تُسمى الاتساق عبر السياقات (Cross-Contextual Consistency - C3)، حيث يجب أن تظل الإجابة الموثوقة مستقرة عند تقديم المهمة نفسها تحت تنويعات سياقية متوافقة مع الموضوع ومحايدة من حيث المحتوى.

التشغيل الإجرائي

استراتيجية الاضطراب: بالنسبة لاستعلام معين $x$ $x$ ، يقوم المؤلفون بأخذ عينة من مجموعة من اضطرابات السياق $E = \{\epsilon_1, \dots, \epsilon_n\}$ $E = {ϵ_{1}, \dots, ϵ_{n}}$ . تُوضع هذه الاضطرابات كبادئة للاستعلام الأصلي لإنشاء $x' = [\epsilon; x]$ $x^{'} = [ϵ; x]$ .
- القيود: يجب أن تحقق الاضطرابات ثلاثة شروط: التوافق مع الموضوع (البقاء ضمن النطاق)، حياد المحتوى (عدم الكشف عن الإجابة، أو دعمها، أو معارضتها)، وعدم التبسيط المخل (إدخال تنويعات ذات معنى بدلاً من مجرد إعادة صياغة السؤال).
المقارنة التوزيعية: تعامل الطريقة عملية توليد النموذج كعملية عشوائية. يتم أخذ عينات من المخرجات من المطالبة الأصلية ( $Y \sim P(Y|x)$ ) ومن المطالبات المضطربة ( $Y_E \sim P^E(Y|x)$ ).
تعريف المقياس: يُعرف $C3$ كمعكوس مسافة طبيعية بين توزيعات المخرات الأصلية والمضطربة:
$C3(x; E) = 1 - \tilde{D}(P(Y|x), P^E(Y|x))$
حيث $\tilde{D}$ هي دالة مسافة متكيفة مع المهمة ومطبعة لتكون في النطاق $[0, 1]$ . في التنفيذ الرئيسي، استخدم المؤلفون تشتت المتوسط الأقصى (Maximum Mean Discrepancy - MMD) كمقياس للمسافة، مما يسمح بمقارنة كل من التوليدات ذات التنسيق الثابت والتوليدات مفتوحة النهايات.
التفسير: تشير درجة $C3$ الأعلى إلى أن توزيع مخرجات النموذج مستقر تحت التنوع السياقي (مصداقية عالية)، بينما تشير الدرجة الأقل إلى هشاشة السياق (مصداقية منخفضة).

المساهمات الرئيسية

تحديد خاصية غير مستغلة: يحدد البحث $C3$ كإشارة سلوكية لمصداقية النماذج اللغوية الكبيرة، مفترضًا أن الإجابات المدعومة جيدًا يجب أن تظل مستقرة تحت الاستجواب (التنوع السياقي).
إطار عمل تشغيلي: قام المؤلفون بتطبيق $C3$ كبروتوكول تقييم "صندوق أسود" قابل للتطبيق على مهام الاختيار من متعدد، والإجابات القصيرة، والحقائق طويلة الصيغة، وتوليد الكود البرمجي.
التحقق التجريبي: من خلال التجارب على 16 نموذجًا عبر ستة معايض (benchmarks)، أثبت البحث أن $C3$ يتوافق مع الصحة والواقعية، ويعمل كأداة تشخيص قوية لدرجة تشبع المعايض، ويوفر محور تقييم مكمل لمقاييس الدقة التقليدية. (ملاحظة: تم تضمين 10 نماذج إضافية في دراسة حالة مقتصرة على معيار MMLU الإحصاء للمرحلة الثانوية).

النتائج التجريبية

قيم المؤلفون $C3$ مقابل النماذج المرجعية (الاتساق الذاتي، اتساق إعادة الصياغة، الثقة المبلغ عنها ذاتيًا، وFActScore) عبر ستة معايض: SVAMP، MMLU High School Statistics، CommonsenseQA، SimpleQA، FActScore، وHumanEval.

المعايرة المتفوقة: تفوق $C3$ باستمرار على النماذج المرجعية في مواءمة "مصداقية" النموذج مع الحقيقة. على سبيل المثال، في SVAMP (الاستدلال الرياضي)، حقق $C3$ قيمة AUROC بلغت 0.917 مقارنة بـ 0.861 للاتساق الذاتي. وفي SimpleQA (الواقعية)، حقق $C3$ قيمة AUROC بلغت 0.823، متفوقًا بشكل كبير على الاتساق الذاتي (0.792) والثقة المبلغ عنها ذاتيًا (0.490).
كشف الواقعية: اكتشف $C3$ بفعالية الأخطاء المتعلقة بالواقعية. لاحظ المؤلفون وجود ارتباط رتب سبيرمان قدره 0.624 بين $C3$ وFActScore، مما يشير إلى أن الحالة الداخلية للنموذج تحتوي على تمثيلات كامنة لحدود معرفته. فالحقائق المهلوسة تميل إلى الوجود في مناطق منخفضة الاحتمالية تتغير بشكل كبير تحت تأثير الاضطراب.
التوليد طويل الصيغة: توسع $C3$ بفعالية ليشمل المهام مفتوحة النهايات (HumanEval، FActScore) حيث تفشل العديد من الطرق الأخرى، محققًا معايرة قوية (على سبيل المثال، 0.110 ECE على HumanEval) دون الحاجة إلى بيئات تنفيذ خارجية.
تشخيص المعايض: من خلال رسم الأداء على مستوى الحالة مقابل $C3$ $C 3$ ، حدد المؤلفون أربعة مناطق متميزة:
- المُتقن (أداء عالٍ، $C3$ عالٍ): فهم صحيح ومستقر.
- الهش (أداء عالٍ، $C3$ منخفض): دقة عالية مدفوعة بمطابقة سطحية للأنماط أو تلوث البيانات؛ تفشل النماذج تحت تأثير الاضطراب.
- المتحيز (أداء منخفض، $C3$ عالٍ): النماذج خاطئة باستمرار بسبب وجود مقدمات سابقة قوية وخاطئة أو مفاهيم مغلوطة.
- غير المتعلم (أداء منخفض، $C3$ منخفض): فجوات معرفية حقيقية.
  كشف هذا التحليل أن معايض مثل HumanEval تظهر علامات على "الهشاشة" (الفرط في التخصيص/Overfitting)، بينما يظل SimpleQA إلى حد كبير في منطقة "غير المتعلم".

الأهمية والادعاءات

يزعم البحث أن $C3$ يوفر محور تقييم مكمل يظل غنيًا بالمعلومات حتى عندما تصبح المعايض التقليدية مشبعة أو ملوثة. وعلى عكس الطرق التي تختبر الصحة صراحة، يقيس $C3$ استقرار عملية التوليد. ويرى المؤلفون أن:

المصداقية هي الاستقرار: يجب أن تكون استجابة النموذج قوية تجاه السياقات المتكافئة منطقيًا ودلاليًا. إذا تباينت المخرجات بشكل كبير عبر أطر مختلفة، فإن مصداقية النموذج تتقوض.
منفعة الصندوق الأسود: لا يتطلب $C3$ الوصول إلى معاملات النموذج، مما يجعله قابلًا للتطبيق على النماذج مغلقة المصدر، ولا يعتمد على الثقة المبلغ عنها ذاتيًا، والتي غالبًا ما تكون غير معايرة بشكل جيد.
القوة التشخيصية: يساعد $C3$ في التمييز بين الفهم الحقيقي والأداء "الهش" المدفوع بالحفظ أو التحيز، مما يوفر طريقة عملية للكشف عن هشاشة الإجابة التي تغفلها تقييمات الدقة القياسية.

يخلص المؤلفون إلى أنه بينما يعد $C3$ أداة تشخيصية قوية، فلا ينبغي معاملته كضمانة للصدق، حيث يمكن للنموذج أن يكون متسقًا ومع ذلك خاطئًا. إنه مخصص ليكون وسيلة لتحديد التوليدات الهشة سياقيًا وليس بديلاً للإشراف البشري.