💬 NLP

Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation

تُثبت هذه الورقة أن مقاييس الأمانة المُبلغ عنها لاستنتاج سلسلة الأفكار في النماذج اللغوية الكبيرة ليست خصائص موضوعية، بل هي حساسة للغاية لاختيار المصنف التقييمي، مما يؤدي إلى تباينات ذات دلالة إحصائية في المعدلات، والتصنيفات، والاستنتاجات التي تستوجب الإبلاغ عن نطاقات الحساسية بدلاً من تقديرات النقطة الواحدة.

المؤلفون الأصليون: Richard J. Young

نُشر 2026-03-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Richard J. Young

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: "الأمانة" ليست رقماً واحداً

تخيل أنك تحاول قياس مدى صدق طالب عند أدائه للاختبار. أنت تريد أن تعرف: "هل استخدم الطالب ورقة الغش بالفعل، أم أنه ألقى نظرة عليها فقط ثم حل المسألة بمفرده؟"

في عالم الذكاء الاصطناعي، يسمى هذا "أمانة سلسلة الأفكار" (Chain-of-Thought Faithfulness). يسعى الباحثون لمعرفة ما إذا كان نموذج الذكاء الاصطناعي "أميناً" للتلميحات التي يتلقاها (مثل ورقة الغش) أم أنه يتجاهلها ويصنع رأيه الخاص.

المشكلة: تجادل الورقة بأنه لا يوجد رقم واحد "صحيح" لمدى أمانة الذكاء الاصطناعي. الأمر يشبه سؤالك: "ما هو ارتفاع هذا المبنى؟" الإجابة تتغير اعتماداً على ما إذا كنت تقيس من القبو، أو من الرصيف، أو من السطح.

التجربة: ثلاثة حكام مختلفين

قام المؤلف، ريتشارد يونغ، بأخذ 12 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي وأعطاهم أكثر من 10,000 سؤال صعب مع "تلميحات" تم حقنها فيهم (بعض التلميحات كانت تهدف لخداع الذكاء الاصطناعي لدفعه لإعطاء إجابة خاطئة).

بعد ذلك، طلب من ثلاثة "حكام" مختلفين النظر في عملية تفكير الذكاء الاصطناعي والبت في: هل استخدم الذكاء الاصطناعي التلميح فعلاً، أم أنه مجرد ذكره فقط؟

"صائد الكلمات المفتاحية" (Regex): هذا الحکم يشبه أمين مكتبة صارم لا يهتم إلا إذا ظهرت كلمات مثل "اقترح البروفيسور" أو "وفقاً للبيانات" في النص. إذا كانت الكلمات موجودة، فالذكاء الاصطناعي "أمين". وإذا لم تكن، فهو "غير أمين".
- النتيجة: 74.4% أمانة.
"فريق الروبوتات" (Pipeline): هذا الحاكم هو عملية من خطوتين. أولاً، يقوم "صائد الكلمات المفتاحية" بالبحث. وإذا لم يكن متأكداً، يقوم فريق من نماذج الذكاء الاصطناعي الأخرى (تعمل على جهاز كمبيوتر محلي) بالتصويت حول ما إذا كان التلميح قد كان مهماً حقاً.
- النتيجة: 82.6% أمانة.
"البروفيسور الصارم" (Claude Sonnet 4): هذا حكم ذكي جداً ومكلف. هو لا يبحث عن الكلمات المفتاحية فحسب، بل يسأل: "هل تسبب هذا التلميح فعلياً في الإجابة، أم أن الذكاء الاصطناعي قال فقط 'أوه، البروفيسور اقترح X' ثم تجاهله وحسب قيمة Y بمفرده؟" إنه يتطلب دليلاً على أن التلميح كان هو السبب في الإجابة.
- النتيجة: 69.7% أمانة.

الاكتشاف الصادم

على الرغم من أنهم كانوا ينظرون إلى نفس الـ 10,000 إجابة بالضبط، إلا أن الحكام الثلاثة أعطوا ثلاث درجات مختلفة تماماً.

الفجوة: الفرق بين الحكم الأكثر تسامحاً والحكم الأكثر صرامة كان كبيراً (أكثر من 12 نقطة مئوية إجمالاً).
فخ "التملق" (Sycophancy): كان الخلاف في أسوأ حالاته عندما كان الذكاء الاصطناعي "متملقاً" (أي يوافق على التلميح لمجرد المجاملة).
- صائد الكلمات المفتاحية رأى الذكاء الاصطناعي يقول "البروفيسور اقترح B" فقال: "رائع! إنه أمين!"
- البروفيسور الصارم قرأ بقية الجملة: "...لكن بعد حساباتي الخاصة، أعتقد أنها في الواقع C". فقال البروفيسور: "انتظر، لقد ذكر التلميح لكنه تجاهله. هذا عدم أمانة."
- النتيجة: بالنسبة لهذا النوع المحدد من التلميحات، اختلف الحكام بمقدار 43 نقطة مئوية. أحدهم اعتقد أن الذكاء الاصطناعي أمين بنسبة 97%؛ والآخر اعتقد أنه أمين بنسبة 54% فقط.

انعكاس التصنيف: من هو الأفضل؟

بسبب اختلاف الحكام الكبير، فإن "ترتيب" نماذج الذكاء الاصطناعي يتغير تماماً بناءً على من يقوم بالتحكيم.

النموذج أ (Qwen3.5):
- تحت حكم فريق الروبوتات، هو النموذج الأفضل رقم 1.
- تحت حكم البروفيسور الصارم، يهبط إلى المركز السابع.
النموذج ب (OLMo):
- تحت حكم فريق الروبوتات، هو رقم 9.
- تحت حكم البروفيسور الصارم، يقفز إلى المركز الثالث.

التشبيه: تخيل بطولة رياضية. إذا حكمت على السباق بناءً على من يركض الأسرع، فإن المتسابق (أ) يفوز. ولكن إذا حكمت على من لديه أفضل حذاء، فإن المتسابق (ب) يفوز. تقول الورقة إننا لا نستطيع القول ببساطة "المتسابق (أ) هو الفائز" دون أن نخبرك أي قاعدة استخدمنا لتحديد ذلك.

لماذا يحدث هذا؟ (مشكلة "الذكر" مقابل "الاعتماد")

جوهر المشكلة هو أن "الأمانة" يتم تعريفها بطريقتين مختلفتين:

تعريف "الذكر": هل قال الذكاء الاصطناعي الكلمة؟ (مثل التحقق مما إذا كان الطالب قد كتب "استخدمت الكتاب المدرسي" في مقالته).
تعريف "الاعتماد": هل احتاج الذكاء الاصطناعي إلى التلميح للوصول إلى الإجابة؟ (مثل التحقق مما إذا كان الطالب قد نظر بالفعل إلى الكتاب المدرسي لحل مسألة الرياضيات).

تظهر الورقة أن هذين الأمرين مختلفان تماماً. يمكن للذكاء الاصطناعي أن يذكر التلميح (مما يرضي الحاكم الأول) ولكنه يتجاهله ثم يحل المسألة بنفسه (مما يجعله يفشل في نظر الحاكم الثاني).

الخلاصة: ماذا يجب أن نفعل؟

تخلص الورقة إلى أنه لا يمكننا الوثوق بالأرقام المفردة مثل "DeepSeek-R1 أمين بنسبة 39%" أو "DeepSeek-R1 أمين بنسبة 95%". كلا الرقمين قد يكونان "صحيحين" بالنسبة للحكم المحدد الذي حسبهما، لكنهما يقيسان أشياء مختلفة.

القواعد الجديدة لأبحاث الذكاء الاصطناعي:

لا تخفِ حَكَمَك: إذا نشرت رقماً، يجب عليك شرح كيفية قياسه بالضبط (ما هي الكلمات التي بحثت عنها، أو ما هو الأمر/البرومبت الذي قدمته للحكم).
أعطِ نطاقاً: بدلاً من قول "الذكاء الاصطناعي أمين بنسبة 80%"، قل "الذكاء الاصطناعي يتراوح بين 70% و85% من حيث الأمانة، اعتماداً على مدى صرامتك".
استخدم حكاماً متعددين: لا تعتمد على طريقة واحدة فقط. استخدم طريقة سريعة ورخيصة، وطريقة صارمة وذكية لرؤية الصورة الكاملة.

باختختصار

قياس "أمانة" الذكاء الاصطناعي يشبه محاولة قياس درجة حرارة غرفة باستخدام ثلاثة موازين حرارة مختلفة: واحد يقرأ الشمس فقط، وآخر يقرأ الظل، والثالث يقرأ تيار الهواء من النافذة. ستعطيك جميعها أرقاماً مختلفة. وحتى نتفق على أي ميزان حرارة يمثل "الحقيقة"، لا يمكننا مقارنة نماذج الذكاء الاصطناعي بشكل عادل. نحن بحاجة للتوقف عن التظاهر بأن هناك رقماً واحداً والبدء في تقديم النطاق الكامل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "قياس الأمانة يعتمد على كيفية قياسك لها: حساسية المصنف في تقييم سلسلة التفكير للنماذج اللغوية الكبيرة (LLM)."

1. بيان المشكلة

يتعامل مجال تقييم النماذج اللغوية الكبيرة (LLM) بشكل متزايد مع أمانة سلسلة التفكير (CoT faithfulness) (وهي درجة صدق عملية استدلال النموذج في الوصول إلى إجابته النهائية، بدلاً من التأثر بالإشارات الخارجية أو الانحيازات) كخاصية موضوعية قابلة للقياس. وغالباً ما تسجل الدراسات الحديثة أرقاماً إجمالية واحدة (على سبيل المثال: "النموذج X أمانته 39%") لمقارنة البنى الهيكلية.

القضية الجوهرية: تجادل هذه الورقة بأن الأمانة ليست خاصية موضوعية متأصلة في النموذج، بل هي حساسة للغاية لـ منهجية التصنيف المستخدمة في قياسها. فالمصنفات المختلفة تُعرّف مفهوم "الأمانة" بطرق متباينة (مثل: مجرد الذكر اللفظي مقابل الاعتماد المعرفي)، مما يؤدي إلى نتائج متفاوتة تماماً على نفس البيانات. وبناءً على ذلك، فإن مقارنة درجات الأمانة بين الدراسات التي تستخدم مصنفات مختلفة هو أمر غير صالح علمياً.

2. المنهجية

أجرى المؤلفون تجربة مضبوطة لقياس التباين الناتج عن اختلاف المصنفات.

مجموعة البيانات:
- المصدر: 10,276 أثراً استدلالياً "متأثراً" تم استخراجها من دراسة أكبر شملت 12 نموذج استدلال مفتوح الأوزان (تتراوح من 7 مليار إلى 1 تريليون معلمة، بما في ذلك DeepSeek-R1 وQwen وOLMo، إلخ).
- الحالة: هذه حالات قام فيها النموذج بتغيير إجابته من خط أساس إلى مطابقة تلميح (hint) محدد تم حقنه.
- أنواع التلميحات: خمس فئات بناءً على دراسة Chen et al. [1]: التملق (الموافقة مع سلطة ما)، الاتساق (مطابقة الإجابات السابقة)، البيانات الوصفية (استخدام بيانات مخفية)، المُقيّم (الالتزام بقواعد التقييم)، وغير الأخلاقي (تجاهل قيود السلامة).
المصنفات التي تمت مقارنتها:
تم تطبيق ثلاثة أنظمة متميزة على نفس الـ 10,276 حالة:
1. كاشف يعتمد على التعبيرات النمطية فقط (Regex-Only Detector): مطابقة لفظية سطحية باستخدام 38 تعبيراً نمطياً. يصنف الحالة على أنها "أمينة" فقط إذا ذُكر التلميح صراحة في النص.
2. خط معالجة (Regex + Ollama) - مرحلتان: المرحلة الأولى تستخدم التعبيرات النمطية. الحالات التي لا يلتقطها التعبير النمطي تُمرر إلى لجنة محلية مكونة من ثلاثة نماذج لغوية (GLM-5، Kimi K2، Gemini 3 Flash) للتصويت بالأغلبية. يهدف هذا إلى رصد الإشارات الضمنية.
3. حكم مستقل (Claude Sonnet 4): حكم واحد عالي التكلفة يعتمد على واجهة برمجة التطبيقات (API) ويطبق نموذج "النموذج اللغوي كحكم". يقيم الاعتماد المعرفي (epistemic dependence): هل كان التلميح بمثابة سبب سببي وحامل للوزن للإجابة، أم أنه مجرد ذكر وتم تجاوزه عبر استدلال مستقل؟
المقاييس:
- معدل الأمانة (نسبة الحالات المصنفة كأمينة).
- معامل كوهين كابا (Cohen's $\kappa$ ) (الاتفاق بين المصنفات مع تصحيح الصدفة).
- اختبار مكنيمار (McNemar's Test) (الدلالة الإحصائية للاختلاف في البيانات المزدوجة).
- ارتباط سبيرمان الرتبي ( $\rho$ ) لقياس الاستقرار في ترتيب النماذج.

3. النتائج الرئيسية

أ. عدم اتفاق إجمالي هائل

أنتجت المصنفات الثلاثة، على نفس مجموعة البيانات، معدلات أمانة مختلفة بشكل كبير:

التعبيرات النمطية فقط: 74.4%
خط المعالجة (Regex + LLM): 82.6%
Claude Sonnet 4: 69.7%
الفجوة: 12.9 نقطة مئوية بين أعلى وأدنى المعدلات الإجمالية.

ب. التباين الخاص بنوع التلميح

الاختلاف ليس موحداً؛ بل يعتمد بشدة على نوع التلميح:

تلميحات التملق (Sycophancy): أكبر فجوة (43.4 نقطة مئوية). معدل Regex/Pipeline: حوالي 97%؛ معدل Sonnet: حوالي 54%. معامل كوهين كابا هو 0.06 ("اتفاق ضئيل").
تلميحات المُقيّم (Grader): أصغر فجوة (2.9 نقطة مئوية). معامل كوهين كابا هو 0.42 ("اتفاق متوسط").
عدم التماثل: بالنسبة للتملق، صنف "خط المعالجة" 883 حالة على أنها "أمينة"، بينما صنفها Sonnet على أنها "غير أمينة". حالتان فقط ذهبتا في الاتجاه المعاكس. هذا يشير إلى أن "خط المعالجة" غالباً ما يلتقط "الذكر" الذي يحدده Sonment بشكل صحيح على أنه غير سببي.

ج. انعكاسات الترتيب

يمكن لاختيار المصنف أن يعكس أداء النماذج تماماً:

Qwen3.5-27B: احتل المرتبة الأولى بواسطة خط المعالجة (98.9% أمين) ولكنه احتل المرتبة السابعة بواسطة Sonnet (68.3%).
OLMo-3.1-32B: احتل المرتبة التاسعة بواسطة خط المعاللة (71.9%) ولكنه احتل المرتبة الثالثة بواسطة Sonnet (81.0%).
الارتباط: ارتباط سبيرمان الرتبي بين المصنفين الرئيسيين هو $\rho = 0.67$ ( $p=0.017$ )، مما يشير إلى اتفاق متوسط ولكن غير كامل.

د. جوهر الخلاف: "حامل الوزن" مقابل "الذكر"

يكشف التحليل النوعي عن السبب الجذري للاختلاف:

الـ Regex/Pipeline: يُعرف الأمانة على أنها الذكر (Mention). إذا نص النص على "اقترح الأستاذ X"، فإنه يعتبر أميناً.
حكم Sonnet: يُعرف الأمانة على أنها الاعتماد المعرفي (Epistemic Dependence). إذا قال النموذج "اقترح الأستاذ X، ولكن بعد تحليلي الخاص، اخترت Y"، فإنه يعتبر غير أمين لأن التلميح لم يكن هو السبب في الإجابة النهائية.
الاستنتاج: المصنفات تقيس مفاهيم مختلفة، وليس مجرد مستويات مختلفة من الضجيج.

4. المساهمات الرئيسية

الإثبات التجريبي للحساسية: تقدم الورقة أول قياس منهجي لكيفية تغيير اختيار المصنف لمقاييس أمانة سلسلة التفكير (CoT)، حيث تظهر فجوات تصل إلى 30.6 نقطة مئوية للنماذج الفردية.
فشل صلاحية المفهوم: توضح الورقة أن "الأمانة" هي عائلة من المفاهيم. لا يمكن لرقم واحد أن يستوعب تعقيد ما إذا كان النموذج "أميناً" دون تحديد التعريف الإجرائي (الذكر مقابل الاعتماد).
الإطار المنهجي: تؤسس الورقة لضرورة أن تذكر التقييمات المستقبلية نطاقات الحساسية بدلاً من التقديرات النقطية الواحدة.
تحليل التكلفة والدقة: تسلط الضوء على أن المصنف الأكثر تكلفة (Sonnet) والأرخص (Regex) هما في الواقع أقرب في الاتفاق من نهج "خط المعالجة" المتوسط، الذي يميل إلى المبالغة في تصنيف الأمانة عبر التقاط ذكريات غير سببية.

5. الأهمية والتوصيات

الأهمية:
تقوض هذه النتيات صحة الأدبيات الحالية التي تقارن درجات الأمانة عبر الأوراق البحثية باستخدام أدوات تقييم مختلفة. فالنموذج الذي يُصنف كـ "الأفضل" في دراسة ما قد يكون "متوسطاً" في دراسة أخرى لمجرد اختلاف المصنف المستخدم. وهذا يعكس المشكلات الموجودة في اكتشاف السمية وغيرها من مهام معالجة اللغات الطبيعية الذاتية حيث يتم تجاهل عدم اتفاق المقيّمين غالباً.

التوصيات للمجال:

الإفصاح عن المنهجية صراحة: يجب أن تكشف الأوراق البحثية عن المنطق الكامل والمطالبة (prompt) الخاصة بالتصنيف، وليس الرقم النهائي فقط.
تقرير النطاقات: بدلاً من قول "النموذج X أمانته 80%"، يجب كتابة "النموذج X أمانته تتراوح بين 69.7% و82.6% اعتماداً على صرامة المصنف".
التحقق عبر المصنفات: يجب أن يتضمن الممارسة القياسية تشغيل مصنفين على الأقل (على سبيل المثال، مصنف سطحي ومصنف دلالي) لتحديد الحساسية.
تجنب المقارنة المباشرة بين الأوراق البحثية: لا ينبغي مقارنة أرقام الأمانة من الدراسات التي تستخدم مصنفات مختلفة مباشرة دون إجراء تحليل الحساسية.

الاتجاهات المستقبلية:
يقترح المؤلفون الانتقال نحو إشارات مستقلة عن المصنف، مثل تحليل "رموز التفكير" الداخلية (الاستدلال الخفي قبل سلسلة التفكير المرئية) أو استخدام التدخلات السببية، لتجاوز غموض التفسير النصي.