🤖 machine learning

How do LLMs Compute Verbal Confidence

تُثبت هذه الورقة أن النماذج اللغوية الكبيرة مثل Gemma 3 وQwen 2.5 تقوم تلقائياً بحساب وتخزين تمثيلات ثقة متطورة قائمة على جودة الإجابة أثناء عملية التوليد بدلاً من حسابها آنياً، مما يكشف أن الثقة اللفظية تعكس تقييماً ذاتياً معرفياً حقيقياً وليس مجرد إعادة بناء لاحقة لاحتمالات الرموز.

المؤلفون الأصليون: Dharshan Kumaran, Arthur Conmy, Federico Barbero, Simon Osindero, Viorica Patraucean, Petar Velickovic

نُشر 2026-03-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Dharshan Kumaran, Arthur Conmy, Federico Barbero, Simon Osindero, Viorica Patraucean, Petar Velickovic

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسأل مساعدًا ذكيًا جدًا، ولكنه غامض بعض الشيء، سؤالاً صعباً. يفكر للحظة، ثم يعطيك إجابة، ثم تسأله: "ما مدى تأكدك من ذلك؟"

يرد الذكاء الاصطناعي: "أنا واثق بنسبة 95%".

لفترة طويلة، تساءل الباحثون: هل يفكر الذكاء الاصطناعي حقاً في مدى تأكده أثناء صياغة الإجابة؟ أم أنه يقوم فقط بتأليف رقم الثقة هذا على الفور بعد انتهائه من الكلام؟

هذه الورقة البحثية، التي تحمل عنوان "كيف يحسب نماذج اللغة الكبيرة (LLMs) الثقة اللفظية؟"، تبحث في هذا الأمر بالضبط. لقد تصرف الباحثون كالمحققين داخل عقل الذكاء الاصطناعي ليكتشفوا كيف يولد تلك الـ "95%".

إليك قصة اكتشافهم، مشروحة ببعض التشبيهات من الحياة اليومية.

المشتبه بهما: "الطهي عند الطلب" مقابل "خزانة الملفات"

كان لدى الباحثين نظريتان رئيسيتان حول كيفية عمل الذكاء الاصطناعي:

الطاهي الذي يعمل "عند الطلب" (فرضية JIT): تخيل طباخاً يعد وجبة. عندما تسأله "ما مدى جودة هذا الطبق؟" بعد تقديم الطبق، يتذوق الطباخ الطعام، ويفكر لثانية، ثم يخبرك. في هذه النظرية، يولد الذكاء الاصطناعي الإجابة أولاً، وفقط عندما يُسأل، يتوقف، وينظر إلى ما قاله، ويحسب درجة الثقة من الصفر.
الموظف في "خزانة الملفات" (فرضية الاسترجاع المخزن): تخيل موظفاً يكتب تقريراً، وبينما يكتب، يضع سراً ملاحظة صغيرة بجانب كل فقرة تقول: "هذا الجزء متين" أو "هذا الجزء مهزوز". عندما تطلب منه درجة الثقة لاحقاً، لا يعيد الموظف قراءة التقرير بأكل، بل يلتقط فقط الملاحظة التي كتبها سابقاً. في هذه النظرية، يحسب الذكاء الاصطناعي ثقته تلقائياً أثناء توليد الإجابة ويخزنها جانباً لاستخدامها لاحقاً.

الحكم النهائي: وجد الباحثون أن الذكاء الاصطناعي هو بالتأكيد موظف خزانة الملفات. فهو يحسب ثقته أثناء الإجابة، ويخزن ذلك الشعور، ثم يسترجعه ببساطة عندما يُسأل.

كيف أثبتوا ذلك؟ (عمل المحققين)

استخدم الباحثون "جراحة" عالية التقنية على دماغ الذكاء الاصطناعي (والذي هو في الواقع برنامج كمبيوتر ضخم يسمى "ترانسفورمر" - Transformer). إليك الأدوات التي استخدموها، مترجمة إلى مصطلحات بسيطة:

1. "جهاز التحكم عن بعد" (توجيه التنشيط - Activation Steering)

تخيل أن دماغ الذكاء الاصطناعي يحتوي على مفتاح تحكم خاص بـ "الثقة". وجد الباحثون طريقة لرفع أو خفض هذا المفتاح.

الاختبار: قاموا برفع "مفتاح الثقة" مباشرة بعد انتهاء الذكاء الاصطناعي من إجابته ولكن قبل أن يُطلب منه ذكر درجة ثقته.
النتيجة: ارتفعت درجة ثقة الذكاء الاصطناعي النهائية! أثبت هذا أن معلومات الثقة كانت موجودة بالفعل هناك، تنتظر الاستخدام، تماماً مثل ملف موضوع على المكتب قبل أن تطلبه. لو كان الذكاء الاصطناعي يقوم بعمليات حسابية "عند الطلب"، لما نجحت عملية رفع المفتاح في تلك اللحظة.

2. "حبة فقدان الذاكرة" (رقع التنشيط - Activation Patching)

تخيل أنك تعطي الذكاء الاصطناعي حبة تجعله ينسى الإجابة التي كتبها للتو، ولكنك تضع سراً ذاكرة "نظيفة" للإجابة في مكان محدد في دماغه.

الاختبار: مسحوا ذاكرة الذكاء الاصطناعي للإجابة، مما جعله مرتبكاً. ثم قاموا بـ "رقع" (استعادة) الذاكرة فقط في المكان المحدد حيث توجد "خزانة الملفات" (علامة السطر الجديد بعد الإجابة).
النتيجة: تذكر الذكاء الاصطناعي فجأة مدى الثقة التي يجب أن يشعر بها! أثبت هذا أن "مكان خزانة الملفات" (السطر الجديد) يحمل بيانات الثقة الحاسمة.

3. "سوق المقايضة" (تبادل التنشيط - Activation Swap)

كانت هذه هي الحيلة الأكثر ذكاءً. أخذوا الحالة الذهنية لذكاء اصطناعي "واثق جداً" مباشرة بعد إجابته، واستبدلوها في دماغ ذكاء اصطناعي "غير متأكد جداً".

الاختبار: أخذوا "شعور الثقة" من إجابة صحيحة وقاموا بلصقه في تجربة كان فيها الذكاء الاصطناعي غير متأكد في الواقع.
النتيجة: بدأ الذكاء الاصطناعي غير المتأكد يتصرف بثقة فجأة! أثبت هذا أن إشارة الثقة هي "شعور" متميز وقابل للنقل مخزن في الدماغ، وليست مجرد نتاج ثانوي للكلمات نفسها.

المفاجأة الكبرى: ليس مجرد "شعور داخلي"

كان هناك لغز ثانٍ: ما هو هذا الرقم الخاص بالثقة بالضبط؟

اعتقد البعض أن الذكاء الاصطناعي ينظر فقط إلى مدى "سلاسة" أو "تدفق" إجابته. إذا كانت الكلمات تتدفق بسهولة، شعر بالثقة. وإذا كانت الكلمات متعثرة، شعر بعدم اليقين. هذا يشبه طالباً يشعر بالثقة لمجرد أنه كتب مقالاً طويلاً، حتى لو كان المقال غير منطقي.

وجد الباحثون أن هذا لم يكن صحيحاً.

اكتشفوا أن إشارة الثقة لدى الذكاء الاصطناعي تحتوي على معلومات أكثر بك-ثير من مجرد مدى سلاسة الكلمات.
الأمر يشبه معلماً يصحح اختباراً. فحص السلاسة "عند الطلب" يشبه قول: "الخط جميل، لذا لا بد أنني على حق". لكن الذكاء الاصطناعي يقوم في الواقع بـ فحص من الدرجة الثانية: إنه ينظر إلى الإجابة ويسأل نفسه: "هل هذه الحقيقة تتوافق فعلياً مع ما أعرفه عن العالم؟"

هذا يعني أن لدى الذكاء الاصطناعي شكلاً من أشكال الوعي بالمعرفة (Metacognition) (التفكير في التفكير). إنه ليس مجرد ببغاء يردد الكلمات؛ بل لديه نظام "ضبط جودة" داخلي يقيم عمله أثناء القيام به.

طريق المعلومات

أخيراً، تتبعوا مسار إشارة الثقة هذه:

الإجابة: يولد الذكاء الاصطناعي الإجابة.
خزانة الملفات (PANL): مباشرة بعد آخر كلمة في الإجابة، يقرأ الذكاء الاصطناعي الإجابة بأكملها، ويحسب مدى جودتها، ويخزن "درجة الثقة" تلك في مكان محدد (رمز السطر الجديد).
الاسترجاع (CC): عندما يطلب المطالب (Prompt) درجة الثقة، ينظر الذكاء الاصطدي إلى تلك الدرجة المخزنة ويقولها بصوت عالٍ.

لماذا يهم هذا؟

هذا أمر بالغ الأهمية لسببين:

الثقة: هذا يعني أننا لا نستطيع خداع الذكاء الاصطناعي ليبدو واثقاً. إذا قال إنه واثق بنسبة 95%، فهو في الواقع يجري فحصاً داخلياً متطوراً، وليس مجرد تخمين بناءً على مدى سلاسة الجملة.
الأمان: إذا فهمنا كيف يعرف الذكاء الاصطناعي أنه غير متأكد، يمكننا بناء أنظمة سلامة أفضل. يمكننا تعليم الذكاء الاصطناعي أن يثق في "خزانة ملفاته" الخاصة ويقول "لا أعرف"، قبل أن يختلق حقيقة مزيفة.

باختصار: الذكاء الاصطناعي لا يزيف الثقة. إنه يقوم بالحسابات في الوقت الفعلي، ويقوم بملف النتائج، ثم يسلمها لك عندما تطلبها. إنه فحص ذاتي متطور وتلقائي يحدث قبل أن تعرف حتى أنك ستسأل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "كيف تحسب النماذج اللغوية الكبيرة (LLMs) الثقة اللفظية؟" للباحث دارشان كوماران وآخرون.

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في تطبيقات عالية المخاطر حيث يكون تقدير عدم اليقين أمراً بالغ الأهمية. وبينما تعد "الثقة اللفظية" (حث النموذج على إخراج رقم أو فئة مثل "متأكد تقريباً") طريقة شائعة لاستخراج هذه التقديرات، فإن الآليات الداخلية التي تولد هذه الدرجات تظل بمثابة "صندوق أسود".

يعالج المؤلفون سؤالين جوهريين:

متى يتم حساب الثقة؟
- فرضية الحساب في الوقت المناسب (JIT): يحسب النموذج الثقة فقط عندما يُطلب منه صراحةً التقييم الذاتي (في نهاية المطالبة/البرومبت)، من خلال دمج ميزات السؤال والجواب في تلك اللحظة المحددة.
- فرضية الاسترجاع المخزن مؤقتاً (Cached Retrieval): يقوم النموذج تلقائياً بحساب الثقة أثناء توليد الإجابة، ويخزنها (يخزنها مؤقتاً) في تمثيلات داخلية، ثم يسترجعها لاحقاً عند طلب التعبير اللفظي عنها.
ماذا تمثل الثقة اللفظية؟
- فرضية الدرجة الأولى (الطلاقة): الثقة هي مجرد قراءة للاحتمالات اللوغاريتمية للرموز (الطلاقة في التوليد).
- فرضية الدرجة الثانية (التقييم): تمثل الثقة تقييماً متميزاً وأكثر ثراءً لـ "ملاءمة السؤال-الجواب" أو جودة الإجابة، بشكل مستقل عن احتمالية الرموز البسيطة.

2. المنهجية

تركز الدراسة على نموذجي Gemma 3 27B و Qwen 2.5 7B باستخدام مجموعة بيانات TriviaQA. يستخدم المؤلفون مجموعة من تقنيات التفسير الآلي (Mechanistic Interpretability) لتتبع تدفق المعلومات والسببية داخل بنية المحول (Transformer).

الإعدادات التجريبية الرئيسية:

تصميم المطالبة (Prompt Design): تم حث النماذج على توليد إجابة، يتبعها سطر جديد، ثم طلب لدرجة الثقة (فئوية أو رقمية). ومن المهم أن الإجابة تم توفيرها كـ "سياق" في مرحلة تقييم الثقة لضمان أن الحالة الداخلية للنموذ de عند رمز "الثقة-النقطتين" (confidence-colon) مطابقة للتوليد التلقائي.
الرموز الرئيسية المحددة:
- PANL (سطر جديد بعد الإجابة): الرمز الذي يلي الإجابة المولدة مباشرة.
- CC (نقطتان للثقة): الرمز الذي يسبق مخرج الثقة مباشرة (مثل : قبل فئة الثقة).
- رموز التحكم: PANL+1 (الرمز بعد السطر الجديد)، FCC (أول نقطتين للثقة)، إلخ.

تقنيات التدخل:

توجيه التنشيط (Activation Steering): حقن نواقل مشتقة من تجارب الثقة العالية/المنخفضة في طبقات ومواضع رموز محددة لمراقبة ما إذا كانت درجات الثقة تتغير في اتجاهين متعاكسين.
رقع التنشيط (Activation Patching): إفساد تنشيطات رموز الإجابة (استبدالها بتنشيطات المتوسط) لتعطيل قدرة النموذج على تقييم الصحة، ثم "رقع" (استعادة) التنشيطات النظيفة انتقائياً في مواضع محددة (PANL, CC) لمعرفة ما إذا كان سيتم استعادة الثقة.
إضافة الضجيج للتنشيط (Mean Ablation): استبدال التنشيطات في مواضع محددة بمتوسط تجارب الثقة العالية/المنخفضة لاختبار الضرورة.
تبديل التنشيط (Interchange Intervention): تبديل تنشيطات مسار المتبقي (residual stream) من تجربة ذات ثقة عالية إلى تجربة ذات ثقة منخفضة (والعكس صحيح) لاختبار ما إذا كانت معلومات الثقة تنتقل عبر التجارب بشكل مستقل عن المحتوى.
حظر الانتباه (Attention Blocking): تصفير أوزان الانتباه بشكل منهجي بين أزواج الرموز المحددة (مثل CC $\to$ Question/Answer) لرسم خرائط مسارات تدفق المعلومات.
الاستقصاء الخطي وتقسيم التباين (Linear Probing & Variance Partitioning): تدريب مصنفات/منظمات خطية على تنشيطات مسار المتبقي لفك تشفير الصحة وحجم الثقة، ثم تقسيم التباين لتحديد ما إذا كانت إشارات الثقة تحتوي على معلومات تتجاوز احتمالات الرموز فحسب.

3. المساهمات والنتائج الرئيسية

أ. التوقيت: أدلة على الاسترجاع المخزن مؤقتاً

يقدم المؤلفون أدلة متقاربة على أن الثقة تُحسب تلقائياً وتُخزن مؤقتاً أثناء توليد الإجابة، وليس حوسبتها في الوقت المناسب.

الأسبقية الزمنية: ظهرت تأثيرات توجيه التنشيط، والرقع، وإضافة الضجيج في طبقات مبكرة (حوالي الطبقات 21-25) عند رمز PANL مقارنة برمز CC (حوالي الطبقات 30-35). يشير هذا إلى أن الثقة تُشفر عند PANL قبل استرجاعها عند CC.
التدفق السببي: كشفت تجارب حظر الانتباه عن تدفق تسلسلي:
1. رموز الإجابة $\to$ PANL: ينتبه PANL إلى رموز الإجابة (تحديداً آخر رمز في الإجابة) لجمع المعلومات المتعلقة بالثقة.
2. PANL $\to$ CC: يتم توجيه معلومات الثقة من PANL إلى رمز CC (غالباً عبر رموز القالب الوسيطة في المطالبات المعقدة).
3. لا يوجد حساب في الوقت المناسب (JIT): أدى حظر انتباه CC إلى السؤال أو الإجابة إلى تأثير ضئيل، مما ينفي فرضية أن النموذج يعيد حساب الثقة من الص ว่า عند موقع التعبير اللفظي.

ب. المحتوى: أدلة على التقييم من الدرجة الثانية

الثقة اللفظية ليست مجرد قراءة للاحتمالات اللوغاريتمية للرموز.

تقسيم التباين: كشفت المستقصيات الخطية أن تنشيطات PANL و CC تفسر قدراً كبيراً من التباين في الثقة اللفظية ( $R^2 \approx 0.084$ ) بما يتجاوز ما يمكن تفسيره باحتمالات الرمتم لوحدها.
إشارة متميزة: بينما تعد الاحتمالات اللوغاريتمية للرموز متنبئات مهمة للصحة (AUROC $\approx$ 0.75)، إلا أنها متنبئات ضعيفة لدرجة الثقة اللفظية. يشير هذا إلى أن النموذج يقوم بتقييم متميز من "الدرجة الثانية" لجودة الإجابة (ملاءمة السؤال-الجواب) يتجاوز مجرد طلاقة التوليد.
تجارب التبديل: أدى تبديل تنشيطات PANL بين تجارب الثقة العالية والمنخفضة إلى تغيير مخرجات الثقة للمستقبل بشكل منهجي، حتى مع بقاء المحتوى (السؤال/الإجابة) دون تغيير. وهذا يثبت أن PANL يشفر معلومات ثقة مجردة، وليس مجرد ميزات المحتوى.

ج. التعميم

ظلت النتائج ثابتة عبر:

بنى النماذج: كل من Gemma 3 27B و Qwen 2.5 7B.
تنسيقات المطالبة: سواء كانت فئوية (مثل "متأكد تقريباً") أو رقمية (0-100).

4. الأهمية والآثار المترتبة

الإدراك الميتا معرفي (Metacognition) في النماذج اللغوية الكبيرة: تظهر الدراسة أن النماذج اللغوية تمتلك شكلاً متطوراً من الإدراك الميتا معرفي. فهي لا "تخمن" الثقة فحسب عند سؤالها، بل تحتفظ بتمثيل داخلي مخزن مؤقتاً لجودة الإجابة يتم توليده جنباً إلى جنب مع الإجابة نفسها.
كشف الأخطاء: إن وجود إشارة ثقة من الدرجة الثانية يعني أن النماذج اللغوية تمتلك القدرة الداخلية على اكتشاف الأخطاء حتى بعد الالتزام بإجابة (وهي قدرة تفتقر إليها النماذج ذات الدرجة الأولى البسيطة). يدعم هذا فكرة أن النماذج اللغوية يمكنها التمييز بين "ما ولدته" و "مدى جودته".
المعايرة والسلامة: إن فهم أن الثقة تُخزن مؤقتاً بدلاً من إعادة بنائها يسمح بتدخلات منهجية. فبدلاً من الاعتماد على هندسة المطالبات أو الضبط الدقيق اللاحق، يمكن للباحثين مستقبلاً توجيه أو رقع هذه التمثيلات المخزنة مؤقتاً لتحسين المعايرة وتقليل الهلوسة.
الرؤية الميكانيكية: ترسم الورقة "الدائرة" الخاصة بالثقة: رموز الإجابة $\to$ PANL (الطبقات المبكرة) $\to$ CC (الطبقات المتأخرة) $\to$ المخرج. يوفر هذا مخططاً ملموساً لكيفية معالجة عدم اليقين في بنى المحولات (Transformers).

الخاتمة

تفند الورقة فرضيتي "الحساب في الوقت المناسب" و"قراءة الطلاقة". وبدلاً من ذلك، تثبت أن النماذج اللغوية الكبيرة تحسب الثقة اللفظية عبر استرجاع تلقائي ومخزن مؤقتاً لتقييم من الدرجة الثانية لجودة الإجابة. هذه الإشارة للثقة متميزة عن احتمالات الرموز، وتظهر مبكراً في الشبكة أثناء توليد الإجابة، ويتم استرجاعها لاحقاً للتعبير اللفظي، مما يشير إلى مستوى من الوعي التأملي في النماذج اللغوية الحالية.