💬 NLP

Beyond Confidence: The Rhythms of Reasoning in Generative Models

تقدم الورقة البحثية حد قيد الرمز ( $\delta_{\mathrm{TCB}}$ )، وهو مقياس مبتكر يحدد كمياً استقرار الالتزام التنبؤي الداخلي للنماذج اللغوية الكبيرة من خلال قياس مقدار الاضطراب في المدخلات الذي يمكن للنموذج تحمله قبل أن يتغير تنبؤ الرمز الأعلى لديه، مما يوفر طريقة أكثر قوة لتقييم الموثوقية السياقية مقارنة بالمقاييس التقليدية مثل الحيرة (perplexity).

المؤلفون الأصليون: Deyuan Liu, Zecheng Wang, Zhanyue Qin, Zhiying Tu, Dianhui Chu, Dianbo Sui

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Deyuan Liu, Zecheng Wang, Zhanyue Qin, Zhiying Tu, Dianhui Chu, Dianbo Sui

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رامي سهام محترف. عندما تصوب نحو هدف، هناك طريقتان لوصف مدى "جودة" رميتك:

النتيجة (الدقة): هل أصبت مركز الهدف؟
الاستقرار (الثقة): إذا هبت نسمة ريح خفيفة، أو إذا اهتزت يدك لميليمتر واحد فقط، هل ستظل تصيب مركز الهدف، أم أن سهمك سينحرف بعيداً عن المسار بشكل عشوائي؟

الطرق الحالية لقياس الذكاء الاصطناعي (مثل "الدقة" أو "الحيرة/Perplexity") تركز غالباً على النتيجة. فهي تخبرنا ما إذا كان الذكاء الاصطناعي قد حصل على الإجابة الصحيحة أم لا. لكن هذه الورقة البحثية، "ما وراء الثقة: إيقاعات الاستدلال" (Beyond Confidence: The Rhythms of Reasoning)، تجادل بأننا نفوت الجزء الأهم، وهو: الاستقرار.

المشكلة: "التخمين المحظوظ" مقابل "الخطة المتينة"

تخيل أن ذكاءً اصطناعياً يخوض اختباراً من نوع الاختيار من متعدد.

السيناريو (أ): يختار الذكاء الاصطناعي الإجابة "ج" بيقين قدره 99%. يبدو كأنه عبقري! ولكن، اتضح أن الذكاء الاصطناعي اختار "ج" فقط بسبب خلل بسيط وغريب في تنسيق السؤال. لو قمت بتغيير فاصلة واحدة فقط، لربما أصيب الذكاء الاصطناعي بالذعر واختار "أ". هذا هو "التنبؤ الهش" (Brittle Prediction).
السيناريو (ب): يختار الذكاء الاصطناعي الإجابة "ج" بيقين قدره 70%. قد لا يبدو "واثقاً" على الورق، لكن لديه فهم هيكلي عميق للمنطق. حتى لو صيغ السؤال بشكل مختلف قليلاً، سيظل الذكاء الاصطناعي على المسار الصحيح. هذا هو "التنبؤ القوي" (Robust Prediction).

في الوقت الحالي، غالباً ما تخلط مقاييسنا بين السيناريو (أ) والسيناريو (ب) وتعتبر السيناريو (أ) "أفضل". وهذا أمر خطير لأننا عندما نستخدم الذكاء الاصطناعي في أمور حيوية — مثل الطب أو القانون — فنحن لا نريد مجرد إجابة؛ بل نريد إجابة لا تنهار إذا تغير المدخل قليلاً.

الحل: "هامش الأمان" ( $\delta$ TCB)

ابتكر الباحثون مقياساً جديداً يسمى "حد تقييد الرمز" ( $\delta$ TCB - Token Constraint Bound).

فكر في $\delta$ TCB كـ "منطقة أمان" أو "فقاعة استقرار" حول قرار الذكاء الاصطناعي.

بدلاً من مجرد النظر إلى الاحتمالية النهائية (الدرجة)، ينظر $\delta$ TCB إلى "الهندسة الداخلية" لعقل الذكاء الاصطناعي. إنه يسأل: "كم يمكنني أن أحرّك الإشارات الداخلية لهذا النموذج قبل أن يتغير خياره الأول إلى إجابة أخرى؟"

$\delta$ TCB كبير: يعني أن الذكاء الاصطناعي قد بنى حصناً ضخماً ومتيناً حول إجابته. إنه "ملتزم" باستدلاله.
$\delta$ TCB صغير: يعني أن الذكاء الاصطناعي يقف على حبل مشدود. قد يكون على المسار الصحيح، لكنه على بُعد دفعة صغيرة واحدة من الانهيار التام.

لماذا يهم هذا الأمر: فخ "الخطأ الواثق"

الجزء الأكثر إثارة للاهتمام في الورقة البحثية هو أنها كشفت عن ظاهرة يسمونها "الخطأ الواثق والمستقر" (Confidently and Stably Wrong).

أحياناً، يكون الذكاء الاصطناعي متأكداً بنسبة 100% من إجابة ما، وتكون "فقاعة الاستقرار" الخاصة به ( $\delta$ TCB) ضخمة — مما يعني أنه مقاوم للتغيير بشكل هائل. ولكن... الإجابة خاطئة.

الأمر يشبه شخصاً مقتنعاً تماماً وبشكل لا يتزعزع بأن $2 + 2 = 5$ . هو ليس مجرد مخمن؛ بل بنى صرحاً منطقياً (لكنه معيب) لدعم هذا الخطأ. ولأن $\delta$ TCB يقيس الاستقرار وليس الحقيقة، فإنه يساعد الباحثين على تحديد هذه اللحظات "العنيدة في الخطأ"، وهي خطوة كبيرة نحو جعل الذكاء الاصطناعي أكثر موثوقية.

الخلاصة

من خلال استخدام مقياس "فقاعة الاستقرار" هذا، وجد الباحثون أن بإمكانهم:

تحسين هندسة الأوامر (Prompt Engineering): بدلاً من مجرد محاولة الحصول على الإجابة "الصحيحة"، أصبح بإمكانهم الآن تصميم أوامر تجعل استدلال الذكاء الاصطناعي أكثر متانة.
رصد المشكلات مبكراً: يمكنهم رؤية متى بدأ الذكاء الاصطنا_ي "يدور في حلقة مفرغة" أو يكرر نفسه من خلال مراقبة تقلص فقاعة الاستقرار.
الموثوقية الحقيقية: إن هذا ينقلنا من سؤال "هل حصل الذكاء الاصطناعي على الإجابة الصحيحة؟" إلى السؤال الأكثر أهمية بكثير: "هل يمكننا الوثوق في أن يظل الذكاء الاصطناعي على الصواب؟"

ملخص تقني: ما وراء الثقة: إيقاعات الاستدلال في النماذج التوليدية

نُشرت كأوراق بحثية في مؤتمر ICLR 2026

1. بيان المشكلة

تُعد النماذج اللغوية الكبيرة (LLMs) حساسة بشكل ملحوظ للتغيرات الطفيفة في السياق (مثل صياغة المطالبة، أو ترتيب الأمثلة، أو التنسيق)، مما يؤدي إلى تقلبات كبيرة في الأداء. إن مقاييس التقييم الحالية غير كافية لتشخيص هذا "الهشاشة":

الدقة (Accuracy): توفر رؤية تجميعية فقط وتتجاهل استقرار التنبؤات الفردية.
الارتباك (Perplexity - PPL) والثقة (الاحتمالية/اللوجيتس): تركز على احتمالية التسلسل أو الاحتمالية النسبية. ومع ذلك، فإن الثقة العالية (توزيع softmax حاد) لا تضمن أن الحالة الداخلية للنموذج مرنة تجاه الاضطرابات الصغيرة. يمكن للنموذج أن يكون "غير مستقر بثقة"، حيث تؤدي "هزة" ضئيلة في التمثيل الداخلي إلى قلب تنبؤ الرمز (token) الأعلى.

يسعى المؤلفون للإجابة على السؤال التالي: كيف يمكننا قياس استقرار حالة التنبؤ الفورية لنموذج لغوي كبير ضد التغيرات الداخلية الصغيرة؟

2. المنهجية: حد قيد الرمز ( $\delta$ TCB)

يقترح المؤلفون مقياسًا جديدًا يسمى حد قيد الرمز ( $\delta$ TCB). على عكس المقاييس التي تنظر إلى المخرجات، يقيس $\delta$ TCB "هامش الأمان" للحالة الخفية $h$ للنموذج.

التعريف الرياضي: يقيس $\delta$ TCB أقصى نصف قطر للاضطراب $\Delta h$ الذي يمكن تطبيقه على الحالة الخفية بحيث يظل التغيير الناتج في توزيع احتمالية المخرجات $\Delta o$ ضمن حد التسامح المحدد $\epsilon$ .
$\delta\text{TCB}(h) := \frac{\epsilon}{\|J_W(h)\|_F}$
حيث $\|J_W(h)\|_F$ هي نورم فروبينيوس (Frobenius norm) لمصفوفة جاكوبي (Jacobian matrix) لاحتمالات المخرجات بالنسبة للحالة الخفية.
الارتباط الهندسي: تقدم الورقة اشتقاقًا نظريًا يوضح أن $\delta$ TCB مرتبط جوهريًا بهندسة فضاء تضمين المخرجات (output embedding space). وتحديدًا، يتم تحديد نورم جاكوبي من خلال المسافات الإقليدية المربعة بين تضمينات الرموز $w_i$ والمتوسط المرجح بالاحتمالية للمضمنات $\mu_w$ ، والموزونة بمربع احتمالاتها $o_i^2$ .
تحليل الأنظمة (Regime Analysis): يحدد المؤلفون نظامين متميزين للاستقرار:
1. نظام عدم اليقين (مرتفع $V_{eff}$ ): يكون الاستقرار مدفوعًا بـ "تسطح" التوزيع العام. هنا، يرتبط $\delta$ TCB بقوة مع حجم المفردات الفعال ( $V_{eff}$ ).
2. نظام الثقة العالية (منخفض $V_{eff}$ ): يكون الاستقرار مدفوعًا بـ "هامش اللوجيت" (الفجوة بين الرمز الأعلى ومنافسه الأقرب). هنا، يرتبط $\delta$ TCB بمدى انفصال تضمين الرمز المهيمن عن منافسيه.

3. المساهمات الرئيسية

مقياس جديد ( $\delta$ TCB): مقياس مبدئي وقائم على أسس رياضية لقياس المتانة المحلية لتنبؤات الرمز التالي.
النظرية الهندسية: اشتقاق يربط استقرار التنبؤ بتشتت تضمينات المخرات في الفضاء الكامن.
إطار تشخيصي: طريقة لتحديد "صراعات الدقة والاستقرار"، مثل التنبؤات التي تكون دقيقة ولكن هشة، أو التنبؤات التي تكون "خاطئة بثقة واستقرار".
استراتيجية التحسين: برهنة على أن استخدام $\delta$ TCB لتوجيه هندسة المطالبات (التحسين المشترك للدقة والاستقرار) ينتج نماذج أكثر متانة من التحسين القائم على الارتباك وحده.

4. النتائج التجريبية

قيم المؤلفون $\delta$ TCB باستخدام نموذج LLaMA-3.1-8B على اختبارات مثل MMLU و GSM8K.

التحقق من النظرية: أكدت عمليات المحاكاة أن $\delta$ TCB حساس لهندسة التضمين (تكتل مقابل تشتت التضمينات) بشكل مستقل عن توزيع الاحتمالات.
هندسة المطالبات: وجد المؤلفون في GSM8K أن بعض المطالبات (مثل إضافة معلومات مضللة) يمكن أن تجعل النموذج يدخل في حالة من "الخطأ المستقر للغاية" — حيث يكون النموذج واثقًا بنسبة 100% ومستقرًا للغاية، ولكنه خاطئ رياضيًا.
مكاسب المتانة: أدى استخدام تحسين المطالبات الموجه بـ $\delta$ TCB إلى تحسين الدقة في أسوأ الحالات وتقليل معدل انخفاض الأداء (PDR) عند اضطراب المطالبات، متفوقًا على التحسين القائم على الارتباك.
ديناميكيات التوليد: في توليد النصوص، نجح $\delta$ TCB في رصد "مناطق عدم الاستقرار" (الانخفاضات الحادة في الاستقرار) التي تسبق الأخطاء أو الحلقات التكرارية، والتي غالبًا ما تفوتها مقاييس الارتباك القياسية.

5. الأهمية

ينقل هذا العمل التركيز في تقييم النماذج اللغوية الكبيرة من "ماذا يتنبأ النموذج؟" (الدقة/الثقة) إلى "ما مدى مرونة عملية اتخاذ القرار في النموذج؟" (الاستقرار). ومن خلال توفير طريقة لقياس "هامش الأمان" للتنبؤ، يوفر $\delta$ TCB أداة حيوية لنشر النماذج اللغوية الكبيرة في التطبيقات الحرجة حيث يكون الاتساق والموثوقية بنفس أهمية الصحة. إنه يقدم فهمًا آليًا لسبب عمل بعض المطالبات بشكل أفضل من غيرها، منتقلاً من هندسة المطالبات القائمة على التجربة والخطأ نحو نهج هندسي أكثر انضباطًا.