💬 NLP

Tracing Uncertainty in Language Model "Reasoning"

تقدم هذه الورقة طريقة لتقدير وتحليل ملفات تعريف عدم اليقين لمسارات استدلال النماذج اللغوية، مما يثبت أن الأنماط المتميزة في هذه الملفات يمكنها التنبؤ بصحة الإجابة بدقة عالية وتمكين الكشف المبكر عن الأخطاء.

المؤلفون الأصليون: Nils Grünefeld, Bertram Højer, Philipp Mondorf, Barbara Plank, Anna Rogers, Christian Hardmeier, Stefan Heinrich, Jes Frellsen

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nils Grünefeld, Bertram Højer, Philipp Mondorf, Barbara Plank, Anna Rogers, Christian Hardmeier, Stefan Heinrich, Jes Frellsen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LM) كطالب يؤدي اختباراً طويلاً ومعقداً في الرياضيات أو المنطق. وبدلاً من مجرد كتابة الإجابة النهائية، يُطلب من الطالب "إظهار خطوات عمله" عبر كتابة عملية تفكير طويلة ومنظمة خطوة بخطوة أولاً. ما يطلق عليه الباحثون اسم "سلسلة الأفكار" (Chain-of-Thought) أو "الاستنتاج".

السؤال الجوهري الذي تطرحه هذه الورقة البحثية هو: هل يمكننا معرفة ما إذا كان الطالب سيصل إلى الإجابة الصحيحة أثناء عملية الكتابة، فقط من خلال النظر إلى مدى "ثقته" في كل خطوة؟

إليك تفصيل اكتشافهم، باستخدام تشبيهات بسيطة:

١. "مقياس الثقة"

عادةً، عندما يولد النموذج نصاً، فإنه يختار الكلمة التالية بناءً على الاحتمالات. قرر المؤلفون التعامل مع هذه العملية كأنها مقياس ثقة يتذبذب بينما يكتب الطالب.

الأثر (The Trace): السلسلة الطويلة من الكلمات التي يكتبها النموذج قبل الإجابة النهائية هي "الأثر".
عدم اليقين (The Uncertainty): عند كل كلمة مفردة، يمتلك النموذج مستوى من "عدم اليقين" (مدى عدم تأكده مما سيأتي بعد ذلك).
الملف التعريفي (The Profile): بدلاً من الاكتفاء بالنظر إلى النتيجة النهائية، قام المؤلفون برسم "شكل" عدم اليقين هذا بمرور الوقت، وأطلقوا عليه اسم "ملف أثر عدم اليقين".

٢. نوعان من "الارتباك"

تميز الورقة بين نوعين مختلفين من الارتباك قد يشعر به النموذج، باستخدام تشبيه رمي العملة:

عدم اليقين العشوائي (Aleatoric Uncertainty - "ارتباك العشوائية"): هذا يشبه رمي عملة معدنية عادلة. حتى لو كنت تعرف كل شيء عن العملة، لا يمكنك التنبؤ بالرمية التالية. الأمر عشوائي بطبيعته. في النموذج، يحدث هذا عندما يكون النموذج منقسماً حقاً بين خيارين أو خيارات متعددة.
عدم اليقين المعرفي (Epistemic Uncertainty - "ارتباك المعرفة"): هذا يشبه رمي عملة لم ترها من قبل. أنت لا تعرف ما إذا كانت عادلة أم منحازة. أنت مرتبك لأنك تفتقر إلى المعلومات أو البيانات التدريبية حول هذه الحالة المحددة.

٣. "شكل" النجاح مقابل الفشل

نظر الباحثون في آلاف الأمثلة من الإجابات الصحيحة والخاطئة. ووجدوا أن شكل مقياس الثقة يروي قصة واضحة جداً:

الطالب "الجيد" (الإجابة الصحيحة): بينما يكتب الطالب منطقه، تنمو ثقته بشكل مطرد. ينخفض "مقياس عدم اليقين" بشكل حاد وسلس، مثل متزلج ينحدر من منحدر مستقيم وشديد الانحدار. إنه يصبح أكثر تأكداً من نفسه كلما اقترب من خط النهاية.
الطالب "المتعثر" (الإجابة الخاطئة): مقياس الثقة لديه فوضوي. لا ينخفض بسرعة، والمسار متعرج وغير منتظم. يبدو وكأنه "يستبعد" الخيارات الخاطئة واحداً تلو الآخر بدلاً من "التركيز" بشكل طبيعي على الخيار الصحيح.

الاكتشاف الرئيسي: من خلال النظر في أول ٣٠٠ كلمة من "تفكير" الطالب (قبل أن ينهي المسألة حتى)، استطاع المؤلفون التنبؤ بدقة ٨٠٪ بما إذا كانت الإجابة النهائية ستكون صحيحة أم خاطئة. وهذا أفضل بكثير من الطرق السابقة التي حاولت التخمين بناءً على الإجابة النهائية وحدها أو عبر عدّ عدد المرات التي كرر فيها النموذج نفسه.

٤. "فخ" الثقة الزائفة

كان أحد أكثر الاكتشافات إثارة للدهشة هو وجود "فخ" في كيفية فشل النماذج.

عندما يحصل النموذج على إجابة خاطئة، فإن الخطوات التي اتخذها للوصول إلى هناك غالباً ما تبدو مرتبكة للغاية (عشوائية عالية/عدم يقين Aleatoric).
ومع ذلك، فإن الإجابة الخاطئة النهائية التي يستقر عليها غالباً ما تبدو واثقة ومألوفة بشكل مثير للدهشة (عدم يقين معرفي/Epistemic منخفض).
التشبيه: تخيل متنزهاً يتجول بلا هدف في الغابة (ارتباك عالٍ أثناء المشي) ولكنه في النهاية يتعثر في موقف سيارات مألوف (ارتباك منخفض في النهاية). يفكر المتنزه: "آه، أنا في مكان آمن!" لأن موقف السيارات يبدو كشيء رآه من قبل، رغم أنه سلك مساراً سيئاً للوصول إلى هناك. النموذج واثق من الإجابة الخاطئة لأنها تبدو كشيء رآه في بيانات التدريب الخاصة به، رغم أن المنطق المستخدم للوصول إليها كان مهزوزاً.

٥. لماذا هذا مهم (وفقاً للورقة)

تدعي الورقة أنه من خلال التعامل مع عملية "الاستنتاج" كسلسلة زمنية من مستويات الثقة، يمكننا:

رصد الأخطاء مبكراً: ليس علينا الانتظار حتى ينتهي النموذج من الكتابة لنعرف أنه من المرجح أن يكون مخطئاً.
فهم "السبب": يمكننا رؤية كيف يفشل النموذج. الأمر ليس مجرد أن الإجابة خاطئة؛ بل إن المسار الذي أدى إلى الإجابة كان "متعرجاً" وكان النموذج غير متأكد من خطواته، حتى لو شعر باليقين تجاه الوجهة النهائية.

باخت de، قام المؤلفون ببناء "جهاز كشف الكذب" للاستنتاج في الذكاء الاصطنا. هو لا يقرأ الكلمات ليرى ما إذا كانت منطقية، بل يراقب "نبض قلب" الذكاء الاصطناعي (عدم اليقين) ليرى ما إذا كانت الرحلة سلسة وواثقة (على الأرجح صحيحة) أم مهزوزة ومربكة (على الأرجح خاطئة).

ملخص تقني: تتبع عدم اليقين في "استدلال" النماذج اللغوية

بيان المشكلة

تنتج النماذج اللغوية (LMs) بشكل متزايد تسلسلات طويلة من الرموز الوسيطة، والتي تُسمى آثار "الاستدلال" (على سبيل المثال، سلسلة الأفكำ - Chain-of-Thought أو توسيع وقت الاختبار - test-time scaling)، والتي تحسن الأداء في المهام القابلة للتحقق مثل الاستدلال الرياضي والمنطقي. ومع ذلك، لا تزال الديناميكيات الكامنة وراء هذه العملية التوليدية غير مفهومة جيدًا. وبينما توجد علاقة ارتباط بين طول الأثر والأداء، فإن الآليات التي تميز بين الاستدلال الصحيح والخاطئ تظل غامضة. وتعتمد النهج الحالية للتحقق من هذه الآثار أو تحسينها إما على تجميع المعلومات (مما يؤدي إلى التخلص من البنية الزمنية) أو الاعتماد على المحتوى الدلالي، وهو ما ثبت عدم موثوقيته. علاوة على ذلك، لا يزال تعريف "الاستدلال" في الذكاء الاصطناعي محل خلاف، مع وجود أدلة تشير إلى أن النماذج قد تولد آثارًا غير صالحة دلاليًا ولكنها تؤدي إلى إجابات صحيحة، أو آثارًا تبدو صالحة ولكنها تفشل.

تعالج هذه الورقة الفجوة في فهم العملية التوليدية من خلال معاملة أثر "الاستدلال" ليس ككائن دلالي ثابت، بل كـ حالة نموذج متطورة تتميز بعدم اليقين. ويفترض المؤلفون أن ديناميكيات عدم اليقين على مدار عملية التوليد تحتوي على إشارات تنبؤية فيما يتعلق بصحة الإجابة النهائية، بشكل مستقل عن المحتوى الدلالي للأثر.

المنهجية

إطار تحديد كمية عدم اليقين

يطبق المؤلفون تحديد كمية عدم اليقين (UQ) لنمذجة العملية التوليدية كسلسلة زمنية. ويقومون بتفكيك عدم اليقين إلى فئتين رئيسيتين، يتم تقسيمهما لاحقًا لتحليل أكثر دقة:

عدم اليقين المعرفي ( $U_E$ ): يعكس نقص معرفة النموذج بالتنبؤ بناءً على بيانات التدريب الخاصة به. ويتم تقديره باستخدام معيار $L_2$ المربع لمتجه تدرج الاحتمال المتوقع بالنسبة لمعلمات النموذج، والمستمد عبر توسيع طريقة دلتا من الدرجة الأولى.
عدم اليقين العشوائي (Aleatoric Uncertainty): يعكس العشوائية المتأصلة في المهمة. ويميز المؤلفون بين نوعين فرعيين:
- عدم اليقين الالتزامي ( $U_C$ ): هو تباين برنولي للاحتمال المتوقع للرمز (token) المختار. ويقيس مدى "التزام" النموذج برمز معين (التركيز) مقابل اختيار رمز عن طريق الاستبعاد من بين العديد من البدائل غير المرجحة.
- عدم اليقين التوزيعي ( $U_D$ ): هو الإنتروبيا الشرطية المتوقعة لتوزيع الاحتمالات على المفردات الكاملة. وهو يلتقط شكل التوزيع بأكمله، وليس فقط المنوال (mode).

قنوات الأثر والإجابة

لكل موضع رمز $t$ في أثر مُولد، يحسب المؤلفون هذه الأنواع الثلاثة من عدم اليقين عبر قناتين:

عدم يقين الأثر ( $U_{Tr}$ ): الهدف $y$ هو الرمز التالي $v_t$ . وهذا يصف حالة النموذج فيما يتعلق بخطوة التوليد الفورية.
عدم يقين الإجابة ( $U_A$ ): الهدف $y$ هو الإجابة النهائية النهائية $\hat{y}$ . وهذا يصف حالة النموذج فيما يتعلق بالمخرج النهائي، مما يتطلب تمريرة أمامية/خلفية مشروطة ببادئة الأثر ولكنها تُطبق على نطاق الإجابة النهائية.

ينتج عن ذلك ست سلاسل زمنية لكل عملية توليد ( $U_{Tr}^D, U_{Tr}^C, U_{Tr}^E, U_{A}^D, U_{A}^C, U_{A}^E$ ).

هندسة الميزات والتنبؤ

لتلخيص هذه السلاسل الزمنية، يستخرج المؤلفون مجموعة من الميزات لكل أثر عدم يقين، تسمى ملف أثر عدم اليقين:

الميزات الثابتة: متوسط عدم اليقين في الأجزاء المبكرة ( $\mu_{early}$ )، والوسطى ( $\mu_{mid}$ )، والمتأخرة ( $\mu_{late}$ ) من الأثر.
الميزات الديناميكية: الميل الخطي ( $m$ ) لمسار عدم اليقين، وجودة المطابقة ( $r^2$ ) لهذا الاتجاه الخطي.

تُستخدم هذه الميزات لتدريب مصنفات ثنائية (الانحدار اللوجستي وتعزيز التدرج - Gradient Boosting) للتنبؤ بما إذا كان الأثر سيؤدي إلى إجابة نهائية صحيحة. وتقيم الدراسة خمسة نماذج (Llama-3.1, Llama-3.2, Qwen-2.5, DeepSeek R1, Qwen-3) تتراوح من النماذج اللغوية القياسية إلى "نماذج الاستدلال" (RMs) المدربة بالتعلم التعزيزي، عبر مجموعتي بيانات: GSM8K (الرياضيات) وProntoQA (المنطق).

النتائج الرئيسية

الأداء التنبؤي

يعد ملف أثر عدم اليقين متنبئًا قويًا بالصحة، حيث يتفوق بشكل كبير على النماذج المرجعية الحالية:

درجات AUROC: يحقق المنهج درجات AUROC تصل إلى 0.807 (Qwen-2.5 على GSM8K)، متفوقًا على أحدث تقنيات التحقق من الاستدلال القائم على الدوائر (CRV) بنسبة 11.5%، وعلى طريقة "القدرة على اليقين الذاتي" (Self-Certainty) بنسبة تصل إلى 59%.
الكشف المبكر: يمكن التنبؤ بالصحة بدقة عالية باستخدام المئات الأولى فقط من الرموز. في GSM8K، يصل النموذج إلى AUROC قدره 0.801 عند الرمز رقم 300، مما يشير إلى إمكانية اكتشاف الأخطاء في مرحلة مبكرة من عملية التوليد.
المتانة: تظل القدرة التنبؤية صالحة عبر مختلف بنيات النماذج وأنظمة التدريب (النماذج اللغوية القياسية مقابل نماذج الاستدلال RM)، بينما أظهرت الطرق السابقة مثل "القدرة على اليقين الذاتي" أداءً متغيرًا اعتمادًا على نوع النموذج.

الاختلافات النوعية في ديناميكيات عدم اليقين

يكشف التحليل التفصيلي للآثار الصحيحة مقابل الخاطئة عن أنماط متميزة:

عدم اليقين العشوائي: تظهر الآثار الخاطئة عمومًا مستويات أعلى من عدم اليقين الالتزامي والتوزيعي طوال عملية التوليد مقارنة بالآثار الصحيحة.
عدم اليقين المعرفي: السلوك هنا يخالف التوقعات. غالبًا ما تظهر الآثار الخاطئة مستويات أقل من عدم اليقين المعرفي على مستوى الأثر ( $U_{Tr}^E$ ) في نماذج الاستدلال، مما يشير إلى أن الخطوات في الأثر الخاطئ مدعومة بشكل مفاجئ من قبل بيانات التدريب، رغم أنها تؤدي إلى استنتاج خاطئ. وعلى العكس من ذلك، غالبًا ما تكون الإجابة الخاطئة النهائية ذات عدم يقين معرفي أقل على مستوى الإجابة مقارنة بالإجابة الصحيحة.
الديناميكيات الزمنية: تميل الآثار الصحيحة إلى إظهار انخفاض أكثر حدة وخطية في عدم اليقين (قيمة $r^2$ أعلى) مع تقدم عملية التوليد. أما الآثار الخاطئة فغالبًا ما تعرض مسارات أكثر تسطحًا وأقل خطية، أو في حالة نماذج الاستدلال (RMs)، انخفاضًا حادًا ينتهي بالاستقرار على إجابة خاطئة ومدعومة جيدًا.

الأهمية والادعاءات

تدعي الورقة تقديم منظور مبدئي لدراسة عملية "الاستدلال" في النماذج اللغوية القائم على اتخاذ القرار تحت ظروف عدم اليقين. وتتمثل مساهماتها الرئيسية في:

التوصيف الزمني: على عكس الأعمال السابقة التي تجمع قيم عدم اليقين أو تعتمد على الحالات الخفية، يعامل هذا النهج الأثر كسلسلة زمنية متطورة، مما يلتقط كيف وأين تتغير جودة الاستدلال.
الإشارات التشخيصية: توضح الدراسة أن عدم اليقين العشوائي والمعرفي يحملان إشارات تشخيصية في اتجاهات متعاكسة. إذ يتميز نمط الفشل بارتفاع عدم اليقين العشوائي (مما يشير إلى الصعوبة أو نقص الالتزام) مقترنًا بانخفاض عدم اليقين المعرفي (مما يشير إلى أن المسار الخاطئ مألوف للنموذج). ولا يكفي أي منهما بمفرده للكشف عن نمط الفشل هذا.
الفائدة العملية: تشير القدرة التنبؤية العالية لديناميكيات الأثر المبكرة إلى تطبيق عملي لـ التوليد الانتقائي وتوسيع وقت الاختبار، حيث يمكن إعادة أخذ عينات من الآثار أو إنهاءها مبكرًا بناءً على ملفات عدم اليقين قبل اكتمال التوليد بالكامل.
التكامل مع التحليل الدلالي: يجادل المؤلفون بأن التحليل القائم على عدم اليقين يمكنه تحديد حالات الفشل التي يغفل عنها الفحص الدلالي، كما يتضح من دراسات الحالة حيث يلتزم النموذج بتفسير خاطئ (مثل النسبة مقابل الفرق) مع حدوث طفرة مميزة في عدم اليقين قد يتجاهلها التحليل الدلالي.

يحافظ المؤلفون على موقف متواضع، معترفين بأن منهجهم يعتمد على تقريبات لعدم اليقين (خاصة التقريب المتماثل لعدم اليقين المعرفي) وأن النتائج قد تختلف بين مجموعات البيانات (مثل GSM8K مقابل ProntoQA) بسبب تغير التوزيع. وهم يضعون هذا العمل كإثبات مفهوم لمدى أهمية مقاييس عدم اليقين عبر آثار الاستدلال، داعين إلى مزيد من العمل المستقبلي لتوسيع نطاق البحث ليشمل مهام وبنيات أخرى.