🤖 AI

HyperLens: Quantifying Cognitive Effort in LLMs with Fine-grained Confidence Trajectory

تقدم هذه الورقة HyperLens، وهو مسبار عالي الدقة يستفيد من آلية التكبير الجوهرية في طبقات المحولات لتتبع مسارات الثقة دقيقة التفاصيل، مما يسمح بقياس الجهد المعرفي للتمييز بين تعقيد المهام وتشخيص تدهور الأداء الناتج عن الضبط الدقيق الخاضع للإشراف القياسي.

المؤلفون الأصليون: Chengda Lu, Xiaoyu Fan, Wei Xu

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chengda Lu, Xiaoyu Fan, Wei Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "HyperLens" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة: التلسكوب "المغبش"

تخيل أنك تحاول مشاهدة ساحر يؤدي خدعة معقدة، وتريد أن ترى بالضبط كيف يقوم بها. ومع ذلك، فإن الأدوات التي تملكها حالياً لمشاهدة الساحر تشبه تلسكوباً مغبشاً ومنخفض الدقة.

في عالم النماذج اللغوية الكبيرة (LLMs)، يحاول الباحثون "مراقبة" عقل النموذج أثناء تفكيره. يستخدمون أدوات (مثل "Logit Lens") لاستراق النظر إلى مستويات ثقة النموذج الداخلية. لكن هذه الأدوات مغبشة للغاية؛ فهي لا تستطيع رؤية سوى البداية (التمهيد) والنهاية (الإجابة النهائية)، وتفوتها مرحلة التفكير الفوضوية في المنتصف.

بسبب هذا التغبيش، لم يستطع الباحثون التمييز بين نموذج يحل سؤالاً بسيطاً (مثل "ما هو 2+2؟") وسؤالاً صعباً (مثل مسألة رياضية معقدة). بالنسبة للأدوات المغبشة، بدا كلاهما متشابهاً: النموذج قفز مباشرة إلى الإجابة.

الاكتشاف: آلية "التكبير"

اكتشف مؤلفو هذه الورقة شيئاً مخفياً داخل بنية النموذج (Transformer). وجدوا أن النموذج يمتلك آلية "تكبير ذاتي" مدمجة.

فكر في طبقات النموذج كأنها سلسلة من المرايا. إذا نظرت إلى انعكاس في المرآة الأولى، فسيكون صغيراً وضبابياً. ولكن إذا جعلت ذلك الانعكاس يرتد عبر بضع مرايا أخرى قبل أن تنظر إليه، فستكبر الصورة وتصبح أكثر وضوحاً.

تثبت الورقة أنه إذا انتظرت بضع "طبقات" (مرايا) قبل التحقق من ثقة النموذج، فإن التغييرات الصغيرة في التفكير ستتضخم لتصبح إشارات كبيرة وواضحة.

الحل: HyperLens

بناءً على هذا الاكتشاف، بنى المؤلفون أداة جديدة تسمى HyperLens.

كيف تعمل: بدلاً من سؤال النموذج "بماذا تشعر الآن؟" (وهو سؤال مغبش)، يسأل HyperLens: "بماذا ستشعر بعد أن تفكر في الأمر لبضع خطوات إضافية؟".
النتيجة: يعمل أسلوب "النظر للمستقبل" هذا مثل عدسة تكبير عالية القدرة. وفجأة، تصبح عملية التفكير الفوضوية مرئية.

ما الذي رأوه: "الصراع" مقابل "القفزة"

عندما استخدموا HyperLens، رأوا فرقاً واضحاً بين المهام السلسة والصعبة كان غير مرئي من قبل:

المهام السهلة (القفزة): عندما يحل النموذج مسألة سهلة، ترتفع ثقته فوراً تقريباً. الأمر يشبه شخصاً يعرف إجابة سؤال في مسابقة معلومات عامة؛ فهو يرفع يده فوراً.
المهام الصعبة (الصراع): عندما يحل النموذج مسألة صعبة، تظل ثقته منخفضة لفترة طويلة. إنه يتجول عبر الطبقات، "يصارع" لإيجاد المسار الصحيح، قبل أن يستقر أخيراً على الإجابة.

ابتكر المؤلفون مقياساً يسمى منطقة الصقل ( $\Omega$ ) لقياس هذا. فكر فيه كأنه "المساحة تحت المنحنى" لعدم اليقين.

$\Omega$ منخفضة: عرف النموذج الإجابة بسرعة (جهد معرفي منخفض).
$\Omega$ مرتفعة: اضطر النموذج للعمل بجد، وظل غير متيقن لفترة طويلة (جهد معرفي مرتفع).

الاكتشاف الكبير: المهام المعقدة تتطلب دائماً المزيد من "الجهد المعرفي" (مرحلة صراع أطول) من المهام البسيطة. HyperLens هو أول أداة يمكنها فعلياً قياس وإثبات ذلك.

التحذير: فخ "الثقة العمياء"

استخدمت الورقة أيضاً HyperLens لتشخيص مشكلة في طريقة تدريب شائعة تسمى الضبط الدقيق تحت الإشراف (SFT). وهي عندما تعلم نموذجاً من خلال عرض أمثلة للإجابات الجيدة عليه.

المشكلة: أحياناً، تجعل عملية الـ SFT النموذج كسولاً. حيث يتعلم تخطي مرحلة "الصراع" تماماً.
العرض: يبدأ النموذج بالتصرف وكأنه يمتلك "ثقة عمياء". فهو يقفز إلى إجابة ذات ثقة عالية فوراً، حتى في المسائل الصعبة، دون القيام بعمل التفكير الشاق فعلياً.
النتيجة: لأن النموذج تخطى عملية التفكير، فإنه غالباً ما يعطي إجابات خاطئة أو يهلوِس. يبدو واثقاً، لكنه في الواقع يخمن فقط.

لقد كشف HyperLens هذا الأمر من خلال إظهار أنه بعد عملية الـ SFT، اختفى منحنى "الصراع". توقف النموذج عن "التفكير" وبدأ في "التسميع"، مما أضر بأدائه في المهام الصعبة.

الملخص

الأدوات القديمة: تلسكوبات مغبشة لم تستطع رؤية الفرق بين التفكير السهل والصعب.
HyperLens: عدسة "تكبير" جديدة تستخدم الطبقات المستقبلية للنموذج لتكبير عملية تفكيره.
الرؤية الجوهرية: المشكلات الصعبة تتطلب مرحلة "صراع" مرئية (ثقة منخفضة لفترة من الزمن). أما المشكلات السهلة فهي فورية.
تحذير: إذا قمت بتدريب نموذج بشكل مبسط للغاية، فقد يفقد قدرته على "الصراع"، مما يؤدي إلى "ثقة عمياء" حيث يشعر باليقين ولكنه في الواقع مخطئ.

ملخص تقني: HyperLens

بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة (LLMs) أداءً قويًا، إلا أن ديناميكيات الاستدلال الداخلية الخاصة بها لا تزال غير مفهومة بشكل جيد بسبب محدودية دقة أدوات التحليل الحالية. غالبًا ما تفشل طرق الاستقصاء (probing) الحالية، مثل "عدسة اللوجيت" (Logit Lens) و"العدسة المضبوطة" (Tuned Lens)، في التمييز بين العمليات المعرفية المطلوبة للمهام البسيطة (مثل استرجاع المعرفة) والمهام المعقدة (مثل الرياضيات الصعبة أو البرمجة). تعتمد هذه الطرق عادةً على إسقاطات ثابتة أو مهايئات (adapters) متعلمة خارجية، والتي يرى المؤلفون أنها تعمل كـ "مراقب ضيق الأفق" أو "منحاز". ونتيجة لذلك، فإنها غالبًا ما تنتج مسارات ثقة غير متمايزة بغض النظر عن صعوبة المهمة، مما يفشل في التحقق من الحدس القائل بأن المهام المعقدة تتطلب مرحلة "صراع" أطول ومنخفضة الثقة قبل الاستقرار على الحل.

المنهجية: HyperLens

يقترح المؤلفون HyperLens، وهو مسبار عالي الدقة مصمم لتتبع مسارات الثقة الدقيقة وقياس الجهد المعرفي للنماذج اللغوية الكبيرة أثناء الاستدلال. تعتمد المنهجية على ثلاثة مكونات أساسية:

1. آلية التضخيم الذاتي الجوهري

يحدد الورقة خاصية جوهرية في بنيات المحولات (transformer architectures): الطبقات الأعمق تضخم بطبيعتها التغييرات الصغيرة في الثقة على مستوى الطبقات. وبخلاف الطرق السابقة التي تفك تشفير الحالات المخفية مباشرة باستخدام طبقة عدم التضمين النهائية (العمق البؤري $m=0$ )، يقوم HyperLens بنشر الحالة المخفية عبر سلسلة من الطبقات المستقبلية ( $m$ من الطبقات) قبل إسقاطها إلى فضاء المفردات.

العمق البؤري ( $m$ ): عدد الطبقات المستقبلية المستخدمة للإسقاط.
الأساس النظري: يثبت المؤلفون أن زيادة $m$ تضخم بشكل صارم الثقة الملحوظة في "طبقات الصقل" (refinement layers) (المراحل المتأخرة من المحول حيث يتم فك تشفير الحالات الكامنة إلى مخرجات). هذا التضخم مقيد بالصعوبة الجوهرية للمهمة، مما يسمح للمهام السهلة والصعبة بالتباعد بوضوح في مساراتها.

2. الاستقصاء عالي الدقة

يستخدم HyperLens دالة فك تشفير $D_m$ تقوم بتكوين الطبقات $m$ الأخيرة من النموذج مع إسقاط عدم التضمين. ومن خلال اختيار عمق بؤري "مناسب" (ليس صغيرًا جدًا ليكون مشوشًا ولا كبيرًا جدًا ليؤدي إلى تشبع جميع الإشارات باليقين)، يكشف المسبار عن مسارات ثقة متميزة:

المهام السهلة: تُظهر تقاربًا سريعًا في الثقة.
المهام الصعبة: تحافظ على حالة من انخفاض الثقة لفترة أطول، مما يعكس مرحلة "الصراع".

3. المقياس الكمي: مساحة الصقل ( $\Omega$ )

لقياس الجهد المعرفي، يعرّف المؤلفون مساحة الصقل ( $\Omega$ ) على أنها المساحة فوق مسار الثقة المضخم داخل طبقات الصقل:
$\Omega = \sum_{k \ge i_0} (1 - C^{(m)}_k)$
حيث $i_0$ هو البداية المحددة تلقائيًا لطبقات الصقل، و $C^{(m)}_k$ هي الثقة عند الطبقة $k$ مع العمق البؤري $m$ . تشير قيمة $\Omega$ الأعلى إلى قدر أكبر من عدم اليقين التراكمي، وبالتالي جهد معرفي أعلى مطلوب لتوليد المخرج.

المساهمات الرئيسية

مسبار HyperLens: مسبار جديد عالي الدقة يعمل على تصور وقياس الجهد المعرفي للنموذج من خلال الاستفادة من آلية التضخيم الذاتي للمحول، مما ينجح في فصل مسارات الثقة للمهام السهلة والصعبة.
التوصيف النظري: إثبات رسمي لآلية التضخيم الذاتي الجوهرية للمحول، مما يوضح أن زيادة العمق البؤري تضخم الثقة بشكل صارم، مما يضمن رؤية عالية الدقة لديناميكيات الاستدلال.
التشخيص الآلي لـ SFT: تطبيق HyperLens للكشف عن ظاهرة "الثقة العمياء" في الضبط الدقيق الخاضع للإشراف (SFT). يوضح المؤلفون أن SFT البسيط يمكن أن يقلل من الجهد المعرفي في المهام ضمن النطاق (in-domain) عن طريق جعل النموذج يتخطى مرحلة صراع انخفاض الثقة الضرورية، مما يؤدي إلى تدهور الأداء.

النتائج التجريبية

قيم المؤلفون HyperLens عبر 8 نماذج لغوية كبيرة (بما في ذلك Llama3 وDeepseek ومختلف أحجام Qwen) و 8 مجموعات بيانات تغطي الرياضيات، والبرمجة، والمنطق، والأسئلة والأجوبة العامة.

التحقق من التضخيم: أكدت التجارب أن زيادة العمق البؤري ( $m$ ) تضخم مسارات الثقة بشكل صارم. ومع وجود $m$ كافٍ (على سبيل المثال $m=5$ )، أصبحت المسارات للمهام السهلة والصعبة متباعدة بوضوح، بينما كانت غير متمايزة عند $m=0$ (Logit Lens).
الارتباط بالجهد المعرفي: ارتبطت مساحة الصقل ( $\Omega$ ) باستمرار بصعوبة المهمة. أظهرت المهام الصعبة (مثل AIME وAPPS) قيم $\Omega$ أعلى بكثير من المهام السهلة (مثل MATH المستوى 1-2 وCoNaLa).
التطور الدلالي: نجح HyperLens في فك تشفير رموز دلالية رفيعة المستوى ومفهومة (مثل "أنا لست متأكدًا"، "أريد أن أعرف") في الطبقات المتوسطة، مما كشف عن "مرحلة تفكير" فشلت "عدسة اللوجيت" القياسية في التقاطها دون مهايئات خارجية.
الآثار الجانبية لـ SFT:
- انخفاض الأداء: أدى SFT البسيط إلى انخفاض كبير في الدقة في المهام ضمن النطاق لكل من Llama3-8B وQwen2.5-7B.
- الثقة العمياء: صور HyperLens أن نماذج SFT تصل إلى ثقة عالية في وقت أبكر في تسلسل الطبقات، متجاوزة مرحلة الصراع.
- التحول الكمي: قلل SFT من مساحة الصقل ( $\Omega$ ) لمعظم النماذج، مما يشير إلى انخفاض الجهد المعرفي. ومن الملاحظ أنه في الحالات التي بدت فيها $\Omega$ متزايدة (مثل Qwen2.5-7B في الرياضيات/البرمجة)، أظهر التحليل التفصيلي أن النموذج كان ينتج رموزًا أساسية أقصر وأكثر كثافة (صيغ/أكواد) مع حذف الرموز "الحشوية" التفسيرية، مما قلل فعليًا من إجمالي الجهد ( $\hat{\Omega}$ ) رغم مقاييس الرمز الواحد.

الأهمية والادعاءات

يزعم الورقة أن أكثر المسبارات فعالية لرؤية أسرار النموذج هي النموذج نفسه. من خلال الاستفادة من طبقات المحول المستقبلية كمهايئ طبيعي صفري التدريب (zero-shot adapter)، يحل HyperLens الإشارات التي تضيع عادةً في الفضاءات الكامنة عالية الأبعاد.

يضع المؤلفون هذا العمل كخطوة نحو أنظمة ذكاء اصطناعي أكثر موثوقية ومتانة من خلال تعزيز الشفافية وقابلية التفسير. وتحديدًا، يجادلون بأن فهم مسار "الجهد المعرفي" يوفر تفسيرًا ميكانيكيًا لسبب تدهور الأداء الناتج عن SFT القياسي: فهو يدرب النماذج على اختصار عملية الاستدلال، مما يؤدي إلى "ثقة عمياء" بدلاً من حل المشكلات الحقيقي. وتخلص الورقة إلى أن الكشف عن مثل هذه الخصائص الجوهرية داخل بنيات المحول هو مسار قابل للتطبيق لأبحاث التفسير الذاتي المستقبلية.