🤖 AI

Inference Time Causal Probing in LLMs

تقترح هذه الورقة طريقة "التدخل بالهامش المدفوع بالحالة الخفية" (HDMI)، وهي طريقة تعتمد على التدرج ولا تتطلب مسبارًا، حيث تقوم بتوجيه الحالات الخفية للنماذج اللغوية الكبيرة مباشرةً باستخدام مخرجات النموذج الأصلية لتحقيق تدخلات سببية أكثر موثوقية من النهج الحالية المعتمدة على المصنفات، مع تقديم نسخة "الاستشراف" (lookahead) لتحرير النصوص.

المؤلفون الأصليون: Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: إصلاح "الصندوق الأسود"

تخيل أن النموذج اللغوي الكبير (LLM) هو طاهٍ (شيف) ذكي للغاية، ولكنه غامض نوعًا ما في مطبخه. يمكن لهذا الطاهي كتابة قصص مذهلة، ولكن إذا سألته: "لماذا أضفت الملح إلى هذا الحساء؟"، فقد لا يملك إجابة واضحة. هو فقط "يعرف" أن الطعم أصبح صحيحًا.

يريد العلماء فهم كيف يتخذ هذا الطاهي قراراته. وتحديدًا، يريدون معرفة: هل يستخدم الطاهي حقًا مفهوم "الجمع" (مثل "قطط") ليقرر استخدام الفعل "يركضون"، أم أن ذلك مجرد مصادفة؟

لاختبار ذلك، يستخدم الباحثون تقنية تسمى الاستقصاء السببي (Causal Probing). وهي تشبه تجربة "ماذا لو". يريدون القول: "حسنًا، لنفترض أن الفاعل جمع بدلاً من مفرد. هل سيغير الطاهي الفعل من 'يركض' إلى 'يركضون'؟"

المشكلة في الطرق القديمة: مشكلة "المترجم"

في السابق، ولإجراء هذه التجربة، كان على الباحثين استئجار مترجم (يُسمى "المسبار" أو "البروب").

كانوا يدربون هذا المترجم لقراءة ملاحظات الطاهي السرية (الحالات الخفية) وتخمين ما إذا كان الفاعل مفردًا أم جمعًا.
ثم يستخدمون ملاحظات المترجم لدفع ملاحظات الطاهي لتغيير المعنى.

العيب: قد لا يتحدث هذا المترجم لغة الطاهي بشكل مثالي. قد يكون للمترجم قواعده الخاصة لما يبدو عليه "الجمع"، والتي لا تتطابق مع طريقة تفكير الطهاء الحقيقية. الأمر يشبه محاولة إصلاح محرك سيارة باستخدام دليل مكتوب لعلامة تجارية مختلفة؛ قد تضغط على الزر الصحيح، لكنك قد تكسر شيئًا آخر لأنك لا تفهم التصميم الحقيقي للمحرك.

الحل الجديد: HDMI (الدفعة المباشرة)

يقترح المؤلفون طريقة جديدة تسمى HDMI (التدخل بهامش مدفوع بالحالة الخفية).

التشبيه: بدلًا من استئجار مترجم، يتحدث HDMI مباشرة إلى رأس الطاهي.

الهدف: الطاهي على وشك قول "يركض" (للمفرد). أنت تريد منه أن يقول "يركضون" (للجمع).
الطريقة القديمة: اطلب من مترجم العثور على زر "الجمع" والضغط عليه.
طريقة HDMI: ينظر HDMI إلى عملية اتخاذ القرار النهائي للطاهي (المخرج). ويحسب "الدفعة" الرياضية الدقيقة اللازمة لجعل كلمة "يركضون" أكثر احتمالًا وكلمة "يركض" أقل احتمالًا. يفعل ذلك من خلال النظر إلى الفرق (الهامش) بين الكلمتين.

لماذا هي أفضل:

لا حاجة لمترجم: لا تحتاج لتدريب ذكاء اصطناعي منفصل لفهم المفهوم. فهي تستخدم عقل النموذج نفسه لمعرفة كيفية تغيير المخرج.
الدقة: لأنها تستخدم "هندسة" النموذج الخاصة (كيف يرتب الكلمات بشكل طبيعي)، فهي تتوافق تمامًا مع كيفية تفكير النموذج الفعلي.
الكفاءة: إنها عملية حسابية بسيطة وسريعة، تشبه نقرة سريعة على عجلة القيادة بدلاً من اتخاذ طريق طويل ومنعطف.

الترقية بـ "الاستشراف": LA-HDMI

تقدم الورقة أيضًا نسخة متطورة تسمى LA-HDMI (HDMI مع الاستشراف) لـ تحرير النصوص.

السيناريو: تخيل أنك تكتب قصة: "القط كان نائمًا". تريد تغييرها إلى "القطط كانوا نائمين".

المشكلة: إذا غيرت "كان" إلى "كانوا" فقط، فقد تنكسر الجملة لأن الكلمة التي تسبقها أو التي تليها قد تحتاج إلى التغيير أيضًا للحفاظ على تدفق القواعد النحوية.
حل LA-HDMI: هذه الطريقة لا تنظر فقط إلى الكلمة الحالية؛ بل تستشرف المستقبل. إنها تحاكي الخطوات القليلة التالية للجملة أثناء إجراء التغيير.
- ترى أنه إذا غيرت "كان" إلى "كانوا"، فستحتاج إلى ضبط الكلمات المحيطة لضمان بقاء الجملة سلسة ومترابطة.
- إنها توجه الأفكار الخفية للنموذج بلطف قبل كتابة الكلمة، مما يضمن بقاء الجملة بأكملها سلسة ومنسجمة، وليس فقط الكلمة التي غيرتها.

فكر في الأمر مثل نظام GPS لا يخبرك فقط بالانعطاف يسارًا الآن، بل يحسب المسار بأكمله مقدمًا حتى لا تتعثر في طريق مسدود لاحقًا.

هل نجح الأمر؟ (النتائج)

اختبر المؤلفون ذلك في اثنتين من "صالات الألعاب" (مجموعات البيانات) المصممة لاختبار القواعد والمنطق:

LGD Agreement: للتحقق من تطابق الفاعل والفعل (مثل "هو يكون" مقابل "هم يكونون").
CausalGym: وهي مجموعة معقدة من الألغاز النحوية.

لوحة النتائج:
قاسوا شيئين:

الاكتمال (Completeness): هل نجحنا في تغيير المعنى؟ (على سبيل المثال، هل تحولت "يركض" إلى "يركضون"؟)
الانتقائية (Selectivity): هل أفسدنا أشياء أخرى عن طريق الخطأ؟ (على سبيل المثال، هل غيرنا الزمن أو معنى الجملة بأكملها بالخطأ؟)

الحكم النهائي:
تفوق HDMI باستمرار على الطرق القديمة. لقد كان أفضل في تغيير ما كان من المفترض تغييره بالضبط دون إفساد بقية الجملة. كما عمل بشكل جيد مع أنواع مختلفة من نماذج الذكاء الاصطناعي (مثل Llama و Pythia)، مما يثبت أنه أداة قوية.

الملخص

الطريقة القديمة: استخدام أداة منفصلة لتخمين كيفية تغيير عقل الذكاء الاصطناعي (غالبًا ما تكون غير دقيقة).
HDMI: استخدام مخرجات الذكاء الاصطناعي نفسه لحساب "الدفعة" المثالية لتغيير عقله (دقيقة وفعالة).
LA-HDMI: استخدام HDMI مع "كرة بلورية" لتحرير النصوص بسلاسة، مما يضمن تدفق الجملة بأكملها بشكل طبيعي، وليس فقط الكلمة المعدلة.

تخلص الورقة إلى أن نهج "الدفعة المباشرة" هذا هو طريقة أكثر موثوقية لفهم والتحكم في كيفية تفكير ونموذج الذكاء الاصطناعي والكتابة.

ملخص تقني: الاستقصاء السببي وقت الاستدلال في النماذج اللغوية الكبيرة (HDMI)

1. بيان المشكلة

تتناول الورقة البحثية القيود التي تفرضها طرق الاستقصاء السببي (Causal Probing) الحالية المستخدمة لفهم كيفية استخدام النماذج اللغوية الكبيرة (LLMs) للتمثيلات الداخلية من أجل التنبؤ.

قيد الاستقصاء الارتباطي: تعتمد الطرق التقليدية على تدريب مصنفات مساعدة ("مجسات" أو "probes") على الحالات الخفية للكشف عن الخصائص اللغوية (مثل عدد الفاعل). وبينما توضح هذه الطرق ما يتم تشفيره، إلا أنها لا تثبت كيف يستخدم النموذج تلك المعلومات لتوليد الرمز التالي.
قيد الاستقصاء السببي: تحاول النهج السببية الحالية التدخل في الحالات الخفية لتغيير الخصائص (مثل تغيير المفرد إلى الجمع) ومراقبة التغييرات في المخرجات. ومع ذلك، تعتمد هذه الطرق عادةً على تدريب مجس منفصل لتحديد اتجاه التدخل (على سبيل المثال، استخدام تدرج المجس لقلب التصنيف).
- العيوب: يؤدي هذا إلى تكاليف تدريب إضافية، ويتطلب إشرافاً خاصاً بكل خاصية، وينطوي على خطر عدم المواءمة (Misalignment). فقد لا يتطابق حد التصنيف الخاص بالمجس مع "الهندسة التنبؤية" الداخلية للنموذج، مما يؤدي إلى تدخلات لا توجه توليد النموذج بفعالية أو تغير خصائص غير ذات صلة عن غير قصد.

يقترح المؤلفون الاستقصاء السببي وقت الاستدلال (Inference-Time Causal Probing)، وهو إطار عمل تُطبق فيه التدخلات بالكامل أثناء وقت الاستدلال دون إعادة تدريب النموذج أو تدريب مجسات مساعدة.

2. المنهجية: التدخل بهامش مدفوع بالحالة الخفية (HDMI)

المساهمة الجوهرية هي HDMI، وهي تقنية تعتمد على التدرج وخالية من المجسات، تستفيد مباشرة من رأس المخرجات الأصلي للنموذ ability التوليدي لتوجيه الحالات الخفية.

2.1 الآلية الجوهرية

يعمل HDMI من خلال تحديد هدف الهامش (Margin Objective) بين "الرمز المصدر" (الاستمرارية المفضلة الأصلية للنموذج) و"الرمز المستهدف" (الاستمرارية المقابلة المرغوبة).

الهدف: تعظيم هامش اللوغيت $L(x) = \phi(x)_\tau - \phi(x)_\sigma$ ، حيث $\phi(x)$ هو متجه اللوغيت، و $\tau$ هو مؤشر الرمز المستهدف، و $\sigma$ هو مؤشر رمز المصدر.
التدخل: تنفذ الطريقة صعود التدرج (Gradient Ascent) على الحالة الخفية $h_\ell(x)$ عند طبقة محددة $\ell$ لزيادة احتمالية الرمز المستهدف مع تقليل احتمالية رمز المصدر.
الكفاءة الحسابية: بالنسبة للطبقة الأخيرة، يكون التدرج عبارة عن حاصل ضرب مصفوفة ومتجه في صيغة مغلقة: $\nabla_{h_L} L(x) = W_U^\top (e_\tau - e_\sigma)$ . وهذا يتجنب الحاجة إلى التدريب التكراري للمجسات.
التمدد لمتعدد الرموز: تدعم الطريقة مجموعات من الرموز (مثل الأفعال الجمع الصحيحة المتعددة) عن طريق جمع اللوغيتات عبر مجموعات الهدف ( $T^+$ ) والمصدر ( $T^-$ )، وتُعرف بـ $L_{set}(x) = \sum \phi(x)_{\tau_i} - \sum \phi(x)_{\sigma_j}$ .

2.2 LA-HDMI لتحرير النصوص

لمعالجة تحرير النصوص حيث يقدم المستخدم تسلسلاً معدلاً، قدم المؤلفون LA-HDMI.

التحدي: التوليد التلقائي (Autoregressive Generation) القياسي لا يسمح للحالات الخفية في الخطوة $t$ بأن تكون على دراية بالتعديلات المستقبلية عند $t' > t$ .
الحل: يقدم LA-HDMI آلية "الاستشراف" (Lookahead) التي تقوم بنشر التدرجات عكسياً عبر تضمينات الرموز المتوقعة.
- يقوم بفصل المرور الأمامي (باستخدام درجة حرارة منخفضة $\beta_f$ للحفاظ على السلاسة) عن مسار التدرج (باستخدام درجة حرارة عالية $\beta_g$ لحساب التضمينات المتوقعة).
- تجمع دالة الهدف $J_t(h_t)$ أهداف الهامش لمواقع التعديل المستقبلية ( $S_{max}$ خطوة للأمام)، مما يعدل الحالة الخفية الحالية $h_t$ لتوجيه التوليدات المستقبلية نحو تعديلات المستخدم مع الحفاظ على السلاسة في المناطق غير المعدلة.

3. إطار التقييم

تقيم الورقة التدخلات باستخدام مقييزين رئيسيين، باتباع إطار عمل Canby et al. [2024]:

الاكتمال (Completeness): يقيس ما إذا كان التدخل قد نجح في نقل الخاصية المستهدفة (مثل تغيير عدد الفاعل) في الحالة الخفية، ويتم التحقق من ذلك بواسطة مجس تحقق منفصل.
الانتقائية (Selectivity): تقيس ما إذا كانت الخصائص غير ذات الصلة (المتغيرات المزعجة، مثل عدد الاسم غير الفاعل) تظل مستقرة بعد التدخل.
الموثوقية (Reliability): هي المتوسط التوافقي للاكتمال والانتقائية، وتعمل كمقياس عام لجودة التدخل.

4. النتائج الرئيسية

قيم المؤلفون HDMI على Meta-Llama-3-8B-Instruct و Pythia-70M باستخدام مجموعة بيانات LGD agreement corpus ومعيار CausalGym.

الأداء: يحقق HDMI باستمرار موثوقية أعلى من النماذج المعتمدة على المجسات (AlterRep, FGSM, PGD) عبر معظم المهام.
- في مجموعات التوافق (مثل توافق الفاعل والفعل)، يحقق HDMI غالباً اكتمالاً تاماً وانتقائية عالية.
- على عكس النماذج المرجعية، فإن أداء HDMI مستقل عن جودة المجس التدخلي، لأنه لا يستخدم واحداً. أظهرت النماذج المرجعية مثل AlterRep و PGD انخفاضات كبيرة في الأداء على النماذج الأصغر (Pythia-70M) عندما كانت دقة المجس أقل.
المتانة: يحافظ HDMI على موثوقية متسقة عبر أحجام النماذج والمهام المختلفة، بينما أظهرت الطرق القائمة على المجسات نتائج مختلطة وحساسة للخاصية المحددة والنموذج.
تحرير النصوص: أظهر LA-HDMI بنجاح القدرة على توجيه التوليد نحو تعديلات المستخدم المحددة (مثل تغيير "girl" إلى "owl" أو "was" إلى "were") مع الحفاظ على السلاسة النحوية وتعديل السياق الضروري (مثل تغيير "a" إلى "an").

5. الأهمية والادعاءات

تدعي الورقة أن HDMI يمثل تحولاً من الاستقصاء المعتمد على المجس إلى الاستقصاء الأصيل للنموذج (Model-native).

المواءمة: من خلال استخدام رأس المخرجات الخاص بالنموذج لتحديد اتجاه التدخل، يضمن HDMI أن الاضطراب يتوافق مع الهندسة التنبؤية الفعلية للنموذج، مما يتجنب مخاطر عدم المواءمة الناتجة عن المجسات الخارجية.
الكفاءة: الطريقة خفيفة حسابياً، حيث تتطلب فقط صعود التدرج على الحالات الخفية دون العبء الإضافي لتدريب المصنفات المساعدة.
العمومية: تمتد الطريقة بشكل طبيعي إلى خصائص متعددة الرموز وتوفر آلية لتعديل النصوص بسلاسة عبر تدرجات الاستشراف.

يقر المؤلفون بالقيود، بما في ذلك الحساسية للمعاملات الفائقة (خطوة الخطوة، درجة الحرارة، الأفق) وإمكانية تلاشي التدرجات في مهام تحرير النصوص طويلة المدى. ويقترحون عملاً مستقبلياً في اختيار الطبقات التكيفي وجدولة حجم الخطوة لتحسين الانتقائية دون التضحية بالاكتمال.