💬 NLP

Shared Lexical Task Representations Explain Behavioral Variability In LLMs

تُظهر الورقة البحثية أن حساسية التلقين في النماذج اللغوية الكبيرة يمكن تفسيرها من خلال مستويات تنشيط "رؤوس المهام المعجمية" —وهي آليات داخلية مشتركة تمثل المهمة بغض النظر عما إذا كان التلقين يستخدم تعليمات أو أمثلة— وأن تباين الأداء ينبع من مدى قوة تحفيز هذه الرؤوس أو تخفيفها بواسطة التمثيلات المتنافسة.

المؤلفون الأصليون: Zhuonan Yang, Jacob Xiaochen Li, Francisco Piedrahita Velez, Eric Todd, David Bau, Michael L. Littman, Stephen H. Bach, Ellie Pavlick

نُشر 2026-04-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuonan Yang, Jacob Xiaochen Li, Francisco Piedrahita Velez, Eric Todd, David Bau, Michael L. Littman, Stephen H. Bach, Ellie Pavlick

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مساعدٍ موهوب للغاية، ولكنه متقلب المزاج قليلاً، كيفية أداء مهام مختلفة.

أحياناً، إذا أعطيته تعليمات واضحة (مثل وصفة طعام)، فإنه يؤدي عملاً مثالياً. وفي أحيان أخرى، إذا اكتفيت بعرض بعض الأمثلة عليه (مثل عرض صور لأطباق جاهزة)، فقد يصاب بالارتباك أو يؤدي العمل بشكل غير متسق. قد تعتقد أن المساعد يتصرف بشكل غير متوقع، لكن هذه الورقة البحثية تكشف أن هناك في الواقع "توصيلات داخلية" منطقية جداً تسبب هذا السلوك.

إليك تفصيل الورقة البحثية باستخدام تشبيه "المطبخ والطاهي".

١. الاكتشاف: "ملصقات الوصفات" (رؤوس المهام المعجمية)

اكتشف الباحثون أنه داخل "دماغ" الذكاء الاصطنا، توجد أجزاء محددة تسمى رؤوس المهام المعجمية (Lexical Task Heads).

فكر في هذه الأجزاء كأنها قصاصات ملاحظات لاصقة (Sticky Notes) يضعها الطاهي (الذكاء الاصطناعي) على أدواته. إذا كانت المهمة هي ترجمة الكلمات، فإن الطاهي لا يبدأ بالترجمة فحسب؛ بل يقوم أولاً جزء محدد من دماغه بالإمساك بقصاصة لاصقة مكتوب عليها حرفياً "وضع الترجمة" أو "تبديل اللغة".

وجد الباحثون أن هذه "الملصقات" مكتوبة بكلمات حقيقية يمكن للبشر قراءتها. فعندما نظروا إلى الإشارات الداخلية للذكاء الاصطناعي، رأوا دماغ الذكاء الاصطناعي يصرخ حرفياً بكلمات مثل "عكس"، أو "جمع"، أو "عاصمة" قبل أن يعطي الإجابة النهائية حتى.

٢. السر المشترك: عقل واحد، وأنماط متعددة

كان اللغز الكبير هو: هل يستخدم الذكاء الاصطناعي أجزاء دماغ مختلفة للأوامر المكتوبة مقابل الأمثلة المرئية؟

تبين أن الإجابة هي: لا. سواء أعطيت الذكاء الاصطناعي أمراً مكتوباً ("ترجم هذا...") أو قائمة من الأمثلة ("تفاحة $\leftarrow$ Apple")، فإن الذكاء الاصطناعي يصل في النهاية إلى نفس القصاصات اللاصقة تماماً.

الأمر يشبه الطاهي: سواء أعطيته وصفة مكتوبة أو مجرد صورة لكعكة، فإنه سيصل في النهاية إلى نفس مفتاح التبديل الذهني لـ "وضع الخبز". وهذا يعني أن لدى الذكاء الاصطناعي "فهماً جوهرياً" للمهمة يوجد بشكل مستقل عن كيفية طلبك لها.

٣. لماذا يفشل الذكاء الاصطناعي: "الإشارة الضعيفة" و"التشتت"

إذا كان لدى الذكاء الاصطناعي هذه "الملصقات المشتركة"، فلماًذا لا يزال يخطئ؟ تقدم الورقة سببين رئيسيين:

الملصق الباهت (عدم كفاية التنشيط): أحياناً، يكون "الأمر" (Prompt) الذي تستخدمه "ضعيفاً". فهو لا يحفز ملصق "وضع الخبز" بقوة كافية. الملصق موجود، لكنه مجرد خربشة صغيرة وباهتة. ولأن الإشارة ضعيفة، لا يستطيع الطاهي "الدخول في الأجواء" تماماً، فيرتكب الأخطاء. وقد أثبت الباحثون ذلك من خلال "رفع مستوى صوت" هذه الملصقات، مما أدى بالفعل إلى إصلاح أخطاء الذكاء الاصطناعي!
الوصفة الخاطئة (المهام المتداخلة): أحياناً، يكون الأمر غامضاً. تخيل أنك قلت للطاهي: "اصنع شيئاً باستخدام الدقيق". قد يصنع خبزاً، أو قد يصنع كعكة. إذا كان الأمر مربكاً قليلاً، فقد يمسك الذكاء الاصطناعي بالخطأ بملصق "وضع الكعكة" بينما كنت تريد في الواقع "وضع الخبز". الإشارة "الخاطئة" تطغى على الإشارة "الصحيحة".

٤. سحر "العديد من المحاولات": لماذا تساعد الأمثلة الأكثر؟

ربما لاحظت أن إعطاء الذكاء الاصطناعي ٢٠ مثالاً يعمل بشكل أفضل من إعطائه مثالاً واحداً فقط. وجد الباحثون السبب في: التراكم.

في كل مرة تقدم فيها مثالاً، يكون الأمر بمثابة الضغط على زر "وضع المهمة" بقوة أكبر فأكبر. كل مثال يضيف المزيد من "الحبر" إلى تلك القصاصة اللاصقة، مما يجعل الإشارة أعلى وأوضح حتى يتأكد الطاهي بنسبة ١٠٠٪ من الوضع الذي هو فيه.

ملخص في إيجاز

تخبرنا الورقة أن "حساسية الأوامر" في الذكاء الاصطناعي ليست مجرد سحر عشوائي. إنها عملية ميكانيكية حيث تؤدي الطرق المختلفة لطرح السؤال إلى تفعيل ملصقات مهام داخلية بمستويات قوة متفاوتة.

الخلاصة بالنسبة للبشر: إذا كان الذكاء الاصطناعي الخاص بك يتصرف بغرابة، فمن المرجح أن أمرك ليس "عالياً" بما يكفي لتفعيل الملصق الداخلي الصحيح، أو أنه يحفز بالخطأ ملصقاً آخر!

ملخص تقني: التمثيلات المعجمية المشتركة للمهام تفسر التباين السلوكي في النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) حساسية كبيرة تجاه الأوامر (Prompt Sensitivity)، حيث تؤدي الاختلافات اللغوية الطفيفة في كيفية تقديم المهمة (مثل تغيير صياغة التعليمات أو عدد الأمثلة في أسلوب الـ few-shot) إلى تغيرات غير متوقعة في الدقة. وبينما أشارت الأبحاث السابقة إلى أن التوجيه القائم على التعليمات (instruction-based) والتوجيه القائم على الأمثلة (example-based) قد يعتمدان على آليات داخلية مختلفة (مثل "متجهات الوظائف" - function vectors)، إلا أنه لا يزال من غير الواضح ما إذا كانت هناك دوائر مشتركة تحتية تدفع تنفيذ المهام عبر أساليب التوجيه المختلفة. إن فهم هذا التباين أمر بالغ الأهمى لبناء أنظمة ذكاء اصطناعي موثوقة وقابلة للتنبؤ.

2. المنهجية

استقصى الباحثون الآليات الداخلية لـ 13 نموذجاً من نماذج المحولات ذاتية الانحدار (بما في ذلك عائلات Llama-3.1 وGemma-2 وQwen) عبر 17 مهمة بسيطة (مثل الترجمة، والمتضادات، وعواصم الدول).

الابتكارات المنهجية الرئيسية:

تحديد رؤوس المهام المعجمية (Lexical Task Heads - LTHs): حدد المؤلفون فئة جديدة من رؤوس الانتباه (attention heads) التي تشفر معلومات المهمة بتنسيق "معجمي". ومن خلال إسقاط مخرجات هذه الرؤوس في مساحة المفردات باستخدام عدسة اللوجيت (Logit Lens)، وجدوا أن هذه الرؤوس تخرج حرفياً كلمات تصف المهمة (على سبيل المثال، بالنسبة لمهمة المتضادات، تقوم الرؤوس بفك التشفير إلى كلمات مثل "عكس" أو "مقابل").
تحليل الدوائر (Circuit Analysis): ميزوا بين رؤوس المهام المعجمية (التي تمثل تعريف المهمة) ورؤوس الاسترجاع (Retrieval Heads) (التي تستخرج الإجابة الصحيحة، مثل "طوكيو").
التدخلات السببية (Causal Interventions): استخدمت الدراسة الترقيع النشط (activation patching) وتدرج التنشيط (activation scaling). قاموا بترقيع التنشيطات من الأوامر الناجحة إلى الأوامر الفاشلة، وقاموا بتدرج مقدار تنشيطات الـ LTH لمراقبة ما إذا كان بإمكانها "إصلاح" مخرجات النموذج الخاطئة.
التحليل المقارن: قاموا بقياس التداخل لهذه الرؤوس عبر أساليب التوجيه المختلفة (التعليمات مقابل الأمثلة) وقارنوها بـ "متجهات الوظائف" لتحديد ما إذا كانت متميزة أم مشتركة.

3. المساهمات الرئيسية

اكتشاف التمثيلات المعجمية للمهام: يقدم البحث الـ LTHs كفئة متميزة وقابلة للتفسير من تمثيلات المهام التي يتم مشاركتها عبر أساليب التوجيه، على عكس "متجهات الوظائف" المحددة سابقاً والتي غالباً ما تكون مرتبطة بأسلوب معين.
التفسير الميكانيكي لحساسية الأوامر: قدم المؤلفون تفسيراً من جزأين لسبب فشل الأوامر:
- عدم كفاية التنشيط: ينجم التباين السلوكي عن قوة تنشيط الـ LTH.
- التمثيلات المتنافسة: يمكن للغموض في الأوامر أن يؤدي إلى تفعيل دوائر مهام "خارج الهدف" مما يؤدي إلى إضعاف إشارة المهمة المقصودة.
الربط الوظيفي: أظهروا تسلسلاً هرمياً واضحاً: الـ LTHs $\leftarrow$ رؤوس الاسترجاع $\leftarrow$ الإجابة الصحيحة. تعمل الـ LTHs كـ "مرشح توجيهي" يعمل على تعديل رؤوس الاسترجاع لضمان استخراج السمة المحددة المطلوبة للمهمة.

4. النتائج الرئيسية

إعادة استخدام الدوائر بنسبة عالية: في المتوسط، 73% من رؤوس المهام المعجمية مشتركة بين أساليب التوجيه القائمة على التعليمات والقائمة على الأمثلة لنفس المهمة.
الارتباط بالدقة: يوجد ارتباط إيجابي قوي بين عدد/قوة تنشيطات الـ LTH ودقة النموذج. وهذا يفسر تأثير "العديد من الأمثلة" (many-shot effect): فكلما زاد تقديم الأمثلة، زاد تنشيط الـ LTHs، مما يؤدي إلى تحسين الأداء.
الإصلاح السببي: يمكن لتدرج تنشيط الـ LTHs في الأوامر الفاشلة أن "يصلح" النموذج بنجاح، مما يوجهه نحو المهمة الصحيحة ويحسن الدقة.
الغموض والمنافسة: في الأوامر الغامضة (على سبيل المثال، أمر يمكن تفسيره على أنه "منتج-منتج" و"منتج-بلد" في آن واحد)، يُظهر النموذج انخفاضاً في تنشيط الـ LTH المستهدفة وزيادة في تنشيط رؤوس المهام المنافسة، مما يؤدي إلى الأخطاء.
التعميم: وُجد أن هذه الآلية صالحة للمهام المعقدة، بما في ذلك المهام التركيبية (compositional tasks) (الاستدلال ذو الخطوتين) وتوليد الكود (code generation) (حيث يمكن لـ LTHs الخاصة بـ "Python" أو "JavaScript" توجيه النموذج إلى اللغة الصحيحة).

5. الأهمية

يسد هذا العمل الفجوة بين الملاحظات السلوكية عالية المستوى (حساسية الأوامر) وبين التفسير الميكانيكي (دوائر المحولات). ومن خلال إظهار أن النماذج اللغوية الكبيرة تستخدم لغة داخلية معجمية مشتركة لتمثيل المهام، يوفر البحث خارطة طريق لـ:

تحسين المتانة (Robustness): تصميم أوامر تعظم تنشيط الـ LTH المستهدفة.
القابلية للتفسير: استخدام مساحة المفردات كـ "لغة عالمية" لفهم كيفية تمثيل النماذج المختلفة للمهام.
توجيه النموذج (Model Steering): استخدام تنشيط الـ LTH كأداة دقيقة للتحكم في سلوك النموذج (مثل التبديل بين لغات البرمجة أو أنماط المهام) دون الحاجة إلى ضبط دقيق (fine-tuning) معقد.