💬 NLP

Patches of Nonlinearity: Instruction Vectors in Large Language Models

تتقصى هذه الورقة كيفية معالجة النماذج اللغوية الكبيرة للتعليمات من خلال تحديد "متجهات التعليمات" (IVs) التي تعمل كمحددات للدوائر، مظهرةً أنه في حين أن هذه التمثيلات موضعية وقابلة للفصل خطياً، إلا أنها تتفاعل مع المسارات الداخلية للنموذج عبر آليات سببية غير خطية معقدة.

المؤلفون الأصليون: Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد طباخاً عالمياً وهو يحضر طبقاً معقداً. تراه يقطع البصل، ويحمر اللحم، ويطهو الصلصة على نار هادئة. أنت تعلم أنه يعد طبق "بيف بورغينيون" (Beef Bourguignon)، لكنك لا تعرف تماماً كيف ينظم عقله هذه الخطوات. هل يتبع وصفة ذهنية مكتوبة، أم أنه يتفاعل فقط مع رائحة الثوم عندما تلامس المقلاة؟

هذه الورقة البحثية، "بقع من اللاخطية" (Patches of Nonlinearity)، هي في الأساس "مسح دماغي" للنماذج اللغوية الكبيرة (مثل ChatGPT). أراد الباحثون معرفة: عندما تعطي ذكاءً اصطناعياً تعليمات (مثل "ترجم هذا إلى الفرنسية")، كيف "يحتفظ" فعلياً بتلك التعليمات في ذهنه أثناء العمل؟

إليك تفصيل اكتشافهم باستخدام ثلاث تشبيهات بسيطة.

1. "الملاحظة اللاصقة الذهنية" (متجهات التعليمات)

وجد الباحثون أنه بمجرد أن يقرأ الذكاء الاصطناعي تعليمات، فإنه ينشئ "ملخصاً" صغيراً ومركزاً لتلك المهمة.

التشبيه: تخيل أنك دخلت إلى مكتبة. قبل أن تبحث حتى عن كتاب، كتبت "ابحث عن رواية غموض" على ملاحظة لاصقة (Sticky Note) وثبتّها على جبهتك. لست بحاجة لإعادة قراءة اللوحة عند المدخل باستمرار؛ فجوهر مهمتك موجود هناك، ملتصق بك، وجاهز لتوجيه كل خطوة تقوم بها.

في مصطلحات الذكاء الاصطناعي، يسمون هذه "متجهات التعليمات" (Instruction Vectors - IVs). وهي عبمليات "تلخيص" موضعية للمهمة ينشئها النموذج في وقت مبكر، والتي توجه بقية العملية بعد ذلك.

2. "فرقة الجاز المتناغمة" (الجمع الفائق)

هذا هو الجزء الأكثر إثارة للدهشة في الورقة البحثية. عادةً ما يفترض العلماء أنه إذا قام الجزء (أ) من الذكاء الاصطناعي بـ 5 وحدات من العمل وقام الجزء (ب) بـ 5 وحدات من العمل، فإنهما معاً سيؤديان 10 وحدات. هذا يسمى التفكير "الخطي".

لكن الباحثين وجدوا أن اتباع التعليمات هو أمر غير خطي (جمع فائق/Superadditive).

التشبيه: فكر في فرقة جاز. إذا عزف عازف الطبل وحده، فهو مجرد إيقاع. وإذا عزف عازف البيانو وحده، فهو مجرد لحن. ولكن عندما يعزفان معاً، فإنهما لا ينتجان مجرد "إيقاع + لحن". بل يخلقان "روحاً موسيقية" (Groove)، وهو شيء ثالث ساحر، أكبر بكثير من مجموع أجزائهما.

تعمل طبقات الذكاء الاصطناعي مثل فرقة الجاز هذه. قد تحمل طبقة واحدة جزءاً من التعليمات، وقد تحمل طبقة أخرى جزءاً من المنطق، لكنهما لا "يتناغمان" حقاً ويحلان المهمة إلا عندما يتفاعلان بطريقة معقدة وغير خطية. لا يمكنك فهم "الروح الموسيقية" بالنظر إلى عازف الطبل وعازف البيانو بشكل منفصل.

3. "مُحدد الدوائر" (الآلية)

أخيراً، أراد الباحثون معرفة ماذا تفعل تلك "الملاحظات اللاصقة" فعلياً. هل تظل ساكنة هناك، أم أنها تغير طريقة تفكير الذكاء الاصطناعي؟

التشبيه: تخيل لوحة مفاتيح كهربائية ضخمة في مدينة ما. هناك ملايين الأسلاك (المسارات) التي يمكنها نقل الكهرباء. بدون تعليمات، تتدفق الطاقة بشكل عشوائي. لكن متجه التعليمات يعمل مثل مفتاح رئيسي (Master Switch).

بمجرد إنشاء "الملاحظة اللاصقة"، فإنها تخبر النموذج: "مهلاً، نحن نقوم بمهمة رياضية! قم بتشغيل المفاتيح 5، 12، و89، وتجاهل الباقي!". يعمل متجه التعليمات كـ محدد للدوائر (Circuit Selector)، حيث يختار "المسارات الكهربائية" المحددة المطلوبة لحل تلك المشكلة المعينة مع إيقاف المسارات المستخدمة في كتابة الشعر أو البرمجة.

لماذا يهم هذا؟

إذا أردنا جعل الذكاء الاصطناعي أكثر أماناً وموثوقية، فلا يمكننا معاملته كمجرد "صندوق أسود" يخرج الإجابات. نحن بحاجة لمعرفة كيف "يفكر".

من خلال إثبات أن التعليمات تُخزن كـ "ملاحظات لاصقة" فائقة الجمع تختار دوائر محددة، منحنا الباحثون خريطة جديدة. إنها تخبرنا أننا إذا أردنا إصلاح أخطاء الذكاء الاصطناعي، فلا يمكننا مجرد تعديل "عصبون" واحد؛ بل يجب أن نفهم كيف تعزف "فرقة الجاز" بأكملها معاً.

ملخص تقني: بقع من اللاخطية: ناقلات التعليمات في النماذج اللغوية الكبيرة

1. بيان المشكلة

بينما يُعد الضبط الدقيق للتعليمات (عبر الضبط الدقيق الخاضع للإشراف SFT، وتحسين التفضيل المباشر DPO) خطوة قياسية لما بعد التدريب في النماذج اللغوية الكبيرة (LLMs)، إلا أن العملية الميكانيكية الداخلية لكيفية تمثيل هذه النماذج للتعليمات واستخدامها لا تزال غير مفهومة بشكل جيد. وتحديداً، يسعى البحث للإجابة على:

التوطين (Localization): هل تُعالج التعليمات "في الوقت المناسب" (موزعة عبر الاستعلام) أم "بشكل استباقي" (كخلاصات عصبية موضعية تتشكل فوراً بعد التعليمات)؟
الهندسة والسببية (Geometry and Causality): هل تتبع تمثيلات هذه التعليمات "فرضية التمثيل الخطي" (حيث تكون المفاهيم فضاءات فرعية خطية)، وكيف تتفاعل سببياً للتأثير على مخرجات النموذج؟

2. المنهجية

استخدم المؤلفون عائلة نماذج OLMo-2 (بنسختي 1B و7B) للمقارنة بين النماذج الأساسية، ونماذج SFT، ونماذج DPO. كما وظفوا عدة تقنيات متقدمة في التفسير الميكانيكي:

الوساطة السببية (ترقيع التنشيط - Causal Mediation): استخدموا تقنيات الترقيع أحادية ومتعددة الطبقات لتحديد أي تمثيلات لتيار المتبقي (residual stream) عند توكن التعليمات الأخير ( $T_{inst}$ ) ضرورية لاستعادة الإجابة الصحيحة.
اختبار التراكب الفائق (Superadditivity Testing): قارنوا التأثير السببي للطبقات الفردية مقابل مجموعات من الطبقات لتحديد ما إذا كان التفاعل تراكمياً (جمعياً) أم غير خطي.
خرائط بديلة محلية الخطية (Locally-Linear Surrogate Maps): لتجاوز قيود اكتشاف الدوائر التقليدية (التي تفترض وجود تفاعلات جمعية ومخططات موجهة غير حلقية DAG)، اقترحوا طريقة مبتكرة. حيث يعاملون المحول (Transformer) كمجموعة من الخرائط المحلية الخطية من توكن إلى توكن عن طريق "خطيّة" المكونات غير الخطية (MLPs وLayerNorm) ضمن جوار $\epsilon$ للمدخلات.
تتبع المسار (Path Tracing): يتتبعون المسارات السببية عالية التصنيف من مواضع توكنات محددة إلى المخرجات لتحديد التدفق الهيكلي للمعلومات.
التحليل الهندسي: استخدموا التحليل التمييزي الخطي (LDA) على 200 إعادة صياغة دلالية للتعليمات لتصور العناقيد الخاصة بالمهمة في فضاء التمثيل.

3. المساهمات الرئيسية

اكتشاف ناقلات التعليمات (Instruction Vectors - IVs): تحديد "الخلاصات العصبية" الموضعية للتعليمات التي تتشكل بشكل استباقي عند نهاية مقطع التعليمات.
تحدي فرضية التمثيل الخطي: النتيجة التي تفيد بأنه بينما تكون ناقلات التعليمات (IVs) قابلة للفصل خطياً، فإن تفاعلها السببي هو تراكب فائق (غير خطي)، مما يعني أن التأثير المشترك للطبقات أكبر من مجموع أجزائها الفردية.
آلية اختيار الدائرة (Circuit Selector Mechanism): الاقتراح بأن ناقلات التعليمات (IVs) لا تؤدي المهمة بنفسها، بل تعمل كـ "مختارات للدوائر"، حيث تهيئ الطبقات اللاحقة لتنشيط مسارات معالجة معلومات محددة مصممة للمهمة.
إطار تفسيري جديد: طريقة لتتبع تدفق المعلومات خالية من الافتراضات الجمعية الضمنية لتقنيات الترقيع القياسية.

4. النتائج الرئيسية

الحوسبة الاستباقية: تتمركز ناقلات التعليمات (IVs) عند التوكن الأخير للتعليمات ( $T_{inst}$ ). وفي المهام المعقدة (مثل "هل يمكن لحيوان أن يطير؟")، قد يشكل النموذج حتى خلاصات فرعية للتعليمات في وقت مبكر من التسلسل.
التراكب الفائق (Superadditivity): أكدت اختبارات T عبر مهام متعددة ومقاييس نماذج مختلفة أن التفاعل بين الطبقات غير خطي ( $f(x_i \cup x_j) \geq f(x_i) + f(x_j)$ ). وهذا يبطل النماذج السببية القياسية القائمة على المخططات الموجهة غير الحلقية (DAG).
اختيار الدائرة: كشف تتبع المسار أنه بينما تستخدم الطبقات المبكرة دوائر مستقلة عن التعليمات لبناء الـ IV، فإن الـ IV يقوم بعد ذلك بـ "اختيار" رؤوس انتباه ومسارات مختلفة في الطبقات اللاحقة لحل الاستعلام المحدد.
القابلية للفصل الخطي: رغم التفاعلات السببية غير الخطية، تظل ناقلات التعليمات (IVs) قابلة للفصل خطياً في الفضاء عالي الأبعاد، مما يسمح للمسابير الخطية بتحديد المهام بدقة تزيد عن 98%.
تأثير ما بعد التدريب: بينما يمكن للنماذج الأساسية تشكيل خلاصات خاصة بالمهمة، فإن الضبط الدقيق للتعليمات (SFT/DPO) ضروري لإكساب تلك الخلاصات القدرة على اختيار الدوائر اللاحقة الصحيحة.

5. الأهمية

لهذا العمل آثار عميقة على كل من فهم النماذج اللغوية الكبيرة ومجال التفسير الميكانيكي:

نظرية التفسير: يحذر من أن العزو السببي أحادي المكون (مثل "هذا الرأس يقوم بـ X") قد يقلل بشكل كبير من أهمية مكون ما إذا كان تأثيره تآزرياً مع المكونات الأخرى.
متانة النموذج: يشير اكتشاف "عنق الزجاجة المعلوماتي" (الـ IV الموضعي) إلى مسارات محتملة لزيادة المتانة ضد اضطرابات التعليمات العدائية.
المواءمة والسلامة: إن فهم كيفية معالجة التعليمات هو شرط أساسي لضمان اتباع النماذج لقيود السلامة وبقائها خاضعة للمساءلة أثناء النشر.