💬 NLP

Compressed Sensing for Capability Localization in Large Language Models

تُثبت هذه الورقة أن قدرات محددة في النماذج اللغوية الكبيرة تتركز بشكل كبير في مجموعات فرعية متفرقة من رؤوس الانتباه، مقدمةً منهجية قائمة على الاستشعار المضغوط لتحديد هذه المكونات بكفاءة، وكاشفةً عن مبدأ تنظيمي معياري له تداعيات كبيرة على قابلية تفسير النماذج، وتحريرها، وسلامتها.

المؤلفون الأصليون: Anna Bair, Yixuan Even Xu, Mingjie Sun, J. Zico Kolter

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Anna Bair, Yixuan Even Xu, Mingjie Sun, J. Zico Kolter

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) كأنه أوركسترا ضخمة وصاخبة تضم آلاف الموسيقيين (رؤوس الانتباه - attention heads). كل موسيقي يعزف على آلة محددة، ومعاً يصنعون الموسيقى الجمعة للمحادثات البشرية، والبرمجة، والرياضيات.

لفترة طويلة، اعتقد الباحثون أنه لكي تحصل على مهارة معينة — مثل حل مسألة رياضية أو كتابة قصيدة — فأنت بحاجة إلى الأوركسترا بأكملها وهي تعزف معاً في شبكة معقدة ومتشابكة.

لكن هذه الورقة البحثية، "الاستشعار المضغوط لتحديد موقع القدرات" (Compressed Sensing for Capability Localization)، تقلب هذه الفكرة رأساً على عقب. فقد اكتشفت أن الأوركسترا في الواقع أكثر تنظيماً مما كنا نظن.

الاكتشاف الكبير: "الموسيقيون المتخصصون"

وجد المؤلفون أن مهارات محددة غالباً ما يتم التعامل معها من قبل عدد قليل جداً من الموسيقيين المتخصصين.

تشبيه الرياضيات: إذا كنت تريد من الأوركسترا أن تعزف "سولو" رياضي معقد، فأنت لا تحتاج للجميع. أنت تحتاج فقط إلى حوالي خمسة عازفي كمان محددين في الصف الخلفي.
التجربة: اختبر الباحثون هذا الأمر عبر "إسكات" (تصفير) هؤلاء الموسيقيين المتخصصين في الرياضيات الخمسة فقط.
- النتيجة: نسيت الأوركسترا تماماً كيف تقوم بالرياضيات (انخفض الأداء بنسبة تصل إلى 65%).
- المفاجأة: استمرت بقية الأوركسترا في العزف بشكل مثالي! ظل بإمكانهم إلقاء النكات، أو كتابة الأكواد، أو الإجابة على أسئلة عامة. إسكات لاعبي الرياضيات لم يؤدِ إلى تعطل العرض بأكمله.

هذا يثبت أن نماذج الذكاء الاصطناعي هي نماذج نمطية (Modular). لديها "أقسام" مخصصة لمهارات مختلفة، بدلاً من وجود دماغ واحد عملاق يفعل كل شيء في آن واحد.

المشكلة: البحث عن الإبرة في كومة القش

إذا كنا نعرف بوجود هؤلاء المتخصصين، فكيف نجدهم؟

تخيل أن لديك أوركسترا مكونة من 1,000 موسيقي. وتريد العثور على لاعبي الرياضيات الخمسة.

الطريقة القديمة (البحث الجشع - Greedy Search): سيتعين عليك سؤال كل موسيقي على حدة: "هل أنت لاعب رياضيات؟" عبر إسكاتهم واحداً تلو الآخر واختبار الأوركسترا. ستحتاج للقيام بذلك آلاف المرات. إنها عملية بطيئة، ومكلفة، ومرهقة.
الطريقة الجديدة (الاستشعار المضغوط): ابتكر المؤلفون اختصاراً ذكياً. بدلاً من الاختبار واحداً تلو الآخر، استخدموا تقنية تسمى "الاستشعار المضغوط" (Compressed Sensing).

التشبيه الإبداعي: "اختبار التذوق الجماعي"
تخيل أنك تريد معرفة أي المكونات في حساء ضخم هي المكونات "الحارة".

الطريقة القديمة: تذوق الحساء، ثم أزل مكوناً واحداً، ثم تذوقه مرة أخرى. كرر العملية 1,000 مرة.
الطريقة الجديدة: تأخذ ملعقة من الحساء يحتوي على مزيج عشوائي من 10 مكونات تم إزالتها. تتذوقه. ثم تأخذ ملعقة أخرى بمزيج عشوائي مختلف من 10 مكونات تم إزالتها. تفعل ذلك 100 مرة فقط.

لأنك تعرف بالضبط ما هي المكونات المفقودة في كل ملعقة، يمكنك استخدام القليل من الرياضيات (مثل حل لغز) لمعرفة أي المكونات كانت مسؤولة عن "الحرارة".

تستخدم الورقة البحثية نفس المنطق. يقومون بإسكات مجموعات عشوائية من رؤوس الانتباه، ويقيسون مدى تغير أداء النموذج، ثم يستخدمون الرياضيات لاستنتاج أي الرؤوس هي "رؤوس الرياضيات" أو "رؤوس البرمجة". وقد وجدوا أن هذه الطريقة أسرع بـ 50 مرة من الطريقة القديمة.

نتائج أخرى مثيرة للاهتمام

1. "المايسترو" (الرؤوس الشاملة - Universal Heads)
بينما معظم الرؤوس هي رؤوس متخصصة (جيدة فقط في الرياضيات أو جيدة فقط في القافية)، وجد الباحثون عدداً قليلاً من "المايسترو".

إذا أسكتَّ متخصصاً، ستنسى الأوركسترا الرياضيات لكنها ستستمر في الغناء.
إذا أسكتَّ مايسترو، ستنهار الأوركسترا بأكملها. سيبدأون في تكرار نفس النوتة، أو الدندنة بهراء، أو التوقف تماماً. هذه الرؤوس ضرورية للقدرة الأساسية على التحدث والتفكير بشكل متماسك.

2. قاعدة "الحجم يفرق"
لاحظ الباحثون شيئاً رائعاً حول حجم النموذج:

النماذج الكبيرة (الأوركسترا المحترفة): لديها متخصصون واضحون ومتميزون للغاية. لاعبو الرياضيات منفصلون عن لاعبي البرمجة.
النماذج الصغيرة (فرقة "المرآب" - Garage Band): هي فوضوية بعض الشيء. أحياناً، يضطر نفس عدد قليل من الموسيقيين للقيام بكل شيء. على سبيل المثال، في النماذج الأصغر، يبدو أن الرؤوس التي تجيب على أسئلة الاختيار من متعدد تتعامل مع جميع أسئلة المعرفة، سواء كانت عن البيولوجيا أو الأمن السيبراني. كلما كبرت النماذج، زادت قدرتها على توظيف المزيد من المتخصصين.

لماذا يهم هذا؟

هذا الاكتشاف يغير قواعد اللعبة لثلاثة أسباب:

سلامة الذكاء الاصطناعي: إذا كان النموذج يولد محتوى خطيراً (مثل كيفية صنع قنبلة)، فقد نتمكن من العثور على "الرأس الخطير" المحدد وإسكاته دون كسر قدرة النموذج على المساعدة في الواجبات المنزلية أو كتابة رسائل البريد الإلكتروني.
تعديل النماذج: بدلاً من إعادة تدريب ذكاء اصطناعي ضخم من الصفر لإصلاح خلل ما، قد نحتاج فقط إلى تعديل أو إزالة بعض "الموسيقيين" المحددين.
فهم الذكاء الاصطناعي: يساعدنا هذا في فهم أن الذكاء الاصطناعي ليس مجرد "صندوق أسود" غامض. إنه آلة مهيكلة ذات أجزاء متخصصة، مما يجعل من السهل دراستها والثقة بها.

باختصار: نماذج اللغة الضخمة ليست مجرد عقول عملاقة وفوضوية. إنها فرق منظمة للغاية حيث يتم التعامل مع مهام محددة من خلال فرق صغيرة مخصصة. وبفضل طريقة "الاستشعار المضغوط" الجديدة هذه، يمكننا أخيراً العثور على تلك الفرق بسرعة وكفاءة.

إليك ملخص تقني مفصل لورقة البحث "الاستشعار المضغوط لتحديد موقع القدرات في النماذج اللغوية الكبيرة" (Compressed Sensing for Capability Localization in Large Language Models) للباحثة آنا باير وآخرون.

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات متنوعة (مثل الاستدلال الرياضي، توليد الأكواد البرمجية، والسلوكيات اللغوية). ويتمثل التحدي المركزي في أبحاث الذكاء الاصطنا الرئيسي في فهم كيفية تمثيل هذه القدرات وتنفيذها داخل بنية النموذج.

السؤال: هل يمكن تحديد مواقع قدرات مهام معينة في مكونات محددة (مثل الخلايا العصبية أو رؤوس الانتباه) داخل نماذج المحولات (Transformer)؟
الفجوة: بينما حددت الأعمال السابقة المعرفة الواقعية في خلايا عصبية معينة، لا يزال من غير الواضح ما إذا كانت المهارات السلوكية المعقدة محددة الموقع بنفس الطريقة. علاوة على على ذلك، فإن تحديد هذه المكونات عبر البحث الشامل (عن طريق تعطيل كل رأس انتباه) أمر مستهلك للحوسبة بالنسبة للنماذج التي تحتوي على آلاف رؤوس الانتباه.
الهدف: تحديد مجموعات "متفرقة" (sparse) من رؤوس الانتباه الخاصة بمهمة معينة، والتي يؤدي إزالتها إلى تدهور الأداء في مهمة مستهدفة مع الحفاظ على الأداء في المهام غير المرتبطة بها، وذلك باستخدام طريقة فعالة تتجنب البحث الشامل.

2. المنهجية: الاستشعار المضغوط لتحديد الرؤوس

تقترح المؤلفات طريقة مبتكرة تعتمد على الاستشعار المضغوط (Compressed Sensing - CS) لتحديد رؤوس المهام بكفاءة، بالاستفادة من افتراض أن هذه الرؤوس متفرقة للغاية (أي أن عدداً قليلاً جداً من الرؤوس هو الحاسم لمهمة معينة).

الافتراضات الأساسية

التفرق (Sparsity): لأي مهمة معينة، يساهم عدد فرعي صغير $k$ من إجمالي الرؤوس $N$ بشكل كبير في الأداء ( $k \ll N$ ).
الإضافية (Additivity): التأثير التراكمي لتعطيل رؤوس متعددة هو تقريباً مجموع مساهماتها الفردية الهامشية (التأثيرات الإضافية من الدرجة الأولى هي المهيمنة محلياً).

الخوارزمية

بدلاً من اختبار الرؤوس واحداً تلو الآخر (النهج الجشع الذي يتطلب $O(N)$ من عمليات التقييم)، تعامل الطريقة أهمية الرأس كإشارة متفرقة يجب إعادة بنائها من قياسات خطية.

مصفوفة القياس ( $\Phi$ ): بناء مصفوفة ثنائية حيث تمثل الصفوف تكوينات تعطيل محددة (مجموعات من الرؤوس التي يتم ضبطها على الصفر). تقترح المؤلفات استراتيجيتين:
- أخذ العينات برنولي (Bernoulli Sampling): تعطيل الرؤوس عشوائياً باحتمالية ثابتة.
- أخذ العينات الطبقي (Stratified Sampling): فرض قيد التوازن بحيث يتم تعطيل كل رأس عدداً متساوياً تقريباً من المرات عبر التقييمات (وُجد أنه أكثر استقراراً).
متجه الملاحظة ( $y$ ): قياس أداء النموذج (الدقة) على المهمة المستهدفة لكل تكوين تعطيل محدد بواسطة $\Phi$ .
الانحدار المتفرق (Sparse Regression): حل مشكلة تحسين "لاسو" (Lasso) لاستعادة متجه التأثير الكامن $x$ :
$\hat{x} = \arg \min_{x} \frac{1}{2M} \| y - (\beta_0 + \Phi x) \|_2^2 + \lambda \| x \|_1$
هنا، يمثل $\hat{x}_j$ انخفاض الأداء المقدر الناتج عن تعطيل الرأس $j$ .
الاختيار: تحديد أفضل $k$ من الرؤوس التي تقابل أكثر المعاملات سالبية في $\hat{x}$ .

الكفاءة: تقلل هذه الطريقة من عدد التقييمات المطلوبة من $O(N)$ (البحث الجشع) إلى $O(k \log(N/k))$ ، مما يحقق توفيراً يصل إلى 50 ضعفاً في عدد التقييمات مع الحفاظ على دقة مقاربة للبحث الجشع.

3. المساهمات الرئيسية

اكتشاف التحديد الموضعي الشديد: أثبتت الدراسة أن القدرات عالية المستوى في النماذج اللغوية الكبيرة محددة موضعياً بشكل شديد في مجموعات فرعية متفرقة وصغيرة من رؤوس الانتباه.
طريقة تحديد فعالة: قدمت خوارزمية قائمة على الاستشعار المضغوط تحدد الرؤوس الخاصة بالمهمة بدقة عالية باستخدام جزء ضئيل من التكلفة الحوسبية للبحث الشامل.
الرؤوس العامة مقابل الرؤوس الخاصة بالمهمة: ميزت بين:
- الرؤوس الخاصة بالمهمة: حاسمة لمهارات محددة (مثل الرياضيات) ولكن إزالتها لا تضر بالمهام الأخرى.
- الرؤوس العامة: حاسمة للتماسك اللغوي العام؛ وإزالتها تسبب سلوكيات مرضية (مثل التكرار أو المخرجات المتدهورة) عبر جميع المهام.
التحديد الموضعي المعتمد على الحجم: كشفت أن درجة التحديد الموضعي وطبيعة الآليات تتغير مع حجم النموذج.

4. النتائج التجريبية

تحققت المؤلفات من نتائجها عبر خمسة نماذج (Llama 3.1 8B, Llama 3.2 3B/1B, Qwen 2.5 7B/3B) وأربع قدرات (الرياضيات، البرمجة، السب، القافية).

تدهور الأداء: أدى تعطيل خمسة فقط من الرؤوس المحددة كـ "خاصة بالمهمة" إلى انخفاض في الأداء يصل إلى 65% في الاختبارات المستهدفة (مثل GSM8K للرياضيات، وMBPP للبرمجة).
الخصوصية: كان لهذه التعطيلات تأثير ضئيل على مقاييس اللغة العامة غير المرتبطة (HellaSwag, MMLU, BoolQ)، حيث كانت انخفاضات الدقة عادة أقل من 3%.
التعميم: نجحت الرؤوس التي تم تحديدها في مجموعة بيانات واحدة (مثل GSM8K) في إضعاف الأداء في مجموعات بيانات ذات صلة (مثل Arithmetic)، مما يؤكد أنها تلتقط الآليات الأساسية بدلاً من مجرد سمات مجموعة البيانات.
مقارنة الكفاءة:
- البحث الجشع: تطلب حوالي 5,120 تقييماً لنموذج 8B.
- الاستشعار المضغوط (الطبقي): تطلب فقط حوالي 100–200 تقييم لتحقيق تدهور مماثل أو أفضل في المهمة المستهدفة.
الرؤوس العامة: حددت رؤوساً معينة (غالباً في الطبقات الأولى، مثل الطبقة 0 أو 1) التي تسبب عند تعطيلها فشلاً كارثياً في جميع المهام، بما في ذلك فهم اللغة العامة.
الاعتماد على الحجم:
- النماذج الأكبر (8B): أظهرت تحديداً موضعياً أقوى وأكثر تميزاً للقدرات المحددة.
- النماذج الأصغر (1B/3B): أظهرت أنماطاً مختلفة. على سبيل المثال، في النماذج الأصغر، كانت رؤوس "المعرفة القائمة على الاختيار من متعدد" مشتركة عبر مجالات معرفية مختلفة (WMDP وMMLU)، بينما أظهرت النماذج الأكبر رؤوساً أكثر تخصصاً ومرتبطة بمهام محددة.

5. الأهمية والآثار المترتبة

التنظيم الوحدوي (Modular Organization): تشير النتائج إلى أن نماذج المحولات منظمة بشكل وحدوي، حيث تُنفذ القدرات المتخصصة بواسطة وحدات حوسبية متفرقة ومتميزة (رؤوس الانتباه) بدلاً من كونها موزعة بشكل موحد.
القابلية للتفسير: توفر أداة قابلة للتوسع لـ "التفسير الآلي" (Mechanistic Interpretability)، مما يسمح للباحثين بتحديد الدوائر المسؤلة عن مهارات معينة بدقة دون الحاجة لتدريب نماذج جديدة.
تعديل النماذج والسلامة:
- التعديل المستهدف: يتيح إزالة أو تعديل قدرات معينة بدقة (مثل إزالة الاستدلال الرياضي أو محاذاة السلامة) دون إعادة التدريب أو الإضرار بالذكاء العام.
- سلامة الذكاء الاصطناعي: يساعد فهم الرؤوس العامة مقابل الرؤوس الخاصة بالمهمة في تصميم نماذج أكثر أماناً وفهم أوضاع الفشل (مثل لماذا يهذي النموذج أو يكرر النص).
الكفاءة: تجعل منهجية الاستشعار المضغوط تحليل النماذج الضخمة (التي تحتوي على آلاف الرؤوس) أمراً ممكناً من الناحية الحوسبية، مما يفتح الباب أمام دراسات آلية واسعة النطاق.

في الختام، تثبت الورقة أن تحديد موقع القدرات هو مبدأ تنظيمي عام في النماذج اللغوية الكبيرة، وتوفر إطار عمل فعال للغاية يعتمد فقط على الاستدلال لرسم خرائط هذه القدرات إلى مكونات معمارية محددة.