💬 NLP

Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence

من خلال الاستفادة من المشفّرات التلقائية المتناثرة لتحديد والتدخل في السمات متعددة المعاني غير المرتبطة دلالياً ولكنها متداخلة في النماذج الصغيرة، تُثبت هذه الدراسة أن أنماط التداخل هذه تتعمم عبر النطاق والبنية، مما يتيح تحكماً سلوكياً يمكن التنبؤ به في النماذج اللغوية الأكبر ذات الصندوق الأسود، ويكشف عن تنظيم تقاربي رفيع المستوى للتمثيلات الداخلية.

المؤلفون الأصليون: Bofan Gong, Shiyang Lai, James Evans, Dawn Song

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bofan Gong, Shiyang Lai, James Evans, Dawn Song

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة البحث "الإشارة في الضجيج: تداخل تعدد المعاني ينقل ويتنبأ بالتأثير عبر النماذج"، مترجمة إلى لغة بسيطة مع استعارات إبداعية.

الفكرة الكبرى: مشكلة "السكين السويسري"

تخيل أن لديك سكينًا سويسريًا عملاقًا. يحتوي على شفرة، ومفك براغي، وفتاحة زجاجات، وعود أسنان. الآن، تخيل أنه في "الدماغ الحاسوبي" (نموذج لغوي كبير أو LLM)، فإن "الشفرات" هي الخلايا العصبية.

في عالم مثالي، ستكون خلية عصبية واحدة مجرد "شفرة"، وأخرى مجرد "مفك براغي". ولكن في الواقع، هذه النماذج فعالة للغاية لدرجة أنها تحشر العديد من الأدوات داخل خلية عصبية واحدة. قد تعمل الخلية العصبية كـ "شفرة" عندما تتحدث عن القطع، ولكنها تعمل أيضًا كـ "مفك براغي" عندما تتحدث عن إصلاح سيارة.

هذا ما يسمى تعدد المعاني (Polysemanticity). هذا يجعل النموذج ذكيًا وفعالاً، ولكنه يجعله فوضويًا أيضًا. ولأن الخلية العصبية الواحدة تحمل فكرتين مختلفتين، فإن تغيير جزء "الشفرة" قد يؤدي بالخطأ إلى لف جزء "المفك".

الاكتشاف: "النقرة السرية"

سأل الباحثون سؤالًا مخيفًا: إذا نقرنا على جزء "الشفرة" في خلية عصبية، هل يمكننا بالخطأ جعل النموذج يتحدث عن "مفكات البراغي"، حتى لو لم نطلب ذلك؟

وجدوا أن الإجابة هي نعم، يمكننا ذلك.

اكتشفوا أنه في هذه الأدمغة الحاسوبية، يمكن ربط فكرتين غير مرتبطتين تمامًا (مثل "بيتهوفن" و"الإحباط") سرًا داخل نفس الخلية العصبية. على الرغم من أنهما يبدوان مختلفين تمامًا بالنسبة لنا، إلا أن التوصيلات الداخلية للنموذج تعاملهما كجيران.

الاستعارة:
تخيل دماغ النموذج كأنه ساحة رقص ضخمة ومزدحمة.

الخلايا العصبية هي الراقصون.
المفاهيم هي الأغاني التي يرقصون عليها.
تعدد المعاني يعني أن راقصًا واحدًا يحاول الرقص على أغنيتين في وقت واحد (أغنية جاز وأغنية موسيقى معدنية ثقيلة).
التداخل: إذا دفعت الراقص ليرقص بقوة أكبر على أغنية الجاز، فقد يبدأ بالخطأ في ضرب قدميه على إيقاع الموسيقى المعدنية الثقيلة، رغم أنك لم تطلب منه ذلك.

كيف اختبروا ذلك (الروافد الأربعة)

حاول الباحثون "اختراق" النموذج باستخدام أربعة روافد مختلفة لمعرفة ما إذا كان بإمكانهم فرض هذه الاتصالات العرضية:

رافعة الميزة (الخريطة الداخلية): استخدموا أداة خاصة (تسمى المشفّر التلقائي المتناثر - Sparse Autoencoder) لرسم خريطة لساحة الرقص. وجدوا أغنيتين تبدوان غير مرتبطتين لكنهما تشتركان في راقص واحد. دفعوا الراقص نحو إحدى الأغنيتين، فبدأ النموذج يغني الأغنية الأخرى.
رافعة الرمز (التدرج): بدلاً من النظر إلى الخريطة، نظروا إلى الكلمات المحددة (الرموز/tokens) التي تجعل الراقص يتحرك. وجدوا أن دفع الكلمات المرتبطة بفكرة معينة (مثل "رخصة") سيجعل النموذج يتحدث بالخطأ عن فكرة أخرى (مثل "السياسة"). كان هذا يعمل بشكل أفضل من الخريطة.
رافعة التلقين (الهمس): لم يلمسوا دماغ النموذج على الإطلاق. لقد أضافوا فقط بضع كلمات محددة إلى بداية المحادثة (مثل كود سري). كانت هذه "الهمسة" كافية لجعل النموذج يغير موضوعه بشكل غير متوقع.
رافعة الخلية العصبية (الخلية الفائقة): وجدوا بعض الراقصين الذين يحملون الكثير من الأغاني في وقت واحد (أكثر من 500 مفهوم!)، فكانوا "خلايا عصبية فائقة". إذا رفعت مستوى هؤلاء الراقصين، ستصبح ساحة الرقص بأكملها مجنونة. وإذا أطفأتهم، فلن يلاحظ الصخب وجودهم.

التحول الصادم: إنه يعمل على النماذج الأكبر أيضًا

الجزء الأكثر إثارة للدهشة في الورقة هو ما حدث بعد ذلك.

وجدوا هذه الروابط الغريبة والعرضية في نموذجين صغيرين وبسيطين (مثل لعبة طفل). ثم أخذوا "الأكواد السرية" (الكلمات أو النبضات المحددة) التي وجدوها في نماذج الألعاب وحاولوا تجربتها على نماذج ضخمة ومتطورة (مثل Llama-3 أو Gemma، والتي تشبه العباقرة البالغين).

النتيجة: لقد نجح الأمر.

على الرغم من أن النماذج الكبيرة تم تدريبها بشكل مختلف وهي أكثر ذكاءً، إلا أنها تمتلك نفس التوصيلات الخفية تمامًا. "النقرة السرية" التي نجحت مع نموذج اللعبة فتحت الباب أيضًا أمام العبقري.

الاستعارة:
تخيل أنك وجدت لوحًا خشيًا مرتخيًا في أرضية كوخ صغير. ضغطت عليه، فاشتغل مروحة السقف. ثم ذهبت إلى ناطحة سحاب ضخمة وعالية التقنية. وجدت لوحًا خشيًا مرتخيًا في نفس المكان تمامًا، ضغطت عليه، فاشتغلت مروحة السقف في ناطحة السحاب أيضًا.

هذا يشير إلى أن جميع هذه النماذج، بغض النظر عن حجمها أو صغرها، مبنية على نفس "المخطط الأساسي" لكيفية تنظيم الأفكار.

لماذا يهم هذا؟

إنه ليس عشوائيًا: كنا نعتقد سابقًا أن هذه الاتصالات الغريبة هي مجرد أعطال عشوائية. تثبت هذه الورقة أنها منظمة. هناك هيكل خفي لكيفية تفكير الذكاء الاصطناعي لا نفهمه تمامًا بعد.
إنه ثغرة أمنية: إذا استطعت خداع نموذج صغير لقول شيء غريب، فمن المحتمل أن تتمكن من خداع نموذج كبير أيضًا باستخدام نفس "الكود السري". وهذا يمثل خطرًا على السلامة.
إنه أداة: إذا فهمنا هذه الروابط الخفية، يمكننا استخدامها للتحكم في الذكاء الاصطناعي. يمكننا تقنيًا "توجيه" النموذج ليكون أكثر فائدة أو أقل سمية دون إعادة تدريبه بالكامل.

الخلاصة

نماذج الذكاء الاصطناعي تشبه مكتبات فائقة الكفاءة حيث تُكدس الكتب بطريقة فوضوية. قد يتحدث كتاب واحد عن "الطبخ" و"الرياضيات" في آن واحد. وجد الباحثون أنك إذا سحبت كتاب "الطبخ"، فسوف يسقط كتاب "الرياضيات" أيضًا.

والأهم من ذلك، أن هذا التكديس الفوضوي يحدث بنفس الطريقة في المكتبات الصغيرة والمكتبات العملاقة. إذا تعلمنا قواعد هذه الفوضى، يمكننا تعلم كيفية التحكم في المكتبة، أو على الأقل فهم سبب سقوط الكتب من الرفوف باستمرار.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الإشارة في الضجيج: تداخلات تعدد المعاني تتوقع وتنتقل عبر النماذج" (Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence).

١. بيان المشكلة

تتناول الورقة تحدي تعدد المعاني (Polysemanticity) في النماذج اللغوية الكبيرة (LLMs)، وهي ظاهرة حيث تقوم الخلايا العصبية الفردية أو مجموعات الخلايا بتشفير مفاهيم متعددة، متميزة، وغالباً غير مترابطة دلالياً في آن واحد. وبينما يسمح هذا "التراكب" (Superposition) للنماذج بتمثيل ميزات أكثر من عدد الخلايا العصبية التي تمتلكها (مما يعزز قدراتها)، فإنه يخلق مشكلة "الصندوق الأسود" فيما يتعلق بقابلية التفسير والتحكم.

حدد المؤلفون ثغرة أمنية محددة لم تُستكشف كفاية، وهي: تداخل تعدد المعاني (Polysemantic Interference). يحدث هذا عندما تتشارك ميزتان متميزتان دلالياً (متعامدتان في الفضاء الرمزي البشري) في اتجاهات التنشيط داخل الفضاء المتجهي للنموذج، مما يؤدي إلى تداخلهما مع بعضهما البعض. وتتمثل الأسئلة البحثية الجوهرية في:
١. هل يمكن للتلاعب بالميزات غير المترابطة دلالياً ولكن المتداخلة أن يوجه سلوك النموذج بشكل موثوق؟
٢. هل تستمر هياكل التداخل هذه عبر بنيات ونطاقات مختلفة من النماذج (القابلية للانتقال)؟
٣. هل هناك تنظيم منهجي عالي المستوى لأنماط التداخل هذه يتجاوز الحدس البشري؟

٢. المنهجية

تستخدم الدراسة نهجاً متعدد الطبقات يجمع بين المشفرات التلقائية المتناثرة (Sparse Autoencoders - SAEs)، والتدخلات الميكانيكية، والتقييم عبر النماذج.

أ. استخراج الميزات والتجميع (Clustering)

النماذج: يستخدم المؤلفون SAEs مدربة مسبقاً من Neuronpedia لنموذجين صغيرين هما: Pythia-70M و GPT-2-Small.
ميزات SAE: يعامل المؤلفون ميزات SAE كاتجاهات صريحة في فضاء التنشيط ( $A_\ell$ ).
الفضاء الدلالي مقابل فضاء التنشيط: حددوا "مانيفولد الرمزية البشرية" ( $M$ ) باستخدام تضمينات النصوص (عبر GPT-4o-mini) لقياس التشابه الدلالي السطحي ( $S$ ). ويقارنون ذلك بتشابه جيب التمام لاتجاهات الميزات في فضاء التنشيط ( $I$ ).
التجميع الهرمي (Agglomerative Clustering): للتعامل مع عدم اتساق الحبيبية الدلالية (مثل "كلب" مقابل "لابرادور")، قاموا بتجميع ميزات SAE بناءً على التشابه الدلالي (باستخدام حدود قطع من 0.15 إلى 0.40) لتحديد مجموعات ميزات متميزة وعالية المستوى.

ب. استراتيجيات التدخل

يختبر المؤلفون أربعة أنواع من التدخلات للتلاعب بـ "توزيع توقع الرمز التالي":
١. توجيه اتجاه الميزة (Feature-Direction Steering): إسقاط متجهات ميزة SAE مباشرة في فضاء تنشيط النموذج لتوجيه النموذج.
٢. توجيه تدرج الرمز (Token-Gradient Steering): حساب التدرجات لمخرجات النموذج بالنسبة لأعلى الرموز تنشيطاً لميزة متداخلة. وهذا ينشئ متجه توجيه لا يتطلب الوصول إلى SAE للنموذج المستهدف.
٣. حقن المطالبات (Prompt Injection): إلحاق مقاطع نصية تعمل على تنشيط ميزات التداخل بقوة في مدخلات المطالبة (Prompt).
٤. التدخل في الخلايا العصبية (Neuron Intervention): حجب أو تضخيم خلايا عصبية محددة بناءً على "تعدد معانيها" (عدد الميزات المختلفة التي تشفرها).

ج. مقاييس التقييم

تشابه جيب التمام الموزون ( $\Delta c$ ): يقيس المحاذاة الدلالية بين توزيع مخرجات النموذج ومجموعة رموز الميزة المستهدفة.
التداخل الموزون (Weighted Overlap): يقيس الكتلة الاحتمالية الخام المخصصة للرموز المستهدفة.
الانتقال عبر النماذج (Cross-Model Transfer): يتم تطبيق التدخلات المستخلصة من النماذج الصغيرة (Pythia/GPT-2) على نماذج أكبر وموجهة للتعليمات (Instruction-tuned) ذات "صندوق أسود" (Llama-3.1-8B/70B و Gemma-2-9B) لاختبار القدرة على التعميم.

٣. المساهمات الرئيسية

١. إثبات التلاعب الخفي: تثبت الورقة أنه يمكن توجيه النماذج نحو اتجاه دلالي مستهدف عن طريق التلاعب بميزات غير مرتبطة دلالياً بالهدف ولكنها تتداخل معه في فضاء التنشيط.
٢. قابلية الانتقال عبر النماذج: نجحت التدخلات المستمدة من النماذج الصغيرة في توجيه نماذج أكبر ذات صناديق سوداء وموجهة للتعليمات. يشير هذا إلى وجود طوبولوجيا تعدد معاني مشتركة ومستقرة عبر البنيات وأنظمة التدريب.
٣. اكتشاف "الخلايا العصبية الفائقة" (Super-Neurons): حدد المؤلفون فئة من الخلايا العصبية عالية تعدد المعاني (المرتبطة بأكثر من 500 ميزة) والتي تعمل كنقاط التقاء حرجة. يؤدي تضخيم هذه الخلايا إلى تغييرات سلوكية أسية، بينما يكون لحجبها تأثير منخفض بشكل مفاجئ.
٤. الانتظامات غير البديهية: يكشف التحليل البعدي أن حوالي 27.7% فقط من أزواج الميزات المتداخلة لديها ارتباطات دلالية عليا منطقية (مثل الروابط الموضوعية أو السببية) يمكن اكتشافها بواسطة النماذج اللغوية الكبيرة. معظم أنماط التداخل غامضة للحدس البشري، مما يشير إلى وجود هياكل معرفية كامنة.

٤. النتائج الرئيسية

فعالية التداخل:
- توجيه الميزة: تعمل الميزات غير المتشابهة دلالياً ولكن المتداخلة بشكل موثوق على تغيير توقعات الرمز التالي. تؤدي قوة التداخل الأكبر إلى تحولات أكبر.
- تفوق تدرج الرمز: يحقق توجيه تدرج الرمز تأثيرات أكبر بنحو 10 أضعاف من توجيه ميزة SAE المباشر وهو أكثر قوة عبر النماذج.
- حقن المطالبات: رغم أنه أضعف في التلاعب بالفضاء الكامن، إلا أن حقن المطالبات يظهر مكاسب هائلة (10-1000 ضعف) عند قياس التداخل الموزون، مما يشير إلى أنه يركز التداخل على رموز محددة.
التعميم على النماذج الكبيرة:
- نجحت التدخلات باستخدام الرموز عالية التداخل من Pythia/GPT-2 في توجيه Llama-3.1-8B/70B و Gemma-2-9B.
- كانت معدلات النجاح لأنواع ميزات معينة (مثل الموقع، العاطفة، الأرقام) أعلى بكثير من خطوط الأساس العشوائية، حتى دون الوصول إلى التفاصيل الداخلية للنموذج المستهدف.
هشاشة الخلايا العصبية:
- الخلايا العصبية ذات تعدد المعاني الأعلى هي الأكثر عرضة للتدخل.
- تُظهر "الخلايا العصبية الفائقة" (التي تشفر >500 ميزة) هشاشة غير متماثلة: التضخيم يغير السلوك جذرياً، لكن إلغاء التنشيط (الحجب) له تأثير ضئيل، مما يشير إلى أنها مراكز قوية تتطلب تنشيطاً محدداً لتعمل.
الغموض الدلالي:
- في تقييم الاختيار المزدوج، حددت النماذج اللغوية (GPT-4o-mini) الارتباطات الكامنة في أزواج التداخل العالية بنسبة 64.3% فقط (وهي نسبة أعلى بكثير من الصدفة ولكنها بعيدة عن الكمال)، مما يؤكد أن هذه الهياكل غامضة إلى حد كبير.

٥. الأهمية والآثار

الرؤية النظرية: تتحدى النتائج الرأي القائل بأن تعدد المعاني هو مجرد عملية عشوائية أو نتاج للتدريب. بدلاً من ذلك، تقترح وجود تنظيم متقارب عالي المستوى للتمثيلات الداخلية يستمر عبر النطاقات. يدعم هذا "فرضية التمثيل الأفلاطوني"، مما يعني أن النماذج تتعلم طوبولوجيا دلالية مشتركة.
السلامة والتحكم: تكشف الورقة عن ثغرة منهجية حيث يمكن التلاعب بالنماذج عبر "الضجيج" (مدخلات غير مرتبطة دلالياً). وهذا له آثار على:
- الهجمات العدائية: نواقل جديدة لكسر الحماية (Jailbreaking) أو توجيه النماذج دون الحاجة للوصول الداخلي (عبر تدرجات الرموز/المطالبات).
- المحاذاة (Alignment): تقديم طرق جديدة لتعلم غير مستهدف (Unlearning) أو توجيه السلوك في النماذج ذات الصناديق السوداء.
الاتجاهات المستقبلية: تقترح الورقة أن هذه "الإشارات الضعيفة" وأنماط التداخل غير البديهية قد تعمل كفرضيات قابلة للاختبار لهياكل المعرفة الكامنة في كل من الإدراك الاصطناعي والبشري، مما يسد الفجوة بين التفسير الميكانيكي والعلوم المعرفية.

باختصار، تثبت الورقة أن "ضجيج" تداخل تعدد المعاني هو في الواقع إشارة مهيكلة يمكن استغلالها للتنبؤ بسلوك النماذج والتحكم فيه عبر مختلف المقاييس، مما يكشف عن بنية مشتركة وعميقة للمعنى في النماذج اللغوية الكبيرة.