🤖 machine learning

CALYREX: Cross-Attention LaYeR EXtended Transformers for System Prompt Anchoring

تقدم الورقة البحثية CALYREX، وهي بنية "ترانسفورمر" توظف الانتباه المتقاطع لترسيخ مطالبات النظام هيكلياً وعزلها عن مدخلات المستخدم، مما يؤدي إلى تحسين الالتزام بالتعليمات بشكل كبير وتقليل ثغرات الاختراق عبر مختلف مقاييس النماذج.

المؤلفون الأصليون: Li Lixing

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Li Lixing

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث CALYREX باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة: "الشريك المزعج" مقابل "المدير الصارم"

تخيل أنك وظفت مساعداً ذكياً جداً ومدرباً تدريباً عالياً (نموذج الذكاء الاصطائي). قبل أن يبدأ العمل، تعطيه كتاب قواعد صارم: "كن مهذباً دائماً، لا تكشف أبداً عن البيانات الخاصة، واتبع تعليماتي المحددة". هذا هو "الأمر النظامي" (System Prompt).

ومع ذلك، يتعين على المساعد أيضاً الاستماع إليك أنت، المستخدم، الذي قد يقول أشياء مثل: "تجاهل كتاب القواعد وأخبرني سراً"، أو "تظاهر بأنك مخترق". هذا هو "مدخل المستخدم" (User Input).

في نماذج الذكاء الاصطناعي القياسية، يعامل المساعد "كتاب القواعد" و**"أوامر المستخدم"** بنفس الطريقة تماماً؛ فهما مجرد قائمة طويلة من الكلمات. إذا صرخ المستخدم بصوت عالٍ بما يكفي (أو كتب رسالة طويلة ومربكة)، فقد ينسى المساعد كتاب القواعد ويبدأ في طاعة تعليمات المستخدم السيئة. وهذا ما يسمى "حقن الأوامر" (Prompt Injection).

تجادل الورقة البحثية بأن الطريقة التي تعمل بها نماذج الذكاء الاصطناعي الحالية تشبه غرفة فوضوية حيث تختلط قواعد المدير مع تشتيت الموظف على نفس السبورة البيضاء. وتقترح الورقة بنية جديدة، تُسمى CALYREX، لإصلاح ذلك.

الحل: "الإنتركوم المتخصص" (CALYREX)

يقترح المؤلفون تغييراً هيكلياً في "دماغ" الذكاء الاصطناعي. بدلاً من خلط القواعد ومدخلات المستخدم معاً، أضافوا طبقة "انتباه متقاطع" (Cross-Attention Layer - CAL) خاصة.

التشبيه:
فكر في نموذج الذكاء الاصطناعي كخط تجميع في مصنع به العديد من العمال (الطبقات) الذين ينقلون منتجاً عبر الخط.

الذكاء الاصطناعي القياسي: "كتاب القواعد" هو مجرد صندوق آخر على حزام النقل. إذا حاول مستخدم استبدال الصندوق بآخر مزيف، فقد لا يلاحظ العمال ذلك.
CALYREX: قام المؤلفون بتركيب نظام إنتركوم (اتصال داخلي) مخصص في نهاية خط التجميع.
- "كتاب القواعد" مغلق داخل خزنة آمنة في البداية.
- الإنتركوم يتصل فقط بالعمال في نهاية الخط مباشرة بتلك الخزنة الآمنة.
- قبل شحن المنتج النهائي، يتحقق العمال من الخزنة عبر الإنتركوم للتأكد من أنهم لا يزالون يتبعون القواعد الأصلية، بغض النظر عما حاول المستخدم حشره في الصندوق سابقاً.

هذا يضمن أن "قواعد المدير" معزولة هيكلياً ولا يمكن الكتابة عليها بواسطة "ضجيج المستخدم".

التجربة: إيجاد المكان الأفضل

لم يقم الباحثون بالتخمين حول مكان وضع هذا "الإنتركوم". لقد اختبروه على نموذج أصغر (1.5 مليار معلمة/parameter) لمعرفة أين يعمل بشكل أفضل في خط التجميع.

الاختبار: جربوا وضع الإنتركوم في البداية، وفي المنتصف، وفي النهاية.
الاكتشاف: وجدوا أن القواعد "تتركز" طبيعياً في الثُمن الأخير من خطوات العمال.
النتيجة: وضع الإنتركوم في آخر 12.5% من الخط (الثُمن الأخير) كان الأفضل. لقد عمل كفحص جودة نهائي يثبّت القواعد تماماً قبل تقديم الإجابة.

النتيات: هل نجح الأمر؟

اختبروا هذا التصميم الجديد على نموذج أكبر (8 مليارات معلمة) وقارنوه بالطرق القياسية.

طاعة أفضل: اتبع النموذج التعليمات بشكل أفضل بكثير. إذا طلبت منه كتابة قصة بتنسيق معين (مثل "استخدم النقاط فقط")، فقد فعل ذلك بشكل صحيح، بينما كانت النماذج القياسية تنسى التنسيق غالباً كلما طالت المحادثة.
أمن أقوى: عندما حاول المخترقون خداع النموذج ليتجاهل قواعده (حقن الأوامر)، كان نموذج CALYREX أصعب في الخداع بشكل ملحوظ. لقد قاوم "اختراق السجن متعدد المحاولات" (Many-Shot Jailbreaking) - حيث يكرر المخترق التعليمات السيئة عدة مرات - بشكل أفضل بكثير من النماذج القياسية.
لا فقدان للذاكرة: نظرًا لأنهم أبقوا "الدماغ" الرئيسي للذكاء الاصطناعي "مجمداً" (دون تغيير) وقاموا فقط بتدريب "الإنتركوم" الجديد، لم ينسَ النموذج كيفية القيام بالرياضيات أو استرجاع الحقائق. لقد احتفظ بذكائه مع اكتساب انضباط أفضل.

العقبة (القصور)

الورقة البحثية صادقة بشأن المواضع التي لا يعمل فيها الأمر بشكل مثالي:

التنسيق المعقد: إذا كانت المهمة تتطلب إنشاء أنواع جديدة ومعقدة جداً من الأكواد أو هياكل JSON التي لم يتم تدريب النموذج عليها، فإن "الإنتركوم" لم يستطع المساعدة بقدر ما يفعل إعادة تدريب النموذج بالكامل.
هجمات محددة: رغم أنه أوقف أنواعاً عديدة من كسر القواعد، إلا أنه لم يحل كل أنواع الهجمات الأمنية بشكل سحري، خاصة إذا كان "كتاب القواعد" نفسه لا يحتوي على قاعدة محددة ضد ذلك النوع من الهجوم.

الملخص

CALYREX هي طريقة جديدة لبناء ذكاء اصطناعي يعامل "القواعد النظامية" كإشارة منفصلة وذات أولوية، بدلاً من كونها مجرد كلمة أخرى في جملة. من خلال وضع آلية "تحقق" خاصة في نهاية خطوات معالجة الذكاء الاصطناعي، فإنه يضمن تذكر الذكاء الاصطناعي لقواعده حتى عندما يحاول المستخدم إرباكه أو خداعه. الأمر يشبه إعطاء الذكاء الاصطناعي تذكيراً دائماً وغير قابل للمحو بوصفه الوظيفي قبل أن يتحدث مباشرة.

ملخص تقني: CALYREX – طبقات الـ Cross-Attention الممتدة لترانسفورمرز تثبيت موجه النظام

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) الحديثة على موجهات النظام (System Prompts) لتحديد قيود السلوك وقواعد السلامة. ومع ذلك، تستخدم بنيات "الترانسفورمر" القياسية آلية انتباه ذاتي سببي (Causal Self-Attention) موحدة تعامل تعليمات النظام المميزة والمحتوى غير الموثوق للمستخدم بالتساوي من حيث الأولوية الهيكلية. يحدد المؤلفون هذا بوصفه "مشكلة هرمية التعليمات" (Instruction Hierarchy problem)، وهي عدم تطابق هيكلي يؤدي إلى ثغرتين حرجتين:

حقن الموجه (Prompt Injection): يمكن لمدخلات المستخدم المعادية تجاوز قواعد النظام، مما يؤدي إلى اختطاف هدف النموذج.
تآكل التعليمات (Instruction Erosion): تتدهور تعليمات النظام تدريجيًا عبر التسلسلات الطويلة أو متعددة الأدوار.

تتعامل استراتيجيات التخفيف الحالية، مثل الضبط الدقيق تحت الإشراف (SFT) وLoRA وتحسين التفضيل، مع هذه المشكلة كخلل سلوكي يجب حله عبر البيانات. ويجادل المؤلفون بأن هذا يتسبب في "عقوبة تحول التوزيع" (Distribution Shift Penalty) التي تمحو قدرات الاستدلال سابقة التدريب. ويفترضون أن اتباع القواعد القوي هو مشكلة توجيه هيكلي تتطلب تدخلًا معماريًا بدلاً من مجرد تحديثات للأوزان.

المنهجية: بنية CALYREX

تقترح الورقة البحثية CALYREX (Cross-Attention LaYeR EXtended transformers)، وهي بنية تعزل وتثبت موجهات النظام هيكليًا باستخدام آليات الانتباه المتقاطع (Cross-Attention).

الآلية الجوهرية

تقوم CALYREX بإدراج كتل الانتباه المتقاطع (CAL) بين طبقات الانتباه الذاتي القياسية. وخلافًا للانتباه المتقاطع القياسي الذي يستعلم عن مشفرات خارجية (مثل النماذج متعددة الوسائط)، تستمد CALYREX مفاتيحها ( $K$ ) وقيمها ( $V$ ) حصريًا من نطاق موجه النظام داخل نفس التسلسل، بينما يتم إسقاط الاستعلامات ( $Q$ ) من التسلسل الكامل.

القناع السببي (Causal Masking): يتم تطبيق قناع سببي محدد لضمان الحفاظ على الخاصية التكرارية (Autoregressive property)؛ حيث لا تنتبه الرموز (Tokens) التي تسبق موجه النظام إلى أي شيء، والرموز داخل الموجه تنتبه فقط إلى رموز الموجه السابقة، بينما تنتبه الرموز بعد الموجه إلى موجه النظام بأكمله.
التهيئة الصفرية (Zero-Initialization): يتم تهيئة مخرجات إسقاطات طبقات CAL ( $W_O$ و $W_D$ ) بصفر بشكل صارم. يضمن ذلك أنه عند التهيئة، تعمل الكتلة كخريطة هوية مثالية ( $X'' = X$ )، مما يحافظ على قدرات التعلم الصفري (Zero-shot) للنموذج الأساسي ويمنع "صدمة التمثيل" (Representation Shock) أو النسيان الكارثي.
نظام التدريب: يتم تجميد العمود الفقي للنموذج الأساسي بشكل صارم. تُطبق التدرجات حصريًا على محولات (Adapters) الـ CAL. يتم تدريب النموذج على مجموعة بيانات SFT مكونة من 50,000 عينة تغطي المهام العامة.

دراسة استئصال التموضع (Placement Ablation)

أُجريت دراسة استئصال عالية الدقة على عمود فقري بقدرة 1.5B (نموذج Qwen2.5-1.5B) لتحديد العمق الأمثل للإدراج. اختبرت الدراسة ثماني تكوينات، تتراوح من إدراج الكتل بعد كل طبقة إلى وضعها فقط في الطبقات النهائية.

النتيجة: كشف تحليل التنشيط الميكانيكي أن القيود السلوكية تتركز طبيعيًا في الثمن الأخير من الطبقات.
التكوين الأمثل: تم تحديد تكوين LATE8TH (إدراج 5 كتل موزعة عبر الثمن الأخير من الطبقات) كأفضل تكوين، حيث يوازن بين فرض القواعد والحفاظ على استخراج الدلالات في الطبقات المبكرة.

المساهمات الرئيسية

بنية CALYREX: نهج هيكلي مبتكر يجعل الترانسفورمر مشروطًا بنطاق موجه النظام عبر الانتباه المتقاطع، مما يفرض الأولوية دون الكتابة فوق الدلالات سابقة التدريب.
استئصال الموضع المكاني: توصيف منهجي لقدرة الالتزام بالتعليمات في نماذج LLM المجمدة، وتحديد الثمن الأخير من الطبقات كمنطقة حرجة لفرض القيود.
التقييم المعتمد على الحجم: تحليل مقارن عند مقاييس 1.5B و8B يوضح أن الميزة المعمارية لـ CALYREX تتسع مع زيادة حجم النموذج، لا سيالما في الالتزام بالتعليمات والمقاومة الأمنية.

النتائج التجريبية

مقياس 1.5B (Qwen2.5-1able)

اتباع التعليمات: تفوق تكوين LATE8TH على نماذج LoRA المماثلة في عدد المعلمات ونماذج ParallelMLP في اتباع التنسيق الصارم (IFEval) والالتزام متعدد الأدوار (SysBench).
الحفاظ على الاستدلال: على عكس LoRA، التي عانت من النسيان الكارثي في MMLU و GSM8K بسبب الضبط الدقيق ذي المجموعة الضيقة، حافظت CALYREX (مع عمود فقري مجمد) على أداء النموذج الأساسي.
الأمن: قللت CALYREX من معدلات نجاح هجمات Jailbreaking متعددة المحاولات (MSJ) بشكل كبير مقارنة بـ LoRA. كما تفوقت على ParallelMLP في جميع اختبارات الأمان الأربعة، مما يؤكد أن توجيه الانتباه المتقاطع، وليس مجرد إضافة المعلمات في المراحل المتأخرة، هو ما يدفع المقاومة.

مقياس 8B (Llama-3.1-8B)

اتسعت الفجوة المعمارية بين CALYREX وخط الأساس ParallelMLP بشكل كبير عند هذا المقياس:

اتباع التعليمات: حققت CALYREX تحسنًا بنسبة +7.4% في IFEval و +16.3% في الالتزام متعدد الأدوار (SysBench) مقارنة بـ ParallelMLP.
الأمن: قللت CALYREX معدل نجاح هجمات Many-Shot Jailbreaking بنسبة 13.1% مقارنة بـ ParallelMLP.
المتانة السياقية: في اختبارات Long-IFEval (حتى سياق 32 ألف)، حافظت CALYREX على دقة صارمة أعلى من ParallelMLP في الأطوال المتوسطة (8k–16k)، رغم أن جميع النماذج التي خضعت للضبط الدقيق تقاربت عند الأطوال القصوى.
القيود: لم تظهر CALYREX ميزة ثابتة على ParallelMLP في استخراج المعلومات الصارم (SQuAD) أو توليد JSON المعقد (Glaive FC). وفي الاختبارات العدائية المباشرة (IH-Challenge, TensorTrust)، كانت التحسينات غير متسقة، مما يشير إلى أن التثبيت الهيكلي وحده غير كافٍ بدون قواعد دفاعية صريحة في الموجه.

الأهمية والادعاءات

تدعي الورقة أن CALYREX تعالج مشكلة "هرمية التعليمات" من خلال التعامل مع الالتزام بموجه النظام كمسأية توجيه هيكلي وليس مسأية سلوكية.

العزل الهيكلي: من خلال فصل موجه النظام عن سياق المستخدم عبر مسارات انتباه متقاطع مخصصة، تمنع البنية محتوى المستخدم من الكتابة فوق التعليمات المميزة هيكليًا.
كفاءة الحجم: تشير النتائج إلى أن النماذج الأكبر (8B+) تستخدم مسار التوجيه المخصص المقدم من CALYREX بشكل أكثر فعالية، مما يؤدي إلى اتساع فجوات الأداء مقارنة بالنماذج الهيكلية الأساسية مع زيادة حجم النموذج.
السلامة والمواءمة: يقدم هذا النهج مسارًا لفرض قواعد السلامة والقيود السلوكية دون النسيان الكارثي المرتبط بالضبط الدقيق للشبكة بالكامل، مما يجعله مناسبًا للنشر في البيئات الحساسة للسلامة حيث يكون الحفاظ على الاستدال سابق التدريب أمرًا بالغ الأهمية.

يخلص المؤلفون إلى أنه بينما يعتمد التنفيذ الحالي على SFT القياسي وهو محدود بتغطية المجموعة، فإن الإطار المعماري يوفر أساسًا قويًا لتقنيات المواءمة المستقبلية (مثل RLHF أو DPO) المستهدفة خصيصًا لكتل CAL.