🤖 machine learning

Geometry-Lite: Interpretable Safety Probing via Layer-Wise Margin Geometry

تقدم هذه الورقة Geometry-Lite، وهو مسبار قابل للتفسير يفكك إشارات السلامة عبر طبقات المحولات (transformer layers) ليكشف أن الكشف عن سلامة مستوى المطالبة (prompt-level safety detection) يعتمد بشكل أساس أساسي على هندسة الهامش المستمرة عبر الطبقات وتحديد المواقع الحدودية بدلاً من إشارات الحركة من طبقة إلى أخرى.

المؤلفون الأصليون: Woo Seob Sim, Yu Rang Park

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Woo Seob Sim, Yu Rang Park

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة كبير (LLM) كأنه مصنع ضخم متعدد الطوابق. عندما تعطيه "مُدخلًا" (سؤالاً أو تعليمات)، تنتقل "فكرة" هذا المُدخل عبر الطوابق (الطبقات) داخل المصنع. في كل طابق، يقوم العمال بمعالجة الفكرة، وتنقيتها قبل تمريرها إلى المستوى التالي.

الهدف من هذه الورقة البحثية هو معرفة كيفية رصد مُدخل "سيء" أو "غير آمن" (مثل طلب لصناعة قنبلة) قبل أن ينهي المصنع عمله ويولد الاستجابة.

الطريقة القديمة: التقاط لقطة واحدة

في السابق، حاول محققو السلامة رصد المُدخلات السيئة عبر أخذ صورة واحدة للفكرة في طابق واحد محدد (عادةً ما يكون الطابق الأوسط أو الطموح جداً في الأعلى). كانوا ينظرون إلى تلك الصورة ويقولون: "هذا يبدو خطيراً".

المشكلة: أحياناً، قد تبدو الفكرة السيئة بريئة في طابق ما، لكنها تكشف عن طبيعتها الحقيقية في طابق آخر. الاعتماد على لقطة واحدة فقط يفقدنا القصة الكاملة.

الأداة الجديدة: Geometry-Lite

قدم المؤلفون أداة جديدة تسمى Geometry-Lite. فبدلاً من مجرد النظر إلى طابق واحد، تقوم هذه الأداة بجولة في المصنع بأكمله، حيث تتحقق من موقع الفكرة في كل طابق من الطوابق.

ومع ذلك، بدلاً من مجرد تسجيل البيانات الخام، تقوم Geometry-Lite بترجمة موقع الفكرة إلى ثلاث قياسات بسيطة وسهلة الفهم (هوامش):

فحص المركز (The Centroid Check): مدى قرب هذه الفكرة من "متوسط الأفكار الآمنة" مقابل "متوسط الأفكاء السيئة".
فحص الجوار (The Neighborhood Check): من هم جيران الفكرة الأقرب؟ هل تتسكع مع أفكار آمنة أم سيئة؟
فحص الخط (The Line Check): هل تقع الفكرة في الجانب "الآمن" أم الجانب "غير الآمن" من خط مرسوم؟

الاكتشاف الكبير: الأمر يتعلق بالبقاء في المكان، لا بالحركة

أكثر النتائج إثارة للدهشة في الورقة البحثية تتعلق بـ كيفية تحرك الفكرة عبر المصنع.

الأسطورة: اعتقد الكثيرون أن الكشف عن السلامة يعمل مثل الأفعوانية (Rollercoaster). اعتقدوا أن الفكرة تبدأ آمنة، ثم "تنزلق" أو "تنزاح" فجأة نحو منطقة الخطر أثناء صعودها عبر الطوابق. ظنوا أن الحركة نفسها هي علامة التحذير.
الواقع: تُظهر الورقة أن الكشف عن السلامة يشبه في الواقع المنارة.
- إذا كان المُدخل غير آمن، فهو لا "ينزاح" بالضرورة نحو الخطر. بدلاً من ذلك، هو يبدأ في الجانب الخطير ويبقى هناك طوال الطريق إلى الأعلى.
- الإشارة الأكثر أهمية ليست التغير في الموقع (الانزياح)؛ بل هي الاستمرارية في الموقع. حقيقة أن الفكرة تظل على الجانب "غير الآمن" من الحدود طوال الرحلة تقريباً هي ما يخبر النظام: "هذا سيء".

"الانزياح" ليس سوى تصحيح طفيف

وجدت الورقة أن مراقبة مقدار حركة الفكرة بين الطوابق ("الانزياح") لا تضيف قيمة تذكر للرصد الإجمالي. الأمر يشبه التحقق مما إذا كانت السيارة تسرع أو تتباطأ بينما تريد فقط معرفة ما إذا كانت في المسار الصحيح.

الاستثناء: في حالات نادرة ومعقدة جداً حيث يكون النظام شديد الحذر (يحاول تجنب الإنذارات الكاذبة)، يمكن لمراقبة "الانزياح" أن تساعد أحياناً في رصد بعض المُدخلات السيئة التي كادت أن تُفقد. ولكن في معظم الأحيان، هي ليست البطل الرئيسي.

الاختبار "الصعب": عندما تتغير القواعد

اختبر الباحثون أيضاً ما يحدث عندما يواجه المصنع نوعاً جديداً تماماً من المُدخلات السيئة التي لم يسبق له رؤيتها ("تحول المرجع" أو benchmark shift).

الخط المرن: "فحص الخط" (الحدود الخاضعة للإشراف) يكون حاداً ودقيقاً جداً عندما تشبه المُدخلات بيانات التدريب. ولكن عندما تتغير المُدخلات، يصبح هذا الخط ضبابياً وأقل موثوقية.
المركز الثابت: "فحص المركز" (النظر إلى متوسط الأفكار الآمنة مقابل السيئة) يكون أقل حدة في الأيام العادية، لكنه يظل ثابتاً وموثوقاً حتى عندما تتغير المُدخلات. إنه يشبه البوصلة التي لا تدور بجنون عندما تتغير حالة الطقس.

الملخص

Geometry-Lite هي أداة ذكية ومدمجة تراقب رحلة المُدخل عبر كل طبقة من طبقات نموذج الذكاء الاصطناعي. لقد اكتشفت أن أفضل طريقة لرصد مُدخل سيء ليست بمراقبته وهو "ينزلق" نحو الخطر، بل بملاحظة أنه يبقى في الجانب الخطير من الخط من البداية وحتى النهاية. وبينما تساعد مراقبة الحركة في حالات هامشية محددة جداً، فإن الموقع الثابت للفكرة هو المفتاح الحقيقي للسلامة.

ملخص تقني: Geometry-Lite: استقصاء سلامة قابل للتفسير عبر هندسة الهوامش لكل طبقة

تعريف المشكلة

مع نشر النماذج اللغوية الكبيرة (LLMs) على نطاق واسع، أصبح اكتشاف الضرر على مستوى المطالبة (prompt) مكونًا حيويًا للسلامة. وبينما تُعد المسابير (probes) التي تستخدم الحالة المخفية (hidden-state) عبر مصنفات خطية على لقطات أحادية الطبقة (عادةً ما تكون لآخر توكن في المطالبة) هي المعايير المرجعية القياسية، إلا أنها تعتمد على افتراض أن طبقة واحدة تكفي لتلخيص الإشارات المتعلقة بالسلامة. وهذا الافتراض يستوجب إعادة الفحص لسببين:

الحالات الحدية: غالبًا ما يحجب الأداء التجميعي في الاختبارات المعيارية السلوك في المطالبات الغامضة، وهي حالات حرجة لأنظمة السلامة التي تعمل بمعدلات منخفضة من الإيجابيات الكاذبة.
التعميم خارج التوزيع (OOD): النماذج التي تؤدي جيدًا في تقسيمات الاختبارات المعيارية قد تعتمد على ميزات مختصرة (shortcut features) تفشل في الانتقال. وتشير الدراسات الحديثة إلى أن مسابير السلامة القائمة على التنشيط تعاني من تدهور كبير تحت التقييم عبر مجموعات البيانات المختلفة.

السؤال البحثي الجوهري ليس مجرد ما إذا كانت الطبقات المتعددة تساعد، بل ما هو شكل الأدلة متعددة الطبقات التي تظل مفيدة في الأنظمة الحرجة لاتخاذ القرار (معدلات الإيجابية الكاذبة المنخفضة) وتحت تحولات الاختبارات المعيارية. وتحديدًا، يبحث المؤلفون فيما إذا كانت إشارة السلامة موزعة عبر الطبقات، أو مدفوعة بالحركة من طبقة إلى أخرى (الإزاحة)، أو محددة بالموضع المستمر لملف الهامش بالنسبة لحدود السلامة.

المنهجية: Geometry-Lite

قدم المؤلفون Geometry-Lite، وهو مسبار مدمج على مستوى المطالبة مصمم لتفكيك إشارات السلامة متعددة الطبقات على طول محاور هندسية مصنفة. تعمل الطريقة عبر ثلاث مراحل:

1. تقليص الهامش لكل طبقة

لكل طبقة محول $\ell$ ، يتم تقليص الحالة المخفية ذات الأبعاد $D$ لآخر توكن في المطالبة، $h^{(\ell)}(x)$ ، إلى هامش موقع (signed margin) عددي باستخدام ثلاثة قراءات هندسية متكاملة:

المسافة إلى المركز (Centroid Distance): الفرق في المسافة الإقليدية إلى المتوسطات الشرطية للفئات ( $\mu^+$ للآمن، و $\mu^-$ لغير الآمن).
$m^{cent}_\ell(h) = \|h - \mu^-_\ell\|_2 - \|h - \mu^+_\ell\|_2$
الجوار المحلي لـ k-NN: الفرق في متوسط مسافة جيب التمام (cosine distance) إلى أقرب $k$ من الجيران في مجمعات التدريب الآمنة وغير الآمنة. هذه هي القراءة غير الخطية الوحيدة.
$m^{knn}_\ell(h) = \bar{c}^-_k(h) - \bar{c}^+_k(h)$
الحدود الخطية الخاضعة للإشراف (Supervised Linear Boundary): حد خطي لوجستي منظم بـ L2 ومناسب لكل طبقة على الميزات المعيارية، مما يعطي درجة موقع (signed score).
$m^{lin}_\ell(h) = w^\top_\ell z + b_\ell$

هذه العملية تحول مسار الحالة المخفية $H(x) \in \mathbb{R}^{L \times D}$ إلى ثلاثة مسارات هامش عددية $m^G(x) \in \mathbb{R}^L$ (حيث $G \in \{cent, knn, lin\}$ ).

2. تلخيص الملف عبر محاور مسمّاة

يتم تلخيص كل ملف هامش على طول ثلاثة محاور مسمّاة لفصل أشكال مختلفة من الإشارة لكل طبقة:

مستوى الهامش (Margin Level): يلتقط موضع الحدود المستمر (مثل هوامش النهاية، القيم القصوى، الإشغال في الجانب السالب، والمساحة).
التغير من طبقة إلى أخرى (Layer-to-Layer Change): يعزل الحركة المحلية عبر الفروق المحدودة ( $\Delta m_\ell = m_{\ell+1} - m_\ell$ )، مما يفصل الحركة عن الموضع المطلق.
الشكل الهيكلي (Structural Shape): يلتقط خصائص الملف الخشنة (مثل أول عبور للحدود، تباين التغير، طول المسار الإجمالي، والاتساق الاتجاهي).

تولد هذه المحاور متجه ميزات بـ 39 بُعدًا $\phi(x)$ (13 ميزة لكل هندسة).

3. التصنيف

يتم تغذية المتجه ذي الـ 39 بُعدًا في مصنف انحدار لوجستي منظم بـ L2. عدد المعلمات مستقل عن حجم النموذج الأساسي وأبعاد الحالة المخفية.

المراجع والمقارنات

تقارن الدراسة Geometry-Lite مقابل:

مسابير الطبقة الواحدة: أفضل طبقة يتم اختيارها عبر التحقق من الصحة.
MultiLayer-DIM: يجمع الإسقاطات على اتجاه فرق المتوسطات عبر الطبقات.
MultiLayer-Linear: يجمع الدرجات الخطية الخاضعة للإشراف الخام عبر الطبقات.
TaT-Disp-LSTM: مرجع يعتمد على المسار (trajectory-based) ينمذج الإزاحات عبر الطبقات باستخدام LSTM.

المساهمات الرئيسية

مسبار Geometry-Lite: مسبار مدمج وقابل للتفسير يحول الحالات المخفية لكل طبقة إلى ملفات هامش موقع تحت ثلاث قراءات هندسية ويلخصها على طول محاور مسمّاة (موضع الحد، التغيير، والشكل).
تفكيك الأدلة متعددة الطبقات: يفكك الإطار ثلاثة تفسيرات للإشارات متعددة الطبقات: التجميع عبر الطبقات المعلوماتية، موضع الهامش بالنسبة للحدود، والحركة الصريحة من طبقة إلى أخرى.
النتائج التجريبية:
- تركيز الإشارة: يتم التعبير عن أدلة السلامة بشكل أساسي من خلال هندسة موضع الحدود المستمرة (مستوى الهامش والإشغال). تساهم الحركة من طبقة إلى أخرى (الانجراف/drift) بشكل ضئيل في AUROC الإجمالي.
- فائدة الانجراف: بينما يضيف الانجراف القليل إلى AUROC المجمع، فإنه يوفر تصحيحات نادرة تركز على الاستدعاء (recall) تحت عتبات الإيجابية الكاذبة المنخفضة المتحولة.
- المفاضلة بين استقرار القراءة (Readout Stability): الحدود الخطية المحسنة تكون أكثر حدة داخل التوزيع، بينما تحتفظ هندسة متوسط الفئة (المركز/DIM) بانفصال أكثر موثوقية تحت تحولات الاختبارات المعيارية (بروتوكول LOBO).

النتائج التجريبية

يمتد التقييم عبر تسعة نماذج أساسية مضبوطة التعليمات (عائلات Llama, Gemma, Qwen؛ من 1.2B إلى 70B) وسبعة اختبارات معيارية للسلامة (XSTest, WildJailbreak, JBB-Behaviors, DoNotAnswer, BeaverTails, PKU-SafeRLHF, ToxicChat).

الأداء داخل التوزيع: يتفوق Geometry-Lite (AUROC 0.955) و MultiLayer-Linear (0.954) على أفضل مسبار طبقة واحدة (0.941) ويتفوقان بشكل كبير على MultiLayer-DIM (0.911) و TaT-Disp-LSTM (0.945). يطابق Geometry-Lite تكديس الدرجات الخام مع تقديم قابلية التفسير.
الأنظمة الحرجة للقرار: عند معدلات الإيجابية الكاذبة المنخفضة (3% و 5% FPR)، يكون تفوق تعدد الطبقات أكثر وضوحًا. يحسن Geometry-Lite معدل الإيجابيات الحقيقية (TPR) بنحو 0.06–0.08 عن أفضل مسبار طبقة واحدة عند 5% FPR.
التعميم (LOBO): تحت تقييم "ترك اختبار معياري واحد واستبعاد البقية"، تتقلص الفجوة في الأداء بين الطرق الخطية الخاضعة للإشراف وطرق متوسط الفئة (MultiLayer-DIM). يتساوى MultiLayer-DIM (0.889) مع MultiLayer-Linear (0.889) ويتجاوز أفضل مسبار طبقة واحدة (0.842) في العديد من الخلايا.
استئصال الميزات (Feature Ablation):
- ميزات المقدار (Magnitude) وحدها تطابق نموذج الـ 39 ميزة بالكامل ضمن نطاق 0.001–0.002 AUROC.
- الميزات الهيكلية (Structural) وميزات الانجراف السالب (Neg-drift) وحدها أضعف بكثير.
- استئصال القراءة (Readout Ablation): داخل التوزيع، تكون الحدود الخطية الخاضعة للإشراف هي الأقوى. تحت تحولات الاختبارات المعلوية الصعبة، تصبح قراءة المركز (centroid) هي الأكثر استقرارًا، حيث تتفوق على الحدود الخطية في المجموعات الفرعية الأكثر صعوبة.

الأهمية والادعاءات

يدعي البحث أن أدلة السلامة على مستوى المطالبة ليست في المقام الأول إشارة حركة من طبقة إلى أخرى، بل هي هندسة هامش مستمرة لكل طبقة. المكونات المفيدة لهذه الإشارة هي موضع الهامش بالنسبة لحدود السلامة واستمراريتها عبر الطبقات.

تسلط الدراسة الضوء على مفاضلة حرجة في مسابير السلامة:

الحدود المحسنة (المصنفات الخطية) تلتقط انفصالًا قويًا داخل التوزيع ولكنها تتدهور تحت تحول التوزيع.
هندسة متوسط الفئة (المركز/DIM) أقل حدة داخل التوزيع ولكنها أكثر قوة تجاه تحولات الاختبارات المعيارية.

وبناءً على ذلك، يجادل المؤلفون بأن مسابير السلامة متعددة الطبقات يجب تقييمها ليس فقط من خلال AUROC داخل التوزيع، ولكن أيضًا من خلال أي التحيزات الهندسية تنتقل تحت التحول. يعمل Geometry-Lite كأداة لجعل هذه المكونات والتحيزات مرئية، خاصة في الأنظمة الحرجة لاتخاذ القرار حيث تكون الإيجابيات الكاذبة مكلفة.

القيود: تقتقت الدراسة على الملخصات الهندسية المصممة يدويًا، والمطالبات الأمنية أحادية الدور، وتسميات السلامة الثنائية. يمكن للأعمال المستقبلية استكشاف الدوال الوظيفية للملفات المتعلمة، والمراقبة متعددة الأدوار، والتطبيقات على مهام أخرى على مستوى المطالبة.