🤖 machine learning

Gaming the Metric, Not the Harm: Certifying Safety Audits against Strategic Platform Manipulation

تُثبت هذه الورقة أن مقاييس السلامة القياسية قابلة للتلاعب بطبيعتها من قِبل المنصات الاستراتيجية التي تسعى لتحسين الدرجات بدلاً من تقليل الضرر الفعلي، وتقترح طريقة اعتماد "الغلاف الدلالي" التي تظل صامدة أمام هذا التلاعب عبر تعيين أسوأ درجة ممكنة ضمن الفئة المتكافئة دلالياً لكل متغير محتوى.

المؤلفون الأصليون: Florian A. D. Burnat, Brittany I. Davidson

نُشر 2026-05-08

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Florian A. D. Burnat, Brittany I. Davidson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: الغش في بطاقة التقييم

تخيل أن مدير مدرسة (المدقق) يريد التأكد من أن المقصف (المنصة) لا يقدم طعاماً فاسداً (محتوى ضار) للطلاب.

للتحقق من ذلك، يقوم المدير بإنشاء بطاقة تقييم. يجب على المقصف الحفاظ على "درجة الطعام الفاسد" أقل من حد معين ليبقى مفتوحاً. ينشر المدير القواعد: "سنفحص الطعام بناءً على ملصقه ووصفه".

المشكلة هي أن المقصف ذكي؛ فهم يعرفون القواعد. إذا قال المدير: "نحن نفحص الملصق"، فقد يحتفظ المقصف بالطعام الفاسد ولكنه يغير الملصق من "حليب فاسد" إلى "ألبان طازجة". الطعام لا يزال فاسداً، لكن بطاقة التقييم تقول إنه آمن.

هذه الورقة تسأل: كيف نصلح بطاقة التقييم بحيث لا يستطيع المقصف الغش بمجرد تغيير الملصقات؟

المشكلة: "التلاعب بالمقياس"

يسمي المؤلفون هذا "التلاعب بالمقياس" (Gaming the metric). يحدث هذا عندما تغير المنصة طريقة عرض شيء ما (مثل الصورة المصغرة، أو التعليق، أو إعادة الصياغة) لخداع ماسح السلامة، دون إزالة المحتوى الضار فعلياً.

بطاقة التقييم "الهشة": هذه هي الطريقة التي تعمل بها الأمور غالباً حالياً. فهي تنظر إلى كل نسخة محددة من المنشور. إذا قال المنشور "أنا أكره س"، فإنه يحصل على درجة خطر عالية. إذا غيرت المنصة المنشور إلى "أنا أمقت س" (وهي تعني الشيء نفسه)، فقد يعطي الماسح درجة منخفضة لأنه لم يتعرف على الكلمات الجديدة. تحصل المنصة على درجة "آمنة" بينما لا تزال تعرض نفس خطاب الكراهية.
النتيجة: يمكن للمنصة خفض درجتها لتجتاز التدقيق مع الإبقاء على الضرر الفعلي كما هو تماماً. الأمر يشبه طالباً يغير اسمه في الاختبار للحصول على درجة أفضل دون أن يذاكر فعلياً.

الحل: "الغلاف الدلالي" (The Semantic Envelope)

يقترح المؤلفون حلاً يسمى الغلاف الدلالي.

تخيل أن المدير يجمع كل الطرق المختلفة لقول "أنا أكره س" في سلة واحدة (فئة دلالية).

السلة أ: تحتوي على "أنا أكره س"، "أنا أمقت س"، "أنا أبغض س"، إلخ.
القاعدة: بدلاً من فحص كل جملة في السلة بشكل فردي، ينظر المدير إلى أسوأ جملة في السلة.

إذا كانت أي نسخة من الرسالة في تلك السلة خطيرة، فإن السلة بأكملها تحصل على أعلى درجة خطر ممكنة.

لماذا ينجح هذا: إذا حاول المقصف استبدال "أنا أكره س" بـ "أنا أمقت س" لخفض الدرجة، يقول المدير: "انتظر، كلاهما في نفس السلة. وبما أن أحدهما خطير، فإن السلة بأكملها خطيرة".
"الغلاف": فكر في الأمر كشبكة أمان أو سقف. أنت تأخذ أعلى درجة خطر موجودة في مجموعة من العناصر المتشابهة وتغلف المجموعة بأكملها بهذا الرقم. لا يمكنك إخفاء الخطر باختيار نسخة تبدو أكثر أماناً من نفس المجموعة.

النتائج الثلاث الرئيسية

تثبت الورقة ثلاثة أشياء رئيسية حول هذه الطريقة الجديدة:

التقييم المباشر معطل: إذا قمت بتقييم كل نسخة محددة من منشور بشكل فردي، يمكن لمنصة ذكية دائماً إيجاد طريقة لاستبدال النسخة الخطيرة بنسخة "تبدو أكثر أماناً" للغش في النظام.
الغلاف هو أفضل حل: "الغلاف الدلالي" (تقييم المجموعة بأكملها بناءً على أسوأ عضو فيها) هو الحل الأقل تحفظاً الذي لا يزال فعالاً.
- تشبيه: تخيل أنك تريد إصلاح سقف يسرب الماء. يمكنك تغطية المنزل بأكمله ببطانية ضخمة وسميكة (آمن جداً، ولكنها مكلفة وتحجب الشمس). أو يمكنك وضع رقعة صغيرة في مكان واحد (غير آمن). "الغلاف" يشبه وضع رقعة بالضبط حيث يوجد التسريب، ولكن مع التأكد من أنها تغطي أسوأ تسريب محتمل في تلك المنطقة. إنها أصغر وأكثر رقعة كفاءة تضمن عدم دخول الماء.
إنه يعمل حتى عندما لا نكون مثاليين: تعترف الورقة بأن "السلل" قد تكون فوضوية أحياناً (ربما شيئان يبدوان متشابهين ليسا متطابقين في الواقع). أنشأ المؤلفون صيغة رياضية تضيف "هامش أمان" (slack) للتعامل مع هذه الأخطاء. هذا يضمن أن ضمان السلامة يظل قائماً، حتى لو لم تكن القواعد مثالية بنسبة 100%.

كيف اختبروا ذلك

لم يكتفِ المؤلفون بالتخمين؛ بل أجروا ثلاثة أنواع من الاختبارات لإثبات أن فكرتهم تعمل:

اختبار الشبكة (The Grid Test): قاموا بسرد كل طريقة ممكنة يمكن للمقصف من خلالها مزج وتشكيل الأطعمة على شبكة صغيرة، وتحققوا مما إذا كانت القاعدة الجديدة ستمنع الغش. وقد نجحت.
المحامي الآلي (SMT): استخدموا برامج كمبيوتر (Z3 و cvc5) لتعمل كمحامٍ فائق السرعة، يحاول إيجاد ثغرة في رياضياتهم. حاولت البرمجيات ملايين التوليفات ولم تجد طريقة لكسر القاعدة الجديدة.
لعبة الفيديو (MDP): حولوا التدقيق إلى لعبة فيديو بسيطة حيث تحاول "المنصة" هزيمة "المدقق". في اللعبة، سمحت القواعد القديمة للمنصة بالفوز بسهولة. ومع قاعدة "الغلاف" الجديدة، أُجبرت المنصة على التوقف عن تقديم الطعام الفاسد لكي تفوز.

الخلا الخلاصة

تجادل هذه الورقة بأن تدقيقات السلامة للمنصات عبر الإنترنت لا ينبغي أن تنظر فقط إلى قائمة من الأرقام. بل يجب أن تعامل قواعد اللعبة كنظام أمني.

إذا سمحت للمنصة باختيار كيفية تقديم محتواها، فسيختارون النسخة التي تبدو الأكثر أماناً للماسح، حتى لو كانت ضارة. الحل هو تجميع المحتوى المتشابه معاً والحكم على المجموعة بأكملها بناءً على أسوأ عضو فيها. هذا يجبر المنصة على تقليل الضرر فعلياً، وليس مجرد إخفائه خلف كلمة أو صورة مختلفة.

باخت-صار: لا تسمح للمنصة باختيار النسخة التي تقدم أفضل درجة من الحقيقة. قم بتقييم عائلة الحقائق بأكملها بناءً على الحقيقة التي تسبب أكبر قدر من المتاعب.

باختصار: لا تدع المنصة تختار النسخة من الحقيقة التي تحصل على أفضل درجة. قيّم عائلة الحقائق بأكملها بناءً على الحقيقة التي تسبب أكبر قدر من المشاكل.

ملخص تقني: التلاعب بالمقياس، لا بالضرر

بيان المشكلة
تعتمد الأطر التنظيمية الحديثة، وتحديداً قانون السلامة عبر الإنترنت في المملكة المتحدة وقانون الخدمات الرقمية في الاتحاد الأوروبي، بشكل متزايد على مقاييس عددية (scalar metrics) كدليل على الامتثال للسلامة عبر الإنترنت. تحدد هذه الورقة ثغرة أمنية حرجة: بمجرد نشر المقياس، يصبح هدفاً للتحسين (optimization target) من قبل المنصة. يمكن للمنصة الاستراتيجية تحسين درجة السلامة الخاصة بها دون تقليل الضرر الفعلي عبر توجيه التوصيات من خلال متغيرات محتوى متكافئة دلالياً تتلقى درجات أقل من كاشف المدقق. يشكل هذا نوعاً من "اختراق المكافأة" (reward hacking) أو قانون جودهارت (Good Goodhart's law)، حيث يتم التلاعب بالمقياس بدلاً من التخفيف من الضرر الأساسي. تعزل الورقة سطح الهجوم المحدد المتمثل في "اختيار التمثيل داخل الفئة" (within-class representation choice) في ظل بروتوكول تدقيق منشور وثابت، متسائلة: متى يمكن لمقياس السلامة أن يضمن حداً أقصى حقيقياً للتعرض الضار رغم مثل هذا التلاعب الاستراتيجي؟

المنهجية والإعداد
يصيغ المؤلفون عملية التدقيق كعبة بين مدقق ومنصة.

تعريف البروتوكول: يحدد بروتوكول منشور مجموعة منتهية من المتغيرات $\mathcal{V}$ وعائلة تحويل $T_0$ . من خلال قاعدة تحقق وعتبة $\rho$ ، يستحث البروتوكول تقسيماً لـ $\mathcal{V}$ إلى فئات دلالية $\mathcal{C}$ . تُعتبر المتغيرات داخل الفئة الواحدة متكافئة دلالياً لأغراض التدقيق.
استراتيجية المنصة: تختار المنصة توزيعاً احتمالياً $x$ على المتغيرات لتعظيم المنفعة مع مراعاة قيد ميزانية التدقيق ( $M(x) \leq \tau$ ).
نموذج التهديد: يمكن للمنصة استبدال المتغيرات داخل نفس الفئة الدلالية (مثل تغيير التعليق، أو الصورة المصغرة، أو إعادة الصياغة) لتغيير الدرجة المقاسة $m(v)$ مع إبقاء الضرر الكامن $h^*(v)$ ثابتاً.
التقييم: تستخدم الورقة نهج تحقق متعدد الطبقات:
1. البراهين النظرية: تعريفات رسمية لثبات التلاعب والتوثيق (certification).
2. الحصر الشامل: فحص جميع الاستراتيجيات المختلطة على شبكة ذات حالة منتهية.
3. ترميز SMT: استخدام Z3 وcvc5 للتحقق من الخصائص عبر السيمبلكس (simplex) المستمر.
4. عملية قرار ماركوف المحدودة (Bounded MDP): نمذجة التدقيق كعملية قرار متسلسلة في PRISM-games.
5. اختبارات الإجهاد الاصطناعية: استخدام كتالوجات حتمية وعشوائية، بما في ذلك مثال لبروتوكول مشتق من HateCheck، لقياس "فجوة التلاعب" (gaming gap).

المساهمات الرئيسية

صياغة متانة المقياس: تصيغ الورقة "ثبات التلاعب" (manipulation invariance) (أي يجب ألا يتغير المقياس إذا قامت المنصة باستبدال متغيرات متكافئة دلالياً) و"التوثيق" (certification) (أي يجب أن يضع المقياس حداً أقصى للتعرض الضار الحقيقي) كخصائص أمنية لمقاييس التدقيق.
إثبات الهشاشة: تم إثبات أن أي مقياس يقيس المتغيرات مباشرة هو قابل للتلاعب إذا كان لمتغيرين متكافئين في فئة ضارة درجات مختلفة.
إصلاح الغلاف الدلالي (The Semantic-Envelope Repair): يقترح المؤلفون "رفع الغلاف الدلالي" (semantic-envelope lift)، حيث يتم تخصيص الدرجة القصوى التي حققها أي متغير مقبول في الفئة لكل متغير في الفئة الدلالية ( $Env(m)(v) = \max_{u \in cl(v)} m(u)$ $E n v (m) (v) = max_{u \in c l (v)} m (u)$ ).
- مبرهنة: هذا الرفع هو الحد الأدنى الفريد للنقاط (unique pointwise minimum) بين جميع الإصلاحات المحافظة والثابتة للفئة. إنه الإصلاح الأقل تحفظاً الذي يستعيد الثبات.
مبرهنات التوثيق:
- الحالة المثالية: إذا كانت الفئات نقية من حيث الضرر، فإن مقياس الغلاف يوفر شهادة عالمية $H(x) \leq (1/\alpha) M_{Env}(x)$ ، حيث $\alpha$ هي الحد الأدنى للدرجة القصوى عبر الفئات الضارة.
- الحالة غير المثالية: يوسع الإطار البروتوكولات والتعليقات التوضيحية غير المثالية من خلال إدخال مصطلح "كتلة عدم الاتفاق" $\Delta(x)$ . الشهادة الناتلة هي $H^*(x) \leq (1/\hat{\alpha}) M_{Env}(x) + \bar{\eta}$ ، حيث $\bar{\eta}$ يحدد الحد الأقصى للاختلاف بين الضرر الكامن والملصقات المدققة.
حساسية البروتوكول: توضح الورقة أن تشديد البروتوكول (رفع عتبة التحقق) يؤدي إلى تنقية التقسيم الدلالي، مما يقلل درجة الغلاف نقطياً بشكل ضعيف، مما يسمح للمدققين بالإبلاغ عن نطاق حساسية رتيب.

النتائج

هشاشة التسجيل المباشر: في التجارب الاصطناعية، يسمح "المقياس الهش" (التسجيل المباشر) للمنصات بتحقيق أقصى تعرض ضار حقيقي (على سبيل المثال، $H=1.0$ ) مع البقاء ضمن ميزانية تدقيق منخفضة (على سبيل المثال، $\tau=0.10$ ).
فعالية الغلاف: يجبر مقياس الغلاف الدلالي المنصة على الاستبدال نحو المحتوى غير الضار للوفاء بنفس الميزانية. في دراسة الحالة الحتمية، عند $\tau=0.10$ ، قلل مقياس الغلاف التعرض الضار الحقيقي إلى $0.000 $مقارنة بـ$ 1.000$ للمقياس الهش.
الكتالوجات العشوائية: عبر 500 كتالوج عشوائي، بلغ متوسط "فجوة التلاعب" (الفرق في الضرر الحقيقي بين استراتيجيات المقياس الهش والغلاف) $0.884$. سمح المقياس الهش باستمرار بتحقيق منفعة أعلى على حساب ضرر أكبر بكثير.
التحقق: أكدت جميع استعلامات SMT وفحوصات الوصول في MDP أن مقياس الغلاف يحقق خصائص ثبات التلاعب والتوثيق، بينما يفشل المقياس الهش في تحقيق الثبات.
مثال HateCheck: أكد البروتوكول المشتق من مجموعة اختبار HateCheck الوظيفية أن سطح الهجوم وفعالية إصلاح الغلاف يستمران حتى عندما تكون الفئات مستندة إلى تصنيفات معايير واقعية.

الأهمية والادعاءات
تقدم الورقة ادعاءً متواضعاً ومحدداً: يجب التعامل مع مقاييس التدقيق كأهداف أمنية. لا يدعي المؤلفون حل مشكلة التدقيق للمنصات بأكملها أو تقديم حل قابل للتطبيق على نطاق Ofcom أو DSA فوراً. بدلاً من ذلك، يجادلون بأن:

تحصين القياس: إن إصلاح "الحد الأقصى للفئة" البسيط (الغلاف الدلالي) يزيل سطح هجوم محدداً جيداً (التلاعب داخل الفئة) دون الحاجة إلى تغيير المصنف الأساسي أو إعادة التفاوض بشأن البروتوكول.
الشك الصريح: لا ينبغي إخفاء أخطاء التعليقات والبروتوكولات كافتراضات ضمنية، بل يجب أن تظهر صراحة كـ "مصطلح هامش عدم الاتفاق" في شهادة السلامة النهائية.
الحياد تجاه المنفعة: تظل الضمانات النظرية صالحة لجميع استراتيجيات المنصة، بغض النظر عن دالة المنفعة التي تحسنها المنصة؛ حيث يُستخدم نموذج المنفعة فقط في التجارب لاختيار استجابة معادية محددة.

تضع هذه الورقة نفسها كخطوة تأسيسية في "تحصين القياس"، حيث تعزل سطح التلاعب داخل الفئة وتوفر إصلاحاً رسمياً وقابلاً للتحقق يستعيد الثبات والتوثيق. وهي تستبعد صراحة الألعاب الميتافيزيقية الأوسع مثل التفاوض على البروتوكول أو التلاعب من جانب المستخدم، مشيرة إلى أن هذه الأمور تتطلب تحليلاً منفصلاً.