Algospeak, Hiding in the Open: The Trade-off Between Legible Meaning and Detection Avoidance

ملخص تقني: لغة الخوارزميات (Algospeak)، الاختباء في العلن

بيان المشكلة
مع تزايد دور النماذج اللغوية الكبيرة (LLMs) في الوساطة لتوليد المحتوى والإشراف عليه، يستخدم الفاعلون الخبثاء "لغة الخوارزميات" (Algospeak) — وهي ممارسة تواصلية تتضمن استراتيجيات التهرب اللغوي — لتجنب الكشف الخوارزمي مع الحفاظ على القدرة على الفهم البشري. يخلق هذا ديناميكية تطورية مشتركة حيث تشتد تقنيات التهرب، مما يتحدى قدرة الأنظمة الآلية على اكتشاف المحتوى السام أو المضلل. وتوجد فجوة حرجة في الأدبيات المتعلقة بفهم مبدئي للمقايضة بين القابلية للكشف (من قبل الأنظمة الآلية) والقابلية للفهم (من قبل المتلقين البشر أو نماذج LLM). وتحديداً، لا يوجد مقي van رسمي لقياس النقطة التي يؤدي عندها المزيد من التعديل اللغوي إلى التهرب بنجاح من أجهزة الكشف ولكن مع جعل الرسالة غير مفهومة لغالبية الجمهور.

المنهجية
يصيغ المؤلفون ديناميكيات "لغة الخوارزميات" باستخدام نموذج العمل المشترك لكلارك (1996)، حيث يتم تصور استخدام اللغة كنشاط تعاوني بين "المخاطبين" (المتلقين البشريين أو نماذج LLM المقصودين) و"المتفرجين" (المراقبين الخوارزميين). وبناءً على ذلك، يقترحون فرضيتين أساسيتين:

1. مع زيادة التعديل اللغوي، تنخفض نسبة المشاركين القادرين على فهم المعنى الكامن.
2. مع زيادة التعديل، تنخفض قدرة المصنفات المدربة على اكتشاف المعنى الكامن وتصنيف المحتوى بشكل صحيح.

لاختبار هاتين الفرضيتين، تقدم الدراسة إطار عمل قابل لإعادة الإنتاج ومجموعة بيانات مرجعية:

• بناء مجموعة البيانات: تم إنشاء مجموعة بيانات تجريبية مكونة من 700 عنصر معدل باستخدام مجال المعلومات المضللة المتعلقة بـ كوفيد-19. تضمنت العملية 20 جملة أساسية، تم التحقق من صحتها بواسطة GPT-4o. تم تعديل هذه الجمل عبر خمس مستويات (من 10% إلى 50% من التشويه) باستخدام سبع استراتيجيات متميزة لـ "لغة الخوارزميات" تم تحديدها في الدراسات السابقة (مثل: الكلمات الرمزية، استبدال الكلمات غير المعروفة، الاختصارات، الاستبدالات الصوتية، وإعادة الصياغة).
• الإعداد التجريبي: تم إجراء تقييمين مرتبطين باستخدام سبعة نماذج لغوية كبيرة مختلفة (بما في ذلك GPT-4o، وClaude، وLlama، وMistral، وQwen، وGrok):
  • تجربة الكشف: تم توجيه النماذج لتصنيف العبارات كمعلومات مضللة أو غير ذلك.
  • تجربة القابلية للفهم: كُلفت النماذج بإعادة بناء الكلمات الأصلية من المدخلات المعدلة. تم قيء الأداء من خلال درجات التشابه مقابل النص الأصلي.
• التحليل: تم نمذجة العلاقة بين مستوى التعديل والأداء باستخدام دالات لوجستية ثنائية المعلمة (sigmoids). وشملت المقاييس الرئيسية عتبة التعديل المفهوم للأغلبية (MUM) (مستوى التعديل الذي تفشل عنده غالبية النماذج في الفهم أو الكشف) ونقطة التعديل المفهوم للأغلبية الفردية (IMUM).

المساهمات الرئيسية

1. التعريف والديناميكيات الرسمية: تقدم الورقة تعريفاً رسمياً لـ "لغة الخوارزميات" كنسق سياقي متعدد الوسائط، حيث يتم تعديل الأشكال السطحية عمداً للحفاظ على المعنى للمخاطبين مع خفض احتمالية الكشف من قبل المتفرجين الآليين.
2. مفهوم MUM: تقدم مفهوم "التعديل المفهوم للأغلبية" (MUM)، والذي يحدد العتبة المحددة التي يؤدي عندها المزيد من التعديلات التهربية إلى تحسين التهرب من أجهزة الكشف ولكن مع فقدان الاستيعاب لدى غالبية المتلقين.
3. الإطار ومجموعة البيانات: يطلق المؤلفون إطار عمل لإنشاء متغيرات بأسلوب "لغة الخوارزميات" تحافظ على المعنى، بالإضافة إلى مجموعة بيانات مرجعية مكونة من 700 مثال معدل عبر سبع استراتيجيات وخمسة مستويات تعديل.
4. التحليل التجريبي الموحد: تقدم الدراسة إطار عمل تجريبي موحداً يعامل نماذج LLM كمفسرات (لاستعادة المعنى) ومصنفات (لاكتشاف انتهاك السياسات)، مما يكشف عن نقاط MUM متسقة عبر مختلف النماذج والاستراتيجيات.

النتائج

• الكشف مقابل التعديل: بالنسبة لمعظم الاستراتيجيات (مثل الكلمات الرمزية، والكلمات الجديدة، والاختصارات)، انخفض أداء الكشف بشكل رتيب مع زيادة التعديل. أظهرت ست من أصل سبع استراتيجيات ملاءمة دالة سيجمويد قوية (مع معامل تحديد معدل $R^2 > 0.90$) وانخفاضاً رتيباً كبيراً في الكشف عبر النماذج. ومع ذلك، فإن الاستراتيجيات التي تعتمد على استبدال الحروف البسيط (مثل "الكلمة غير المعروفة" أو التشابه الصوتي) غالباً ما فشلت في ملاءمة منحنى السيجمويد، مما يشير إلى أنها لا تتهرب من الكشف بفعالية أو تُعتبر أخطاء مطبعية قياسية سهلة التعرف عليها.
• القابلية للفهم مقابل التعديل: انخفضت القابلية للفهم أيضاً مع زيادة التعديل، وإن كانت العلاقة أكثر تباينًا عبر النماذج. الاستراتيجيات التي تحافظ على الشكل السطحي (مثل التغييرات الصوتية) سمحت بمعدلات إعادة بناء أعلى حتى عند مستويات التعديل العالية، بينما تسببت الكلمات الرمزية في انخفاض سريع في القابلية للفهم.
• تباين النماذج: بينما ظل الاتجاه العام قائماً، أدت استراتيجيات محددة أداءً مختلفاً عبر النماذج. على سبيل المثال، كانت استراتيجيات "الكلمة الرمزية" فعالة للغاية في التهرب من الكشف (تطلبت تعديلات أقل للوصول إلى عتبة MUM) ولكنها قللت أيضاً من القابلية للفهم بسرعة.
• المقايضة: تؤكد النتائج وجود مقايضة: الاستراتيجيات التي تضعف أداء أجهزة الكشف بفعالية غالباً ما تضعف القدرة على الاستيعاب في الوقت ذات ذاته، رغم أن "نقطة التحول" (MUM) تختلف باختلاف الاستراتيجية والنموذج.

الأهمية والادعاءات
تدعي الورقة أنها تضع حجر الأساس لفهم الديناميكيات التطورية المشتركة للغة في الأنظمة البيئية التي تتوسطها النماذج اللغوية الكبيرة. ومن خلال إنشاء حدود قابلة للقياس (MUM) للغة التهربية الفعالة والمفهومة في آن واحد، يهدف العمل إلى:

• توفير أساس لتصميم أنظمة إشراف أكثر قوة.
• تقديم إطار لتقييم فعالية أدوات الإشراف ضد تكتيكات التهرب المتطورة.
• تسليط الضوء على أن الكشف والفهم هما قدرتان متمايزتان في نماذج LLM؛ حيث يمكن للنموذج أن ينجح في رصد "الأنماط الشاذة" (الكشف) دون أن يستعيد بالضرورة المعنى المقصود (الفهم).

يؤكد المؤلفون صراحةً أن هذا العمل هو "إثبات مفهوم" وجهد "اختبار اختراق" (Red-teaming) لدعم تطوير الأنظمة الدفاعية. كما يقرون بالقيود، بما في ذلك استخدام البيانات الاصطناعية، والتركيز على اللغة الإنجليزية والمعلومات المضللة المتعلقة بكوفيد-19، وغياب التحقق من المشاركين البشريين، مشيرين إلى أن العمل المستقبلي يجب أن يتوسع ليشمل مجالات وسكان متنوعين.