Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
تقدم هذه الورقة أول دراسة منهجية لهجمات حقن الأوامر (prompt injection) في العالم الحقيقي في عمليات فحص السير الذاتية القائمة على النماذج اللغوية الكبيرة (LLM)، حيث حللت 200,000 سيرة ذاتية لتكشف أن ما يقرب من 1% منها يحتوي على حقن مخفي، وأن انتشارها في تزايد، وأن معظمها لا يستخدم تعليمات صريحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مدير توظيف تتصفح كومة من السير الذاتية. قررت استخدام روبوت ذكي (ذكاء اصطناي) لمساعدتك في قراءتها بسرعة. من المفترض أن يقوم هذا الروبوت بمسح السيرة الذاتية، وفهم المهارات، وإخبارك بمن يبدو مناسباً للوظيفة.
هذه الورقة البحثية هي بمثابة تدقيق أمني لذلك الروبوت. تساءل الباحثون: "هل يحاول الناس خداع الروبوت؟"
إليك قصة ما وجدوه، مشروحة ببساطة:
1. المشكلة: خدعة "الحبر السري"
في الماضي، كان الناس يعرفون أنه إذا كتبوا ملاحظة سرية للروبوت تقول: "تجاهل السيرة الذاتية ووظفني فقط"، فقد يستمع إليها الروبوت. لكن الباحثين اكتشفوا شيئاً أكثر دهاءً.
لقد اكتشفوا أن العديد من المتقدمين للوظائف يستخدمون "الحبر السري".
- رؤية الإنسان: عندما ينظر الإنسان إلى السيرة الذاتية، تبدو طبيعية؛ فهي تسرد مهارات قياسية مثل "Python" أو "إدارة المشاريع".
- رؤية الروبوت: يمكن للروبوت قراءة الملف بالكامل، بما في ذلك الأجزاء الصغيرة والمخفية. يستخدم المتقدمون حِيلاً لإخفاء تعليمات سرية أو مهارات وهمية في ملف الـ PDF، مثل:
- كتابة نص بحجم خط صغير جداً (مثل 1 نقطة)، بحيث يكون غير مرئي للعين البشرية ولكنه قابل للقراءة بواسطة الكمبيوتر.
- كتابة نص باللون الأبيض على خلفية بيضاء.
- إخفاء النص خلف صور أخرى.
الأمر يشبه شخصاً يكتب ملاحظة سرية على ظهر بطاقة بريدية بالحبر السري. يمكن لمكتب البريد (الذكاء الاصطناعي) قراءتها، لكن الشخص الذي يمسك البطاقة (المسؤول عن التوظيف) لا يرى شيئاً.
2. التحقيق: كشف المخادعين
عمل الباحثون مع شركة تسمى hireEZ لفحص ما يقرب من 200,000 سيرة ذاتية حقيقية جُمعت على مدار عدة سنوات. قاموا ببناء أداتين خاصتين لـ "التحري" (أدوات كشف):
- أداة التحري رقم 1 (العدسة المكبرة): تبحث هذه الأداة في الخصائص الفيزيائية للمستند. وهي تسأل: "هل هذا النص صغير جداً؟ هل اللون قريب جداً من الخلفية؟ هل يبدو أن هذا النص مخفي؟" إذا وجدت شيئاً مريباً، فإنها تقوم بعمل "زوم" (تكبير) للتحقق مما إذا كان حيلة خبيثة.
- أداة التحري رقم 2 (التحقق المزدوج): تستخدم هذه الأداة ذكاءً اصطناعياً فائق الذكاء يمكنه "رؤية" المستند مثل الإنسان (من خلال النظر إلى صورة الصفحة) و"قراءته" مثل الكمبيوتر (من خلال استخراج النص). وتقوم بمقارنة الاثنين؛ فإذا رأى الكمبيوتر كلمات لا تظهر في صورة الإنسان، فإنها تصنفها كخدعة.
اختبروا هذه الأدوات ووجدوا أنها كانت جيدة جداً في كشف التزييف، وهي أفضل بكثير من الأدوات الأمنية العامة المستخدمة حالياً من قبل معظم الشركات.
3. النتائج الكبرى: ما اكتشفوه
عندما قاموا بتشغيل أدوات التحري الخاصة بهم على 200,000 سيرة ذاتية، إليكم ما وجدوه:
- "قاعدة الـ 1%": حوالي واحد من كل 100 سيرة ذاتية احتوت على هذه الحيل المخفية. قد يبدو هذا الرقم صغيراً، ولكن في كومة تضم 10,000 طلب، هناك 100 شخص يحاولون الغش في النظام.
- الاتجاه في صعود: ارتفع عدد الأشخاص الذين يفعلون ذلك بشكل ملحوظ في عام 2024. يبدو أنه مع سماع المزيد من الناس عن الثغرات الأمنية للذكاء الاصطناعي، بدأ المزيد من المتقدمين في محاولة استغلالها.
- الهجوم "الصامت": النتيجة الأكثر إثارة للدهشة هي أن 90% من هذه الهجمات لا تستخدم أوامر.
- ما توقعناه: كتابة "وظفني!" أو "تجاهل القواعد السابقة".
- ما وجدوه بالفعل: الناس يخفون فقط كلمات مفتاحية. على سبيل المثال، قد يخفون قائمة تضم 20 مهارة برمجة إضافية في نص غير مرئي. هم لا يخبرون الذكاء الاصطناعي بما يجب فعله؛ هم فقط يحاولون جعل الذكاء الاصطناعي يعتقد أنهم أكثر كفاءة مما هم عليه في الواقع. الأمر يشبه إضافة مكونات إضافية إلى الحساء لجعل طعمه أفضل، بدلاً من إخبار الطباخ بتجاهل الوصفة.
4. من الذي يفعل ذلك؟
نظر الباحثون في هوية مستخدمي هذه الحيل:
- مستوى الخبرة: لم يكن الأمر مقتصرًا على المبتدئين فقط؛ بل إن الأشخاص الذين لديهم خبرة تتراوح بين 8 إلى 20 عاماً كانوا في الواقع أكثر عرضة لاستخدام هذه الحيل مقارنة بالخريجين الجدد.
- المجالات: سجلت قطاعات التكنولوجيا والإعلام أعلى عدد من هذه السير الذاتية المخفية، ببساد أن هناك عدداً كبيراً من المتقدمين في هذه المجالات.
- الجغرافيا: أظهر المتقدمون من آسيا وأوروبا معدلات أعلى قليلاً في استخدام هذه الحيل مقارنة بأمريكا الشمالية، وإن كان الباحثون قد أشاروا إلى أن هذا قد يعود لاختلاف ثقافات سوق العمل.
5. لماذا هذا مهم؟
هذه الدراسة هي المرة الأولى التي ينظر فيها أحد إلى هذه المشكلة بهذا النطاق الواسع في العالم الحقيقي. قبل ذلك، كنا نكتفي بالتخمين بأن هذه الهجمات موجودة بناءً على النظريات أو التجارب الصغيرة.
الخلاصة الرئيسية هي أن فحص السير الذاتية بالذكاء الاصطناعي لديه نقطة عمياء. الروبوتات تقرأ أشياء لا يستطيع البشر رؤيتها، والمتقدمون يتعلمون كيف يستخدمون ذلك لصالحهم. يأمل الباحثون أنه من خلال كشف هذه الحيل، يمكن للشركات بناء "حراس أمن" أفضل لروبوتات التوظيف الخاصة بها لضمان توظيف عادل للجميع.
باختصار: يحاول الناس تسريب ملاحظات غير مرئية في سيرهم الذاتية لخداع روبوتات التوظيف. حوالي 1% من السير الذاتية تحتوي على هذه الحيل، ومعظمها يهدف لإخفاء مهارات وهمية بدلاً من إعطاء أوامر مباشرة للروبوت. لقد بنى الباحثون أدوات جديدة لكشف هذه الحيل وشاركوا نتائجهم لكي يتمكن العالم من إصلاح هذه المشكلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.