SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models
تقدم الورقة البحثية SNEAK، وهو معيار مصمم لتقييم قدرة النماذج اللغوية الكبيرة على التواصل الاستراتيجي للمعلومات السرية مع الحلفاء مع تقليل التسريب إلى الخصوم، مما يكشف أن النماذج الحالية تقصر بشكل كبير مقارنة بالبشر في تحقيق التوازن بين المنفعة والسرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة حفلات مع مجموعة من الأصدقاء. أحد الأشخاص هو "المتسلل" (The Chameleon)—وهو جاسوس لا يعرف الكلمة السرية التي يفكر فيها الجميع. بينما يعرف الجميع الكلمة. هدفك هو تقديم تلميح يساعد أصدقاءك على إدراك قوله: "أوه، أنت تعرف الكلمة السرية أيضاً!" دون إعطاء "المتسلل" تلميحات كافية ليخمنها.
إذا قلت الكلمة مباشرة، ستخسر. وإذا كان تلميحك غامضاً جداً، فلن يستطيع أصدقاؤك حتى فهمه. عليك أن تسير على حبل مشدود بين أن تكون مفيداً وبين أن تكون سرياً.
هذا بالضبط ما تدور حوله ورقة بحثية بعنوان "SNEK"، ولكن بدلاً من البشر، هم يختبرون الذكاء الاصطناعي (AI).
المشكلة الكبرى
في الوقت الحالي، نماذج الذكاء الاصطناعي (مثل تلك التي تشغل روبوتات الدردشة) مذهلة في الإجابة على الأسئلة، وكتابة القصص، وحل المسائل الرياضية. لكنها سيئة جداً في السرية الاستراتيجية.
عندما تطلب من ذكاء اصطناعي "التلميح لسر ما"، فإنه عادة ما يصاب بالذعر. فهو إما:
- يفضح الأمر: يعطي تلميحاً واضحاً جداً لدرجة أن حتى الجاسوس (المتسلل) سيكتشفه فوراً.
- يهذي بكلمات غير مفهومة: يعطي تلميحاً غامضاً جداً لدرجة أن أصدقاءه أنفسهم لا يستطيعون فهم ما يعنيه.
أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يتعلم كيف يكون "جاسوساً جيداً" يتحدث إلى حلفائه دون تنبيه العدو.
اللعبة: SNEK
قام الفريق بإنشاء معيار تقييم يسمى SNEK (التقييم اللغوي الطبيعي الواعي بالسر للنماذج الخصمية). وإليك كيف يعمل:
- الإعداد: يُعطى الذكاء الاصطناعي فئة (مثل "الحيوانات")، وقائمة من الخيارات (قط، كلب، فيل، إلخ)، وكلمة سرية (مثلاً "كلب").
- المهمة: يجب على الذكاء الاصطناعي كتابة رسالة قصيرة (من 1 إلى 5 كلمات) تلمح إلى كلمة "كلب" دون قول "كلب" أو مرادفات واضحة مثل "جرو".
- المختبرون:
- الحليف: ذكاء اصطناعي ثانٍ يعرف الكلمة السرية. يقرأ الرسالة ويحاول التخمين: "هل هذه الرسالة عن الكلب؟"
- المتسلل: ذكاء اصطناعي ثالث لا يعرف الكلمة السرية. يقرأ الرسالة ويحاول التخمين: "ما هي هذه الكلمة؟"
لوحة النتائج
يقيس الباحثون شيئين:
- المنفعة (المساعدة): هل فهم الحليف الرسالة؟ (درجة عالية = جيد).
- التسريب (السرية): هل اكتشف المتسلل الكلمة؟ (درجة منخفضة = جيد).
الذكاء الاصطناعي المثالي سيكون ذا منفعة عالية وتسريب منخفض. الأمر يشبه الهمس بسر لصديقك عبر غرفة مزدحمة بحيث يسمعه هو فقط، بينما لا يسمع الشخص الواقف بجانبك شيئاً.
النتائج: الذكاء الاصطناعي مقابل البشر
كانت النتائج بمثابة جرس إنذار لعالم الذكاء الاصطناعي:
- الذكاء الاصطناعي يعاني: معظم نماذج الذكاء الاصطناعي الحديثة بارعة في كونها مفيدة ولكنها سيئة في كونها سرية. عندما تحاول أن تكون مفيدة، فإنها تسرب السر بالخطأ. الأمر يشبه شخصاً يحاول الهمس بسر ولكنه يصرخ به بدلاً من ذلك لأنه متحمس جداً لكي يُفهم.
- التفوق البشري: لعب البشر الحقيقيون اللعبة وسحقوا الذكاء الاصطناعي. سجل البشر درجات أفضل بـ 4 مرات من أفضل نماذج الذكاء الاصطناعي. البشر يعرفون طبيعياً كيفية استخدام السياق، والنكات الداخلية، والارتباطات الضمنية للإشارة إلى سر دون التصريح به.
- المقايضة: وجدت الورقة البحثية "تأثير الحبل المشدود". فكلما كانت الرسالة أكثر فائدة للصديق، زاد احتمال اكتشاف الجاسوس لها. لم تستطع نماذج الذكاء الاصطناعي إيجاد النقطة المثالية؛ فإما أن تكون صاخبة جداً أو هادئة جداً.
لماذا يهم هذا؟
قد تتساءل، "من يهتم إذا كان الذكاء الاصطناعي سيئاً في ألعاب الحفلات؟" لكن هذه المهارة حاسمة في العالم الحقيقي.
تخيل طبيباً يعمل بالذكاء الاصطناعي يتحدث إلى مريض. يحتاج إلى شرح تشخيص ما بوضوح للمريض (الحليف) ولكن مع تجنب استخدام المصطلحات الطبية المعقدة التي قد تخيف المريض أو تكشف تفاصيل حساسة لطرف ثالث يستمع (المتسلل).
أو فكر في المفاوضات التجارية. قد ترغب شركة في الإشارة إلى شريكها بأنها جادة بشأن صفقة ما دون الكشف عن حدها الأدنى الدقيق للمنافسين (المتسلل).
الخلاصة
تخلص الورقة البحثية إلى أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً في معرفة الأشياء، فإنه لا يزال غير متمرس في إدارة المعلومات. إنه لا يفهم بعد الفن الدقيق لـ التواصل الانتقائي.
باختصار: الذكاء الاصطناعي حالياً يشبه طفلاً صغيراً، عندما يُطلب منه الهمس بسر، فإنه إما يصرخ به بأعلى صوته أو لا يقول شيئاً على الإطلاق. أما البشر، فهم أسياد الهمس الخفي. معيار SNEK هو أداة جديدة لمساعدة الذكاء الاصطناعي على تعلم ذلك الفن أخيراً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.