💻 computer science

Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

تقدم هذه الورقة طريقة لوضع علامات مائية على وكلاء لعب الألعاب في ألعاب الصيغة الممتدة ذات المعلومات الكاملة عبر تكييف تقنيات العلامات المائية للنماذج اللغوية الكبيرة، مما يثبت أن هذا النهج يسمح بالكشف الموثوق عن الاستخدام غير المصرح به للذكاء الاصطناجع مع تأثير ضئيل على جودة الاستراتيجية.

المؤلفون الأصليون: Juho Kim, Fei Fang, Tuomas Sandholm

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Juho Kim, Fei Fang, Tuomas Sandholm

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوت شطرنج فائق الذكاء لا يرتكب الأخطاء أبداً. إنه بارع لدرجة أنه يستطيع هزيمة بطل العالم. ولكن الآن، تخيل أن شخصاً ما يستخدم هذا الروبوت للغش في بطولات الشطرنج عبر الإنترنت. كيف يمكنك إثبات أن "هذا اللاعب ليس بشراً؛ بل يستخدم روبوتنا الخاص"؟

هذه هي المشكلة التي تحلها الورقة البحثية. فقد ابتكر المؤلفون طريقة لـ "وضع علامة مائية" (Watermark) على الذكاء الاصطناعي الذي يلعب الألعاب، تماماً كما قد تضع رقماً تسلسلياً مخفياً على ورقة نقدية لإثبات أنها حقيقية.

إليك تفصيل فكرتهم باستخدام تشبيهات بسيطة:

1. الفكرة الكبرى: تحويل اللعبة إلى رمز سري

أدرك الباحثون أن لعب لعبة (مثل الشطرنج) يشبه إلى حد كبير كتابة قصة.

كتابة قصة: يختار الذكاء الاصطناعي الكلمة التالية بناءً على ما سبقها.
لعب لعبة: يختار الذكاء الاصطناعي النقلة التالية بناءً على وضع اللوحة الحالي.

تماماً كما يمتلك الكتاب "قوائم خضراء" من الكلمات التي يفضلونها، أعطى المؤلفون ذكاءً اصطناعياً للألعاب "قائمة خضراء" سرية من النقلات و**"قائمة حمراء"** أخرى.

الخدعة: يتم برمجة الذكاء الاصطناعي ليفضل قليلاً النقلات الموجودة في القائمة الخضراء. هذا لا يغير استراتيجيته بما يكفي ليجعله لاعباً سيئاً، لكنه يغيرها بما يكفي لترك بصمة إحصائية مخفية.
النتيجة: إذا شاهدت الذكاء الاصطناعي وهو يلعب 20 أو 30 مباراة، يمكنك إجراء اختبار رياضي (مثل محقق يعد الأدلة) لترى ما إذا كان اللاعب يفضل نقلات "القائمة الخضراء" أكثر مما تسمح به الصدفة العشوائية. إذا كان الأمر كذلك، فأنت تعلم أنهم يستخدمون ذلك الذكاء الاصطناዊ المحدد ذو العلامة المائية.

2. "سحر" القائمة الخضراء

تخيل القائمة الخضراء مثل دفعة لطيفة.

تخيل أنك تسير عبر غابة (اللعبة). في العادة، قد تسلك أي مسار.
العلامة المائية تشبه نسيماً لطيفاً يدفعك قليلاً نحو المسارات "الخضراء".
إذا مشيت 100 خطوة، قد لا تلاحظ النسيم. ولكن إذا راقبك محقق وأنت تمشي 1,000 خطوة، ستلاحظ أنك سلكت مسارات خضراء أكثر بنسبة 25% مما قد يفعله شخص يسير بشكل عشوائي. هذه هي العلامة المائية.

3. المقايضة: القوة مقابل القدرة على الكشف

تسأل الورقة البحثية: "هل هذه الدفعة تجعل الروبوت يلعب بشكل أسوأ؟"

الإجابة: ليس حقاً. اختبر المؤلفون هذا على ستة محركات شطرنج شهيرة (بما في ذلك المحرك الشهير عالمياً Stockfish).
التشبيه: الأمر يشبه سؤال لاعب كرة سلة محترف عن سبب تسديده أكثر قليلاً بيده اليسرى لأنها جزء من "الرمز السري". قد يخطئ في بعض التسديدات أكثر من المعتاد، لكنه يظل لاعباً محترفاً. وجدت الورقة أن الروبوتات ذات العلامة المائية كانت بنفس قوة الروبوتات الأصلية؛ وكان الفرق ضئيلاً جداً لدرجة أنه كان مجرد ضجيج لا يُذكر.
العائق: إذا جعلت "الدفعة" قوية جداً (محاولاً جعل العلامة المائية أسهل في الكشف)، سيبدأ الروبوت في اللعب بشكل أسوأ. عليك موازنة مدى سهولة كشف الغشاش مع جودة لعب الروبوت.

4. لماذا هذا أصعب من مجرد النصوص

تشير الورقة البحثية إلى فرق رئيسي بين كتابة النصوص ولعب الألعاب:

النصوص: إذا كتب ذكاء اصطناعي جملة، فلا يمكنك بسهولة العودة وتغيير كلمة دون إعادة كتابة الفقرة بأكملها.
الألعاب: في اللعبة، لا يمكنك "التراجع" عن نقلة. بمجرد أن تحرك بيدقاً، فقد انتهى الأمر. هذا يساعد العلامة المائية في الواقع! لا يمكن للغشاش ببساء "تعديل" سجل اللعبة لإزالة الرمز السري. يجب عليهم لعب اللعبة خطوة بخطوة، وكل نقلة يقومون بها تترك بصمة صغيرة.

5. مشكلة "الصندوق الأسود" (مشكلة المنفعة)

أحياناً، لا يريد مستخدمو محركات الذكاء الاصطناعي هذه معرفة ما هي النقلة الأفضل فحسب؛ بل يريدون معرفة مدى جودة تلك النقلة (النقاط/التقييم).

المشكلة: إذا أخبرك الذكاء الاصطناعي: "النقلة (أ) تستحق 5 نقاط"، يمكن لغشاش ذكي تجاهل الرمز السري واختيار النقلة ذات النقاط الأعلى، متجاوزاً بذلك العلامة المائية.
الحل: ابتكر المؤلفون طبقة حماية ثانية. لقد قاموا أيضاً بـ "دفع" أرقام التقييم (النقاط) بشكل طفيف. إذا كانت العلامة المائية عامة، يمكن للغشاش إلغاء مفعول هذا الأمر. لذا، تقترح الورقة البحثية إبقاء نظام التقييم سرياً حتى لا يتمكن الغشاش من هندسة الخدعة عكسياً.

6. النتائج: الإمساك بالغشاشين بسرعة

أجرى المؤلفون تجارب حيث وضعوا محركات الشطرنج ذات العلامة المائية في مواجهة المحركات العادية.

الأداء: لعبت المحركات ذات العلامة المائية بشكل مطابق تقريباً للمحركات الأصلية.
الكشف: وجدوا أنه يمكنهم اكتشاف العلامة المائية بثقة عالية بعد عدد قليل من المباريات (أحياناً بعد جولة واحدة أو اثنتين فقط).
الاستنتاج: يمكنك وضع علامة تعريفية مخفية وغير قابلة للإزالة على ذكاء اصطناعي يلعب الألعاب دون جعل الروبوت أقل ذكاءً، ويمكنك كشف الغشاش بسرعة كبيرة.

الملخص

تتعلق هذه الورقة البحثية بوضع بصمة مخفية وغير قابلة للمحو على الذكاء الاصطناعي الذي يلعب الألعاب. وهي تعمل من خلال توجيه الذكاء الاصطناعي بشكل طفيف لاختيار نقلات معينة، مما يخلق نمطاً إحصائياً يثبت هوية الذكاء الاصطناعي. والجزء الأفضل؟ لا يصبح الذكاء الاصطناعي غبياً في القيام بذلك، ويمكنك كشف الغشاش بعد عدد قليل جداً من المباريات.

ملخص تقني: وسم الوكلاء اللاعبين في الألعاب ذات المعلومات الكاملة ذات الصيغة الممتدة

بيان المشكلة
أدى التقدم السريع في الذكاء الاصطناعي إلى إنتاج وكلاء متفوقين بشرياً في ألعاب مثل الشطرنج، والغو، والبوكر. وبينما تُظهر هذه الوكلاء أداءً فائقاً، فإن استخدامها غير المصرح به في البيئات التنافسية (مثل الغش عبر الإنترنت) واحتمالية سرقة الملكية الفكرية (مثل انتحال الكود أو تقطير النماذج) يمثلان تحديات كبيرة. توفر تقنيات الوسم (watermarking) الحالية للنماذج اللغوية الكبيرة (LLMs)، والتي تشفر إشارات خفية للتحقق من مصادر المخرجات، حلاً محتملاً. ومع ذلك، فإن التطبيق المباشر لوسم النماذج اللغوية الكبيرة على الوكلاء اللاعبين للألعاب ليس بالأمر اليسير بسبب الاختلافات الهيكلية: فاللعب يتضمن إجراءات متسلسلة من قبل لاعبين متعددين، ويتطلب الحفاظ على الجودة الاستراتيجية (المنفعة المتوقعة)، وغالباً ما يستلزم الإفصاح عن القيم التقديرية للمنفعة جنباً إلى جنب مع توصيات الإجراءات. وعلاوة على ذلك، وعلى عكس توليد النصوص حيث يمكن حدوث هجمات المعالجة اللاحقة (offline post-processing)، فإن قيود اللعب (مثل عدم القدرة على التراجع عن الحركات، ووجود مراقبين) تقتصر على المهاجمين في عمليات التلاعب عبر الإنترنت أحادية الخطوة.

المنهجية
يقوم المؤلفون بتكييف وسم كيرشنباور-جرين-كين (KGW)، وهو تقنية وسم بارزة للنماذج اللغوية الكبيرة، لتناسب الألعاب ذات الصيغة الممتدة (EFGs) ذات المعلومات الكاملة. وتتمثل المنهجية الجوهرية في تعديل ملف الاستراتيجية $\sigma$ للوكيل الذي يحل اللعبة.

تكييف KGW مع ملفات الاستراتيجية:
- تقسيم القائمة الخضراء/الحمراء: بالنسبة لتاريخ معين $h$ ، يتم تقسيم الإجراءات المتاحة $A(h)$ عشوائياً إلى "قائمة خضراء" $G$ (بحجم $\gamma|A(h)|$ ) و"قائمة حمراء" $R$ بناءً على مولد أرقام شبه عشوائي يتم تشغيله بواسطة "هاش" (hash) الملاحظة الحالية.
- تشويه المنفعة: بدلاً من تعديل قيم "اللوجيت" (logits) كما في النماذج اللغوية الكبيرة، يقوم الوسم بتعديل المنفعة المتوقعة (المقدرة) $\vec{u}$ المرتبطة بالإجراءات. يتم إضافة معامل صلابة $\delta$ إلى منافع الإجراءات في القائمة الخضراء، بينما يتم طرح قيمة تعويضية قدرها $-\gamma\delta/(1-\gamma)$ من الإجراءات في القائمة الحمراء. يضمن هذا أن يكون التعديل الإجمالي للمنفعة صفراً في التوقع، مما يحافظ على التوزيع العام في التوقع.
- اختيار الإجراء: يختار الوكيل الإجراء ذو المنفعة المعدلة القصوى. ومع اقتراب $\delta$ من $\infty$ ، يُجبر الوكيل على اختيار إجراءات القائمة الخضراء فقط؛ ومع اقتراب $\delta$ من $0$، يعمل الوسم فقط كأداة لكسر التعادل.
وسم المنفعة المتوقعة:
- لمعالجة الحاجة لرؤية المستخدم لقيم المنفعة المقدرة (وليس فقط الإجراءات)، يتم تطبيق آلية وسم موازية لقيم المنفعة نفسها. وهذا يمنع المهاجمين من تجاوز الوسم عن طريق مجرد اختيار الإجراء ذي المنفعة الأعلى غير المعدلة.
- قيد الخصوصية: يشير البحث إلى أنه إذا تم إرجاع المنافع المتوقعة إلى المستخدم، فيجب نشر الوسم بشكل خاص (بمفتاح سري). فإذا كان معامل الصلابة $\delta$ علنياً، يمكن للمهاجم رياضياً عكس تعديلات المنفعة لاستعادة القيم الحقيقية للنموذج الأساسي.
آلية الكشف:
- يعتمد الكشف على اختبار إحصائي (z-score) يقارن التكرار الملحوظ للإجراءات في القائمة الخضراء ( $n_G$ ) مقابل التكرار المتوقع ( $\gamma n$ ) تحت فرضية العدم بأن اللاعب غير مدرك لوجود الوسم.
- يشير ارتفاع قيمة z-score إلى وجود الوسم. يقترح المؤلفون عتبة $z=4$ (حوالي $3 \times 10^{-5}$ لمعدل الخطأ الإيجابي الكاذب).

المساهمات الرئيسية

بدء دراسة وسم الألعاب: يؤسس البحث أول إطار عمل لوسم الاستراتيجيات في الألعاب ذات الصيغة الممتدة ذات المعلومات الكاملة، من خلال تكييف تقنيات النماذج اللغوية الكبيرة مع مجال نظرية الألعاب.
الحدود النظرية: يقدم المؤلفون تحليلاً نظرياً يضع حدوداً للتدهور في جودة الاستراتيجية. لقد أثبتوا أن إجمالي الخسارة في المنفعة المتوقعة ( $L$ ) الناتجة عن الوسم محكومة بـ $L \le n\delta(1 + \gamma/(1-\gamma))$ ، حيث $n$ هو عدد الإجراءات. وهذا يوضح وجود مقايضة بين قابلية الكشف (ارتفاع $\delta$ ) وجودة الاستراتيجية.
التعامل مع الإفصاح عن المنفعة: يعالج البحث التحدي الفريد لوكلاء الألعاب حيث يتطلب المستخدمون منافع متوقعة، مقترحاً طريقة لوسم هذه القيم دون المساس بقدرة الكشف، بشرط بقاء الوسم سرياً.
تحليل المتانة: يجادل المؤلفون بأن طبيعة الألعاب (التسلسل، القابلية للملاحظة، الحركات غير القابلة للتراجع) تحد بطبيعتها من ناقلات الهجوم "خارج الخط" (offline) الشائعة في توليد النصوص، مما يحصر المهاجمين في عمليات التلاعب عبر الإنترنت أحادية الخطوة وهي أقل فعالية ضد المخطط المقترح.

النتائج التجريبية
قام المؤلفون بتقييم الإطار من خلال دمج الوسم في ستة محركات شطرنج شهيرة لواجهة UCI وهي: asmFish 9, Dragon, Ethereal 14.40, PlentyChess, Stash v37.0, و Stockfish 17.1.

تأثير الأداء: في مباريات مكونة من 100 جولة بين المحركات الموسومة والأصلية، كانت فروق تصنيف Elo ضئيلة وضمن هوامش الخطأ. على سبيل المثال، أظهر Stockfish 17.1 فرق $+24.4$ Elo (غير مهم إحصائياً)، بينما أظهر asmFish 9 فرق $-10.4$. وفشلت احتمالية كون المحرك الموسوم أدنى كفاءة (LOI) عموماً في الوصول إلى ثقة 90%، مما يشير إلى أن الوسم لا يقلل بشكل كبير من قوة اللعب.
قابلية الكشف: كان الوسم قابلاً للكشف بثقة عالية بعد عدد قليل من الألعاب. تجاوزت معظم المحركات الموسومة عتبة $z=4$ خلال أول 2 إلى 9 جولات.
تحليل المتغيرات (Ablation): كشفت التجارب التي غيرت حجم القائمة الخضراء ( $\gamma$ ) والصلابة ( $\delta$ ) أن $\gamma=0.25$ و $\delta=0.5$ سنتيبوينت (centipawn) قدما توازناً مثالياً. أدى زيادة $\delta$ إلى تحسين مقاييس الكشف (ارتفاع z-scores والمساحة تحت المنحنى AUC) ولكنه قلل بشكل كبير من قوة المحرك (ارتفاع LOI).

الأهمية والادعاءات
يزعم البحث أنه يبدأ دراسة وسم استراتيجيات الألعاب، موضحاً أن التواقيع الفريدة والمتينة يمكن تضمينها في وكلاء الألعاب دون المساس بشكل كبير بأدائهم. ويؤكد المؤلفون أن طريقتهم تسمتح بالكشف عن الاستخدام غير المصرح به للذكاء الاصطناعي (مثل الغش) أو سرقة الملكية الفكرية (مثل التقطير) باستخدام الاختبارات الإحصائية على بيانات اللعب. ويشددون على أنه بينما توجد مقايضة بين قابلية الكشف والجودة، فإن التدهور في الجودة يمكن حصره وغالباً ما يكون ضئيلاً في الممارسة العملية، خاصة عندما يعتمد النموذج الأساسي بالفعل على التقديرات الاستدلالية. يسلط العمل الضوء على أن الألعاب تقدم إعداداً مختلفاً عن توليد النصوص، مما يتطلب تعديلات محددة فيما يتعلق بالإفصاح عن المنفعة وطبيعة الهجمات المعادية.