$\aleph$-IPOMDP: Mitigating Deception in a Cognitive Hierarchy with Off-Policy Counterfactual Anomaly Detection

إليك ملخص تقني مفصل لورقة البحث: "ℵ-IPOMDP: التخفيف من حدة الخداع في التسلسل الهرمي المعرفي باستخدام الكشف عن الشذوذ عبر النماذج المضادة للسياسة".

1. بيان المشكلة

تتناول الورقة ثغرة جوهرية في التعلم المعزز متعدد الوكلاء (MARL) والتسلسل الهرمي المعرفي: عدم التماثل في النمذجة التكرارية.

• المشكلة الجوهرية: الوكلاء الذين يمتلكون "عمقاً محدوداً في التنميط الذهني" (DoM) — أي القدرة على نمذجة معتقدات الآخرين حول معتقداتهم — هم عرضة للاستغلال بطبيعتهم من قبل الوكلاء الذين يمتلكون عمقاً (DoM) أكبر.
• القصور: في الأطر القياسية مثل IPOMDP (عمليات ماركوف لاتخاذ القرار جزئي الملاحظة التفاعلية)، لا يستطيع الوكيل عند المستوى $k$ من العمق (DoM) استنتاج نوايا وكيل عند المستوى $k+1$ أو أعلى بدقة. ويرجع ذلك إلى القيود المنطقية على المرجعية الذاتية؛ حيث لا يمكن لوكيل في مستوى أدنى محاكاة محاكاة وكيل في مستوى أعلى لنفسه.
• النتيجة: يمكن للوكلاء ذوي الـ DoM العالي استغلال هذه الفجوة عبر ممارسة الخداع: أي زرع معتقدات زائفة لدى ضحايا ذوي DoM أقل، للتلاعب بسلوكهم لصالح المخادع. وغالباً ما تتطلب الدفاعات التقليدية من الضحية ترقية الـ DoM الخاص بها (وهو سباق تسلح مكلف حوسبياً) أو تفترض قدرة الضحية على التفكير في نية المخادع، وهو أمر مستحيل إذا كان المخادع متفوقاً تماماً في قدرة النمذجة.

2. المنهجية: إطار العمل ℵ-IPOMDP

يقترح المؤلفون إطار عمل ℵ-IPOMDP، وهو إطار حوسبي يعزز الاستدلال البايزي بآلية كشف الشذوذ وسياسة خارج نطاق المعتقد (OOB). يسمح هذا للوكلاء ذوي الـ DoM المحدود باكتشاف الخداع دون الحاجة إلى فهم آلية الخداع نفسها.

أ. الأسس النظرية: بديهيات الخداع

تقوم الورقة بصياغة الخداع رسمياً باستخدام أربع بديهيات قائمة على العقلانية المتسلسلة:

1. التوافق مع الحوافز: يحقق الخداع منفعة أعلى من الصدق.
2. التلاعب الإدراكي: يُحدث المخادع معتقدات زائفة لدى الضحية (مثل تمويه وكيل استراتيجي في هيئة وكيل عشوائي).
3. السببية السلوكية: يتسبب المعتقد الزائف في اتخاذ الضحية لإجراءات غير مثالية (يُقاس بالندم).
4. الهيمنة المعرفية: يمتلك المخادع DoM أعلى من الضحية، مما يمنع الضحية من الاستنتاج المنطقي للخداع.

ب. آلية ℵ (كشف الشذوذ)

بدلاً من محاولة نمذجة الحالة الخفية للمخادع، تراقب آلية ℵ المطابقة بين السلوك المتوقع والملاحظ. وهي تعمل على فرضية أن الوكيل المخادع يجب أن ينحرف في النهاية عن السلوك "النمطي" للشخصية التي يتنكر بها.

تتكون الآلية من مكونين ($Z_1$ و $Z_2$) ينتجان متجهًا ثنائيًا يشير إلى ما إذا كان الخصم ينتمي إلى المجموعة التي ينمذجها الوكيل ($\Theta_k$):

1. مراقبة النمطية ($Z_1$):
   • تستخدم نظرية المعلومات (تحديداً ضغط gzip) لقياس "النمطية المتسلسلة".
   • تولد مجموعة من المسارات المضادة للواقع بناءً على النموذج الحالي للضحية تجاه الخصم.
   • تقارن نسبة الضغط للمسار الملاحظ مقابل توزيع نسب الضغط للمسارات المحاكات.
   • إذا كان التسلسل الملاحظ "قابلاً للضغط" بشكل مفرط (متكرر جداً) أو "غير قابل للضغط" بشكل مفرط (عشوائي جداً) مقارنة بالنموذج، فإنها ترفع علامة شذوذ.
2. مراقبة المكافأة ($Z_2$):
   • تقارن المكافأة التراكمية الملاحظة مقابل المكافأة التراكمية المتوقعة المستمدة من نموذج الضحية.
   • إذا كانت الضحية تتلقى باستمرار مكافأة أقل مما يتنبأ به نموذجها (انحراف ذو دلالة إحصائية)، فإن ذلك يشير إلى أن الخصم ليس من النوع الذي تم نمذجته.

يتم دمج هذين المكونين بشكل تكراري: $f_t = f_{t-1} \land (Z_1 \land Z_2)$. إذا تم استبعاد أي نوع، فسيظل مستبعداً (يفترض أن الوكلاء لا يغيرون أنواعهم أثناء التفاعل).

ج. سياسة ℵ (استجابة خارج نطاق المعتقد)

بمجرد أن تُفعل آلية ℵ (مما يشير إلى أن الخصم "خارج نطاق النموذج")، ينتقل الوكيل من سياسة DoM($k$) القياسية إلى سياسة خارج نطاق المعتقد (OOB):

• الألعاب صفرية المجموع (Zero-Sum): ينتقل الوكيل إلى استراتيجية Minimax، بافتراض السيناريو الأسوأ (أن الخصم هو الأكثر ضرراً).
• الألعاب ذات الدوافع المختلطة (Mixed-Motive): قد يتبنى الوكيل استراتيجية Grim Trigger (الانتقام الدائم) أو مواقف دفاعية أخرى للردع.
• الهدف: تحييد مكاسب المخادع، مما يجعل الخداع غير مربح ويعمل كتهديد موثوق.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم ℵ-IPOMDP، الذي يسمح للوكلاء ذوي الـ DoM المنخفض باكتشاف وردع المخادعين ذوي الـ DoM العالي دون الحاجة إلى ترقية النمذجة التكرارية.
2. تعريف رسمي للخداع: بناء بديهي للخداع في MARL، يميز بين التلاعب، وإحداث المعتقدات الزائفة، وتجنب الكشف.
3. كشف الشذوذ عبر المسارات المضادة للواقع: تطبيق المسارات المضادة للواقع (عبر ضغط gzip وتحليل توزيع المكافآت) للكشف عن الوكلاء الذين يقعون خارج نموذج العالم الخاص بالوكيل.
4. آلية الردع: إثبات أن مجرد إمكانية تفعيل سياسة OOB عقابية يجبر الوكلاء ذوي الـ DoM العالي على تغيير استراتيجياتهم الخداعية، مما يقلل غالباً من ميزتهم.

4. النتائج التجريبية

تم اختبار الإطار في بيئتين:

أ. لعبة Ultimatum المتكررة (دوافع مختلطة)

• الإعداد: مرسل (مخادع) بمستوى DoM(1) يتنكر في هيئة مرسل عشوائي بمستوى DoM(-1) لاستغلال مستقبل (Receiver) بمستوى DoM(0).
• الخط المرجعي: بدون ℵ-IPOMDP، ينجح المرسل (DoM(1)) في خداع المستقبل لقبول عروض منخفضة، محققاً مكافأة أعلى بنسبة 40-70% مما هو متوقع.
• مع استخدام ℵ-IPOMDP:
  • تكتشف آلية ℵ الانحراف في أنماط العروض (النمطية) والمكافآت التراكمية.
  • ينتقل المستقبل (DoM(0)) إلى سياسة دفاعية (رفض العروض).
  • النتيجة: تقل فجوة المكافأة بأكثر من 40%. يُجبر المرسل (DoM(1)) على تقديم عروض "تشبه العشوائية" لتجنب الكشف، مما يقلل بشكل كبير من ميزة الاستغلال لديه. في بعض إعدادات المعلمات، يتجنب المرسل (DoM(1)) التفاعل تماماً بسبب التهديد الموثوق لسياسة OOB.

ب. لعبة الصف/العمود (صفرية المجموع)

• الإعداد: لاعب صف (مخادع) بمستوى DoM(1) يتلاعب بلاعب عمود بمستوى DoM(0) عبر التظاهر بالجهل بمصفوفة المكافآت.
• الخط المرجعي: ينجح اللاعب (DoM(1)) في خداع اللاعب (DoM(0)) لاختيار أسوأ عمود، محققاً ميزة مكافأة كبيرة.
• مع استخدام ℵ-IPOMDP:
  • يكتشف اللاعب (DoM(1)) سلوك اللاعب (العمود) غير المتوقع (والذي هو في الواقع حركة مضادة للخداع من DoM(2) أو من سياسة OOB).
  • يفعل اللاعب (DoM(1)) آلية ℵ وينتقل إلى Minimax.
  • النتيجة: ينخفض متوسط فرق المكافأة المطلقة بشكل كبير، مما يؤدي إلى نتيجة أكثر إنصافاً (قريبة من الصفر) مقارنة بـ IPOMDP الأساسي.

5. الأهمية والآثار المترتبة

• سلامة الذكاء الاصطناعي والمواءمة (AI Safety & Alignment): يوفر مخططاً لمنع وكلاء الذكاء الاصطناዊ المتقدمين (ذوي قدرات ToM العالية) من التلاعب بالبشر أو وكلاء الذكاء الاصطناعي الآخرين. ويشير إلى أن "كشف الشذوذ" يمكن أن يكون دفاعاً قوياً ضد الهندسة الاجتماعية حتى لو لم يستطع الضحية فهم منطق المهاجم.
• الأمن السيبراني: يقدم نموذجاً لأنظمة كشف التسلل (IDS) التي يمكنها تحديد المهاجمين المتنكرين (الذين يحاكون المستخدمين الشرعيين) من خلال اكتشاف الانحرافات في التسلسلات السلوكية وهياكل المكافآت، بدلاً من الاعتماد فقط على مطابقة التواقيع.
• العلوم المعرفية والطب النفسي:
  • يفسر كيف يمكن للبشر ذوي الموارد المعرفية المحدودة اكتشاف الخداع باستخدام الاستدلالات (مثل "هناك شيء خاطئ") دون الحاجة إلى تفكير تكراري عميق.
  • يوفر نموذجاً حوسبياً للبارانويا (جنون الارتياب) وتفكير المؤامرة: إذا كانت معلمات آلية ℵ حساسة للغاية (قيمة $\delta$ أو $\omega$ منخفضة)، فقد يولد النظام نتائج إيجابية خاطئة، حيث يفسر العشوائية الحميدة على أنها خداع خبيث. وهذا يوفر رابطاً رسمياً بين عتبات كشف الشذوذ والأفكار البارانوية.
• نظرية الألعاب: يتحدى الافتراض بأن الـ DoM الأعلى يضمن دائماً الهيمنة، موضحاً أن الوكلاء المحدودين يمكنهم تسوية الملعب من خلال كشف الشذوذ الاستراتيجي والتهديدات الموثوقة.

الخاتمة

تثبت الورقة أن الوكلاء ذوي الموارد المعرفية المحدودة ليسوا محكومين بالاستغلال من قبل الوكلاء الأكثر تطوراً. فمن خلال تعزيز الاستدلال البايزي عبر كشف الشذوذ عبر المسارات المضادة للواقع، يمكن للوكلاء تحديد متى يواجهون خصماً "خارج نطاق النموذج" والتحول إلى استراتيجيات دفاعية. هذا يقلل بفعالية من مزايا النمذجة التكرارية العميقة، مما يعزز النتائج الأكثر إنصافاً في التفاعلات العدائية وذات الدوافع المختلطة.