💻 computer science

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

تقدم هذه الورقة OSCToM، وهو نهج موجه بالتعلم التعزيزي يقوم بتوليد سيناريوهات صراع بين المراقب والذات لتعزيز قدرة النماذج اللغوية الكبيرة على استنتاج نظرية العقل بشكل كبير، محققاً دقة بنسبة 76% على معيار FANToM القائم على عدم تماثل المعلومات مقارنة بـ 0.2% بالطرق السابقة.

المؤلفون الأصليون: Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مسرحية معقدة حيث يتبادل الممثلون الأسرار همساً، ويخفون الأشياء، ويتظاهرون بمعرفة أشياء لا يعرفونها حقاً. معظم نماذج الذكاء الاصطتيناعي اليوم تشبه جمهوراً يمكنه تسميع الحوارات بدقة مثالية، لكنهم يصابون بالارتباك عندما تلتوي الحبكة. قد يعتقدون مثلاً: "أوه، الممثل يمسك كرة حمراء"، بينما في الواقع، الممثل يتظاهر بإمساك كرة حمراء لخداع شخص آخر.

تقدم هذه الورقة البحثية OSCToM، وهي طريقة جديدة لتعليم الذكاء الاصطناعي كيفية فهم هذه "الألعاب الذهنية" الماكرة. إليك تفصيل لكيفية عملها، باستخدام تشبيهات بسيطة.

المشكلة: فجوة "قراءة العقول"

نماذج الذكاء الاصطناعي الحالية بارعة في كتابة القصص، لكنها تعاني في فهم "نظرية العقل" (Theory of Mind). وهذه هي القدرة البشرية على فهم أن الآخرين لديهم أفكار ومعتقدات ومعارف تختلف عن معارفنا.

فكر في الأمر كأنها لعبة "الهاتف المكسور" (Telephone). إذا أخبرتك بسراً، ثم أخبرتَ أنت كذبة لشخص ثالث، يجب على الذكاء الاصطناعي الذكي أن يعرف:

ما هو الحقيقي فعلياً.
ما الذي تعتقده أنت أنه حقيقي.
ما الذي يعتقده الشخص الثالث أنه حقيقي (حتى لو كان مخطئاً).

كانت الاختبارات القديمة للذكاء الاصطناعي تشبه الألغاز البسيطة؛ حيث كان بإمكان الذكاء الاصطناعي تخمين الإجابة عبر رصد الأنماط في الكلمات. ولكن عندما تصبح القصص معقدة — مثل حالة مراقب يحاول معرفة ما يفكر فيه شخص آخر بشأن سر شخص ثالث — يضيع الذكاء الاصطناعي.

الحل: OSCToM (مدرب "الصراع")

ابتكر المؤلفون نظاماً يسمى OSCToM (نظرية صراع المراقب والذات - Observer-Self Conflict Theory of Mind). الفكرة الجوهرية هي تدريب الذكاء الاصطناعي على قصص يتصادم فيها المعتقد الداخلي للمراقب مع ما يعتقد أنه يعتقده شخص آخر.

التشبيه: تخيل فيلم جاسوسية. الجاسوس (المراقب) يعرف أن الخزنة فارغة. لكن الجاسوس يعرف أيضاً أن الشرير يعتقد أن الخزنة مليئة بالذهب. لذا، يتعين على الجاسوس أن يتصرف كما لو كانت الخزنة مليئة بالذهب لخداع الشرير. يدرب نظام OSCToM الذكاء الاصطناعي على التعامل مع هذا النوع المحدد من التلاعب الذهني.

كيف بنوا النظام: نهج "ألعاب الفيديو"

بدلاً من كتابة آلاف القصص يدوياً، بنى الفريق "محرك لعبة" لتوليدها تلقائياً.

كتاب القواعد (DSL ممتد): أنشأوا لغة خاصة تعمل ككتاب قواعد للعبة. تسمح لهم ببرمجة "حركات" محددة مثل التضليل المكاني (الكذب بشأن مكان شيء ما) أو المرايا ذات الاتجاه الواحد (شخص يرى شيئاً لا يراه الآخر). هذا يسمح لهم ببناء قصص تصل فيها طبقات "التفكير في التفكير" إلى أربع طبقات.
المدرب (النماذج البديلة): تدريب ذكاء اصطناعي على كتابة هذه القصص يتطلب عادةً حاسوباً عملاقاً لتقييم كل جملة، وهو أمر بطيء ومكلف. بدلاً من ذلك، درب الفريق ستة "مدربين صغار" (نماذج ذكاء اصطناعي صغيرة وسريعة). هؤلاء المدربون يتحققون بسرعة من القصص: هل هناك كذبة؟ هل عمق التفكير كافٍ؟ هل الجدول الزمني مربك؟ جعل هذا العملية أسرع بـ 6 مرات.
اللاعب (التعلم التعزيزي): استخدموا ذكاءً اصطناعياً "لاعباً" (باستخدام طريقة تسمى DQN) يلعب اللعبة مراراً وتكراراً. يحاول إنشاء أكثر القصص إرباكاً وخدعةً لإيقاع نموذج الاختبار في الفخ. تمنحه "المدربون الصغار" نقاطاً مقابل جعل القصة أكثر صعوبة. يتعلم اللاعب كيفية إنشاء سيناريوهات "مذهلة ذهنياً" مثالية.
الطالب (تدريب على مرحلتين): أخيراً، أخذوا نموذج ذكاء اصطناعي قياسي (Llama-3.1-8B) وعلموه باستخدام هذه القصص الماكرة. لم يلقوا بأصعب القصص عليه مباشرة.
- المرحلة الأولى: علموه الأكاذيب البسيطة والمعتقدات الأساسية (مثل طفل يتعلم المشاركة).
- المرحلة الثانية: بمجرد إتقانه للأساسيات، أدخلوا عليه قصص الجواسيس المعقدة ومتعددة الطبقات.

النتائج: صغير ولكن قوي

النتيجة هي نموذج يسمى OSCToM-8B. ورغم أنه أصغر من العديد من نماذج الذكاء الاصطناعي الشهيرة الأخرى، إلا أنه قدم أداءً مذهلاً:

اختبار FANToM: في اختبار صعب يتضمن عدم تماثل المعلومات (حيث يعرف الشخصيات أشياء مختلفة)، حصلت أفضل طريقة سابقة (ExploreToM) على 0.2% فقط من الإجابات الصحيحة. بينما حصل OSCToM-8B على 76% صحيحة. هذه قفزة هائلة.
السرعة: الطريقة القديمة كانت تشبه حل لغز عبر تجربة كل قطعة واحدة تلو الأخرى (بطيئة). أما OSCToM-8B فهو يشبه النظر إلى الصورة الموجودة على علبة اللغز وحله فوراً. إنه أسرع بـ 5.7 مرة في الإجابة على الأسئلة.
الكفاءة: حقق هذه النتائج بموارد حاسوبية (معاملات/parameters) أقل من النماذج التي تفوقه حجماً بـ 3 إلى 4 مرات.

الخلاصة

تزعم الورقة البحثية أنه من خلال تعليم الذكاء الاصطناعي كيفية التعامل مع "صراعات المراقب والذات" (حيث يتصادم ما تعرفه مع ما تعتقد أن الآخرين يعرفونه) باستخدام لعبة تدريب آلية ذكية، يمكننا إنشاء نماذج ذكاء اصطناعي أصغر وأسرع وأفضل بكثير في فهم المواقف الاجتماعية المعقدة والخداع.

ما لا تدعيه الورقة: لا تقول الورقة إن هذا الذكاء الاصطناعي يمكن استخدامه الآن في العلاج النفسي، أو للكشف عن الكذب في الأمن في الوقت الفعلي، أو لفهم المشاعر البشرية مثل الحب أو الحزن. إنها تركز حصرياً على منطق المعتقدات، والمعرفة، والخداع في السيناريوهات القائمة على النصوص.

ملخص تقني: OSCTOM – التوليد الخصومي الموجه بالتعلم المعزز لنظرية العقل من الرتب العليا

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) كفاءة في مهام اللغة القياسية، لكنها تظهر أداءً غير متسق في استدلال نظرية العقل (ToM)، لا سيما ضمن السياقات الاجتماعية المعقدة التي تتضمن معتقدات تكرارية وتفاوتًا في المعلومات. تفشل المعايكات الحالية، مثل ExploreToM، غالبًا في اختبار صراع المراقب-الذات (Observer-Self Conflict) بشكل كافٍ — وهو حالة معرفية محددة ينسب فيها المراقب اعتقادًا إلى وكيل آخر يتعارض مع معرفته الداخلية بالحقائق.

تشمل القيود الحالية ما يلي:

المعايكات الثابتة: تعتمد مجموعات البيانات المبكرة (مثل ToMi) على سيناريوهات مكتوبة يدويًا يمكن للنماذج حلها عبر مطابقة الأنماط السطحية بدلاً من التتبع الحقيقي للمعتقدات.
قيود التوليد القائم على البحث: تستخدم أطر العمل مثل ExploreToM بحث A* الاستدلالي باستخدام لغات مجال محددة (DSLs). ورغم فعاليتها في توليد قصص خصومية، إلا أن هذه الطرق مقيدة بمساحات بحث جامدة، وتفتقر إلى التكيف مع السياسات من خلال الخبرة، وغالبًا ما تعطي الأولوية لحجم المعلومات على حساب التعقيد الهيكلي المحدد لصراعات الاعتقاد المتداخلة.
فجوات الاستدلال: تفشل النماذج غالبًا عندما تتغير هياكل المهام بشكل طفيف، مما يشير إلى غياب نماذج داخلية مستقرة لحالات الاعتقاد السببية، خاصة في السيناريوهات متعددة الطبقات والتكرارية (على سبيل المثال: استدلال الوكيل A حول اعتقاد الوكيل B بشأن نية الوكيل C).

2. المنهجية

يعالج إطار عمل OSCToM هذه الفجوات من خلال مسار مكون من أربعة عناصر مصمم لتوليد والتدريب على سيناريوهات نظرية العقل الخصومية عالية الرتبة.

2.1 لغة مجال محدد ممتدة (OSCT-DSL)

قدم المؤلفون OSCT-DSL، وهو امتداد للغات المجال الحالية القادرة على صياغة صراع المراقب-الذات بشكل رسمي.

الصياغة: تُعرف حالات العالم ( $W$ ) وحالات الاعتقاد ( $B$ ) للوكلاء، وتدعم الاعتقادات التكرارية حتى الرتبة الرابعة: $B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$ .
الأدوات الخصومية: تتضمن اللغة عمليات محددة لكسر التماثل المعلوماتي:
- التوطين الخداعي (Deceptive Localization): يكذب وكيل بشأن الموقع، مما يخلق اعتقادًا خاطئًا لدى وكيل آخر مع الحفاظ على المعرفة الداخلية الحقيقية.
- الملاحظة غير المتماثلة (Asymmetric Observation): يشهد أحد الوكلاء فعلًا دون أن يكتسب الطرف الملحوظ معرفة متبادلة.
- الخداع التكراري (الخداع المزدوج - Double Bluff): يتلاعب وكيل بآخر ليدلي بكذبة لطرف ثالث، مما يضع طبقات من اعتقادات الرتبة الثالثة فوق أكاذيب الرتبة الأولى.

2.2 مسار التقييم البديل التركيبي

للتغلب على التكلفة الحسابية لاستخدام النماذج اللغوية الكبيرة لحساب المكافأة أثناء التعلم المعزز (RL)، استخدم المؤلفون مسارًا بديلًا تركيبيًا.

التقطير: تم تقطير المعرفة من نموذج Llama-3.3-70B إلى ستة وحدات DistilBERT خفيفة الوزن مدربة على 10,000 قصة مشروحة.
الأبعاد المعرفية الستة: يتم تفكيك المكافأة إلى درجات محددة بدلاً من قيمة عددية واحدة:
1. كاشف الاعتقاد الخاطئ: تحقق ثنائي الصلاحية (يجب أن يوجد من أجل نظرية العقل).
2. مصنف عمق نظرية العقل: يقدر الرتبة التكرارية (من الأولى إلى الرابعة).
3. مقياس الخداع: كثافة العمليات التلاعبية.
4. مقياس التعقيد الاجتماعي: تكرار التواصل بين الوكلاء.
5. مقياس التعقيد الزمني: عدد انتقالات حالات العالم المتميزة.
6. كاشف صراع المراقب-الذات (OSCT): يحدد تحديدًا حالات صراع المراقب-الذات (أعلى وزن للمكافأة).
الكفاءة: أدى ذلك إلى تقليل وقت تقييم القصة الواحدة من ~14 ثانية (استعلام LLM) إلى أقل من 50 ميلي ثانية، مما مكن من تخليق مجموعة بيانات مكونة من 15,000 عينة.

2.3 التوليد الخصومي الموجه بالتعلم المعزز (RL)

يتم نمذجة عملية توليد القصص كـ عملية قرار ماركوف (MDP).

اختيار الخوارزمية: قارن المؤلفون بين A2C وPPO والشبكات العميقة لتعلم القيمة (DQN). تم اختيار DQN لتفوقها في استقرار تعلم الانتقالات الرمزية المنفصلة ضمن مساحة حالة الـ DSL وقدرتها على إيجاد حالات فشل نظرية العقل التي قد تغفل عنها عملية البحث الاستدلالي.
التدريب: يعمل وكيل DQN على تحسين دالة مكافأة مركبة ( $R$ ) مُوزونة بقوة نحو كشف صراع المراقب-الذات (40%) وعمق نظرية العقل (30%).
التعزيز السردي: يتم تحويل آثار الـ DSL الرمزية التي يولدها وكيل التعلم المعزز إلى نث مقتبس طبيعي باستخدام Llama-3.3-70B عبر واجهة برمجة تطبيقات OpenRouter، مع الحفاظ على العلامات المعرفية مثل سلاسل الخداع والترتيب الزمني غير الخطي.

2.4 الضبط الدقيق المنهجي ذو المرحلتين

تُستخدم مجموعة البيانات المولدة لضبط نموذج Llama-3.1-8B-Instruct بدقة باستخدام منهج تعليمي مرحلي لضمان التعلم المستقر للاستدلال عالي الرتبة:

المرحلة 1 (التأسيس): التدريب على سيناريوهات نظرية العقل من الرتبة الأولى والثانية لترسيخ النموذج في أساسيات تبني وجهات النظر.
المرحلة 2 (الإتقان): التدريب على المجموعة الكاملة، بما في ذلك صراعات الرتبة الثالثة والرابعة التكرارية، بدءًا من نقطة فحص المرحلة الأولى.
التقنية: استخدام الضبط الدقيق الفعال للمعلمات (PEFT) عبر تقنية LoRA (الرتبة 16، عامل القياس 32) على جميع طبقات الإسقاط، مما يسمح بالتدريب على وحدة معالجة رسومات (GPU) واحدة.

3. النتائج الرئيسية

تم تقييم النموذج الناتج، OSCToM-8B، مقابل سبعة أنظمة أساسية (بما في ذلك Llama-3.1-8B، وMistral-NeMo-12B، وPhi-3-Medium-14B، ومتغيرات Qwen2.5) عبر أربعة معايكات.

معيار FANToM (تفاوت المعلومات): حقق OSCToM-8B دقة بنسبة 76.0%. ويمثل هذا تحسنًا هائلاً مقارنة بـ ExploreToM الذي سجل 0.2% في نفس المعيار.
معيار ToMi: حقق OSCToM-8B دقة بنسبة 79.5%، متفوقًا على Llama-3.1-8B الأساسي (64.3%) وعلى نماذج أكبر مثل Qwen2.5-32B (74.7%).
معيار BigToM: وصل OSCToM-8B إلى دقة 89.8%، مقتربًا بشدة من Mistral-NeMo-12B (90.5%) رغم امتلاكه 4 مليارات معلمة أقل.
معيار Hi-ToM: سجل OSCToM-8B نسبة 65.3%، مساويًا لـ Phi-3-Medium-14B ومتفوقًا بشكل كبير على Gemma-2-27B (20.6%).

كفاءة الاستدلال:

على عكس ExploreToM، الذي يعتمد على بحث A* تكراري بتعقيد $O(N)$ وزمن استجابة ~15.0 ثانية لكل استعلام، يستخدم OSCToM-8B الاستدلال العصبي المباشر بتعقيد $O(1)$ .
زمن الاستجባ المقاس هو 2.62 ثانية، وهو ما يمثل انخفاضًا بنسبة 5.7 ضعفًا في وقت الاستجابة مع الحفاظ على دقة متفوقة.

4. الأهمية والادعاءات

يزعم البحث أن OSCToM يثبت أن تخليق البيانات الخصومية المستهدفة بالتزين مع التعلم المنهجي يمكن أن يمكّن النماذج الأصغر (8 مليارات معلمة) من التفوق على النماذج الأكبر بكثير في مهام الاستدلال الاجتماعي المعقدة.

صراع المراقب-الذات: يحدد العمل ويعالج نمط فشل محدد في تقييم نظرية العقل الحالي: عدم القدرة على التمييز بين المعرفة الداخلية للمراقب ونسبته للمعتقدات للآخرين.
الكفاءة مقابل الحجم: يثبت الإطار أن قدرات الاستدلال عالي الرتبة لا تتطلب بالضرورة أعدادًا ضخمة من المعلمات إذا كانت بيانات التدريب مهيكلة لاستهداف صراعات الاعتقاد التكرارية بشكل صريح.
العملية: من خلال استبدال البحث الاستدلالي بالتوليد الموجه بالتعلم المعزز والتقييم البديل، يحقق النظام مكسبًا في الكفاءة بمقدار 6 أضعاف في تخليق البيانات وتحسنًا بمقدار 5.7 ضعفًا في سرعة الاستدلال، مما يجعل الاستدلال عالي الرتبة لنظرية العقل قابلًا للتطبيق عمليًا.

يخلص المؤلفون إلى أنه بينما يركز الـ DSL الحالي على الصراعات المكانية والخداعية، فإن إطار العمل يوفر مسارًا مبدئيًا نحو ذكاء اجتماعي أكثر عمومية في النماذج اللغوية الكبيرة، مما يشير إلى إمكانية سد "فجوة الاستدلال" من خلال التدريب الخصومي المهيكل بدلاً من مجرد زيادة حجم النموذج.