💻 computer science

Scaling Inference-Time Computation via Opponent Simulation: Enabling Online Strategic Adaptation in Repeated Negotiation

تقترح هذه الورقة طريقة خالية من المعلمات لتوسيع نطاق الحوسبة أثناء الاستدلال في المفاوضات الاستراتيجية المتكررة عبر دمج "اللعب التخيلي السلس" (Smooth Fictitious Play) في النماذج اللغوية الكبيرة من خلال نموذج خصم داخل السياق لتشكيل الاعتقاد، والمحاكاة المعززة لأخذ عينات "أفضل N من N" للتكيف الاستراتيجي، محققةً مكاسب أداء كبيرة مقارنة بالنماذج المرجعية الثابتة دون الحاجة إلى تحديثات للنموذج.

المؤلفون الأصليون: Xiangyu Liu, Di Wang, Zhe Feng, Aranyak Mehta

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangyu Liu, Di Wang, Zhe Feng, Aranyak Mehta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب مباراة شطرنج، ولكن بدلاً من اللوحة والقطع، أنت تتفاوض على سعر سيارة مع شخص غريب. أنت لا تعرف ميزانيته، وهو لا يعرف حدك الأقصى. في الماضي، كانت نماذج الذكاء الاصطنا-عي تشبه الطلاب الذين يدرسون كتاباً مدرسياً (تدريب غير متصل بالإنترنت/offline training) ويحفظون الحركات "المثالية". لكن في الحياة الواقعية، يغير خصومك آراءهم، أو تسيطر عليهم العواطف، أو يحاولون خداعك. والاستراتيجية المحفوظة غالباً ما تفشل لأنها لا تستطيع التكيف مع الشخص المحدد الجالس أمامك على الطاولة.

تقدم هذه الورقة البحثية طريقة جديدة تجعل الذكاء الاصطناعي أكثر ذكاءً أثناء اللعبة، دون الحاجة للعودة إلى المدرسة (إعادة التدريب). وقد أطلقوا عليها اسم "زيادة حسابات وقت الاستدلال عبر محاكاة الخصم" (Scaling Inference-Time Computation via Opponent Simulation).

إليك التبسيط باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: فخ "النموذج الواحد الذي يناسب الجميع"

تخيل أنك رجل مبيعات. لديك نص (Script) يعمل بشكل رائع مع 90% من الناس. لكنك اليوم قابلت زبوناً عاطفياً للغاية، أو زبوناً عنيداً جداً. هنا يفشل النص الخاص بك.

الذكاء الاصطناعي القديم: يحاول استخدام نفس النص. إنه جامد.
الهدف: يحتاج الذكاء الاصطنا-عي أن يكون مثل المفاوض البشري الذي يراقب الشخص الآخر، ويفهم شخصيته في تلك اللحظة، ويغير أسلوبه في منتصف المحادثة.

2. الحل: "صالة التدريب الذهني"

أدرك المؤلفون أنه بدلاً من جعل الذكاء الاصطنا-عي "أكثر ذكاءً" عن طريق إضافة المزيد من الخلايا العصبية (المعلمات/parameters)، يمكننا جعله "يفكر بعمق أكبر" قبل أن يتحدث. إنهم يعاملون وقت تفكير الذكاء الاصطنا-عي كأنه صالة تدريب للعقل.

لقد استخدموا عملية من خطوتين، أطلقوا عليها اسم BoN-oppo-simulation (الأفضل من بين N مع محاكاة الخصم). فكر في الأمر كأنه "بروفة نهائية":

الخطوة أ: "قارئ الأفكار" (نمذجة الخصم)

قبل أن تقوم بحركة ما، تحاول تخمين ما يفكر فيه الشخص الآخر.

كيف يفعل الذكاء الاصطنا-عي ذلك: ينظر إلى كل ما قاله الخصم في الدقائق القليلة الماضية. ثم يطلب من ذكاء اصطنا-عي ثانٍ (المحاكي) أن يتظاهر بأنه الخصم.
التشبيه: تخيل أنك على وشك طلب زيادة في الراتب. تسأل صديقك أن يقوم بدور مديرك في التمثيل. يقول لك صديقك: "إذا طلبت 20%، سأقول لا. إذا طلبت 10%، سأقول نعم". يقوم الذكاء الاصطنا-عي بهذا فوراً، مستخدماً تاريخ المحادثة لبناء "نسخة مزيفة" من الخصم.

الخطوة ب: لعبة "ماذا لو؟" (محاكاة الأفضل من بين N)

الآن بعد أن أصبح لدى الذكاء الاصطنا-عي "خصم مزيف"، فإنه لا يكتفي بتخمين إجابة واحدة فقط. بل يولد خمس استراتيجيات مختلفة (مثلاً: "كن لطيفاً"، "كن حازماً"، "قدم عرضاً"، "انسحب").

المحاكاة: لكل واحدة من تلك الاستراتيجيات الخمس، يشغل الذكاء الاصطنا-عي "فيلم ذهني". إنه يستعرض المحادثة المستقبلية بأكملتها في عقله:
- السيناريو 1: إذا قلت "كن حازماً"، سيغضب الخصم المزيف وننهي الاتفاق. النتيجة: سيئة.
- السيناريو 2: إذا قلت "كن لطيفاً"، سيبتسم الخصم المزيف ويوافق. النتيجة: جيدة.
القرار: يختار الذكاء الاصطنا-عي الاستراتيجية التي أدت إلى أفضل نتيجة في فيلمه الذهني.

3. لماذا يعد هذا أمراً هاماً؟

عادةً ما يصبح الذكاء الاصطنا-عي أفضل من خلال التدريب على ملايين الأمثلة (مثل طالب يدرس لسنوات). تقول هذه الورقة: "لا، دعونا فقط نعطي الذكاء الاصطنا-عي مزيداً من الوقت للتفكير أثناء الاختبار الفعلي."

تشبيه "وقت التفكير": تخيل أنك تؤدي اختباراً في الرياضيات.
- الطريقة القديمة: تحفظ الصيغ الرياضية. إذا كان السؤال مختلفاً قليلاً، ستتعثر.
- الطالطريقة الجديدة: يُسم-ح لك بقضاء 10 دقائق في حل سؤال واحد. تحاول حل المسألة بـ 5 طرق مختلفة في رأسك، وتتحقق من أي منها يعمل، ثم تكتب الإجابة. أنت لم تتعلم رياضيات جديدة؛ لقد استخدمت فقط وقتاً أطول لإيجاد المسار الصحيح.

4. النتائج

اختبر الباحثون هذا في ألعاب التفاوض (شراء/بيع عناصر وتبادل الموارد).

النتيجة: حقق الذكاء الاصطنا-عي الذي يستخدم طريقة "البروفة الذهنية" هذه نتائج أفضل بكثير في إبرام الصفقات مقارنة بأنظمة الذكاء الاصطنا-عي التي "تفكر" بشكل طبيعي أو التي حاولت حفظ الاستراتيجيات.
المفاجأة: كان هذا الأسلوب يعمل بشكل أفضل عندما كان الخصم مخادعاً أو يغير سلوكه. لقد تكيف الذكاء الاصطنا-عي فورياً لأنه كان يحاكي باستمرار: "ما الذي سيفعله هذا الشخص تحديداً؟"

ملخص

تعلم هذه الورقة البحثية الذكاء الاصطنا-عي كيف يتوقف عن كونه روبوتاً جامداً يتبع نصاً، ويبدأ في أن يكون مرتجلاً استراتيجياً. من خلال تخصيص قدر أكبر من الحوسبة لـ محاكاة المستقبل و التظاهر بأن يكون الخصم داخل رأسه، يمكن للذكاء الاصطنا-عي التكيف مع أي موقف في الوقت الفعلي، مما يجعله مفاوضاً أقوى بكثير.

في جملة واحدة: بدلاً من تدريب الذكاء الاصطنا-عي على معرفة كل شيء مسبقاً، علموه كيفية أحلام اليقظة حول المستقبل لاتخاذ أفضل قرار الآن.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "توسيع حسابات وقت الاستدلال عبر محاكاة الخصم: تمكين التكيف الاستراتيجي عبر الإنترنت في التفاوض المتكرر."

1. بيان المشكلة

تعالج الورقة البحثية قصوراً حرجاً في وكلاء النماذج اللغوية الكبيرة (LLMs) الحاليين: عدم قدرتهم على التكيف بفعالية مع الخصوم المجهولين أو الديناميكيين في التفاعلات الاستراتيجية المتكررة (مثل المفاوضات).

الفجوة: بينما تتفوق النماذج اللغوية الكبيرة في المهام أحادية الوكيل ذات الطبيعة الثابتة (مثل الرياضيات أو البرمجة)، فإنها تعاني في البيئات متعددة الوكلاء حيث يتغير الخصوم بمرور الوقت.
محدودية النهج الحالية:
- التدريب/الضبط الدقيق خارج الإنترنت (Offline Training/Fine-tuning): غالباً ما تتقارب طرق مثل "اللعب الذاتي" (Self-play) أو "التعلم التعزيزي" (RL) نحو سياسات ثابتة ومحافظة (مثل Minimax) تكون قوية ضد الخصوم الأسوأ حالاً، لكنها تفشل في استغلال الفرص التعاونية أو التكيف مع سلوكيات خصوم محددين.
- التكيف عبر الإنترنت القائم على التدرج (Gradient-based Online Adaptation): يتطلب التعلم التقليدي عبر الإنترنت تحديثات للمعلمات (Parameters)، وهو أمر يستهلك الكثير من البيانات، ويسبب تأخراً كبيراً في الاستجابة، وغير عملي للتكيف في وقت الاختبار الفعلي.
السؤال الجوهري: هل يمكن للنماذج اللغوية الكبيرة تحقيق تكيف استراتيجي عبر الإنترنت في المفاوضات المتكررة من خلال توسيع حسابات وقت الاستدلال (استخدام قدر أكبر من الحوسبة في وقت الاختبار) بدلاً من تحديث معلمات النموذج؟

2. المنهجية: BoN-oppo-simulation

يقترح المؤلفون إطار عمل يسمى BoN-oppo-simulation، والذي يدمج مبادئ اللعب الوهمي السلس (Smooth Fictitious Play - sFP) في استدلال النماذج اللغوية الكبيرة. بدلاً من تحديث الأوزان، تقوم هذه الطريقة بتخصيص توكنات (Tokens) إضافية للحوسبة لمحاكاة التفاعلات المستقبلية وصقل القرارات ديناميكياً.

يتكون إطار العمل من وحدتين منفصلتين:

أ. الخطوة 1: نمذجة الخصم داخل السياق (تكوين الاعتقاد)

للتعامل مع صعوبة تتبع التكرارات في فضاء اللغة الطبيعية المستمر، يستخدم المؤلفون نموذجاً مساعداً ( $\pi^{oppo}_2$ ) لنمذجة الخصم.

الآلية: يأخذ نموذج الخصم التاريخ الكامل للتفاعلات ( $C_{t-1}$ ) والمسار الجزئي الحالي كمدخلات.
استراتيجية التلقين (Prompting Strategy):
1. التلخيص الاستراتيجي: يقوم النموذج بالتفكير صراحةً في التفاعلات الماضية لتلخيص الأنماط السلوكية عالية المستوى للخصم (مثل: "عدواني"، "عادل"، "عين بالعين").
2. التفاؤل (OFU): للتعامل مع عدم اليقين، يتم توجيه النموذج ليكون منحازاً للتنبؤ بنتائج مواتية للوكيل الفاعل (Agent 1) عند عدم التأكد، مما يعمل كآلية للاستكشاف.
الهدف: إنشاء اعتقاد متوسط زمنياً حول سياسة الخصم دون الحاجة للضبط الدقيق.

ب. الخطوة 2: أفضل من $N$ مع محاكاة الخصم (أفضل استجابة)

بدلاً من أخذ عينات "أفضل من $N$ " (Best-of- $N$ ) القياسية، يقدم المؤلفون العصف الذهني الاستراتيجي والمحاكاة.

العصف الذهني الاستراتيجي: يقوم الوكيل الأساسي ( $\pi^{base}_1$ ) أولاً بتوليد $N$ من الاستراتيجيات متنوعة عالية المستوى (مثل: "مكار"، "عدالة"، "عين بالعين") ثم يولد إجراءات مرشحة محددة بناءً على هذه الاستراتيجيات. يضمن هذا استكشافاً أوسع لفضاء الاستراتيجية مقارنة بأخذ العينات المستقلة والمتماثلة (i.i.d.).
محاكاة الخصم: لكل إجراء مرشح، يقوم الوكيل بمحاكاة المسار المستقبلي الكامل للمفاوضات.
- يقوم الوكيل بتنفيذ حركته المرشحة.
- يتنبأ نموذج الخصم ( $\pi^{oppo}_2$ ) برد فعل الخصم.
- يتنبأ سياسة الوكيل الأساسي بتحركاته اللاحقة.
- تستمر هذه المحاكاة حتى نهاية الحلقة لتقدير المكافأة المتوقعة ( $\hat{r}$ ).
الاختيار: يختار الوكيل الإجراء المرشح الذي يحقق أعلى مكافأة محاكاة.

الرؤية النظرية: تثبت الورقة أن الخطأ في السياسة النهائية يتناسب خطياً مع الخطأ في نموذج الخصم. كما تربط بين تكرار السياسة (Policy Iteration)، حيث تعمل محاكاة وقت الاستدلال كخطوة تقييم للسياسة، ويعمل الاختيار كتحسين للسياسة، وكل ذلك دون تحديث المعلمات.

3. المساهمات الرئيسية

صياغة المشكلة: يثبت المؤلفون نظرياً وتجريبياً أنه لا توجد سياسة ثابتة واحدة تهيمن في ألعاب التفاوض المتكررة ضد خصوم متنوعين. ويظهرون أن النماذج اللغوية الكبيرة القياسية تفشل في تحسين نفسها ذاتياً من خلال مجرد تراكم السياق.
إطار عمل مبتكر (BoN-oppo-simulation): يقدمون طريقة منهجية لتوسيع حسابات وقت الاستدلال عبر الجمع بين نمذجة الخصم داخل السياق ومحاكاة المسار. يتيح ذلك للوكيل "التفكير مسبقاً" ضد نسخة محاكية من الخصم.
العصف الذهني الاستراتيجي: يقترحون عملية توليد مهيكلة تفصل بين صياغة الاستراتيجية عالية المستوى وبين توليد الإجراءات، مما يزيد بشكل كبير من التنوع الدلالي للإجراءات المرشحة.
التحقق التجريبي: تظهر التجارب الواسعة أن هذه الطريقة تمكن من التحسين الذاتي الكبير عبر الحلقات المتكررة، متفوقة على النماذج المرجعية التي تعتمد على التحديثات أو التلقين البسيط.

4. النتائج التجريبية

تم تقييم الطريقة على نموذجين للمفاوضات: ألعاب المشتري-البائع وتبادل الموارد.

مكاسب الأداء:
- تفوقت طريقة BoN-oppo باستمرار على النماذج المرجعية (Zero-shot، Thinking، Bovan-eval، BoN-simulation بدون نمذجة الخصم) عبر عائلات نماذج مختلفة (Gemini, Claude, Qwen, Llama).
- في لعبة المشتري-البائع، حققت الطريقة أعلى متوسط مكافآت، خاصة في الحلقات المتأخرة، مما يدل على التكيف الفعال عبر الإنترنت.
- المتانة: حافظت الطريقة على أدائها حتى عندما تم تغيير قيود الخصم الخاصة (الميزانية/التكلفة) عشوائياً في كل حلقة، مما يثبت أنها تتكيف مع السياسات السلوكية وليس مجرد حفظ القيم الثابتة.
المقارنة مع أحدث التقنيات (SOTA): تفوقت الطريقة على النماذج المرجعية التكيفية المتخصصة (مثل AI Feedback، Experience Reflection، Private Information Prediction) التي تعتمد فقط على التلقين على مستوى المدخلات.
الرفاهية الاجتماعية: في الإعدادات التعاونية، حققت الأزواج الذين يستخدمون BoN-oppo معاً أعلى رفاهية اجتماعية، مما يشير إلى أن الطريقة تساعد الوكلاء على التقارب نحو توازنات أكثر كفاءة.
الكفاءة: يمكن تنفيذ خطوات التوليد والمحاكاة بشكل متوازٍ تماماً، مما يقلل من زمن التأخير الفعلي رغم زيادة استخدام التوكنات.

5. الأهمية والآثار المترتبة

تحول في النموذج (Paradigm Shift): تثبت الورقة أن توسيع حسابات وقت الاستدلال هو بديل قابل للتطبيق وقوي لتحديث المعلمات من أجل تمكين الاستدلال الاستراتيجي في النماذج اللغوية الكبيرة.
القدرة على التعميم: النهج مستقل عن النموذج ويعمل عبر بنيات مختلفة للنماذج اللغوية الكبيرة، مما يشير إلى مسار عام لتحسين اتخاذ القرار متعدد الوكلاء.
الجسر النظري: تنجح الورقة في الربط بين نظرية الألعاب الكلاسيكية (اللعب الوهمي) وقدرات النماذج اللغوية الكبيرة الحديثة (التعلم داخل السياق وسلسلة الأفكام - CoT)، مما يوفر إطاراً صارماً للتعلم عبر الإنترنت في البيئات غير المستقرة.
التطبيق العملي: يقدم هذا حلاً لنشر وكلاء النماذج اللغوية الكبيرة في سيناريوهات العالم الحقيقي الديناميكية (مثل التداول الآلي، المفاوضات الدبلوماسية، إدارة سلاسل التوريد) حيث يكون الخصوم مجهولين ويجب أن تتطور الاستراتيجيات في الوقت الفعلي.

في الختام، توضح الورقة أنه من خلال استثمار قوة الحوسبة في محاكاة الخصوم والعصف الذهني لاستراتيجيات متنوعة في وقت الاختبار، يمكن للنماذج اللغوية الكبيرة التغلب على قيود السياسات الثابتة وتحقيق سلوك استراتيجي متكيف وقوي في التفاعلات المتكررة.