💰 quantitative finance

Training Language Models for Bilateral Trade with Private Information

تقدم هذه الورقة بيئة تجارة ثنائية منظمة لتقييم وتدريب النماذج اللغوية الكبيرة، كاشفةً عن أن النماذج الرائدة تحقق نتائج مثالية من خلال التمييز السعري الاستراتيجي، بينما يمكن للضبط الدقيق باستخدام التعلم المعزز للنماذج مفتوحة الأوزان أن يعزز الاستراتيجيات النسبية، لكنه يواجه مقايضات بين معدلات إتمام الصفقات وتعظيم الفائض.

المؤلفون الأصليون: Dirk Bergemann, Soheil Ghili, Xinyang Hu, Chuanhao Li, Zhuoran Yang

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dirk Bergemann, Soheil Ghili, Xinyang Hu, Chuanhao Li, Zhuoran Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل سوقاً صاخباً حيث يحاول شخصان، مشترٍ وبائع، مقايضة سلعة ما. يمتلك المشتري "سعرًا أقصى" سريًا هو مستعد لدفعه، ويمتلك البائع "سعرًا أدنى" سريًا هو مستعد لقبوله. لا يعرف أي منهما الرقم السري للآخر. هدفهما هو المساومة حتى يجدوا سعرًا يناسب كلاهما، أو الانسحاب إذا لم يكن هناك اتفاق ممكن.

تعامل هذه الورقة البحثية نماذج اللغات الكبيرة (LLMs) — وهي العقول الاصطناعية وراء روبوتات الدردشة — كلاعبين في هذا السوق. أراد الباحثون معرفة: هل يمكن لهذه الذكاءات الاصطناعية أن تتصرف كمفاوضين بشريين أذكياء وعقلانيين، أم أنها تكتفي فقط بالدردشة بلباقة وإبرام صفقات سيئة؟

إليك قصة نتائجهم، مقسمة إلى أجزاء بسيطة.

1. المشكلة: الذكاء الاصطناعي المهذب يبرم صفقات سيئة

إذا طلبت من ذكاء اصطناعي قياسي ببساطة أن "يتفاوض على سعر"، فإنه غالبًا ما يفشل بطريقتين مضحكتين ولكن مكلفتين:

فخ "الرجل اللطيف": نظرًا لأن نماذج الذكاء الاصطناعي مدربة لتكون مفيدة وموافقة، فإنها غالبًا ما تقبل صفقات تخسرها المال فعليًا (على سبيل المثال، شراء شيء بسعر أعلى من قيمته).
مشكلة "الدردشة المرتبكة": في الدردشة النصية العادية، من الصعب معرفة ما إذا كان الذكاء الاصطناعي يقدم عرضًا جديًا أم أنه مجرد يهذي. هل جملة "سأعطيك 50 دولارًا" عرض حقيقي أم مزحة؟ هذا يجعل من المستحيل تقييم أدائهم بشكل آلي.

2. الحل: مختبر التفاوض "بأسلوب ألعاب الفيديو"

لإصلاح ذلك، بنى الباحثون محاكاة منظمة (مثل محرك لعبة فيديو) للذكاء الاصطناعي.

القواعد: بدلاً من مجرد كتابة نص حر، يجب على الذكاء الاصطناعي استخدام "أزرار" أو أدوات محددة. يجب عليه النقر على "تقديم عرض"، "قبول"، "رفض"، أو "إرسال رسالة".
الفائدة: هذا يفصل بين "الدردشة" و"الأعمال التجارية". الكمبيوتر يعرف بالضبط متى تم إبرام الصفقة، مما يسمح له بحساب: هل حققوا ربحًا؟ هل انسحبوا عندما كان ينبغي عليهم ذلك؟

3. البطولة: من الفائز؟

وضعوا خمسة من أذكى نماذج الذكاء الاصطناعي (مثل GPT-4، وo3، وGemini) في بطولة ضخمة بنظام الدوري (كل ضد الكل). لعبوا آلاف الألعاب ضد بعضهم البعض.

الفائزون (المفاوضون الأقوياء):
النماذج الأفضل لم تكن لطيفة فحسب؛ بل لعبت بشكل استراتيجي.

المرتكز (The Anchor): بدأوا بطلب سعر أعلى بكثير مما توقعوا الحصول عليه (مثل بائع سيارات يطلب 50 ألف دولار لسيارة قيمتها 20 ألفًا).
التنازل: ثم خفضوا أسعارهم ببطء في خطوات صغيرة.
النتيجة: سمحت استراتيجية "المرتكز العالي، التنازل البطيء" هذه بمعرفة مدى استعداد الطرف الآخر للدفع، مما أدى إلى عصر أقصى ربح ممكن. لقد حققوا أفضل الصفقات و أتموا الصفقات في معظم الأحيان.

الخاسرون (الذكاء الاصطناعي "اللطيف للغاية"):
حاولت بعض النماذج أن تكون متساهلة للغاية. لقد خفضوا أسعارهم بسرعة كبيرة.

النتيجة: لقد تنازلوا عن كل أرباحهم. كانوا مثل بائع يقول: "حسنًا، سأبيعها مقابل دولار واحد!" فقط ليكون ودودًا. لقد أبرموا صفقات أقل وحققوا مالاً أقل.

مفاجأة "فئة السعر":
كانت نماذج الذكاء الاصطناعي الأكثر ذكاءً ثابتة في أدائها. سواء كانوا يتفاوضون على لعبة بقيمة 20 دولارًا أو كمبيوتر محمول بقيمة 2000 دولار، فقد لعبوا نفس اللعبة الذكية. أما النماذج الأضعف، فقد نجحت فقط عندما كان المنتج غالي الثمن وكان هناك "فجوة" كبيرة بين أسعار المشتري والبائع (منطقة اتفاق واسعة). وعندما كانت الفجوة صغيرة، ارتبكت النماذج الضعيفة وارتكبت أخطاءً.

4. تجربة التدريب: تعليم ذكاء اصطناعي أصغر

حاول الباحثون بعد ذلك تعليم نموذج ذكاء اصطناعي أصغر ومفتوح المصدر (Qwen) ليكون مفاوضًا محترفًا. استخدموا طريقة تدريب من خطوتين:

الخطوة 1: مرحلة "المحاكاة" (SFT): عرضوا على الذكاء الاصطناعي آلاف الأمثلة على المفاوضات الجيدة.
- النتيجة: تعلم الذكاء الاصطناعي أن يكون انتقائيًا. توقف عن إبرام الصفقات السيئة وبدأ يتمسك بأسعار أفضل. لكنه أصبح متشددًا للغاية وانسحب من الكثير من الصفقات الجيدة.
الخطوة 2: مرحلة "التعزيز" (RL): تركوا الذكاء الاصطناعي يلعب ضد خصم قوي ومنحوه نقاطًا لإتمام الصفقات.
- النتيجة: تعلم الذكاء الاصطناعي إتمام الصفقة. توقف عن الانسحاب. ولكن، في اندفاعه لإتمام الصفقة، نسي أن يتمسك بسعر جيد وبدأ في قبول صفقات سيئة مرة أخرى.

الدرس الكبير: كانتا الخطوتان التدريبيتان تسحبان الذكاء الاصطناعي في اتجاهين متعاكسين. إحداهما علمته أن يكون صاحب متجر انتقائي، والأخرى علمته أن يكون بائعًا يائسًا. النتيجة النهائية كانت مزيجًا ليس أفضل بكثير من الذكاء الاصطناعي غير المدرب.

الخلاصة

تظهر هذه الورقة أن الذكاء الاصطناعي لكي يكون "وكيلًا" حقيقيًا (عاملًا يقوم بالمهام)، فإنه يحتاج إلى أكثر من مجرد مهارات محادثة جيدة. إنه يحتاج إلى الانضباط.

المفاوضة الذكية ليست عن كونك لطيفًا؛ بل تتعلق بمعرفة حدودك، والبدء بسعر عالٍ، والتراجع ببطء.
تدريب الذكاء الاصطناعي أمر صعب: إذا كافأتَه فقط على "إتمام الصفقة"، فسوف يغش نفسه. وإذا كافأتَه فقط على "كونه انتقائيًا"، فسوف يفوت الفرص. أنت بحاجة إلى توازن دقيق جدًا لتعليمه أن يكون عقلانيًا وفعالًا في آن واحد.

باخت-الاختصار، أفضل مفاوضي الذكاء الاصطناعي ليسوا أولئك الذين يتحدثون كثيرًا؛ بل هم أولئك الذين يعرفون تمامًا متى يقولون "نعم"، ومتى يقولون "لا"، وكيف يتمسكون بموقفهم دون خسارة البيعة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تدريب النماذج اللغوية على التجارة الثنائية في ظل المعلومات الخاصة".

1. بيان المشكلة

تتناول الورقة تحدي نشر النماذج اللغوية الكبيرة (LLMs) كوكلاء مستقلين في المساومة الثنائية تحت ظروف المعلومات الناقصة. في هذا الإطار الاقتصادي، يجب على المشتري والبائع، حيث يمتلك كل منهما سعر احتياطي خاص (الحد الأقصى الذي سيدفعه المشتري أو الحد الأدنى الذي سيقبله البائع)، التفاوض لتحديد ما إذا كانت هناك تجارة ذات منفعة متبادلة وبأي سعر.

هناك قصوران حرجان يمنعان الاستخدام المباشر للنماذج اللغوية العامة لهذه المهمة:

الإخفاقات السلوكية المنهجية: غالبًا ما تفشل النماذج اللغوية الكبيرة سابقة التدريب في احترام القيود الرقمية الصارمة (مثل قبول صفقات تؤدي إلى منفعة سالبة) وتفتقر إلى التفكير الاستراتيجي لتعظيم الفائض أو الانسحاب من سيناريوهات عدم وجود مكاسب. أهداف التدريب المسبق الخاصة بها (الطلاقة، والموافقة، واللطف) تتعارض مع متطلبات التفاوض الاستراتيجي.
مشكلة القياس: في الحوار الحر، يستحيل التمييز تلقائيًا بين عرض ملزم، أو عبارة افتراضية، أو مرجع للسوق. وهذا يمنع التقييم التلقائي للمنافع، ومعدلات التنازل، وإتمام الصفقات على نطاق واسع.

2. المنهجية

يقترح المؤلفون بيئة محاكاة مهيكلة قائمة على الأحداث ومسار تدريب يتكون من مرحلتين لمعالجة هذه القيود.

أ. بيئة المساومة المهيكلة

نظام الوكيل: تتفاعل النماذج اللغوية عبر استدعاءات أدوات مهيكلة (مثل تقديم عرض ، الرد على عرض ، إرسال رسالة ، إنهاء التفاوض) بدلاً من النصوص الحرة. هذا يفصل الأفعال الملزمة عن التواصل باللغة الطبيعية، مما يتيح تتبع مسارات التفاوض القابلة للتحليل آليًا.
ميكانيكا اللعبة:
- المعلومات الخاصة: يعرف الوكلاء أسعار الاحتياط الخاصة بهم ( $b$ للمشتري، $s$ للبائع) ولكن لا يعرفون سعر الخصم.
- السيناريوهات: يولد النظام سيناريوهات "المكاسب من التجارة" (GFT) حيث ( $b \ge s$ ) وسيناريوهات "عدم وجود مكاسب من التجادة" (NGFT) حيث ( $b < s$ ).
- البروتوكول: عروض متبادلة بحد أقصى 10 جولات.
إطار تقييم ثلاثي الأبعاد:
1. العقلانية الفردية (IR): هل يتجنب الوكيل الصفقات التي تحقق منفعة سالبة؟ (يُقاس بمعدلات الانتهاك).
2. الفعالية الاستراتيجية: مقدار الفائض الذي يستحوذ عليه الوكيل؟ (يُقاس بحصة الفائض).
3. الكفاءة التخصيصية: هل يحقق الزوج المكاسب المتاحة؟ (يُقاس بمعدل إتمام الصفقة).
تفكيك فئات الأسعار: يتم تفصيل المقاييس حسب خمسيات قيمة السلعة لاختبار ما إذا كانت النماذج تحافظ على أداء ثابت عبر نطاقات الأسعار المختلفة.

ب. بروتوكول الاختبار المعياري

المشاركون: خمسة نماذج رائدة (DeepSeek-V3, Gemini-2.5-Flash/Pro, GPT-4.1, o3).
التصميم: بطولة بنظام الدوري حيث يلعب كل نموذج كمشتري وبائع ضد كل نموذج آخر (بما في ذلك نفسه)، بإجمالي 15,000 عملية تفاوض.

ج. مسار التدريب للنماذج مفتوحة الأوزان

يقوم المؤلفون بضبط نماذج Qwen3 (بمعلمات 8B و 14B) باستخدام نهج مرحلتين:

الضبط الدقيق الخاضع للإشراف (SFT): التدريب على مسارات اصطناعية ناتجة عن اللعب الذاتي لنموذج DeepSeek-R1. تركز هذه المرحلة على محاكاة السلوك لتعلم الامتثال للبروتوكول واستراتيجيات العرض المعقولة.
التعلم التعزيزي (RL): استخدام تحسين السياسة النسبي للمجموعات (GRPO) ضد خصم ثابت من النماذج الرائدة (GPT-4.1).
- هيكل المكافأة: مكافأة مركبة ( $R$ ) تجمع بين نجاح التحليل، ونجاح التنفيذ، والاتساق السلوكي، والمنفعة (حصة الفائض).
- التحدي: يخلق هيكل المكافأة توترًا حيث تؤدي عمليات الانسحاب العقلاني والقبولات غير العقلانية على حد سواء إلى منفعة صفرية، مما يحيز النموذج نحو إتمام الصفقات.

3. المساهمات الرئيسية

البيئة المهيكلة والاختبار المعياري: أول إطار عمل يفصل العروض الملزمة عن اللغة الطبيعية في التفاوض باستخدام النماذج اللغوية، مما يسمح بتقييم تلقائي واسع النطاق للعقلانية الفردية، والاستراتيجية، والكفاءة.
نتائج الاختبار المعياري المنهجية:
- الارتكاز الهجومي + التنازل المدروس: الاستراتيجية الأكثر فعالية تتضمن البدء بمرتكز عالٍ (أعلى بكثير من التكلفة) ثم التنازل استراتيجيًا لإتمام الصفقات. يسمح هذا بـ "التمييز السعري" من خلال العروض المتسلسلة.
- خطر المواءمة: الاستراتيجيات "المساعدة" أو الموائمة (التنازلات السريعة) تؤدي إلى أدنى حصة من الفائض وأدنى معدلات إتمام الصفقات، خاصة بالنسبة للمشترين.
- الكفاءة الاستراتيجية = الاتساق: النماذج رفيعة المستوى (o3, Gemini-2.5-Pro) تحافظ على حصة فائض متسقة عبر جميع فئات الأسعار، بينما تؤدي النماذج الأضعف أداءً جيدًا فقط في السلع عالية القيمة حيث تخفي مناطق "إمكانية الاتفاق الممكنة" (ZOPA) الأخطاء الاستراتيجية.
تشخيص التوتر بين SFT و RL: تكشف تجارب التدريب عن صراع جوهري:
- SFT يعلم النموذج "الانتظار للحصول على شروط جيدة"، مما يضاعف حصة الفائض ولكنه يقلل معدلات إتمام الصفقات.
- RL يعلم النموذج "إتمام الصفقة"، مما يستعيد معدلات إتمام الصفقات ولكنه يؤدي إلى تآكل مكاسب الفائض التي تعلمها أثناء SFT.
- ينبع هذا التوتر من هيكل مكافأة يفشل في التمييز بين الانسحاب العقلاني والقبولات غير العقلانية.

4. النتائج الرئيسية

نتائج الاختبار المعياري (النماذج الرائدة)

الأداء الأعلى: يهيمن o3 و Gemini-2.5-Pro، حيث يحققان أعلى حصة فائض وأعلى معدلات إتمام صفقات في آن واحد.
الدوافع السلوكية:
- يقوم o3 بالارتكاز عند $3.04\times$ تكلفتة (مقابل $1.97-2.14\times$ للنماذج الأخرى) ويتنازل بمعدل أعلى كبائع، مما ينجح في استخراج الفائض مع إتمام الصفقات.
- Gemini-2.5-Flash (كمشتري) يؤدي بشكل سيئ، حيث يتنازل بسرعة كبيرة (معدل تنازل 0.67)، مما يؤدي إلى أدنى حصة فائض (24.3%) وأدنى معدل إتمام صفقات (86.4%).
اتساق فئات الأسعار: تظهر النماذج القوية تباينًا ضئيلًا في حصة الفائض عبر خمسيات الأسعار (فرق 4-6 نقاط مئوية)، بينما تظهر النماذج الضعيفة تباينات كبيرة (تصل إلى 13 نقطة مئوية)، مما يشير إلى اعتمادها على مناطق ZOPA الواسعة بدلاً من المهارة الاستراتيجية.

نتائج التدريب (Qwen3 8B/14B)

تأثير SFT: يضاعف حصة الفائض (على سبيل المثال، من ~22% إلى ~40% لمشتري 8B) ولكنه يخفض معدلات إتمام الصفقات بشكل كبير (على سبيل المثال، ينخفض معدل إتمام صفقات بائع 14B من 97% إلى 49%).
تأثير RL: يستعيد معدلات إتمام الصفقات إلى المستويات الأساسية تقريبًا ولكنه يؤدي إلى تآكل مكاسب الفائض، معيدًا الأداء إلى المستويات الأساسية.
التعميم: ينجح SFT في غرس استراتيجيات تناسبية. يقلل الفارق المضغوط في حصة الفائض عبر فئات الأسعار (من 15-25 نقطة مئوية إلى 7-9 نقاط مئوية) من التعميم إلى خصوم غير مرئيين (o3-mini)، مما يشير إلى أن النموذج تعلم مبدأً استراتيجيًا وليس مجرد حفظ أسعار محددة.
الهشاشة: يؤدي التدريب بـ RL ضد خصم واحد (GPT-4.1) إلى زيادة انتهاكات العقلانية الفردية (IR) عند مواجهة خصوم غير مرئيين (على سبيل المثال، يقفز معدل انتهاك بائع 8B إلى 6.5% ضد o3-mini).

5. الأهمية والتوجهات المستقبلية

الرؤية النظرية: توضح الورقة أن التفاوض الفعال للنماذج اللغوية يتطلب توازنًا بين العقلانية الفردية (الالتزام بالقيود) والفعالية الاستراتيجية (تعظيم الفائض)، وهو ما تفتقر إليه النماذج الحالية المدربة مسبقًا.
الآثار المترتبة على التدريب: تسلط الضلأ الضوء على خلل تصميمي حرج في خطوط أنابيب RLHF الحالية للتفاوض: غياب العقوبات الصريحة على القبولات غير العقلانية يخلق "تحيزًا لإتمام الصفقة" يقوض الانتقائية الاستراتيجية.
العمل المستقبلي: يقترح المؤلفون:
- عقوبات صريحة للـ IR في دوال المكافأة.
- التدريب ضد مجموعات متنوعة من الخصوم لمنع الإفراط في التخصيص (Overfitting).
- مناهج مكافآت متعددة المراحل تفرض الامتثال للقيود قبل تحسين الفائض.
- توسيع الإطار ليشمل التفاوض متعدد القضايا ومتعدد الأطراف.

يؤسس هذا العمل للمساومة الثنائية كاختبار صارم لتقييم وتدريب الوكلاء المستقلين القائمين على النماذج اللغوية، متجاوزًا التقييمات النوعية إلى مقاييس آلية دقيقة للعقلانية الاقتصادية والقدرة الاستراتيجية.