💬 NLP

Distilling Bayesian Belief States into Language Models for Auditable Negotiation

تقدم الورقة البحثية إطار عمل BOND، الذي يقوم بتقطير استنتاج المعلم البايزي القائم على النماذج اللغوية الكبيرة (LLM) لمعتقدات الخصم الصريح إلى نموذج طالب أصغر بحجم 8 مليارات بارامتر، محققاً أداءً متفوقاً في التفاوض وتتبعاً قابلاً للتدقيق للمعتقدات مقارنة بالنماذج المرجعية الرائدة.

المؤلفون الأصليون: Zongqi Cui, Baihan Lin

نُشر 2026-05-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zongqi Cui, Baihan Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مباراة بوكر عالية المخاطر. ترى لاعباً يقوم بحركة ما، لكن ليس لديك أدنى فكرة عن سبب قيامه بها. هل قام بالمخادعة لأنه ظن أنك ضعيف؟ أم أنه انسحب لأنه عرف أن يده خاسرة؟ أو هل كان مجرد تخمين؟

في عالم التفاوض باستخدام الذكاء الاصطناعي، تشبه النماذج اللغوية الكبيرة (LLMs) لاعبي البوكر هؤلاء. يمكنها التحدث وإبرام الصفقات بطلاقة شديدة، لكن "عملية التفكير" لديها مخفية داخل صندوق أسود. لا يمكننا رؤية ما تعتقده بشأن أولويات الطرف الآخر، مما يجعل من الصعب الوثوق بقراراتها أو تصحيح أخطائها.

يقدم هذا البحث نظاماً جديداً يسمى BOND (تقطير معتقدات الخصم البايزي في التفاوض) لحل هذه المشكلة. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: المفاوض "الصندوق الأسود"

المفاوضون الحاليون بالذكاء الاصطناعي يشبهون السحرة. يخرجون أرنباً من القبعة (يعقدون صفقة)، لكنك لا تستطيع رؤية الأرنب أو القبعة. إذا قال لك الذكاء الاصطناعي: "سأعطيك حطب الوقود"، فأنت لا تعرف ما إذا كان يعتقد أنك تحب حطب الوقود، أم أنه يكرر فقط ما سمعه من قبل. هذا يجعل الذكاء الاصطناعي "غير قابل للتدقيق" — لا يمكنك التحقق من حساباته.

2. الحل: فريق "المعلم والطالب"

ابتكر المؤلفون نظاماً من جزئين لجعل تفكير الذكاء الاصطناعي مرئياً.

المعلم (عالم الرياضيات): هذا ذكاء اصطناعي ذكي يعمل كالمحقق. يستمع إلى المحادثة ويسأل: "بناءً على ما قاله الشخص الآخر، ما هو احتمال أن يكون اهتمامه الأكبر بالطعام، أو الماء، أو حطب الوقود؟"
- بدلاً من مجرد التخمين، يستخدم المعلم طريقة رياضية (الاستدلال البايزي) لتحديث معتقداته بعد كل جملة. إنه يحتفظ بسجل نقاط جارٍ للاحتمالات الستة الممكنة لكيفية ترتيب الشخص الآخر لأولوياته.
- النتيجة: المعلم يعرف بالضبط ما يعتقده عن رغبات الخصم، ويمكنه أن يريك سجل النقاط هذا.
الطالب (الممثل): المعلم بارع في الرياضيات ولكنه بطيء ومكلف في التشغيل. لذا، قام المؤلفون بـ "تقطير" (ضغط) عقل المعلم في ذكاء اصطناعي أصغر وأسرع يسمى الطالب.
- يتعلم الطالب التصرف مثل المعلم. ولكن هنا تكمن الخدعة السحرية: عندما يتحدث الطالب، فإنه لا يقول فقط "أنا أقبل عرضك"، بل يهمس أيضاً بسجل نقاطه الداخلي للعالم.
- إنه يخرج وسماً مثل: <posterior> أنا متأكد بنسبة 80% أنك تريد الماء، و15% حطب وقود، و5% طعام </posterior>.
- هذا يجعل حالة معتقدات الذكاء الاصطناعي قابلة للتدقيق. يمكنك رؤية ما كان يعتقده بالضبط قبل أن يتصرف.

3. التجربة: لعبة التخييم

لاختبار ذلك، استخدموا مجموعة بيانات تسمى CaSiNo، والتي تحاكي شخصين يتفاوضان على موقع تخييم. عليهما تقسيم ثلاثة عناصر: الطعام، والماء، وحطب الوقود.

كل شخص لديه قائمة أولويات سرية (على سبيل المثال: "أنا أحتاج الماء أولاً، ثم حطب الوقود، ثم الطعام").
مهمة الذكاء الاصطناعي هي اكتشاف قائمة الأولويات السرية للطرف الآخر وإبرام صفقة عادلة.

4. النتائج: الأصغر هو الأفضل للشفافية

وجد البحث أشياء مفاجئة:

المعلم كان جيداً جداً في تخمين أولويات الخصم (درجة "براير" (Brier score) بلغت 0.085، وهي منخفضة جداً وجيدة).
الطالب (النموذج الأصغر والأسرع) تعلم نسخ تفكير المعلم بشكل جيد جداً. حقق درجة قدرها 0.114.
المنافس الكبير: قارنوا هذا بنموذج ذكاء اصطناعي ضخم يحتوي على 70 مليار معلمة (الأساس 70B). بينما كان الذكاء الاصطناعي الضخم أفضل قليلاً في إبرام الصفقة الصحيحة النهائية، إلا أنه كان سيئاً جداً في شرح لماذا. كانت تخميناته الداخلية مشوشة وغير معايرة (درجة 0.194).
الخلاصة: الطالب (بـ 8 مليارات معلمة) هو الفائز من حيث الشفافية. فهو صغير بما يكفي للتشغيل بسهولة، ولكنه ذكي بما يكفي لإظهار "آلية عمله" بوضوح.

5. المأخذ: "الهمس" مقابل "الفعل"

وجد البحث أيضاً خللاً صغيراً. بينما برع الطالب في الإبلاغ عما يعتقده، فإنه لا يتصرف دائماً بناءً على تلك المعتقدات.

تخيل طالباً يرفع يده للإجابة على سؤال بشكل صحيح (المعتقد) ولكنه يكتب الإجابة الخاطئة في الاختبار (الفعل).
وجد المؤلفون أن الذكاء الاصطناعي تعلم "الهمس" بمعتقداته بدقة، لكن العلاقة بين هذا الهمس وقراره النهائي كانت ضعيفة أحياناً. الأمر يشبه تعلم الذكاء الاصطناعي ملء تقرير الدرجات بشكل مثالي، ولكنه ينسى أحياناً استخدام ذلك التقرير لتوجيه خطوته التالية.

الملخص

BOND هو إطار عمل يجبر المفاوض من الذكاء الاصطناعي على إظهار خطوات حله. بدلاً من مجرد إعطائك صفقة، فإنه يخبرك: "أنا أعتقد أنك تريد (س)، لذا أنا أعرض عليك (ص)".

لماذا يهم هذا: إنه يحول الذكاء الاصطناعي "الصندوق الأسود" الغامض إلى شريك شفاف حيث يمكنك رؤية معتقداته، والتحقق مما إذا كانت خاطئة، وفهم سبب ارتكابه للخطأ.
الحدود: يعترف البحث بأنه بينما أصبح الذكاء الاصطناعي شفافاً الآن، إلا أنه لم يتقن تماماً فن استخدام تلك المعتقدات لاتخاذ قرارات مثالية بعد. إنها خطوة نحو ذكاء اصطناعي "قابل للتدقيق"، حيث يمكننا الوثوق بالنظام لأننا نرى منطقه، وليس فقط نتائجه.

ملخص تقني: تقطير حالات الاعتقاد البايزي إلى النماذج اللغوية من أجل تفاوض قابل للتدقيق

بيان المشكلة

تتطلب وكلاء التفاوض القدرة على استنتاج القيم الخفية للخصم، وتحديث هذه الاعتقادات عبر جولات الحوار، واختيار الإجراءات في ظل عدم اليقين. وبينما يمكن للنماذج اللغوية الكبيرة (LLMs) النهائية (end-to-end) توليد حوار تفاوضي سلس، فإن تمثيلاتها الداخلية لاعتقادات الخصم تكون عادةً ضمنية وغامضة. هذا النقص في الشفافية يجعل من الصعب التمييز ما إذا كان إجراء الوكيل نابعاً من نموذج مستقر ومُحدث للخصم أم من مجرد محاكاة سطحية للحوار. وعلى العكس من ذلك، توفر النماذج المعرفية البايزية التقليدية احتمالات سابقة (priors)، ودوال إمكان (likelihoods)، واحتمالات لاحقة (posteriors) صريحة، لكنها غالباً ما تعتمد على دوال إمكان مصممة يدوياً لا يمكنها التوسع لتشمل لغة التفاوض الاستراتيجية ذات الصيغ الحرة. ويكمن التحدي الجوهري في الجمع بين المرونة اللغوية للنماذج اللغوية الكبيرة وقابلية التفسير للاستدلال البايزي لإنشاء وكيل تفاوض فعال وقابل للتدقيق في آن واحد.

المنهجية: إطار عمل BOND

يقترح المؤلفون إطار عمل BOND (تقطير تفاوض اعتقاد الخصم البايزي)، وهو إطار عمل معياري يفصل بين تفسير اللغة، ومراجعة الاعتقاد، واختيار الإجراء. يعمل النظام في نطاق تفاوض CaSiNo، حيث يتفاوض مشاركان على ثلاثة عناصر (طعام، ماء، حطب) مع ترتيب أولويات خاص لكل منهما. فضاء الفرضيات يتكون من ستة ترتيبات محتملة للأولويات ( $\Theta$ ، حيث $|\Theta|=6$ ).

1. المعلم البايزي (The Bayesian Teacher)

يعمل وكيل المعلم كـ "مقدر للإمكان" بدلاً من كونه سياسة "الصندوق الأسود". تتضمن بنيته أربع مراحل:

تسجيل اللغة (Language Scoring): يقوم نموذج لغوي كبير (Llama-3.1-8B-Instruct مع LoRA) بتسجيل مدى توافق سياق الحوار الملحوظ مع كل واحد من ترتيبات أولويات الخصم الستة المرشحة. تعمل هذه الدرجات كإشارات تشبه دالة الإمكان.
التحديث البايزي (Bayesian Update): يقوم وحدة بايزية بتحويل هذه الدرجات إلى توزيع لاحق عبر ترتيبات الأولويات الست باستخدام الصيغة:
$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$
حيث تمثل $\tilde{L}_t$ درجة الإمكان المعدلة بواسطة درجة الحرارة والمقصوصة (clipped). الاحتمال السابق يكون موحداً في البداية.
تسجيل القائمة (Menu Scoring): يقوم الوكيل بحصر التخصيصات الممكنة وتسجيلها بناءً على المنفعة الخاصة به والمنفعة المتوقعة للخصم، مع حساب الهامش (marginalized) عبر التوزيع اللاحق.
القرار (Decision): يختار الوكيل إجراءً (قبول، رفض، عرض مضاد، إلخ) بناءً على درجات القائمة.

2. التقطير إلى الطالب (Distillation to the Student)

يقوم المؤلفون بتقطير المعلم البايزي إلى نموذج طالب بحجم 8B. وبخلاف الوكلاء التقليديين الذين يعملون من البداية إلى النهاية، يتم تدريب النموذج الطالب على إصدار مخرجات مهيكلة وموسومة تتضمن:

<posterior>: توزيع احتمالي موحد على ترتيبات أولويات الخصم الست.
<selected_intent>: الإجراء المختار (مثل: تقديم، قبول، رفض).
<selected_content>: التخصيص المحدد إذا كان قابلاً للتطبيق.
<utterance>: الرد باللغة الطبيعية.

هذا التصميم يُخرج حالة الاعتقاد (externalizes the belief state)، مما يسمح بتسجيلها وفحصها في كل دور.

3. بروتوكول التقييم

يتم تقييم النظام على مجموعة محجوزة من 150 حواراً من CaSiNo (1,054 تنبؤاً على مستوى الدور). تشمل المقاييس الرئيسية:

درجة برير للاحتمال اللاحق (Posterior Brier Score): تقيس معايرة توزيع الاحتمالات المتوقع مقابل ترتيب أولويات الخصم الحقيقي.
تنبؤ القبول (F1): دقة قرارات القبول/الرفض.
تشابه العرض (Bid Similarity): تشابه جيب التمام (Cosine similarity) بين التخصيصات المتوقعة والبشرية.
تشخيصات التدقيق (Auditability Diagnostics): تفكيك الأخطاء إلى "أخطاء الاعتقاد" (الاعتقاد الخاطئ) مقابل "أخطاء السياسة" (الإجراء الخاطئ بالرغم من الاعتقاد الصحيح)، والتدخلات حيث يتم استبدال وسم الاحتمال اللاحق قسراً.

النتائج الرئيسية

معايرة الاحتمال اللاحق والتقطير

أداء المعلم: يحقق المعلم البايزي متوسط درجة برير قدره 0.085 عبر فرضيات أولويات الخصم الست، وهو ما يتفوق بشكل كبير على المرجع الموحد $5/36 \approx 0.139$ .
أداء الطالب: يحافظ الطالب المقطر (8B) على الكثير من هذه الإشارة، محققاً درجة برير قدرها 0.114. وهذا أيضاً أقل بكثير من المرجع الموحد، مما يشير إلى أن الطالب نجح في تعلم إصدار حالات اعتقاد مُعايرة.
المقارنة مع خط الأساس 70B: يحقق خط الأساس 70B ذو سلسلة الأفكى (CoT) المهيكلة نتيجة أعلى في (Accept-F1) (0.947 مقابل 0.908) ولكنه يفشل في توفير احتمال لاحق مُعاير. وعند إجباره على إصدار احتمال لاحق عبر الاتساق الذاتي (self-consistency)، يحقق خط الأساس 70B درجة برير قدرها 0.194، وهي أسوأ من المرجع الموحد وأسوأ بكثير من الطالب 8B.

التدقيق وتفكيك الأخطاء

فصل الأخطاء: يكشف تحليل 181 دور قرار أن أخطاء الاعتقاد وأخطاء الإجراء يمكن فصلهما. على سبيل المثال، كانت هناك 67 دوراً تضمنت الاعتقاد الصحيح (MAP) ولكن بإجراء غير متسق، بينما كانت هناك 27 دوراً تضمنت اعتقاداً خاطئاً ولكن بإجراء متسق مع ذلك الاعتقاد الخاطئ.
حدود التدخل: عندما تم استبدال الوسم اللاحق قسراً بالحقائق الأرضية (تدخل البادئة الصحيحة) أو بقيمة خاطئة (تدخل البادئة المعادية)، تغير إجراء الطالب في 1.5% إلى 1.8% فقط من الحالات. هذا يشير إلى أنه بينما يتعلم الطالب الإبلاغ عن الاعتقادات بدقة، فإن الارتباط السببي بين الاحتمال اللاحق المذكور واختيار الإجراء (تبعية "الاحتمال اللاحق $\leftarrow$ المخطط") أضعف في الطالب المقطر مقارنة بالمعلم.

نتائج دراسة الاستبعاد (Ablation Findings)

السياق الكامل مقابل التزايدي: يعتمد المعلم على تسجيل السياق الكامل للحوار. أما النهج التزايدي (تسجيل آخر عبارة فقط) فقد فشل، حيث أنتج احتمالات لاحقة أسوأ من الموحدة، مما يشير إلى أن آلية الانتباه في النموذج اللغوي الكبير حاسمة لتكامل الأدلة الزمنية.
دور الوسوم (Tags): أدى إزالة وسم الاحتمال اللاحق أثناء التدريب (الطالب الذي يعمل بالعمل فقط - Action-only student) إلى نتائج أفضل قليلاً في مقاييس القرار (Accept-F1 0.921)، مما يؤكد أن القيمة الأساسية لوسم الاحتمال اللاحق هي القابلية للفحص، وليس أداء القرار.

الأهمية والادعاءات

لا يدعي الورقة أن الطالب المقطر هو سياسة التفاوض المتفوقة من حيث النتائج الرابحة؛ في الواقع، يتفوق خط الأساس 70B عليه في مقاييس القرار. بدلاً من ذلك، تكمن أهمية BOND في القابلية للتدقيق:

حالات الاعتقاد الخارجية: نجح إطار العمل في تقطير واجهة اعتقاد صالحة وقابلة للقياس إلى نموذج أصغر. يكشف الطالب عن توزيع احتمالي مُعاير عند كل دور، مما يسمح للباحثين بالتمييز بين إخفاقات "الاعتقاد الخاطئ" وإخفاقات "الاعتقاد الصحيح/الإجراء الخاطئ".
الشفافية فوق الأداء "الصندوق الأسود": يوضح العمل كيف يمكن لنموذج أصغر (8B) أن يكشف عن حالة اعتقاد صالحة تكون أكثر معايرة من نموذج أكبر بكثير (70B) باستخدام التلقين المهيكل.
قيود التقطير الحالية: يشير المؤلفون بتواضع إلى أن التقطير القياسي عبر الضبط الدقيق تحت الإشراف (SFT) ينقل الإبلاغ عن الاعتقادات بشكل أكثر فعالية من نقل الاستخدام السببي لتلك الاعتقادات في اتخاذ القرار. يشير ضعف الارتباط بين الاعتقاد والإجراء في الطالب إلى أن الوكلاء القابلين للتدقيق في المستقبل سيتطلبون فك ترميز مقيد أو خسائر تخطيط مساعدة لضمان أن الإجراءات مشروطة بصرامة بالاعتقادات المُبلغ عنها.

باختصار، يوفر BOND طريقة لجعل نموذج الخصم الخفي للوكيل صريحاً، وقابلاً للتقطير، وقابلاً للقياس، مما يوفر عدسة تشخيصية جديدة لفهم أسباب فشل وكلاء التفاوض وأين تكمن.