Persona Conditioning of Brand Recommendations in Retrieval-Augmented Commercial Chat: A Prominence-Stratified Cross-Provider Audit

ملخص تقني: تكييف الشخصية (Persona Conditioning) في توصيات العلامات التجارية ضمن الدردشة التجارية المدعومة بالاسترجاع (RAG)

بيان المشكلة
تتناول الورقة فجوة حرجة في فهم كيفية تعامل النماذج اللغوية الكبيرة (LLMs) مع التوصيات التجارية في واجهات الدردشة المدعومة بالاسترجاع. بينما أرست الأدبيات الحالية حقيقة أن تكييف الشخصية يؤثر على الدقة الواقعية والمهام ذات الصيغة المغلقة، إلا أن تأثير ذلك على مجموعات التوصيات التجارية مفتوحة النهايات لا يزال غير مقاس كمياً. السؤال الجوهري هو تجريبي: إلى أي مدى تتغير مجموعة التوصيات عندما يتغير فقط "شخصية المستخدم" (على سبيل المثال، "مؤسس يعمل بمفرده" مقابل "نائب رئيس مؤسسة")، مع ثبات نص المطالبة (prompt string)، ودرجة الحرارة (temperature)، وقالب النظام؟ يفترض المؤلفون أنه إذا كان التأثير كبيراً، فإن التوصيات التجارية للذكاء الاصطناعي تصبح فعلياً مجزأة بناءً على الشخصية (persona-segmented)، مما يجعل استراتيجيات "أفضل [فئة]" الموحدة غير كافية.

المنهجية
تستخدم الدراسة تصميم تدقيق عبر المزودين، حيث تم أخذ عينات من 2,000 عملية تشغيل عبر مساحة تصميم محكومة:

• مساحة التصميم: 10 شخصيات مختارة يدوياً (تشمل الصناعة، حجم الشركة، الدور الوظيفي، والجغرافيا) × 8 مطالبات ذات إطار تجاري × 3 تكوينات للنماذج.
• خلايا النماذج:
  • OpenAI gpt-5.4-mini (جهد استدلال منخفض)
  • OpenAI gpt-5.4-mini (جهد استدلال مرتفع)
  • Anthropic claude-sonnet-4-6 (جهد استدلال منخفض)
  • ملاحظة: استخدمت خلية Anthropic 4 مطالبات فقط من أصل 8 مستخدمة في خلايا OpenAI بسبب قيود التحميل.
• التنفيذ: تم تشغيل كل ورقة (شخصية × مطالبة × خلية) لـ $N=10$ مرات.
• استخراج الإجماع: تم استخراج ذكر العلامات التجارية بواسطة قاضيين من النماذج اللغوية الكبيرة (claude-haiku-4-5 و gpt-5-mini). تُحتسب العلامة التجارية كتوصية فقط إذا اتفق كلا القاضيين (وضع التقاطع/intersection mode) على تشغيل محدد. مجموعة الإجماع لكل ورقة هي اتحاد العلامات التجارية عبر الـ 10 عمليات إعادة تشغيل الخاصة بها.
• المقاييس:
  • جاكار (Jaccard) داخل الشخصية: استقرار مجموعة التوصيات لشخصية واحدة عبر عمليات إعادة التشغيل.
  • جاكار (Jaccard) عبر الشخصيات: التشابه بين مجموعات التوصيات لشخصيتين مختلفتين (مع تثبيت المطالبة والخلية).
  • تأثير تحول الشخصية ($\Delta$): يُحسب كـ $Cross\text{-}Persona\ Jaccard - Within\text{-}Persona\ Jaccard$. تشير قيمة $\Delta$ السالبة إلى تأثير شخصية أكبر (أي مزيد من استبدال العلامات التجارية عند تغيير الشخصية).
  • تصنيف البروز (Prominence Stratification): تم تفكيك التأثيرات حسب مستويات بروز العلامة التجارية (L1: قادة الفئة إلى L5: اللاعبون الإقليميون).
• الدقة الإحصائية: يتم الإبلاغ عن أحجام التأثير مع فترات ثقة بوتستراب (bootstrap confidence intervals) بنسبة 95% مجمعة حسب المطالبة (1,000 تكرار). ترتكز الدراسة في نتائجها مقابل خط أساس استقرار إعادة التشغيل داخل الخلية (0.50–0.61) الذي وضعه العمل السابق (Jack [3]) لضمان أن تأثير الشخصية يتجاوز الضجيج غير المحدد.

النتائج الرئيسية

1. تحول كبير في الشخصية: عبر جميع خلايا النماذج الثلاثة، يؤدي تغيير الشخصية إلى تغيير مجموعة التوصيات بشكل كبير. يتراوح حجم التأثير $\Delta$ بين −0.12 و −0.20. جميع فترات الثقة المجمعة بنسبة 95% تستبعد الصفر، مما يؤكد أن الإشارة متميزة إحصائياً عن الضجيج.
   • OpenAI gpt-5.4-mini / منخفض: $\Delta = -0.12$
   • OpenAI gpt-5.4-mini / مرتفع: $\Delta = -0.16$
   • Anthropic sonnet-4-6 / منخفض: $\Delta = -0.20$
2. التفاعل المصنف حسب البروز: تأثير الشخصية ليس موحداً؛ بل هو مصنف بحدة حسب بروز العلامة التجارية:
   • L1 (قادة الفئة): مقاومة عالية لتغير الشخصية (معدلات الاستبدال 0.20–0.29). توصي النماذج بنفس العلامات التجارية الرائدة (مثل Salesforce، HubSpot) بغض النظر عن الشخصية.
   • L2 (المتحدون الراسخون): إشارة مختلطة. تظهر خلايا OpenAI معدلات استبدال منخفضة (0.05–0.13)، بينما تظهر Anthropic معدلات أعلى (0.23).
   • L3 (السوق المتوسطة): نقطة الانقلاب حيث يصل تأثير الشخصية إلى ذروته. تصل معدلات الاستبدال إلى 0.75 في OpenAI (جهد مرتفع) و 0.67 في (جهد منخفض). يشير هذا إلى أن علامات السوق المتوسطة حساسة للغاية لسياق المشتري.
   • L4 (الذيل الطويل): لم يتم أخذ عينات كافية بسبب انخفاض معدلات الظهور؛ لم يتم الإبلاغ عن تقديرات نقطية.
   • L5 (الإقليميون): تأثير متوسط (0.27–0.33)، مدفوع بشكل أساسي بالبوابات الجغرافية الميكانيكية (على سبيل المثال، شخصيات المملكة المتحدة ترى علامات تجارية خاصة بالمملكة المتحدة).
3. تباين المزودين: تظهر خلية Anthropic sonnet-4-6 / منخفض تأثيراً أكبر في تقدير النقطة ($\Delta = -0.20$) من تكوينات OpenAI. وبينما تتداخل فترات الثقة بين sonnet و gpt-5.4-mini / مرتفع، فإن التباين بين sonnet و low يمكن تمييزه بالكاد. يشير المؤلفون إلى أن هذا يتناقض مع الفرضية السابقة بأن النماذج "الأقوى" هي الأكثر حتمية، مما يوحي بدلاً من ذلك بأن النماذج التي تعتمد أكثر على الأوليات (priors) الموجودة في بيانات التدريب (مثل Anthropic، وفقاً لـ Jack [2]) قد تكون أكثر استجابة لسياق الشخصية من النماذج الموجهة بالاسترجاع.
4. تباين هيئة الشخصية: الشخصيات "الحادة" (مثل أدوار محددة مثل "مشغل تجارة إلكترونية في الولايات المتحدة") تحقق استقراراً عالياً داخل الشخصية (Jaccard $\ge$ 0.55)، بينما الشخصيات "العامة" (مثل "مدير مالي في أوروبا") تحقق استقراراً أقل (Jaccard $\le$ 0.39)، مما يشير إلى أن تحديد الشخصية يحدد تركيز مجموعة التوصيات.

الأهمية والادعاءات
تدعي الورقة أن التوصية التجارية بالذكاء الاصطناعي ليست محايدة تجاه الشخصية. إن حجم تحول الشخصية ($\Delta \approx 0.12\text{--}0.20$) يضاهي الفرق في مجموعات التوصيات بين مزودي الذاء الاصطناعي المختلفين (Jack [2]) ويتجاوز مستوى ضجيج عمليات إعادة تشغيل النموذج.

• الآثار الاستراتيجية: إن صفحة التمركز كـ "أفضل [فئة]" واحدة هي استراتيجية غير كافية للعلامات التجارية. ولأن مجموعة التوصيات تتغير مادياً بناءً على هوية السائل، يجب أن يعكس تحسين العلامة التجارية هذا التجزؤ، خاصة بالنسبة لعلامات السوق المتوسطة L3 حيث يكون تأثير الشخصية في أقصى درجاته.
• فرضية الآلية: يقترح المؤلفون أن تأثير الشخصية الأكبر في خلية Anthropic يتوافق مع آلية تعمل فيها سمات الشخصية بقوة أكبر على التوليد المدفوع بالأوليات (الارتباطات في بيانات التدريب) مقارنة بـ التوليد المدفوع بالاسترجاع. يميل الاسترجاع إلى تثبيت التوصيات على العلامات التجارية الموثوقة بغض النظر عن السياق، بينما تسمح الأوليات للنموذج بدمج سمات نمط المستخدم بسلاسة أكبر.
• القيود: يذكر المؤلفون صراحة أنهم لا يدعون وجود دليل سببي لآلية (الأوليات مقابل الاسترجاع)، لأنهم يفتقرون إلى القياس المشترك أثناء التشغيل لنسب الاسترجاع وحركة الشخصية. كما يشيرون إلى أن نتائج L4 غير حاسمة بسبب نقص العينات، وأن الدراسة تقتقت بكونها مقاسة في يوم واحد وباللغة الإنجليزية فقط.

في الختام، تثبت الورقة أن تكييف الشخصية هو متغير جوهري وقابل للقياس في الدردشة التجارية، مع تركز التأثيرات في فئة السوق المتوسطة، مما يستوجي تحولاً في كيفية نهج العلامات التجارية للاكتشاف والتمركز المدعوم بالذكاء الاصطناعي.