Bridging Passive and Active: Enhancing Conversation Starter Recommendation via Active Expression Modeling
تقترح هذه الورقة إطار عمل "الجسر السلبي-النشط" (PA-Bridge)، الذي يستفيد من موازن توزيع تنافسي ومجزئ دلالي لسد الفجوة بين التغذية الراجعة للتوصية السلبية وتعبيرات المستخدم النشطة، وبالتالي التغلب على ندرة البيانات وحلقات التغذية الراجعة لتحسين توصيات بدء المحادثة في عمليات البحث المدفوعة بالنماذج اللغوية الكبيرة بشكل كبير.
تخيل أنك تسير داخل مكتبة ضخمة ومستقبلية. عادةً، عندما تريد البحث عن كتاب، يتعين عليك أن تطلب المساعدة من أمين المكتبة (محرك البحث). ولكن في هذه النسخة الجديدة من المكتبة، أمين المكتبة هو ذكاء اصطناعي يرغب في الدردشة معك. ولبدء المحادثة، يقدم لك أمين المكتبة قائمة من "بدايات المحادثة" — وهي أسئلة مكتوبة مسبقاً مثل "كيف حال الطقس؟" أو "أخبرني بنكتة".
المشكلة: غرفة الصدى تجادل الورقة البحثية بأن النظام الحالي لاختيار هذه البدايات عالق في حلقة سيئة، مثل ببغاء لا يفعل شيئاً سوى تكرار ما سمعه بالفعل.
الطريقة القديمة: ينظر النظام إلى ما "نقر عليه" المستخدمون في الماضي. إذا نقر الجميع على "أخبرني بنكتة"، فسيستمر النظام في اقتراح "أخبرني بنكتة".
الفخ: لأن النظام يقترح فقط الأشياء الشائعة، ينقر المستخدمون فقط على الأشياء الشائعة. النظام لا يتعلم أبداً ما قد يرغب المستخدمون حقاً في سؤاله إذا كان شيئاً غريباً، أو جديداً، أو محدداً. إنه يخلق "غرفة صدى" حيث تُسأل نفس الأسئلة العامة مراراً وتكراراً، ويظل النظام عالقاً في اقتراح نفس الأشياء المملة.
الدليل الخفي: "الإرادة الحرة" للمستخدمين أدرك المؤلفون أن هناك إشارة سرية كانوا يتجاهلونها: الاستعلامات النشطة (Active Queries).
تخيل أنه بينما يقدم لك أمين المكتبة تلك البطاقات المكتوبة مسبقاً، تقوم أحياناً بتجاهلها وتصرخ بسؤالك الخاص، مثل "متى موعد عرض فيلم زوتوبيا القادم؟" أو "كيف أصلح صنبوراً يسرب الماء؟".
هذه الأسئلة المصرُوخة هي "إرادة المستخدم الحرة". فهي تظهر ما يريد الناس حقاً التحدث عنه، وليس فقط ما فرضه عليهم النظام.
المشكلة هي أن النظام مبني للتعامل مع البطاقات المكتوبة مسبقاً (النمط السلبي)، لكن الأسئلة المصرُوخة (النمط النشط) فوضوية، وغير منظمة، ومختلفة تماماً. الأمر يشبه محاولة مقارنة عنصر من قائمة طعام مطبوعة بدقة بملاحظة مكتوبة بخط اليد على منديل ورقي.
الحل: PA-Bridge (المترجم والمصنف) لحل هذه المشكلة، طور الفريق نظاماً جديداً يسمى PA-Bridge. فكر في الأمر كامتلاك أداتين خاصتين لربط "الأسئلة المصرُوخة" بـ "البطاقات المكتوبة مسبقاً".
المترجم (محاذي التوزيع - Distribution Aligner):
التشبيه: تخيل أن لديك شخصين يتحدثان لهجات مختلفة. أحدهما يتحدث "لغة المكتبة الرسمية" (البدايات) والآخر يتحدث "لغة المنديل العامية" (الاستعلامات النشطة). كلاهما يعني نفس الأشياء ولكن يبدو مختلفاً.
كيف يعمل: يستخدم النظام "مترجماً" (ذكاء اصطناعي تنافسي) لإجبار كلا النوعين من الأسئلة على التحدث بنفس اللغة. فهو يزيل الاختلافات في طريقة الكتابة حتى يستطيع النظام فهم أن "متى موعد عرض زوتوبيا 2؟" و"تاريخ إصدار زوتوبيا؟" هما في الواقع نفس القصد.
المصنف (المجزئ الدلالي - Semantic Discretizer):
التشبيه: في مكتبة عادية، لكل كتاب رمز شريطي (Barcode) فريد. يمكنك عد عدد المرات التي تم فيها مسح رمز شريطي معين لمعرفة مدى شعبيته. ولكن مع الأسئلة المصرُوخة، يقول الجميع أشياء مختلفة قليلاً. لا توجد رموز شريطية، بل مجرد تنوعات لا نهائية من "زوتوبيا". لا يمكنك عدها واحداً تلو الآخر.
كيف يعمل: يستخدم النظام "مصنفاً" (RQ-VAE) لتجميع هذه الأسئلة الفوضوية في مجموعات بناءً على معناها. بدلاً من عد كل جملة فريدة، يقوم النظام بعدد المرات التي يسأل فيها الناس عن "زوتوبيا" بشكل عام. هذا يسمح للنظام بمعرفة ما هو شائع دون أن يرتبك من ملايين الاختلافات الطفيفة في كيفية طرح الأسئلة.
النتيجة من خلال استخدام هذا الجسر، توقف النظام عن مجرد تكرار الأسئلة الأكثر شيوعاً ومللاً. وبدأ في اقتراح مجموعة متنوعة من المواضيع التي كان الناس يصرخون بها بالفعل.
الأثر في العالم الحقيقي: عندما اختبروا ذلك على منصتهم الفعلية، بدأ المزيد من المستخدمين في استخدام الميزة (ارتفع معدل اختراق الميزة) وعاد الناس إلى التطبيق بشكل متكرر أكثر (ارتفع عدد الأيام النشطة للمستخدم).
كسر الحلقة: نجح النظام في كسر غرفة الصدى. فقد عرض المستخدمين لـ 30% أكثر من الأسئلة الفريدة وجعلهم ينقرون على 56% أكثر من الأسئلة الفريدة مقارنة بالسابق.
باختأختصار تقول الورقة البحثية: "توقفوا عن مجرد التخمين لما يريده المستخدمون بناءً على ما نقروا عليه بالأمس. استمعوا إلى ما يكتبونه بالفعل اليوم. ولكن للقيام بذلك، تحتاجون إلى مترجم خاص لفهم كتاباتهم الفوضوية ومصنف ذكي لتنظيمها، حتى تتمكنوا من اقتراح بدايات محادثة أفضل وأكثر تنوعاً".
ملخص تقني: سد الفجوة بين التعبيرات السلبية والنشطة عبر نمذجة التعبير النشط
تعريف المشكلة
تتناول الورقة البحثية القيود المفروضة على توصية بدايات المحادثة (Conversation Starter Recommendation) في البحث الحواري القائم على النماذج اللغوية الكبيرة (LLM). تعتمد هذه الأنظمة حاليًا على حلقة مغلقة من "التعرض-النقر-التدريب"، حيث يتم تدريب النماذج حصريًا على تفاعلات المستخدم مع مقترحات البداية المحددة مسبقًا والساكنة (Passive). وتخلق هذه الآلية حلقة تغذية راجعة (Feedback Loop) وغرفة صدى (Echo Chamber) نظامية:
الانحياز نحو الشعبية: يميل النظام إلى التوصية بالبدايات الشائعة والعامة لأن النموذج يتعلم فقط مما تم عرضه سابقًا، مما يؤدي إلى الفشل في التقاط نوايا المستخدم الديناميكية والمفتوحة.
ندرة البيانات وتحول التوزيع: بينما يمكن للمستخدمين كتابة استعلامات نصية حرة (تعبيرات نشطة) لتجاوز القوائم، إلا أن هذه الإشارات يتم تجاهلها في توصية البدايات التقليدية. ويصعب دمجها بسبب:
تحول التوزيع (Distribution Shift): توجد فجوة بين البدايات المهيكلة والمحددة مسبقًا (العالم المغلق) وبين الاستعلامات النشطة غير المهيكلة والعامية (العالم المفتوح).
الطبيعة غير القابلة للتعريف بـ ID: الاستعلامات النشطة هي نصوص فريدة، مما يجعل إحصائيات الشعبية التقليدية القائمة على معرفات العناصر (ID) - المستخدمة لتقليل الانحياز في البث الصناعي - غير فعالة.
المنهجية: إطار عمل PA-Bridge
يقترح المؤلفون PA-Bridge (جسر التعبيرات السلبية والنشطة)، وهو إطار عمل مصمم لدمج التعبيرات النشطة للمستخدم في التوصية الاستباقية بالبدايات، مع التخفيف من حدة تحولات التوزيع وانحياز الشعبية. تعتمد البنية على نموذج "البرج المزدوج" (Two-Tower model) القياسي (برج المستخدم وبرج الاستعلام) وتقدم مكونين أساسيين:
لسد الفجوة الدلالية بين الاستعلامات النشطة (qa) والبدايات الساكنة (qs)، يستخدم المؤلفون آلية التعلم التنافسي أثناء التدريب خارج الخط (Offline Training):
المولد (Generator - G): يقوم بإسقاط التمثيلات النصية الخام من كلا المصدرين في فضاء نوايا كامن موحد.
المميز (Discriminator - D): يحاول التمييز ما إذا كان التمثيل ناتجًا عن استعلام نشط أم بداية ساكنة.
الهدف: يتم تدريب المولد لخداع المميز، مما يجبر المشفر على تعلم تمثيلات ثابتة النطاق (Domain-invariant representations) تجرد التمثيل من الضوضاء الخاصة بالمصدر، مما يؤدي بفعالية إلى محاذاة توزيعات مصادر البيانات المختلفة.
2. المقطع الدلالي (RQ-VAE)
لتمكين تقليل الانحياز للاستعلامات النشطة "غير القابلة للتعريف بـ ID"، قدم المؤلفون مقطعًا دلاليًا (Semantic Discretizer) يعتمد على المشفر التلقائي المتغير ذو التكميم المتبقي (RQ-VAE):
التكميم (Quantization): يتم تكميم التمثيلات الدلالية المستمرة للاستعلامات إلى رموز دلالية منفصلة (Clusters) باستخدام "كتاب رموز" (Codebook) متعلم.
وكيل تقليل الانحياز (Debiasing Proxy): بدلاً من الاعتماد على معرفات العناصر الفريدة، يستخدم النظام تردد البث لهذه الرموز الدلالية المنفصلة (P(cq)) كوكيل لكثافة الاحتمال.
دالة الخسارة: يتم صياغة خسارة دلالية لتقليل الانحياز عن طريق تعديل الـ (Logits) باستخدام −logP(cq) وإعادة وزن العينات بناءً على احتمالية تصنيف المميز (βq). يسمح هذا للنظام بالتخفيف من الانحياز نحو الاستعلامات النشطة الشائعة وإظهار نوايا "الذيل الطويل" (Long-tail) دون الحاجة لمعرفات عناصر صريحة.
تجمع دالة الهدف النهائية بين خسارة تقليل الانحياز وخسارة التعلم التنافسي في إطار تعلم متعدد المهام.
المساهمات الرئيسية
تحول في النموذج (Paradigm Shift): رائدة الورقة في دمج التعبيرات النشطة للمستخدم (الاستعلامات المكتوبة يدويًا) في التوصية الاستباقية للاستعلامات، بهدف كسر حلقة التغذية الراجعة الضارة وتأثير غرفة الصدى المتأصل في أنظمة البدايات ذات العالم المغلق.
إطار عمل PA-Bridge: بنية مبتكرة تستخدم المحاذاة التنافسية للتوزيع لتوحيد النوايا في العالمين المفتوح والمغلق، والتكميم الدلالي (RQ-VAE) لتمكين تقليل الانحياز الخالي من المعرفات (ID-free) في فضاء كامن موحد.
التحقق الصناعي: تم التحقق من الطريقة من خلال تقييمات شاملة (داخلية وخارجية) في بيئة إنتاج حقيقية، مما أظهر متانة ضد تحولات التوزيع وندرة البيانات.
النتائج التجريبية
التقييم خارج الخط (Offline Evaluation)
باستخدام مجموعة بيانات صناعية ضخمة (7.2 مليار عينة)، قارن المؤلفون PA-Bridge بعدة نماذج مرجعية:
الاسترجاع الدلالي (الأساسي): مدرب فقط على سجلات البدايات.
الاسترجاع القائم على المعرفات (ID-Based): النهج الصناعي القياسي مع معرفات قابلة للتعلم.
التعزيز الساذج (Naive Augmentation): إضافة الاستعلامات النشطة مباشرة دون محاذاة.
دراسات الاستئصال (Ablation Studies): إزالة وحدات المحاذاة أو إعادة الوزن.
النتائج:
حقق PA-Bridge أعلى مساحة تحت المنحنى (AUC) بنسبة 64.65%، وهو ما يمثل تحسنًا نسبيًا قدره 6.72% عن النموذج الدلالي الأساسي.
أدى التعزيز الساذج (الأساسي + النشط) إلى انخفاض في الأداء (-2.71%)، مما يؤكد أن محاذاة التوزيع أمر بالغ الأهمية.
تفوق النمذجة الدلالية بشكل كبير على الاسترجاع القائم على المعرفات (ID-based)، الذي عانى من الإفراط في التخصيص (Overfitting) لحلقات التغذية الراجعة التاريخية.
اختبار A/B عبر الإنترنت (Online A/B Testing)
عند نشره على منصة Bytedance، أظهر النموذج قيمة تجارية كبيرة:
أيام النشاط للمستخدم: زيادة بنسبة +0.04% (تعتبر مهمة لتطبيق ضخم وناضج).
معدل اختراق الميزات: زيادة بنسبة +0.54%.
مقاييس التنوع:
الاستعلامات الفريدة المعرضة: +30.65%.
الاستعلامات الفريدة التي تم النقر عليها: +56.50%. تشير هذه النتائج إلى أن النظام نجح في عرض مجموعة أكثر تنوعًا من الاستعلامات وخفف بفعالية من حلقة التغذية الراجعة.
الأهمية والادعاءات
تدعي الورقة أنه من خلال تسخير "الإرادة الحرة" للمستخدمين عبر التعبيرات النشطة، يمكن كسر العيوب الهيكلية لأنظمة التوصية ذات الحلقة المغلقة. تكمن الأهمية في:
كسر غرفة الصدى: الانتقال من الاقتراحات التفاعلية المتحيزة للشعبية إلى التقاط النوايا الديناميكية في العالم المفتوح.
حل تحدي تقليل الانحياز الخالي من المعرفات (ID-Free): تقديم حل قابل للتطبيق لتقليل انحياز الشعبية في السيناريوهات التي تكون فيها العناصر (الاستعلامات) غير مهيكلة وتفتقر إلى معرفات منفصلة، وهو تحدٍ شائع في تدريب البث الصناعي للذكاء الاصهاري الحواري.
النشر العملي: إثبات أن هذه التطورات النظرية تترجم إلى تحسينات ملموسة في تفاعل المستخدم وتنوع النظام في بيئة الإنتاج.