GEM-Bench: A Benchmark for Ad-Injected Response Generation within Generative Engine Marketing
تقدم هذه الورقة GEM-Bench، وهو أول معيار شامل لتوليد الاستجابات المحقونة بالإعلانات في التسويق عبر محركات التوليد، والذي يوفر مجموعات بيانات منسقة، ومقياس تقييم متعدد الأبعاد، وحلولاً مرجعية للكشف عن المقايضة بين التفاعل ورضا المستخدم في الأساليب الحالية مع توجيه الأبحاث المستقبلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك دخلت إلى مكتبة لتسأل عن اتجاهات أو نصيحة من أمين مكتبة متعاون وواسع المعرفة (روبوت دردشة ذكاء اصطناعي). في الأيام الخوالي، كان أمين المكتبة هذا سيعطيك الإجابة فحسب. لكن الآن، تحاول المكتبة جني المال عبر حشر إعلانات صغيرة لمحلات تجارية محلية داخل جمل أمين المكتبة.
ما المشكلة؟ إذا قام أمين المكتبة بالصراخ "اشترِ هذا!" في منتصف إرشاداتك، فسيبدو الأمر فظاً ومربكاً. وإذا كان متحفظاً جداً، فلن يرى أحد الإعلان.
تقدم هذه الورقة البحثية GEM-Bench، وهو في الأساس "بطاقة تقرير" و"ملعب" لمعرفة كيفية القيام بهذا الأمر الإعلاني دون إزعاج المستخدمين.
إليك تفصيل عملهم بكلمات بسي سطة:
1. المشكلة: "البائع" مقابل "المساعد"
لاحظ المؤلفون أن اختبارات الذكاء الاصطناعي الحالية (الاختبارات المستخدمة لتقييم الذكاء الاصطناعي) سيئة في اختبار الإعلانات. إنها تشبه إعطاء اختبار رياضيات لطباخ؛ فهذا لا يعقل.
- الطريقة القديمة (Ad-Chat): تخيل أن أمين المكتبة قيل له: "أنت بائع أولاً، ومساعد ثانياً". يحاولون دمج الإعلان في فكرتهم الأولى. والنتيجة؟ غالباً ما يقدمون اتجاهات خاطئة فقط لذكر منتج ما، أو يبدون كبائع ملحّ ومزعج.
- الهدف: نحن بحاجة إلى ذكاء اصطناوي يعمل كصديق متعاون أولاً، ثم يقترح منتجاً بشكل طبيعي بعد ذلك، مثل قول: "استقل الحافلة، وبالمناسبة، شركة الحافلات تلك لديها تطبيق رائع".
2. الحل: GEM-Bench (مطبخ الاختبار)
لإصلاح ذلك، بنى الفريق GEM-Bench، وهو مجموعة أدوات تتكون من ثلاثة أجزاء رئيسية:
- مجموعات البيانات (المكونات): جمعوا ثلاث "قوائم" مختلفة من الأسئلة.
- قائمتان مخصصتان لـ روبوتات الدردشة (مثل طلب نصائح سفر أو أفكية وصفات طعام).
- قائمة واحدة لـ محركات البحث (مثل كتابة "أفضل أحذية جري" للحصول على ملخص سريع).
- لديهم أيضاً "كتالوج" من الإعلانات الحقيقية لإدراجها.
- نظام التقييم (اختبار المذاق): بدلاً من مجرد التحقق مما إذا كانت القواعد النحوية صحيحة، ابتكروا طريقة جديدة لتقييم الإجابات. إنهم ينظرون إلى:
- الانسيابية: هل تبدو الجملة سلسة، أم أنها تبدو كعثرة في الطريق؟
- الثقة: هل تصدق الإجابة، أم تشعر أنها عملية احتيال؟
- معدل النقر: هل أراد المستخدم حقاً النقر على الرابط؟
- الطريقة الجديدة (Ad-LLM): بنوا "فريقاً من الروبوتات" (إطار عمل متعدد الوكلاء) للقيام بالعمل.
- الروبوت 1 يكتب إجابة مثالية بدون إعلانات.
- الروبوت 2 يجد أفضل إعلان يتناسب مع تلك الإجابة.
- الروبوت 3 يحدد بالضبط أين يمكن تمرير الإعلان بحيث لا يكسر تدفق الكلام.
- الروبوت 4 يعيد كتابة الجملة لجعلها تبدو طبيعية.
3. ماذا وجدوا (النتائج)
اختبروا "الطريقة القديمة" (Ad-Chat) مقابل "فريقهم الجديد" (Ad-LLM) ووجدوا مقايضات مثيرة للاهتمام:
- "البائع" يفشل: الطريقة القديمة التي تحاول البيع أثناء الإجابة غالباً ما تخطئ في الحقائق. يفقد المستخدمون الثقة لأن الذكاء الاصطناعي يبدو وكأنه يحاول جاهدًا بيع شيء ما لهم.
- "الفريق الجديد" يفوز في الجودة: تحافظ الطريقة الجديدة (Ad-LLM) على دقة الإجابة وموثوقيتها. يشعر المستخدمون أنهم يحصلون على مساعدة حقيقية، ويبدو الإعلان كاقتراح مفيد وليس كمقاطعة.
- التشبيه: إنه الفرق بين النادل الذي يقاطع وجبتك ليبيع لك طبق الحلوى (الطريقة القديمة) مقابل النادل الذي يحضر لك الحلوى المثالية بعد انتهائك من الطبق الرئيسي (الطريقة الجديدة).
- العائق (التكلفة): "الفريق الجديد" أكثر تكلفة في التشغيل. فهو يتطلب قوة حاسوبية ووقتًا أكبر لأنه يتعين عليه كتابة الإجابة، ثم إيجاد الإعلان، ثم إعادة كتابة الجملة. إنه يشبه توظيف فريق كامل من المحررين بدلاً من شخص واحد فقط.
- كثرة الإعلانات أمر سيء: إذا حاولت حشر 5 إعلانات في إجابة واحدة، فستنخفض الجودة. ينزعج المستخدمون، ويتوقفون عن النقر. إنه يشبه محطة راديو تشغل أغنية لمدة 30 ثانية ثم دقيقتين من الإعلانات التجارية؛ الناس ببساطة يغلقونها.
4. الخلا الخلاصة
تخلص الورقة البحثية إلى أنه بينما قد تجعل الطرق البسيطة الناس ينقرون على إعلان، إلا أنها تفسد تجربة المستخدم وثقته. النهج الأفضل هو إنشاء إجابة رائعة أولاً، ثم إدراج الإعلان بعناية وأدب.
ومع ذلك، فإن القيام بذلك بشكل مثالي يتطلب المزيد من قوة الحوسبة والمال. لقد بنى المؤلفون GEM-Bench لكي يتمكن الباحثون الآخرون من اختبار طرق جديدة لموازنة الإجابات الجيدة، والمستخدمين السعداء، والربح دون استنزاف الميزانية أو إزعاج العميل.
باخت st- خلاصة القول: لا يمكنك مجرد فرض عرض بيع في محادثة مفيدة. يجب أن تكون مساعداً جيداً أولاً، وبائعاً ذكياً ثانياً. GEM-Bench هو الأداة التي تساعد في معرفة كيفية القيام بذلك بدقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.