تقترح هذه الورقة إطار عمل مبتكر لتحقيق عوائد مادية مستدامة للنماذج اللغوية الكبيرة (LLM) عبر فصل إدراج الإعلانات عن عملية توليد الاستجابة، واستخدام نظام المزايدة القائم على النوع لضمان التماسك السياقي، والكفاءة الحسابية، والامتثال الأخلاقي في آن واحد، مع تحقيق ضمانات قوية قائمة على نظرية المزاد.
في العصر الرقمي، تحولت الطريقة التي نجد بها المعلومات من كتابة أسئلة قصيرة وثابتة في صندوق البحث إلى إجراء محادثات سلسة ومستمرة مع الذكاء الاصطناعي. لعقود من الزمن، اعتمد نموذج العمل وراء محركات البحث على مطابقة الإعلانات مع الكلمات المحددة التي يكتبها المستخدم. إذا كتبت "أحذية جري"، يظهر إعلان لأحذية رياضية؛ يعمل هذا النظام لأن نية المستخدم يتم التقاطها في تلك الكلمات المفتاحية الثابتة. ومع ذلك، فإن نماذج اللغة الحديثة لا تكتفي فقط بالإجابة على الأسئلة، بل تولد استجابات طويلة ومتط تطور تحاكي المحادثة البشرية. في محادثة حول التخطيط لرحلة إلى نيويورك، قد تتدفق المحادثة من مناقشة المتاحف إلى الفنادق، ثم إلى وسائل النقل، وأخيرًا إلى الميزانية. تتغير نية المستخدم مع كل جملة. وهذا يخلق تحديًا فريدًا: كيف تعرض إعلانًا ذا صلة لفندق دون أن يبدو في غير مكانه ضمن فقرة عن المتاحف، أو والأسوأ من ذلك، دون أن يكون الإعلان نفسه كذبة من نسج خيال الذكاء الاصطناعي في تلك اللحظة؟ علاوة على على ذلك، يجب أن يتم عرض هذه الإعلانات بشكل فوري، دون إبطاء المحادثة، ويجب أن تحترم خصوصية المستخدم من خلال عدم تعريض التفاصيل الشخصية الحساسة للمعلنين.
اقترح الباحثون إطار عمل جديدًا لحل هذا اللغز، يهدف إلى دمج الإعلانات في محادثات الذكاء الاصطناعي هذه بطريقة تبدو طبيعية، وتظل سريعة، وتحمي بيانات المستخدم. يتضمن جوهر حلهم فصلين رئيسيين. أولاً، يفصلون بين عملية كتابة المحادثة وعملية إدراج الإعلان. فبدلاً من محاولة الذكاء الاصطناعي كتابة إعلان داخل استجابته أثناء حديثه، يقوم النظام أولاً بتوليد إجابة نظيفة خالية من الإعلانات. وفقط بعد اكتمال الإجابة، يقرر نظام منفصل أين يضع الإعلانات المكتوبة مسبقًا. يضمن هذا أن يكون محتوى الإعلان قد تم تدقيقه مسبقًا لضمان الدقة ويمكن تمييزه بوضًا كرسالة ممولة، مما يمنع الذكاء الاصطناعي من اختلاق ادعاءات كاذبة عن منتج ما عن طريق الخطأ.
أما الفصل الثاني، وهو الأكثر ابتكارًا، فيحدث في كيفية مزايدة المعلنين على هذه المساحات. في البحث التقليدي، يزايد المعلنون على كلمات مفتاحية محددة. أما في الدردشة الديناميكية، فإن المزايدة على كل جملة أو لحظة ستكون مستحيلة حوسبيًا وكابوسًا للخصوصية، لأنها ستتطلب من المعلنين رؤية مطالبات المستخدم الخاصة. بدلاً من ذلك، قدم الباحثون مفهوم "الأنواع" (genres). هذه الأنواع هي فئات واسعة ومستقرة مثل "الفنادق" أو "شركات الطيران" أو "الإلكترونيات". يزايد المعلنون على هذه الأنواع مسبقًا، بدلاً من المزايدة على أسئلة مستخدمين محددة. وعندما يكون النظام جاهزًا لإدراج إعلان، فإنه ينظر إلى الجزء الحالي من المحادثة ويقدر مدى ملاءمة كل نوع لهذا السياق المحدد. ثم يستخدم طريقة رياضية، تشبه المزاد عالي المخاطر، لتخصيص الإعلان الأكثر ملاءمة للمكان الأكثر ملاءمة. يسمح هذا النهج للنظام بمطابقة إعلان فندق مع فقرة عن الإقامة دون أن يحتاج المعلن أبدًا إلى رؤية خطط السفر المحددة للمستخدم.
لاختبار ما إذا كانت هذه الطريقة تعمل بالفعل، بنى الفريق نموذجًا أوليًا وقاسوا مدى قدرة النظام على تحديد مدى صلة الإعلان بجزء معين من المحادثة. قارنوا نظامهم الآلي بالتقييمات البشرية. ووجدوا أن استخدام نموذج لغة كبير ليعمل كحكم — يقيم ما إذا كان نوع الإعلان يناسب جملة معينة — أنتج نتائج تتوافق بشكل وثيق مع الحدس البشري. في اختباراتهم، ارتبطت تنبؤات الحكم الآلي بالتقييم المتوسط لستة وثلاثين مشاركًا بشريًا بمستوى يبلغ حوالي 0.66 تقريبًا. ومن المثير للاهتمام أن هذا الحكم الآلي كان أداؤه أفضل من تسعة وعشرين من أصل ستة وثلاثين من المقيمين البشريين الأفراد عند مقارنتهم بمتوسط المجموعة. يشير هذا إلى أن النظام يمكنه تحديد ما إذا كان الإعلان مناسبًا سياقيًا بشكل موثوق دون الحاجة إلى مراجعة بشرية لكل تفاعل.
كما أجرى الباحثون عمليات محاكاة لمعرفة ما إذا كان بإمكان هذا النظام التعامل مع السرعة المطلوبة للاستخدام في الوقت الفعلي. قاموا بمحاكاة سيناريو يتضمن مائة ألف معلن ومائة موضع محتمل للإعلانات في محادثة. وحتى مع هذا النطاق الهائل، تمكن النظام من حساب الإعلانات التي يجب عرضها والمبلغ الذي يجب تحصيله في حوالي 1.25 ثانية على جهاز كمبيوتر محمول قياسي. تشير هذه السرعة إلى أن آلية المزاد سريعة بما يكفي لاستخدامها في المحادثات الحية دون التسبب في تأخير ملحوظ. وتخلص الدراسة إلى أنه من خلال فصل وضع الإعلانات عن توليد النص واستخدام فئات واسعة بدلاً من الكلمات المفتاحية المحددة، فمن الممكن إنشاء نموذج إعلاني مستدام وفعال وذي صلة بالسياق للذكاء الاصطناعي التوليدي. وبينما يعتمد النظام على التقديرات بدلاً من المعرفة الكاملة بنية المستخدم، فإن النتائج تشير إلى أن الأخطاء التي تسببها هذه التقديرات هي صغيرة بما يكفي للحفاظ على العدالة للمعلنين وتجربة جيدة للمستخدمين.
ملخص تقني: إدراج الإعلانات في الاستجابات المولدة بواسطة النماذج اللغوية الكبيرة (LLMs)
بيان المشكلة
تواجه الاستدامة الربحية للنماذج اللغوية الكبيرة (LLMs) تحديًا حاسمًا: فالإعلانات القائمة على البحث التقليدي، والتي تعتمد على الكلمات المفتاحية الثابتة، تفشل في التقاط النوايا المتغيرة والمتوقفة على السياق والموجودة ضمن التدفقات الحوارية. وخلافًا لمحركات البحث حيث تكون النية مشفرة في استعلامات ثابتة، تتضمن تفاعلات النماذج اللغوية الكبيرة نوايا متطورة تتغير طوال الحوار المعقد (على سبيل المثال، الانتقال من مناقشة المعالم السياحية إلى وضع ميزانية للرحلة).
يفرض دمج الإعلانات في هذه التدفقات ثلاثة عوائق تقنية رئيسية:
التماسك السياقي: يجب أن تتماشى الإعلانات دلاليًا مع النية المحددة والعابرة للمستخدم في لحظة الإدراج لتجنب تعطيل تجربة المستخدم.
الكفاءة الحسابية: يجب أن تعمل الآلية في الوقت الفعلي دون إدخال زمن تأخير (latency) يؤدي إلى تدهور التدفق الحواري.
الرفاهية الاجتماعية والأخلاقيات: يجب أن يعظم النظام مجموع منافع المعلنين والمنصة مع الالتزام بالمتطلبات التنظيمية (مثل الإفصاح الصريح عن الإعلان) ومعايير الخصوصية. الحلول الحالية إما تعرض المطالبات الحساسة للمستخدمين للمعلنين (مخاطر الخصوصية) أو تتطلب مزايدة في الوقت الفعلي على كل رمز (token) أو استعلام (استحالة حسابية).
المنهجية
يقترح المؤلفون إطار عمل يحل هذه التوترات من خلال طبقتين من الفصل (Decoupling):
1. فصل إدراج الإعلانات عن توليد الاستجابة
يفصل إطار العمل بين توليد الاستجابة "العضوية" وإدراج الإعلانات.
العملية: عند تلقي استعلام، يقوم النموذج اللغوي الكبير أولاً بتوليد استجابة عضوية كاملة وخالية من الإعلانات (z).
الآلية: بشكل مستقل، تحدد آلية المزاد أي الإعلانات الإبداعية الثابتة المقدمة مسبقًا سيتم إدراجها وأين (في فتحات محددة yj بين مقاطع النص).
الفوائد: يسمح هذا بفحص مسبق للمحتويات الإبداعية للإعلانات لمنع الهلوسة أو المحتوى المضلل، ويضمن الإفصاح الصريح (مثل "[إعلان ممول: ...]"). كما يسمح بتحسين وحدتي توليد الاستجابة والمزاد بشكل مستقل.
2. فصل المزايدة عن استعلامات المستخدم المحددة عبر "الأنواع" (Genres)
بدلاً من المزايدة على مطالبات مستخدم محددة أو رموز (tokens)، يزايد المعلنون على الأنواع (g∈G)، وهي مجموعات دلالية عالية المستوى (مثل "شركات الطيران"، "الفنادق"، "الطعام").
نموذج التقييم: يقدم المعلنون عطاءات ثابتة (v~i,g) للأنواع. وتقوم المنصة بتقدير احتمالية توافق نوع معين مع السياق في فتحة محددة j في الاستجابة، وهو ما يسمى التماسك cg,j=Pr[g∣j].
تقدير الرفاهية: يتم حساب الرفاهية المقدرة لتعيين المعلن i للفتحة j كحاصل الضرب النقطي لمتجه العطاء ومتجه التماسك: w~i,j=v~i⊤c~j.
آلية المزاد: تستخدم المنصة آلية فيكري-كلارك-غوفز (VCG) لتخصيص K من الإعلانات لـ K من الفتحات، مما يعظم الرفاهية الاجتماعية "الوكيلة" (بناءً على القيم المقدرة).
قياس التماسك
لتقدير التوافق بين النوع وفتحة نصية دون بيانات نقرات تاريخية، يقترح البحث طريقتين:
تضمينات الجمل (Sentence Embeddings): حساب تشابه جيب التمام بين تضمين النوع والجمل المجاورة، مع فرض عقوبة على تعطيل تدفق النص.
النموذج اللغوي كحكم (LLM-as-a-Judge): استخدام نموذج لغوي كبير لتقييم التدفق البلاغي والارتباط السياخي لإدراج نوع معين في فتحة محددة، وإخراج درجة تماسك.
المساهمات الرئيسية
إطار عمل عملي: يقدم البحث استراتيجية فصل ثنائية الطبقات تعالج المقايضات بين التماسك السياقي، والكفاءة الحسابية، والخصوصية.
الضمانات النظرية: يثبت المؤلفون أن تطبيق آلية VCG على هذا النظام الوكيل القائم على الأنواع يحقق تقريبًا لخاصية الاستراتيجية المهيمنة المتوافقة (DSIC) والعقلانية الفردية (IR). وقد اشتقوا حدود الخطأ التي تظهر أن الانحراف عن المزايدة الصادقة والخسارة في الرفاهية الاجتماعية مقيدان بدقة الأنواع ودقة تقدير التماسك (ϵ=ϵV+ϵC).
مقياس "النموذج اللغوي كحكم": يقدم البحث ويتحقق من صحة مقياس "النموذج اللغوي كحكم" لتقدير التماسك السياقي.
التحقق التجريبي: تم اختبار إطار العمل في بيئات اصطناعية ومن خلال دراسات تقييم بشرية.
النتائج
الأداء النظري
حدود التقريب: ثبت أن الآلية هي (2ϵ)-DSIC و ϵ-IR في حالة الحقيقة الأساسية، حيث ϵ هو مجموع خطأ التقييم (بسبب الأنواع الخشنة) وخطأ التماسك.
الرفاهية الاجتماعية: بافتراض المزايدة الصادقة، تكون الرفاهية الاجتماعية المحققة أقل عن الأصل بمقدار 2K⋅ϵ⋅vˉ كحد أقصى مقارنة بالرفاهية المثلى للحقيقة الأساسية.
الكفاءة الحسابية
في التجارب الاصطناعية مع 105 من المعلنين و100 فتحة مرشحة، تمت تسوية آلية VCG في حوالي 1.25 ثانية على جهاز كمبيوتر محمول بمواصفات استهلاكية (Apple M1).
يتوسع وقت التشغيل تقريبًا بشكل خطي مع عدد المعلنين والفتحات، مما يشير إلى جدوى الإدراج في الوقت الفعلي.
توافق قياس التماسك
الارتباط مع البشر: في دراسة شملت 36 مشاركًا، حققت طريقة النموذج اللغوي كحكم معامل ارتباط سبيرمان ρ≈0.66 مع متوسط التقييمات البشرية. وتحديدًا، حقق DeepSeek-R1 و GPT-5 ارتباطات بلغت 0.6650 و 0.6637 على التوالي، بينما حقق GPT-4o نسبة 0.6380.
التفوق على التضمينات: تفوقت طريقة "النموذج اللغوي كحكم" بشكل كبير على طرق تضمين الجمل (التي حققت ρ≈0.28 إلى $0.31$).
تكافؤ المقيم: ارتبطت تنبؤات الحكم GPT-5 بمتوسط المجموعة (باستخدام طريقة Leave-one-out) بقوة أكبر من 29 من أصل 36 مقيمًا بشريًا (80.6%). وكان أداء الحكم مكافئًا لمتوسط حوالي اثنين من المقيمين البشر.
الأهمية والادعاءات
يزعم البحث تقديم أول إطار عمل شامل لإدراج إعلانات النماذج اللغوية الكبيرة الذي يعالج في آن واحد التماسك السياقي، والكفاءة الحسابية، والخصوصية.
الخصوصية: من خلال فصل المزايدة عن الاستعلامات في الوقت الفعلي، يزايد المعلنون على فئات مستقرة بدلاً من مطالبات المستخدم الحساسة، مما يقلل من مخاطر الخصوصية.
الامتثال التنظيمي: يسهل الفصل بين التوليد والإدراج الإفصاح الصريح عن الإعلانات والفحص المسبق، مما يتماشى مع توجيهات لجنة التجارة الفيدرالية (FTC) ضد الإعلانات المضللة.
القابلية للتوسع: يحول استخدام "الأنواع" كوكيل للنوايا مشكلة المزايدة في الوقت الفعلي المستعصية إلى عملية تحسين يمكن إدارتها عبر مجموعة محدودة من الفئات.
الجدوى المستقبلية: يشير المؤلفون إلى أنه مع تحسن النماذج التأسيسية، من المتوقع أن تزداد دقة مقياس التماسك "النموذج اللغوي كحكم"، مما يؤدي إلى تشديد الضمانات التقريبية للآلية.
يخلص البحث إلى أنه على الرغم من اعتماد إطار العمل على دقة تقدير التماسك وافتراض تقسيمات ثابتة للأنواع، إلا أنه يوفر مسارًا قابلاً للتطبيق نحو تحقيق الربحية المستدامة للنماذج اللغوية الكبيرة دون المساس بتجربة المستخدم أو الخصوصية.