WARP: Wasserstein-Aligned RAG for Population Opinions

في العصر الرقمي الحديث، عندما يرغب الناس في معرفة ما يعتقده الآخرون حول منتج أو خدمة أو سياسة ما، فإنهم غالباً ما يلجؤون إلى الذكاء الاصطناعي لتلخيص آلاف المراجعات. هذه الأنظمة، المعروفة بأدوات التوليد المعزز بالاسترجاع، تقوم بمسح مكتبات ضخمة من النصوص للعثور على المعلومات ذات الصلة ونسجها في إجابة واحدة متماسكة. والوعد هنا هو الكفاءة: فبدلاً من قراءة مئات الآراء المتضاربة، يحصل المستخدم على لقطة سريعة للإجماع. ومع ذلك، تأتي هذه الراحة مع عيب خفي؛ فالأنظمة القياسية مصممة للعثور على المستندات التي تبدو أكثر تشابهاً مع السؤال المطروح. وبقيامها بذلك، فإنها غالباً ما تحابي الأصوات الأكثر صخباً أو الأكثر شيوعاً، مما يؤدي فعلياً إلى إسكات وجهات نظر الأقلية. فإذا كان ستون بالمائة من نزلاء الفنادق سعداء بينما اشتكى أربعون بالمائة من الضوضاء، فقد تعكس الخلاصة القياسية النزلاء السعداء فقط، مما يقدم صورة مشوهة تبدو واقعية ولكنها تغفل الحقيقة الكاملة. ويتمثل التحدي الذي يواجه الباحثين في بناء نظام لا يكتفي بإيجاد المستندات ذات الصلة فحسب، بل يمثل بصدق التوزيع الحقيقي للرأي البشري، مما يضمن أن تعكس الخلاصة النهائية التوازن الفعلي للآراء، بما في ذلك الآراء الأقل تكراراً.

لقد طور فريق من الباحثين في أمازون طريقة جديدة تسمى "WARP" لحل مشكلة الملخصات المنحازة. يتعامل نهجهم مع مجموعة الآراء ليس مجرد قائمة من المستندات المراد ترتيبها حسب الصلة، بل كجمهور يحتاج إلى تمثيله بشكل عادل. الفكرة الجوهرية هي قياس مدى مطابقة مجموعة مختارة من المراجعات للتوزيع المعروف للآراء عبر مجموعة البيانات بأكملها. وللقيام بذلك، يستخدم الفريق مفهوماً رياضياً يسمى "مسافة فايسرشتاين" (Wasserstein distance)، وهي وسيلة لقياس الفرق بين توزيعين من خلال مراعاة ترتيب وكثافة البيانات. وخلافاً للطرق القديمة التي تكتفي بعدّ عدد المراجعات الإيجابية أو السلبية الموجودة، فإن هذا المقياس الجديد يدرك أن الخلط بين رأي إيجابي قوي ورأي سلبي قوي هو خطأ أكبر بكثير من الخلط بين رأي إيجابي ورأي محايد. ومن خلال احترام هذا الترتيب الطبيعي للكثافة، يمكن للنظام اختيار مجموعة من الأدلة تعكس ملف المشاعر الحقيقي للمجتمع.

اختبر الباحثون نظامهم عبر ثلاثة مجالات مختلفة: المنتديات عبر الإنترنت للبائعين، ومراجعات الفنادق، ومراجعات السيارات، مغطين أكثر من خمسة وثلاثين ألف مستند. ووجدوا أن طرق البحث القياسية غالباً ما تدفن الآراء غير الممثلة بشكل كافٍ، مما يؤدي إلى ملخصات تبدو ذات جانب واحد. تعالج "WARP" هذا الأمر من خلال التحقق أولاً مما إذا كانت الدفعة الأولية من المستندات المسترجعة تفتقر إلى أنواع معينة من الآراء. وإذا كان الأمر كذلك، يقوم النظام بعملية بحث مستهدفة للعثور على تلك الأصوات المفقودة قبل اختيار المجموعة النهائية من المستندات. ثم يستخدم مقياسه المتخصص لاختيار المجموعة النهائية من المراجعات التي تطابق أفضل توزيع للمجتمع. وكانت النتائج كبيرة: ففي جميع المجالات الثلاثة، قللت الطريقة الجديدة الخطأ في تمثيل آراء المجتمع بنسبة 43% على الأقل مقارنة بالطرق القياسية، وفي بعض الحالات، وصلت نسبة التحسن إلى 79%.

وبعيداً عن مجرد اختيار مستندات أفضل، أراد الباحثون معرفة ما إذا كانت هذه التحسينات تؤثر فعلياً على الإجابة النهائية التي يولدها الذكاء الاصطناعي. فقد طلبوا من لجنة مكونة من خمسة نماذج لغوية كبيرة مختلفة أن تعمل كقضاة، لمقارنة الملخصات التي تم إنشاؤها باستخدام الطريقة الجديدة بتلك التي تم إنشاؤها باستخدام الطرق القياسية. وفي 86% من الحالات التي استطاع فيها القضاة تحديد فائز، فضلوا الملخصات الناتجة عن الأدلة المختارة عبر "WARP". ويشير هذا إلى أن التحسينات التقنية في اختيار المستندات تترجم مباشرة إلى إجابات أفضل وأكثر توازناً للمستخدم. وقد حقق النظام هذه النتائج مع الحفاظ على سرعة مناسبة للاستخدام في العالم الحقيقي، حيث لم يضف سوى أقل من ثلاثمائة مللي ثانية إلى العملية، وهو جزء من الثانية.

كما استكشفت الدراسة كيفية أداء الطريقة تحت ظروف مختلفة، مثل وجود عدد قليل جداً من المستندات لموضوع معين أو عندما تكون البيانات الأولية مشوشة. وجد الباحثون أن نهجهم يتسم بالمتانة؛ فحتى عندما تم إفساد التصنيفات التي تصف مشاعر المراجعات عمداً أو عندما كانت بيانات المجتمع غير كاملة، ظل النظام يتفوق على الطرق القياسية. وقد أثبتوا أن نجاح الطريقة يعتمد على الطريقة المحددة التي تقيس بها الفرق بين الآراء، وليس مجرد الخلط العشوائي للنتائج. ومن خلال استخدام مقياس يفهم الطبيعة المرتبة للمشاعر البشرية، يمكن للنظام التنقل في مشهد الآراء المعقدة حيث تفشل طرق العد البسيطة.

إن أحد الرؤى الرئيسية لهذا العمل هو أن التنوع وحده ليس هو الهدف. فقد ركزت المحاولات السابقة لإصلاح الملخصات المنحازة ببساة على جعل المستندات المختارة مختلفة عن بعضها البعض. ومع ذلك، أظهر الباحثون أنه بمجرد الوصول إلى مستوى معين من التنوع، فإن مجرد إضافة المزيد من المستندات المختلفة لا يساعد إذا لم تكن تعكس النسب الصحيحة للمجتمع. فالهدف ليس مجرد الحصول على مزيج من وجهات النظر، بل الحصول على مزيج يعكس بدقة مدى شيوع كل وجهة نظر في العالم الحقيقي. وهذا التمييز أمر بالغ الأهمية للتطبيقات التي يكون فيها فهم وزن الرأي لا يقل أهمية عن معرفة وجود الرأي نفسه.

وقد أقر الباحثون بوجود حدود لعملهم؛ فالنظام يعتمد على وجود بيانات مصنفة مسبقاً لمعرفة توزيع المجتمع، ويعمل على مقياس واحد لشدة المشاعر. وهو لا يتعامل بعد مع السيناريوهات المعقدة حيث قد تثني مراجعة ما على جانب واحد من المنتج بينما تنتقد جانباً آخر، أو حيث يجب موازنة عدة قضايا متميزة في آن واحد. علاوة على ذلك، أجريت الدراسة خارج نطاق الإنترنت (offline)، مما يعني أن النتائج تظهر مدى أداء النظام في بيئة محكومة، لكن تأثيره على ثقة المستخدم في العالم الحقيقي واتخاذ القرار لم يُختبر بعد في حركة مرور حية. وبالرغم من هذه الحدود، يوفر العمل مساراً واضحاً لبناء أنظمة ذكاء اصطناعي لا تكتفي بتلخيص ما يقوله الناس، بل تمثل كيف يفكر الناس.

وفي النهاية، يوضح البحث أنه من الممكن هندسة نظام استرجاع يحترم دقة الخلاف البشري. فمن خلال الانتقال لما وراء مطابقة التشابه البسيطة ودمج طريقة تفهم هيكل الرأي، أنشأ الفريق أداة يمكنها إنتاج ملخصات ليست ذات صلة فحسب، بل هي أيضاً تمثيلية. وهذا يضمن أنه عندما يسأل المستخدم عما يعتقده الناس، فإن الإجابة التي يتلقاها تتضمن الطيف الكامل للتجربة، من الأغلبية المتحمسة إلى الأقلية الناقدة، مما يقدم صورة أوضح وأكثر صدقاً للصوت الجماعي.