A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

في عالم الذكاء الاصطناعي المتطور بسرعة، يلجأ الباحثون غالبًا إلى استراتيجية تسمى "التعلم الجماعي" (ensemble learning) لحل المشكلات الصعبة. فبدلاً من الاعتماد على برنامج حاسوبي واحد ضخم لإيجاد الإجابة الصحيحة، يقومون بجمع مجموعة من البرامج المختلفة، كل منها مدرب على بيانات مختلفة أو مصمم بنقاط قوة مختلفة، ويطلبون منها جميعًا العمل على المهمة ذاتها. والأمل هو أنه بينما قد يتعثر برنامج ما، سينجح آخر، ومن خلال دمج جهودهم، يمكن للمجموعة أن تحقق مستوى من الدقة لا يمكن لأي عضو بمفرده الوصول إليه. ومع ذلك، ظل هناك تحدٍ مستمر يتمثل في كيفية تقرير أي عضو في المجموعة يجب الوثوق به عندما يختلفون. فالأساليب التقليدية تعمل غالبًا مثل الانتخابات، حيث يحصل كل نموذج على صوت، وتكون الإجابة المختارة ببساطة هي تلك التي تحصل على أكبر قدر من الدعم. يفترض هذا النهج أن الحكمة الجماعية للمجموعة توجد في الأغلبية، لكنه يتجاهل احتمال أن تكون الإجابة الأكثر شعبية خاطئة، أو أن خبيرًا أكثر هدوءًا وموثوقية يتم إغفاله بسبب وجود واحد أكثر صخبًا وأقل دقة.

تقترح دراسة جديدة طريقة مختلفة للتفكير في هذه المشكلة، تقترح وجوب معاملة مجموعة من نماذج الذكاء الاصطناعي ليس كجسم انتخابي، بل كهيئة محلفين. في قاعة المحكمة، لا تقوم هيئة المحلفين بمجرد عدّ عدد الأشخاص الذين يتفقون على حكم ما؛ بل يستمعون بدلاً من ذلك إلى شهادة كل شاهد ويحاولون الحكم على مدى مصداقية كل منهم بناءً على ما يقولونه وكيف تتوافق قصصهم. وقد تساءل الباحثون وراء هذا العمل عما إذا كان بإمكان مجموعة من النماذج اللغوية القيام بالشيء نفسه: أي استنتاج موثوقية كل عضو فقط من نمط إجاباتهم، دون الحاجة إلى معرفة الإجابات الصحيحة مسبقًا. لقد بنوا نظامًا يعمل فيه النماذج كشهود، ويتعلم النظام الوثوق بمن تتوافق شهادتهم باستمرار مع الحقيقة، رغم أن النظام لا يرى الحقيقة نفسها أبدًا.

اختبر الباحثون هذه الفكرة على معيار مرجعي يتكون من 1,560 سؤالاً يغطي مجموعة واسعة من المواضيع، من الرياضيات والعلوم إلى القانون والاستدلال العام. لقد جمعوا تسعة نماذج لغوية مختلفة، تتباين في الحجم والتدريب، لتعمل كخبراء. في الإعداد القياسي، تُعطى هذه النماذج مجموعة من الأسئلة، ويتم دمج إجاباتها باستخدام تصويت أغلبية بسيط أو متوسط مرجح حيث يتم تحديد الأوزان بناءً على كيفية أداء النماذج في مجموعة منفصلة من الأسئلة ذات الإجابات المعروفة. ومع ذلك، فإن الطريقة الجديدة تتخطى خطوة النظر في الإجابات الصحيحة لتحديد الثقة. بدلاً من ذلك، تستخدم عملية رياضية لتحليل الإجابات التي قدمتها النماذج للأسئلة التي طُرحت عليها. ومن خلال النظر في أي النماذج اتفقت مع بعضها البعض وأيها اختلفت، يقدر النظام مدى موثوقية كل نموذج. إنه يعامل الإجابة الصحيحة كحقيقة خفية تحاول النماذج الإبلاغ عنها، ويحسب احتمالية كون كل نموذج يقول الحقيقة بناءً على تكوين استجابات المجموعة.

كانت نتائج هذه التجربة مذهلة. فقد حقق نظام هيئة المحلفين، الذي تعلم الوثوق بأعضائه دون رؤية إجابة صحيحة واحدة، دقة بلغت 76.9 بالمائة في المعيار المرجعي الكامل. وكان هذا الأداء أفضل بكثير من تصويت الأغلبية البسيط، الذي سجل 63.0 بالمائة، وتفوق أيضًا على أفضل نموذج فردي في المجموعة، والذي وصل إلى 75.0 بالمائة. ولعل الأهم من ذلك، أن هيئة المحلفين أدت تمامًا مثل النظام الذي استخدم نفس قواعد الجمع ولكن تم تدريبه باستخدام الإجابات الصحيحة لتحديد الأوزان. تشير هذه النتيجة إلى أن العملية المعقدة لتصنيف البيانات لتعليم النظام أي النماذج يجب الوثوق بها ليست ضرورية تمامًا؛ إذ يمكن للنظام تعلم الوثوق بالشهود الصحيحين بمجرد الاستماع إلى ما يقولونه. ووجدت الدراسة أيضًا أن الاحتفاظ بالنطاق الكامل للإجابات الممكنة التي قد يقدمها النموذج، بدلاً من مجرد خياره الأول، حسن النتائج بشكل كبير. فعندما نظر النظام في التوزيع الاحتمالي للإجابات، اكتسب 8.4 نقطة مئوية إضافية فوق التصويت البسيط، وأضاف وزن الخبراء بشكل صحيح 5.5 نقطة أخرى.

لقد كان الباحثون حذرين في استبعاد فكرة أن هذا النجاح يعود ببساطة إلى امتلاك المزيد من البيانات أو تقنيات أخذ عينات أفضل. فقد قارنوا طريقتهم بعدة تقنيات متقدمة أخرى تحاول أيضًا دمج النماذج دون تسميات توضيحية، وتفوقت هيئة المحلفين باستمرار عليها. على سبيل المثال، هزمت أقوى بديل خالٍ من التسميات التوضيحية بفارق 5.5 نقطة مئوية. كما فحصت الدراسة ما إذا كان النظام ناجحًا لمجرد الحظ أو إذا كان يتعلم بالفعل الأنماط الصحيحة. فقد اختبروا هيئة المحلفين على مجموعات فرعية مختلفة من النماذج ووجدوا أنها تفوقت باستمرار على التصويت ذي الوزن المتساوي وأفضل خبير فردي عبر معظم التركيبات. الحالة الوحيدة التي لم تتحسن فيها هيئة المحلفين عن أفضل نموذج فردي كانت عندما تتكون المجموعة من خبراء ضعفاء جدًا، وهو سيناريو لا يمكن لأي طريقة دمج أن تساعد فيه بشكل واقعي.

إن أحد أهم جوانب هذا العمل هو أنه يتحدى الافتراض بأن الإشراف مطلوب دائمًا للحصول على أفضل النتائج. ففي العديد من مجالات الذكاء الاصطناعي، الممارسة القياسية هي تدريب نظام على مجموعة بيانات كبيرة حيث تكون الإجابات الصحيحة معروفة، حتى يتمكن النظام من تعلم أي النماذج جيدة. يظهر هذا النهج الجديد أنه بالنسبة لدمج النماذج، يمكن للنظام استنتاج الموثوقية مباشرة من الاتفاق والاختلاف بين النماذح نفسها. ووجد الباحثون أن الفرق بين هيئة المحلفين والنظام الخاضع للإشراف كان صغيرًا جدًا لدرجة أنه لم يكن ذا دلالة إحصائية عند مراعاة التباين الطبيعي في كيفية ملاءمة النماذج. وهذا يعني أن الجهد الإضافي لتصنيف البيانات لتدريب قاعدة الجمع قد لا يستحق العناء في كثير من الحالات.

كما بحثت الدراسة في كيفية تعامل النظام مع عدم اليقين. فعندما يُطلب من النماذج توليد إجابات، فإنها غالبًا ما تنتج مجموعة من الاحتمالات بدلاً من بيان واحد حاسم. يستخدم منهج هيئة المحلفين هذه التوزيعات الكاملة للإجابات، مما يسمح له بالتقاط المزيد من التفاصيل مقارنة بالتصويت البسيط. فعلى سبيل المثال، إذا كان أحد النماذج واثقًا جدًا من إجابة خاطئة بينما كان نموذج آخر أقل ثقة قليلاً في الإجابة الصحيحة، فيمكن للنظام وزن الأدلة بشكل مناسب. ووجد الباحثون أن هذا النهج كان فعالاً بشكل خاص في المسائل الرياضية، حيث عانى أفضل نموذج فردي في المجموعة، بينما تمكنت هيئة المحلفين من الاستفادة من نقاط قوة النماذج الأخرى للوصول إلى الحل الصحيح.

ورغم قوة هذه الطريقة، أشار الباحثون إلى بعض القيود. يتطلب النظام أن يقدم كل نموذج إجابة، وبالنسب للمهام التوليدية، فإنه يحتاج إلى تشغيل عينات متعددة لبناء توزيع موثوق للإجابات. وهذا يزيد من التكلفة الحسابية مقارنة بمجرد سؤال نموذج واحد عن إجابة. ومع ذلك، تشير الدراسة إلى أن هذه التكلفة مبررة بالزيادة الكبيرة في الدقة. كما لاحظ الباحثون أن ثقة النظام في إجاباته كانت غالبًا أعلى من دقته الفعلية، مما يعني أنه قد يشعر أحيانًا باليقين الشديد تجاه إجابة خاطئة. وهذه مشكلة شائعة في الذكاء الاصطناعي، وأشار الباحثون إلى أن النظام سيحتاج إلى إعادة معايرة قبل أن يمكن استخدام درجات الثقة الخاصة به كمقياس موثوق للحقيقة.

في الختام، يقدم هذا البحث منظورًا جديدًا لكيفية تسخير الذكاء الجماعي للذكاء الاصطناعي. فمن خلال معاملة النماذج كهيئة محلفين وليس كجسم انتخابي، يمكننا بناء أنظمة أكثر ذكاءً من مجموع أجزائها دون الحاجة إلى معرفة الإجابات مسبقًا. إن القدرة على تعلم الثقة من الشهادات وحدها تفتح الباب أمام طرق أكثر كفاءة وقابلية للتكيف لاستخدام الذكاء الاصطناعي، حيث يمكن للنظام صقل فهمه باستمرار حول الخبراء الذين يمكن الاعتماد عليهم مع مواجهة مشكلات جديدة. وتشير النتائج إلى أن المفتاح لإطلاق الإمكانات الكاملة لهذه المجموعات لا يكمن في إجبارهم على الاتفاق، بل في تعليمهم كيفية الاستماع إلى بعضهم البعض والحكم على مصداقية أصواتهم الخاصة.