FUSE: Ensembling Verifiers with Zero Labeled Data
تقدم الورقة البحثية FUSE، وهي طريقة غير خاضعة للإشراف بالكامل تعمل على تحسين التحقق من مخرجات النماذج اللغوية الكبيرة عبر تجميع أحكام غير مثالية دون الحاجة إلى تسميات توضيحية للحقيقة الأرضية، محققةً أداءً يطابق أو يتجاوز البدائل شبه الخاضعة للإشراف عبر اختبارات معيارية متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مدير توظيف تحاول اختيار أفضل مرشح من بين 100 متقدم للوظيفة. ليس لديك قاعدة بيانات للسير الذاتية، ولا يمكنك تحمل تكلفة دفع مبالح لوسيط توظيف للتحقق من ادعاءاتهم. بدلاً من ذلك، لديك لجنة مكونة من 30 محاوراً مختلفاً.
إليك المشكلة:
- بعض المحاورين عباقرة لكنهم فظّون (يرفضون الأشخاص الجيدين).
- البعض لطيف لكنه جاهل (يوظفون أشخاصاً سيئين).
- البعض لديهم انحياز تجاه أنواع معينة من الإجابات.
- الأهم من ذلك: ليس لديك أي وسيلة لمعرفة من منهم يقول الحقيقة فعلياً. ليس لديك "نموذج إجابة" لتتحقق من المحاورين بناءً عليه.
هذا هو الموقف الدقيق الذي يواجهه مطورو النماذج اللغوية الكبيرة (LLMs). فهم يولدون العديد من الإجابات الممكنة لسؤال صعب (مثل مسألة رياضية أو تحدي برمجي)، لكن ليس لديهم خبير بشري للتحقق من أي منها هو الصحيح. إنهم يعتمدون على "المُحقِّقين" (نماذج ذكاء اصطناعي أخرى) لتقييم الإجابات، ولكن هؤلاء المُحقِّقين غالباً ما يكونون غير مثاليين، وأحياناً يتفقون مع بعضهم البعض لأسباب خاطئة.
هنا يأتي دور FUSE (الدمج الكامل لدرجات التقييم غير الخاضعة للإشراف). فكر في FUSE كأنه "رئيس هيئة محلفين" فائق الذكاء، يستطيع معرفة كيفية دمج آراء المحاورين الثلاثين دون أن يرى مفتاح الإجابة الصحيحة أبداً.
الطريقة القديمة: خطأ "المتوسط"
عادةً، إذا كان لديك 30 محاوراً، فقد تأخذ متوسط درجاتهم فقط.
- الخلل: إذا كان 15 محاوراً سيئاً و15 رائعاً، فإن المتوسط سيكون مجرد "متوسط باهت". ستنتهي باختيار مرشح "متوسط المستوى" لأن المحاورين السيئين ظلموا المرشح "الممتاز" بشكل غير عادل.
- خطأ "تصويت الأغلبية": إذا قمت فقط بعدّ من صوت لمن، فقد يتكتل المحاورون السيئون ضد إجابة صحيحة، وستختار الفائز الخطأ.
حل FUSE: نهج "المحقق"
يعمل FUSE مثل المحقق الذي يراقب أنماط المحاورين ليعرف من هو الجدير بالثقة، حتى دون معرفة الحقيقة.
إليك كيف يعمل، خطوة بخطوة، باستخدام مثالنا:
1. عمل المحقق عبر "الثلاثيات" (الخطوة 1)
ينظر FUSE إلى المحاورين في مجموعات من ثلاثة. ويتساءل: "إذا اتفق المحاور (أ) و(ب) و(ج) على إجابة معينة، فهل هذا الاتفاق مجرد صدفة، أم أنه يعني أنهم أذكياء حقاً؟"
في العالم الحقيقي، غالباً ما ترتكب مُحقِّقات الذكاء الاصطناعي نفس الأخطاء معاً (أي أنها "مرتبطة"). يدرك FUSE ذلك، ويقوم بعملية "رقصة" رياضية لتعديل الدرجات. إنه يقول ضمنياً: "حسناً، المحاور (أ) و(ب) يتفقان دائماً، لذا فهما على الأرج Likely يكرران بعضهما البعض فقط. سأقوم بخفض وزنهما. أما المحاور (ج) فيختلف معهما ولكنه يتفق مع (د)، لذا قد يكون (ج) على حق."
إنه يجد طريقة لـ إعادة وزن المحاورين بحيث يصبح اتفاقهم ذا معنى، بدلاً من أن يكون مجرد ضجيج.
2. "مفتاح الإجابة الشبح" (الخطوة 2)
بمجرد أن يحدد FUSE أي المحاورين موثوق بهم على الأرجح، فإنه ينشئ "مفتاح إجابة شبحياً".
- هو لا يعرف الحقيقة الفعلية.
- لكن، بناءً على الأنماط التي وجدها، فإنه يخمن الإجابات التي يُحتمل أن تكون صحيحة.
- ويتعامل مع هذه التخمينات كما لو كانت حقائق حقيقية.
3. "المدرب" (الخطوة 3)
الآن، بعد أن أصبح لدى FUSE "مفتاح إجابة شبحي"، فإنه يعمل مثل مدرب رياضي. يأخذ جميع درجات المحاورين ويسأل: "إذا افترضنا أن هذه الحقائق 'الشبحية' صحيحة، فأي مجموعة من المحاورين كانت ستتنبأ بها بشكل أفضل؟"
يقوم ببناء صيغة مخصصة (تسمى "استراتيجية المدرب") تقول: "ثق في المحاور (X) بنسبة 80%، وتجاهل المحاور (Y)، واستمع بتمعن للمحاور (Z)."
أخيراً، يطبق هذه الاستراتيجية المخصصة على الـ 100 متقدم الأصليين ويختار الفائز.
لماذا يعد هذا أمراً هاماً؟
عادةً، للحصول على نظام بهذا الذكاء، تحتاج إلى بيانات مصنفة (بشر يخبرونك: "نعم، هذه الإجابة صحيحة، ولا، تلك الإجابة خاطئة"). وهذا أمر مكلف وبطيء.
Fose هو عملية سحرية لأنه لا يحتاج إلى أي تسميات بشرية. فهو يتعلم بالكامل من فوضى الخلافات والاتفاقات بين المحاورين أنفسهم.
النتائج: اختبار "الأولمبياد"
اختبر المؤلفون FUSE على بعض أصعب المسائل في العالم:
- الاختبارات القياسية: مثل MMLU (اختبار المعرفة العامة).
- "آخر امتحان للبشرية": وهو اختبار شديد الصعوبة صُمم لكسر نماذج الذكاء الاصطناعي الحالية.
- قائمة IMO المختصرة: مسائل رياضية بالغة الصعوبة من الأولمبياد الدولي للرياضيات.
النتيجة: تفوق FUSE في الأداء على الطرق التي تملك بالفعل مفاتيح إجابة بشرية، بل وتفوق عليها أحياناً. لقد هزم طريقة "المتوسط الساذج" بفارق شاسع.
الخلا-صـلة
FUSE هو وسيلة تُعلّم مجموعة من حكام الذكاء الاصطناعي غير المثاليين كيفية العمل معاً لإيجاد الحقيقة، حتى عندما لا يعرف أحد ما هي الحقيقة. إنه يحول حشدًا فوضويًا من الآراء إلى آلة اتخاذ قرار موثوقة، مما يوفر علينا تكلفة ووقت توظيف الخبراء البشريين للتحقق من كل إجابة.
باختصار: إنه "رئيس هيئة المحلفين" الأسمى الذي يستطيع معرفة من يجب الوثوق به بمجرد مراقبة كيفية جدال المحلفين، دون الحاجة أبداً لرؤية الحكم مسبقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.