Diverse LLMs or Diverse Question Interpretations? That is the Ensembling Question
تُثبت هذه الورقة أنه بالنسبة للإجابة على الأسئلة الثنائية باستخدام النماذج اللغوية الكبيرة، فإن تجميع التفسيرات المتنوعة للأسئلة من نموذج واحد يتفوق باستمرار على تجميع نماذج مختلفة متعددة عند استخدام التصويت بالأغلبية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز محير، مثل "هل حجم مقياس المطر مهم؟". يمكنك طرح هذا السؤال على صديق واحد ذكي جداً، أو يمكنك طرحه على مجموعة من الأصدقاء. السؤال الكبير الذي يطرحه هذا البحث هو: هل من الأفضل أن تطلب من صديق واحد التفكير في اللغز بثلاث طرق مختلفة، أم أن تطلب من ثلاثة أصدقاء مختلفين التفكير في اللغز بنفس الطريقة تماماً؟
وضع المؤلفون، وهم باحثون من مختبرات إنتل (Intel Labs)، هدفهم لإيجاد الإجابة باستخدام النماذج اللغوية الكبيرة (LLMs) — وهي العقول الاصطناعية التي تقف وراء أدوات مثل ChatGPT. وهم يسمون هذا بـ "التجميع الاستفهامي" (Ensembling Question).
الاستراتيجيتان
يقارن البحث بين طريقتين للحصول على إجابة أفضل باستخدام "التنوع" (امتلاك وجهات نظر مختلفة):
1. نهج "الأصدقاء الكثر" (تنوع النماذج)
تخيل أن لديك ثلاثة أصدقاء مختلفين: أليس، وبوب، وتشارلي. جميعهم لديهم شخصيات وطرق تفكير مختلفة. تسألهم جميعاً نفس السؤال بالضبط: "هل حجم مقياس المطر مهم؟"
- الهدف: تأمل في أنه إذا أخطأت أليس، فقد يصيب بوب أو تشارلي.
- النتيجة: وجد البحث أن هذا غالباً ما يعطيك إجابة متوسطة فقط. إذا كانت أليس رائعة، وبوب جيد، وتشارلي سيئ، فإن تصويت المجموعة عادة ما يستقر في مكان ما في المنتصف. لا يجعل هذا المجموعة أذكى بشكل سحري من أفضل فرد فيهم.
2. نهج "صديق واحد، وثلاث قبعات" (تنوع تفسير السؤال)
تخيل أنك تسأل صديقاً واحداً فقط (لنقل مثلاً ذكاءً اصطناعياً ذكياً جداً مثل GPT-3.5). ولكن قبل أن يجيب، تطلب منه ارتداء ثلاث "قبعات" أو عدسات مختلفة للنظر إلى السؤال.
- القبعة 1 (عالم): "كيف يؤثر هذا على دقة قياس المطر؟"
- القبعة 2 (مهندس): "كيف يؤثر هذا على تكلفة وتصميم المقياس؟"
- القبعة 3 (بيئي): "كيف يغير هذا فهمنا لتأثير هطول الأمطار على الطبيعة؟"
يجيب الصديق على السؤال ثلاث مرات، مرة لكل قبعة. ثم تأخذ تصويتاً على الإجابات الثلاث. - الهدف: من خلال إجبار الذكاء الاصطناعي على النظر إلى السؤال من زوايا مختلفة، فإنك تكشف عن التفاصيل الدقيقة التي قد تغفل عنها القراءة الواحدة المباشرة.
- النتيجة: فازت هذه الطريقة باستمرار. طريقة "الصديق الواحد، والثلاث قبعات" أنتجت إجابات أفضل من سؤال ثلاثة أصدقاء مختلفين نفس السؤال.
لماذا فاز نهج "الصديق الواحد"؟
يشير البحث إلى أن المشكلة في سؤال ثلاثة نماذج مختلفة (نهج "الأصدماء الكثر") هي أنها غالباً ما ترتكب نفس الأخطاء. على الرغم من أنها نماذج مختلفة، إلا أنها تدربت على بيانات متشابهة وتتشارك في "نقاط عمياء" مماثلة. إذا أساءوا جميعاً فهم السؤال بنفس الطريقة، فإن التصويت على إجاباتهم لن يساعد.
ومع ذلك، عندما تطلب من نموذج واحد تفسير السؤال بطرق مختلفة، فإنك تجبره على الخروج من أنماط تفكيره المعتادة. أنت تقول له أساساً: "لا تجب على السؤال فحسب؛ بل فكر فيما يمكن أن يعنيه السؤال". هذا يخلق تنوعاً في الإجابات التي من المرجح أن تغطي الجوانب الصحيحة.
آلية "التصويت"
لتحديد الإجابة النهائية، استخدم الباحثون تصويتاً بالأغلبية بسيطاً.
- إذا قال "العالم" "نعم"، وقال "المهندس" "نعم"، وقال "البيئي" "لا"، فإن الإجابة النهائية هي "نعم".
- وجد البحث أن نظام التصويت هذا كان يعمل بشكل أفضل عندما تأتي المدخلات من تفسيرات مختلفة لنفس السؤال بدلاً من نماذج مختلفة.
الخلاصة
يخلص البحث إلى أنه للإجابة على أسئلة "نعم/لا" البسيطة، من الأفضل أن تمدد عقل ذكاء اصطناء واحد ليفكر في السؤال بطرق متعددة بدلاً من جمع حشد من أجهزة الذكاء الاصطناوية المختلفة لتفكر فيه بطريقة واحدة فقط.
الأمر يشبه محاولة العثور على مفتاح مفقود في غرفة مظلمة:
- تنوع النماذج يشبه توظيف ثلاثة أشخاص للبحث في الغرفة، لكنهم جميعاً ينظرون في نفس الزاوية بالضبط لأنهم طُلب منهم البحث هناك.
- تنوع تفسير السؤال يشبه توظيف شخص واحد للبحث في الغرفة، ولكنك تخبره أن يبحث عن المفتاح كما لو كان لعبة، ثم كما لو كان أداة، وأخيراً كما لو كان قطعة مجوهرات. هذا يجبره على مسح الغرفة بأكملة بشكل أكثر دقة، وهو أكثر عرضة للعثور على المفتاح.
اختبر الباحثون ذلك على ثلاث مجموعات مختلفة من الأسئلة (حول المعرفة العامة، والاستراتيجية، والعلوم الطبية) ووجدوا أن طريقة "الصديق الواحد، والثلاث قبعات" تفوقت باستمرار على طريقة "الأصدقاء الكثر".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.