Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct
تقدم هذه الورقة مقياساً لمساهمة الاختلاف لكل نموذج لتحليل كيفية توليد ستة عشر نموذجاً لغوياً لتفسيرات متنوعة لحالات العلاج النفسي، كاشفةً أنه في حين أن هوية النموذج تشكل هذا الاختلاف بشكل كبير، فإن التشتت الناتج مدفوع بالمحتوى السريري وتكوين المجموعة المحددة أكثر من كونه مدفوعاً بالفئات القياسية للنماذج أو بالانفتاح التفسيري المنشود للحالات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز صعب، ولكن بدلاً من سؤال صديق واحد فقط، تسأل غرفة مليئة بالأصدقاء. أنت تأمل أنه نظرًا لأنهم جميعًا أشخاص مختلفون، فسوف يقدمون لك مجموعة متنوعة من الحلول الإبداعية. هذه هي الفكرة الأساسية وراء استخدام "المجموعات" (ensembles) من نماذج الذكاء الاصطناعي. في عالم علوم الكمبيوتر، المجموعة هي ببساطة مجموعة من برامج الذكاء الاصطناعي المختلفة التي تعمل معًا لحل مشكلة ما. والأمل الكبير هو أنك من خلال جمع العديد من "الأصوات" المختلفة، ستحصل على مجموعة أغنى وأكثر تنوعًا من الإجابات مما قد تحصل عليه من نموذج واحد فقط.
ولكن هنا تكمن المشكلة: مجرد امتلاكك لغرفة مليئة بالناس لا يعني أنهم جميعًا يقولون أشياء مختلفة. إذا ذهبوا جميعًا إلى نفس المدرسة، وقرأوا نفس الكتب، وتلقوا نفس القواعد، فقد ينتهي بهم الأمر جميعًا إلى تقديم الإجابة ذاتها تمامًا، ولكن بكلمات مختلفة قليلاً. يغوص هذا البحث في زاوية محددة من أبحاث الذكاء الاصطناعي تسمى "قياس التنوع". وهو يطرح سؤالًا بسيطًا ولكنه عميق: عندما نطلب من مجموعة من نماذج الذكاء الاصطناعي حل مشكلة ليس لها إجابة واحدة صحيحة (مثل تفسير عاطفة بشرية معقدة)، هل يفكرون حقًا بشكل مختلف؟ أم أنهم جميعًا يتردد صدى بعضهم البعض فحسب؟ يهتم الباحثون بهذا الأمر لأننا إذا اعتقدنا أننا نحصل على مجموعة واسعة من وجهات النظر، بينما نحن في الواقع نحصل على حشد من النسخ المتطابقة، فقد نتخذ قرارات سيئة بناءً على شعور زائف بالأمان.
غرفة الصدى الكبرى للذكاء الاصطناعي
في هذه الدراسة، أجرى الباحثون تجربة ضخمة لمعرفة مقدار "الضجيج" الذي تحدثه مجموعة من نماذج الذكاء الاصطناعي بالفعل. لقد جمعوا لجنة مكونة من 16 نموذجًا مختلفًا من الذكاء الاصطناعي من 10 عائلات مختلفة (اعتبر هذه العائلات بمثابة علامات تجارية أو سلالات مختلفة للذكاء الاصطناعي). وطلبوا من هذه النماذج أن تعمل كمعالجين ذوي خبرة وتكتب دراسة حالة لمريض وهمي. كانت قصة المريض غامضة بما يكفي بحيث لا يوجد طريقة واحدة "صحيحة" لتفسيرها؛ فالمعالج الجيد يمكنه النظر إلى نفس القصة ورؤية زوايا مختلفة.
أراد الفريق قياس "الاختلاف" أو عدم الاتفاق بين النماذج. استخدموا أداة رياضية خاصة تسمى درجة ڤيندي (Vendi Score). تخيل أن لديك مجموعة من الأشخاص يصرخون بإجاباتهم. إذا صرخ الجميع بالكلمة ذاتها تمامًا، فإن درجة ڤيندي تكون منخفضة (مثل 1). وإذا صرخ الجميع بكلمة مختلفة تمامًا، فإن الدرجة تكون عالية (مثل 16). أراد الباحثون معرفة ما إذا كانت نماذجهم الـ 16 ستتصرف كـ 16 فردًا فريدًا أو إذا كانت ستنهار لتصبح صوتًا واحدًا مملًا.
المفاجأة الكبرى: أقل من صوتين
كانت النتائج صادمة نوعًا ما. على الرغم من أنهم امتلكوا 16 نموذجًا مختلفًا من 10 عائلات مختلفة، إلا أن المجموعة تصرفت، في المتوسط، كما لو كانت تضم 1.69 صوتًا متميزًا فقط.
ولتوضيح الصورة، قام الباحثون أيضًا باختبار نموذج ذكاء اصطناعي واحد عبر سؤاله نفس السؤال 16 مرة بمفرده. حتى النموذج الواحد، بمفرده، تمكن من إنتاج 1.43 نسخة مختلفة من الإجابة بمجرد تغيير مزاجه قليلاً (ما يسميه العلماء "التباين العشوائي" أو stochastic variation). لذا، فإن الفريق بأكمله المكون من 16 نموذجًا لم يضف سوى ربع "صوت" إضافي من التنوع مقارنة بما يمكن لنموذج واحد إنتاجه بمفرده.
الأمر يشبه استئجار جوقة من 16 مغنيًا من 10 مدارس موسيقية مختلفة، متوقعًا سيمفونية من الأساليب الفريدة، لتكتشف في النهاية أنهم جميعًا يبدون كشخص واحد يدندن نفس اللحن، ولكن بنبرة غير دقيقة قليلاً. تنفي الورقة البحثية صراحةً فكرة أن مجرد إضافة المزيد من النماذج إلى المجموعة يؤدي تلقائيًا إلى خلق المزيد من التنوع. في الواقع، تظهر الدراسة أن إضافة المزيد من النماذج إلى لجنة هو وسيلة سيئة للحصول على المزيد من وجهات النظر.
من هو المتمرد؟ (وهذا يعتمد على الحشد)
أراد الباحثون أيضًا معرفة: "هل هناك نموذج محدد هو دائمًا المتمرد، أي الشخص الذي يختلف مع الجميع؟" لقد تتبعوا أي نموذج كان "الأكثر تباينًا" في كل جولة من جولات التجربة.
إليك المنعطف المفاجئ: هوية المتمرد تغيرت اعتمادًا على من كان معه في الغرفة.
في تجربة أصغر تضم ثلاثة نماذج فقط، كان نموذج محدد (GPT-4o) هو المتمرد معظم الوقت. ولكن عندما وسع الفريق المجموعة لتصل إلى 16 نموذجًا، تراجع ذلك النموذج إلى المركز الثالث. ظهر "متمردون" جدد، مثل Ministral 14B و Llama 3.3 70B، الذين تصدروا المشهد في الاختلاف مع المجموعة.
يثبت هذا أن كون النموذج "استثنائيًا" ليس سمة شخصية دائمة لنموذج ذكاء اصطناعي معين. إنه علاقة. قد يبدو النموذج مختلفًا جدًا فقط لأن النماذج الأخرى في المجموعة تصادف أنها متشابهة جدًا مع بعضها البعض. إذا استبدلت المجموعة، فقد يبدو "المتمرد" فجأة كأنه "ممتثل". هذا يعني أن إذا أظهر لك نظام ما "صوتًا متباينًا" لمساعدتك في اتخاذ قرار، فإن هذا الصوت يخبرك بالمزيد عن مجموعة الذكاء الاصطناعي الموجودة حاليًا أكثر مما يخبرك عن نموذج الذكاء الاصطناعي المحدد نفسه.
هل الحجم أو العلامة التجارية مهمة؟
اختبر الفريق أيضًا افتراضين شائعين لدى الناس حول الذكاء الاصطناعي:
- هل الأكبر يعني مختلفًا؟ قارنوا بين النماذج "الصغيرة" والنماذج "الكبيرة" داخل نفس العائلة. كانت النتائج فوضوية؛ فأحيانًا كان النموذج الأصغر هو المتمرد، وأحيانًا كان الأكبر. لم تكن هناك قاعدة ثابتة.
- هل اسم العائلة مهم؟ نظروا في النماذج من نفس "العائلة" (مثل إصدارات مختلفة من نفس العلامة التجارية). وبينما كانت النماذج من نفس العائلة تميل إلى أن تكون أكثر تشابهًا مع بعضها البعض مقارنة بالغرباء، إلا أن الأدلة كانت ضعيفة لأنهم امتلكوا عددًا قليلًا فقط من الأزواج للمقارنة بينهم.
تخلص الورقة البحثية إلى أنه لا يمكنك التنبؤ بمدى "تباين" الذكاء الاصطناعي بمجرد النظر إلى حجمه أو اسمه التجاري. يجب عليك قياسه فعليًا في السياق المحدد الذي تستخدمه فيه.
عما يختلف الذكاء الاصطناعي في الواقع؟
أخيرًا، تحقق الباحثون مما إذا كانت النماذج تختلف أكثر في الحالات التي صُممت لتكون مفتوحة لتفسيرات عديدة. لقد صنفوا قصص المرضى إلى ثلاثة أنواع: تلك التي لها قراءة واحدة واضحة، وتلك التي لها قراءة مشتركة ولكن غير فعالة، وتلك التي لها قراءات متميزة حقًا.
توقعوا أن تختلف النماذج أكثر في القصص "المفتوحة". لكن هذا لم يحدث. لقد اختلفت النماذج في القصص "المفتوحة" بنفس القدر (أو حتى أقل قليلاً) كما اختلفت في القصص الأخرى. بدلاً من ذلك، كان حجم الاختلاف مدفوعًا بـ المحتوى السريري للقصة. على سبيل المثال، أثارت القصص المتعلقة بـ "الاكتئاب" خلافًا أكثر من القصص المتعلقة بـ "الصدمة".
يشير هذا إلى أن نماذج الذكاء الاصطناعي ليست حساسة لـ "انفتاح" المشكلة بالطريقة التي قد يكون عليها البشر. إنها تتفاعل مع التفاصيل المحددة للقصة (مثل نوع المرض المذكور) بدلاً من التعقيد الفلسفي للموقف.
الخلاية المستفادة
لا تقول هذه الدراسة إن الذكاء الاصطناعي عديم الفائدة؛ بل تقول فقط إننا بحاجة إلى التوقف عن افتراض أن المجموعة الكبيرة من نماذج الذكاء الاصطناعي هي تلقائيًا مجموعة ذكية ومتنوعة. إذا وضعت 16 نموذجًا في غرفة، فقد تحصل فقط على حكمة شخصين. "التنوع" الذي تحصل عليه ليس رقمًا ثابتًا يمكنك شراؤه بإضافة المزيد من النماذج؛ بل هو شيء هش يعتمد على المزيج المحدد من النماذج والمشكلة المحددة التي تحلها.
الدرس الأكثر أهمية هو أنه إذا كنت تستخدم مجموعة من نماذج الذكاء الاصطناعي لمساعدتك في اتخاذ قرار صعب، فلا تكتفِ فقط بعدد النماذج التي تملكها. أنت بحاجة إلى قياس مدى اختلافها الفعلي، لأن "الصوت الاستثنائي" الذي تراه قد يكون مجرد تأثير مؤقت لمن يجلسون على الطاولة، وليس رؤية عميقة من آلة فريدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.