The Evaluator Is Part of the Experiment: Measuring Open-Ended LLM Conformity
تقدم هذه الورقة بروتوكولاً تجريبياً جديداً يثبت أن الامتثال في النماذج اللغوية الكبيرة مفتوحة النهايات مدفوع بتأثير الأقران الذي يؤدي إلى تدهور جودة المراجعة، بينما تكشف في الوقت ذاته أن أحكام المقيمين غير محايدة وتتطلب معايرة مرجعية صريحة لضمان صلاحية القياس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تتعلم فيه الحواسيب كيف تفكر، وتتحدث، بل وحتى تتجادل مع بعضها البعض. هذا هو مجال الذكاء الاصطناዊ، وتحديداً النماذج اللغوية الكبيرة (LLMs)، التي تشبه أدمغة رقمية خارقة تم تدريبها على كل ما كتبه البشر تقرياً. لكن الجزء الصعب هنا هو أن هذه الأدمغة الرقمية ليست مجرد عباقرة منعزلين؛ بل غالباً ما تعمل في فرق، أو "أنظمة متعددة الوكلاء"، حيث يقترح ذكاء اصطناعي إجابة، وينتقدها آخر، ويحاول ثالث إصلاحها. السؤال الكبير الذي يطرحه العلماء هو: ماذا يحدث عندما يختلف هؤلاء الأصدقاء من الذكاء الاصطناعي؟ هل يتمسكون بالحقيقة، أم ينساقون وراء الجماعة، تماماً كما قد يغير المراهقون آراءهم في حفلة ليتماشوا مع المجموعة؟ تُسمى هذه الظاهرة "الامتثال". وبينما نعلم أن البشر يمكن التأثير عليهم بسهولة من خلال ضغط الأقران، نحتاج إلى معرفة ما إذا كانت ابتكاراتنا الرقمية عرضة لذلك أيضاً. فإذا كان من الممكن خداع ذكاء اصطناዊ ليؤمن بفكرة خاطئة لمجرد أن "أصدقاءه" قالوا ذلك، فقد يؤدي هذا إلى أخطاء جسيمة في كل شيء، من المشورة الطبية إلى الأحكام القانونية.
تتعمق الورقة البحثية التي أوشكت على قراءتها في هذه المشكلة تحديداً، ولكن مع لمسة مختلفة: فهي تعامل الشخص (أو الكمبيوتر) الذي يقيم الإجابات كجزء من التجربة، وليس مجرد حكم محايد. لقد أنشأ الباحثان، أليسيا غيرا وييبو هو، ملعباً رقمياً ضخماً ليروا كيف يتفاعل أربعة "مولدات" مختلفة للذكاء الاصطناዊ (التي تصنع الإجابات) عندما يرى "أقراناً" (إجابات ذكاء اصطناዊ أخرى) تكون إما جميعها صحيحة، أو جميعها خاطئة، أو مزيجاً بينهما. وقد وجدا أنه عندما يحيط بذكاء اصطناዊ مجموعة من الأقران يقدمون له معلومات خاطئة تماماً، فإن إجاباته المعدلة تصبح أسوأ بشكل ملحوظ. الأمر يشبه طالباً يعرف الإجابة الصحيحة، ولكن بعد سماع فصل دراسي كامل يهتف بثقة بالإجابة الخاطئة، يبدأ في الشك في نفسه ويكتب الإجابة الخاطئة أيضاً.
لكن القصة تصبح أكثر إثارة للاهتمام. فقد أدرك الباحثان أن قياس هذا ليس ببساطة التحقق مما إذا كانت الإجابة قد تغيرت من "نعم" إلى "لا". فأحياناً، تظل الإجابة كما هي، لكن "جودة" التفسير تسوء، أو يبدأ الذكاء الاصطناዊ في إضافة تفاصيل غريبة أو خرافية فقط ليتماشى مع المجموعة. ولضبط ذلك، استخدموا حيلة ذكية: حيث أخذوا نفس الإجابة تماماً وعرضوها على "حكم" (ذكاء اصطناዊ آخر) مرتين. في المرة الأولى، رأى الحكم الإجابة بمفردها (بشكل أعمى). وفي المرة الثانية، رأى الحكم الإجابة مضافاً إليها تعليقات الأقران (بشكل مستنير). واكتشفوا أن الحكام لم يكونوا روبوتات محايدة على الإطلاق! فاعتماداً على نوع الذكاء الاصطناዊ الذي يقوم بالتحكيم، جعل رؤية تعليقات الأقران الحكم يرى نفس الإجابة بشكل مختلف. بعض الحكام أصبحوا أكثر ميلاً للموافقة على الجماعة، بينما أصبح آخرون أكثر تشككاً. اتضح أنه في عالم الذكاء الاصطناዊ، فإن الشخص الذي يصحح الاختبار يتأثر بالجماعة تماماً مثل الطالب الذي يؤديه.
وجد الباحثون أيضاً أنه إذا لم تتحقق من "أدوات القياس" الخاصة بك بعناية، فإن تجربتك بأكملها قد تنهار. لقد استخدموا "المرتكزات" (anchors)—وهي أمثلة صحيحة تماماً وأخرى خاطئة تماماً—لوضع مقياس لمدى جودة الإجابة. ووجدوا أنه إذا لم يستطع الحكام التمييز بشكل موثوق بين هذه المرتكزات، فإن نظام القياس بأكمله يصبح مهتزاً. باختصار، تثبت هذه الورقة أن قياس امتثال الذكاء الاصطناዊ هو مشكلة ذات جزأين: الذكاء الاصطناዊ الذي يصنع الإجابة يصبح أسوأ عندما يحيط به أقران مخطئون، والذكاء الاصطناዊ الذي يقيّم الإجابة ينحاز برؤية هؤلاء الأقران أنفسهم. إنه تذكير بأنه في العصر الرقمي، لا يؤثر ضغط الأقران علينا نحن فقط، بل يؤثر أيضاً على الآلات التي نبنيها لمساعدتنا، وحتى على الآلات التي نبنيها للحكم عليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.