On the Role of Citations in Preference Data
تتقصى هذه الورقة كيفية تقييم الحكام البشر والنماذج اللغوية الكبيرة مفتوحة المصدر للاستشهادات في الإجابة على الأسئلة العلمية، كاشفةً أن البشر يفضلون استشهادات متنوعة ولكن أقل عدداً بينما تُظهر النماذج اللغوية الكبيرة تفضيلاتات متعلقة بالاستشهاد تتباين باختلاف النموذج والبيانات، مما يقدم رؤى نقدية لتحسين جمع بيانات التفضيل في نمذجة المكافأة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، أصبح نوع معين من المهام محورياً في كيفية تعلم هذه الأنظمة وتحسنها: وهو طلب من الكمبيوتر اختيار الإجابة الأفضل من بين إجابتين. هذه العملية، المعروفة باسم "تعلم التفضيل"، هي المحرك وراء تدريب الذكاء الاصطناعي الحديث. فعندما يولد النظام استجابتين مختلفتين لسؤال ما، يقوم حَكَم — سواء كان خبيراً بشرياً أو برنامج ذكاء اصطناعي آخر — بتقرير أيهما الأفضل. تُستخدم هذه الاختيارات لتعليم النظام الأصلي كيف يتصرف بشكل يشبه الخبير الموثوق. ومع ذلك، ظل جزء حاسم من اللغز غير واضح: عندما ينظر هؤلاء الحكام إلى إجابات تتضمن مراجع لمصادر خارجية، والمعروفة باسم الاستشهادات، فما الذي يبحثون عنه بالضبط؟ هل يقدرون العدد الهائل للمصادر، أم تنوع تلك المصادر، أم حداثة المعلومات؟ إن فهم هذا الأمر حيوي لأن الاستشهادات تهدف إلى أن تكون درعاً ضد التزييف، مما يسمح للمستخدمين بالتحقق من أن الذكاء الاصطناعي يقول الحقيقة. وإذا لم تفهم الأنظمة التي تدرب الذكاء الاصطناعي كيفية وزن هذه المراجع بشكل صحيح، فقد تتعلم النماذج الناتجة إعطاء الأولوية للأشياء الخاطئة، مثل سرد العديد من المصادر دون التحقق من جودتها، أو تجاهل مصداقية المعلومات تماماً.
لقد وضع فريق من الباحثين هدفاً للتحقيق في هذا السؤال تحديداً من خلال فحص كيفية تقييم كل من الخبراء البشر وبرامج الذكاء الاصطناعي للإجابات العلمية التي تتضمن استشهادات. ركزوا على سيناريو يُطلب فيه من ذكاء اصطناعي الإجابة على سؤال علمي معقد ويقدم استجابة طويلة ومفصلة مدعومة بمراجع لأوراق أكاديمية. جمع الباحثون آلاف الأزواج من هذه الاستجابات، حيث تم اختيار إجابة واحدة على الأخرى من قبل خبراء بشريين، ثم طلبوا من أربعة نماذج مختلفة من النماذج اللغوية الكبيرة القيام بنفس الاختيارات. ولفهم القواعد الخفية وراء هذه القرارات، استخدم الفريق طريقة إحصائية سمحت لهم بعزل سمات محددة للإجابات، مثل عدد الاستشهادات المستخدمة، ومدى تنوع المصادر، وما إذا كانت المراجع تتطابق مع النص، مع التحكم في عوامل أخرى مثل طول الإجابة.
كشفت الدراسة عن نمط متميز ومثير للدهشة نوعاً ما في كيفية حكم البشر على هذه الاستجابات. فعندما راجع الناس الإجابات العلمية، فضلوا الاستجابات التي تستمد معلوماتها من مجموعة واسعة ومتنوعة من المصادر المختلفة، مما يشير إلى أنهم يقدرون الاتساع والمنظور. ومع ذلك، فضلوا أيضاً الإجابات التي تحتوي على عدد أقل من الاستشهادات؛ وهذا يشير إلى أنه بينما يريد البشر رؤية إجابة بحثت جيداً، إلا أنهم ينفرون من الاستجابات التي تبدو مزدحمة بعدد مفرط من المراجع. علاوة على ذلك، كان البشر سريعين في معاقبة الإجابات التي لا تتطابق فيها المراجع داخل النص مع قائمة المصادر في النهاية، وهو خطأ شائع يشير إلى أن الذكاء الاصطناعي قد يكون من تأليف المراجع. ومن المثير للاهتمام أن عمر المصادر لم يهم الحكام البشر كثيراً؛ إذ لم يظهروا تفضيلاً قوياً للأوراق البحثية الأحدث على الأقدم.
في المقابل، تصرف الحكام من الذكاء الاصطناعي بشكل مختلف تماماً، وتفاوتت تفضيلاتهم بناءً على النموذج المحدد الذي يقوم بالتحكيم. وبينما مالت نماذج الذكاء الاصطناعي أيضاً إلى حب المصادر المتنوعة، إلا أنها غالباً ما أظهرت رد فعل أقوى بكثير تجاه عدد الاستشهادات مقارنة بالبشر. فبعض حكام الذكاء الاصطناعي كرهت بشدة الإجابات التي تحتوي على الكثير من الاستشهادات، بينما كانت نماذج أخرى غير مبالية. والأكثر أهمية هو أن نماذج الذكاء الاصطناعي فشلت في ملاحظة أو معاقبة المراجع غير المتطابقة التي وجدها البشر إشكالية للغاية. بدلاً من ذلك، تأثر حكام الذكاء الاصطناعي بشدة بالسمات السطحية، مثل طول الاستجابة. فقد فضلت عدة نماذج باستمرار الإجابات الأطول، بغض النظر عما إذا كان الطول الإضافي يضيف قيمة أم مجرد حشو للمساحة. وهذا يشير إلى أنه بدون تدريب محدد أو الوصول إلى وثائق المصدر الفعلية، فإن أنظمة الذكاء الاصطناعي هذه لا "تقرأ" حقاً الاستشهادات للتحقق من دقتها، بل تتفاعل بدلاً من ذلك مع الأنماط البصرية أو الهيكلية للنص.
وجد الباحثون أن هذه الاختلافات لم تكن مجرد نزوات بسيطة، بل كانت تباينات جوهرية يمكن أن تؤثر على كيفية تدريب أنظمة الذكاء الاصطناعي المستقبلية. ولأن نماذج الذكاء الاصطناعي تُستخدم غالباً لتصنيف البيانات لتدريب نماذج أخرى، فإن الاعتماد عليها دون فهم تحيزاتها المحددة قد يؤدي إلى نظام يتعلم إعطاء الأولوية للطول أو عدد الاستشهادات على حساب الدقة الفعلية وتنوع المصادر. تسلط الدراسة الضوء على أنه بينما يمكن للذكاء الاصطناعي محاكة الحكم البشري في كثير من الطرق، فإنه يفتقر إلى الفهم الحدسي لما يجعل المرجع موثوقاً أو متسقاً. ويقترح المؤلفون أنه لبناء أنظمة أفضل، يجب على المطورين أن يكونوا أكثر حذراً بشأن كيفية جمع بيانات التفضيل، وضمان أن تكون الإرشادات البشرية واضحة بشأن جودة الاستشهاد، وأن يتم تزويد حكام الذكاء الاصطناعي بأدوات للتحقق من المصادر أو يتم اختيارهم بناءً على فهم عميق لتحيزاتهم المحددة. في نهاية المطاف، يعمل هذا العمل كتذكير بأنه في السعي لجعل الذكاء الاصطناعي أكثر موثوقية، فإن التفاصيل المتعلقة بكيفية طلبنا منه الاختيار بين الإجابات تهم بقدر أهمية الإجابات نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.