Aligning Large Language Model Behavior with Human Citation Preferences
تتقصى هذه الدراسة عدم التوافق بين سلوكيات الاستشهاد لدى النماذج اللغوية الكبيرة وتفضيلات البشر من خلال بناء مجموعة بيانات دقيقة تكشف عن إفراط النماذج في الاستشهاد بعلامات المصدر الصريحة مقابل نقص استشهادها بالكيانات الرقمية والمسماة، وتُبين أن تحسين التفضيل المباشر يمكن أن يعاير هذا السلوك بفعالية ليتطابق بشكل أفضل مع التوقعات البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مرشد سياحي (الذكاء الاصطناعي) تقود مجموعة من السياح (المستخدمين) عبر مكتبة ضخمة من المعرفة. مهمتك هي إخبارهم بحقائق مثيرة للاهتمام. لكن هناك شرط واحد: إذا ذكرت حقيقة ما، يجب عليك إظهار "إيصالاتك" (المصادر) لتثبت أنك لا تأتي بأشياء من خيالك.
السؤال الكبير الذي تطرحه هذه الورقة البحثية هو: كيف يقرر المرشد السياحي أي الحقائق تحتاج إلى إيصالات؟
حالياً، نماذج الذكاء الاصطناعي تشبه المرشدين السياحيين الذين قرأوا فهرس المكتبة مليون مرة، لكن لم يتم تعليمهم صراحةً متى يجب عليهم إظهار الإيصال. إنهم غالباً ما يظهرون الإيصالات لأسباب خاطئة، ويفوتهم إظهار الإيصالات التي تهمنا حقاً.
إليك تفصيل لما وجده الباحثون، باستخدام تشبيهات بسيطة:
١. مشكلة "الإيصال"
في العالم الحقيقي، إذا قال لك المرشد السياحي: "الدواء يعالج الإنفلونزا"، فستطلب رؤية ملاحظة طبية فوراً. ولكن إذا قال: "السماء زرقاء"، فمن المرجح أنك لن تحتاج إلى دليل.
أراد الباحثون معرفة ما إذا كانت نماذج الذكاء الاصطناعي تدرك الفرق بين "أنا بحاجة لإيصال لهذه المعلومة" وبين "لا أحتاج". لقد بنوا اختباراً خاصاً باستخدام ٦٠٠٠ جملة من ويكيبيديا (موسوعة ضخمة عبر الإنترنت). وسألوا المحررين البشر: "لو كنت أنت المرشد السياحي، هل ستظهر إيصالاً لهذه الجملة؟"
ثم سألوا نماذج الذكاء الاصطناعي نفس السؤال وقارنوا الإجابات.
٢. ما أصاب فيه الذكاء الاصطناعي (الغريزة "الطبية")
الخبر الجيد: نماذج الذكاء الاصطناعي جيدة بشكل مدهش في شيء واحد محدد. عندما تكون الجملة متعلقة بـ الطب أو الصحة، فإن الذكاء الاصطناعي يتفق دائماً تقريباً مع البشر في أن الإيصال مطلوب.
- التشبيه: الأمر يشبه مرشداً سياحياً يعرف أنه إذا ذكر منحدرًا خطيرًا، فيجب عليه إظهار تحذير سلامة. لقد أدركوا هذا الجزء بشكل صحيح.
٣. ما أخطأ فيه الذكاء الاصطناعي (فخ "بيانات التدريب")
الخبر السيئ: لدى الذكاء الاصطناعي بعض العادات السيئة التي تعلمها من بيانات تدريبه (الملايين من الكتب التي قرأها).
رد الفعل المبالغ فيه تجاه "العلامات الحمراء": في ويكيبيديا، يقوم المحررون أحياناً بوضع ملصق "المصدر مطلوب" على جملة ما. يرى الذكاء الاصطناعي هذا الملصق ويعتقد: "أوه، يجب أن أظهر إيصالاً!". حتى لو كانت الجملة في الواقع بسيطة جداً.
- النتيجة: الذكاء الاصطناعي أكثر عرضة بنسبة تصل إلى ٢٧٪ من البشر لإظهار إيصال لمجرد أنه رأى ذلك الملصق. إنه يشبه مرشداً سياحياً يظهر إيصالاً لكل شيء لمجرد أن شخصاً ما أخبره ذات مرة أن يراجع ملاحظاته. هذا يخلق فوضى ويزعج السياح.
الثغرة المتعلقة بـ "الأرقام": يعرف البشر أنه إذا كانت الجملة تحتوي على رقم محدد (مثل "٥٠٪ من الناس" أو "في عام ١٩٩٩")، فإنها تحتاج إلى إيصال لأن الأرقام من السهل الخطأ فيها.
- النتيجة: الذكاء الاصطناعي أقل عرضة بنسبة ٢٢٪ من البشر لإظهار إيصال للجمل التي تحتوي على أرقام. إنه يشبه مرشداً سياحياً يقول: "نحن على بُعد ٥ أميال من المخرج"، ثم ينسى إظهار الخريطة، رغم أن هذا الرقم بالغ الأهمية.
الثغرة المتعلقة بـ "الأسماء": وبالمثل، إذا ذكرت الجملة اسم شخص معين، فإن البشر يريدون دليلاً.
- النتيجة: الذكاء الاصطناعي أقل عرضة بنسبة ٢٠٪ من البشر لإظهار إيصال للجمل التي تحتوي على أسماء. إنه يشبه المرشد الذي يذكر شخصية تاريخية مشهورة دون إظهار شهادة ميلادها.
٤. الحل: "إعادة تدريب" المرشد السياحي
أدرك الباحثون أن الذكاء الاصطناعي لم يولد وهو يعرف هذه القواعد؛ بل تعلمها من بيانات تدريبه الفوضوية. لذا، حاولوا "إعادة تدريب" الذكاء الاصطناعي باستخدام طريقة تسمى تحسين التفضيل المباشر (DPO).
فكر في الأمر كمدرب يجلس مع المرشد السياحي ويقول له: "توقف عن إظهار الإيصالات بسبب ملصقات 'المصدر مطلوب'. ابدأ بإظهار الإيصالات للأرقام والأسماء. إليك أمثلة على ما يريده البشر حقاً".
النتيجة:
- أصبح الذكاء الاصطناعي المُعاد تدريبه أفضل بكثير في مطابقة تفضيلات البشر.
- بالنسبة لنماذج الذكاء الاصطناعي الأصغر، أدى هذا "التدريب" إلى تحسين دقتها بنسبة تقارب ١٢٪.
- لقد أثبت ذلك أنه يمكننا تعليم الذكاء الاصطناعي ليكون مرشداً سياحياً أفضل، ولكن يجب علينا تدريبه على ذلك صراحةً؛ فهو لن يستنتج ذلك بمفرده.
الخلاصة
نماذج الذكاء الاصطناعي تصبح أكثر ذكاءً، لكنها حالياً سيئة في معرفة متى تثبت حقائقها. فهي متحمسة جداً لإظهار الإيصالات لأشياء لا تحتاج إليها (بسبب ملصقات ويكيبيديا) وكسولة جداً في إظهار الإيصالات للأشياء التي تحتاج إليها (مثل الأرقام والأسماء).
ومع ذلك، تُظهر الورقة البحثية أنه يمكننا إصلاح ذلك. من خلال تعليم الذكاء الاصطناعي ما يفضله البشر تحديداً، يمكننا جعله أكثر موثوقية وأقل فوضوية، مما يضمن أنه عندما يُظهر إيصالاً، يكون لذلك أهمية حقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.