Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases
تقدم هذه الورقة إطاراً دقيقاً تحليلياً يجمع بين التجارب العاملية كاملة التقاطع مع تحليل الاحتمالات على مستوى الرمز (token) لقياس مواقف وتحيزات النماذج اللغوية الكبيرة بدقة، متجاوزةً بذلك الغموض السببي الذي تعاني منه الاختبارات المعيارية التقليدية غير المهيكلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول اكتشاف ما يفكر فيه روبوت عملاق غير مرئي حول العالم. هذا ليس روبوتاً يبني السيارات أو يطوي الملابس؛ إنه "نموذج لغوي كبير" (LLM)، وهو برنامج كمبيوتر فائق الذكاء تم تدريبه على كل ما كتبه البشر تقريباً. أصبحت هذه النماذج جيدة جداً في التحدث لدرجة أن الشركات بدأت تسمح لها بالعمل كوكلاء مستقلين، يتخذون القرارات ويتفاعلون مع الناس من تلقينهم. لكن المشكلة تكمن في أننا لا نعرف حقاً ما الذي "يعتقده" هذا الروبوت. هل لديهم تحيزات خفية؟ هل يفضلون بلدانًا أو أشخاصًا معينين على غيرهم؟ لمعرفة ذلك، يقوم العلماء عادةً بطرح آلاف الأسئلة العشوائية على الروبوت والنظر في إجاباته، تماماً مثل سؤال غريب مليون سؤال مختلف لتخمين شخصيته. المشكلة هي أنه عندما تطرح الكثير من الأسئلة العشوائية، لا يمكنك معرفة ما إذا كانت إجابة الروبوت نابعة من معتقد راسخ أم لمجرد أن السؤال صيغ بطريقة غريبة. الأمر يشبه محاولة فهم حب شخص ما للبيتزا من خلال سؤاله عن البيتزا، ولكن أيضاً سؤاله عن لونه المفضل، ومقاس حذائه، وحالة الطقस، وكل ذلك مختلط معاً. ستحصل على الكثير من البيانات، لكن لا يمكنك فصل حب البيتزا عن مقاس الحذاء.
وهنا يأتي بحث جديد لتنظيف هذه الفوضى. قرر الباحثون، دافود وادي، ومحسن قدرات، وماثيو فيلب، التوقف عن طرح الأسئلة العشوائية والبدء في إجراء تجربة علمية منضبطة. بدلاً من التخمين، عاملو الروبوت كعينة تجارب في حصة علم نفس. استخدموا نوعاً خاصاً من الرياضيات ينظر إلى "أفكار" الروبوت حتى قبل أن ينطق بكلمة واحدة. وبينما تنتظر الاختبارات العادية أن يكتب الروبوت إجابة (والتي يمكن أن تكون مشوشة وعشوائية)، نظر هذا الفريق مباشرة إلى درجات الاحتمالية الداخلية للروبوت—أي الفرص الرياضية الدقيقة التي يمتلكها لاختيار كل كلمة ممكنة. ومن خلال القيام بذلك، استطاعوا قياس "مواقف" الروبوت بدقة متناهية، دون ضجيج التخمين العشوائي. لقد اختبروا هذه الطريقة في موضوع محدد وهو "المركزية العرقية للمستهلك"، وهي باختاً تعني مدى حب الشخص (أو الروبوت) لبلده وكرهه للبلدان الأجنبية. أرادوا معرفة ما إذا كانت الروبوتات التي بُنيت في بلدان مختلفة تمتلك بالفعل تحيزات وطنية، وما إذا كانت هذه التحيزات حقيقية أم مجرد وهم ناتج عن طرق اختبار سيئة.
اختبار شخصية الروبوت العظيم
فكر في الطريقة القديمة لاختبار الذكاء الاصطناعي كأنها لعبة "تثبيت ذيل الحمار" الفوضوية. تقوم بتدوير الروبوت، وتعطيه حقيبة ضخمة من الأسئلة العشوائية، وترى ما يقوله. إذا قال الروبوت شيئاً متحيزاً، فأنت تعلم أنه متحيز، لكن ليس لديك أدنى فكرة عن السبب. هل هو لأنه يكره النساء؟ أم لأن السؤال كان عن القيادة؟ أم أنها مجرد صدفة؟ الطريقة القديمة تخلط كل هذه الأسباب معاً، مما يجعل من المستحيل التمييز بين الشخصية الجوهرية للروبوت وبين رد فعل مؤقت تجاه سؤال مربك.
يقول مؤلفو هذا البحث: "توقفوا عن تدوير الحمار!". بدلاً من ذلك، قاموا بإعداد شبكة منظمة تماماً، مثل لغز "سودوكو" ضخم حيث كل مربع هو اختبار محدد. لقد عاملو التجربة كأنها وصفة طعام: أخذوا كل التوليفات الممكنة من "أي روبوت؟" و"أي بلد يتم السؤال عنه؟" واختبرواهم جميعاً. استخدموا خمسة روبوتات مختلفة (من الولايات المتحدة، والصين، وكندا، وفرنسا) وسألوا عن أربعة بلدان مختلفة. هذا التصميم "المتقاطع بالكامل" سمح لهم رياضياً بعزل ما كان يسبب التحيز بالضبط. هل كان الروبوت نفسه؟ هل كان البلد الذي تتم مناقشته؟ أم كان مزيجاً غريباً من الاثنين؟
قراءة عقل الروبوت (بدون الضجيج)
هذا هو الجزء الأكثر روعة في خدعتهم. عادةً، عندما نسأل الذكاء الاصطناعي سؤالاً، فإنه يختار كلمة، ثم أخرى، ثم أخرى، مثل رمي النرد لتقرير ما سيقوله تالياً. هذا "رمي النرد" (الذي يسمى أخذ العينات) يضيف الكثير من الضجيج. إذا سألت نفس السؤال عشر مرات، فقد تحصل على عشر إجابات مختلفة قليلاً، ومن الصعب معرفة أي منها هي الإجابة "الحقيقية".
هذا البحث يتخطى عملية رمي النرد تماماً. بدلاً من انتظار الروبوت ليتحدث، نظر الباحثون إلى "خريطة الاحتمالات" الداخلية الخاصة به (التي تسمى دالة الكتلة الاحتمالية، أو PMF). تخيل أن لدى الروبوت لوحة تحكم سرية تظهر النسبة المئوية الدقيقة لاحتمالية قوله "1"، "2"، "3"، وصولاً إلى "7" لمقياس التقييم. لم ينتظر الباحثون الروبوت ليختار واحداً؛ بل نظروا إلى لوحة التحكم بأكملها دفعة واحدة. هذا يشبه معرفة الوزن الدقيق للنرد قبل رميه. من خلال تحليل هذه الخريطة الدقيقة، قضوا على كل الضجيج العشوائي. استطاعوا رؤية "رأي" الروبوت كمنحنى سلس ومثالي بدلاً من خط متعرج وفوضوي.
النتائج: الروبوتات لديها هويات وطنية (نوعاً ما)
عندما طبقوا هذه الطريقة فائقة الدقة على موضوع "حب الوطن"، اكتشفوا أشياءً رائعة كانت الطرق القديلة الفوضوية ستفقدها.
أولاً، اكتشفوا أن بعض الروبوتات ثابتة للغاية، بينما البعض الآخر فوضوي بعض الشيء. على سبيل المثال، وجد الروبوت المسمى "Ministral" (من فرنسا) صعوبة في الالتزام بالقواعد، حيث كان يعطي غالباً إجابات مشتتة في كل مكان. لكن الروبوتات المصنوعة في الولايات المتحدة (Llama و Gemma) والصين (Qwen) كانت مركزة ومتسقة للغاية.
ثانياً، وجدوا أن الروبوتات تبدو وكأنها تمتلك "تحيزات وطنية"، لكن الأمر معقد. أظهرت الروبوتات المصنوعة في أمريكا (Llama و Gemma) تفضيلاً واضحاً للدول الواقعة في أمريكا الشمالية (الولايات المتحدة وكندا) وعداءً للصين. وهذا ما قد تسميه "تفضيل الجماعة". ومع ذلك، لم تكن القصة مجرد "أنا أحب بلدي" بسيطة. فالروبوت الكندي (Aya) والروبوت الصيني (Qwen) لم يظهرا نفس النوع من تحيز "حب الوطن" القوي. في الواقع، لم يظهر الروبوت الصيني أي تحيز محدد تجاه بلده في هذا الاختبار، حيث كان تأثير التفاعل لديه يقترب من الصفر.
الاكتشاف الأهم، مع ذلك، كان كيف كانت الطرق القديمة تخدعنا. إذا أخذت مجرد متوسط كبير لجميع الإجابات (الطريقة القد قديمة)، فستعتقد أن كل روبوت يكره فرنسا والصين. لكن عندما استخدم الباحثون طريقة "الرياضيات الدقيقة" الجديدة، رأوا أن هذا خطأ. الروبوت الفرنسي (Ministral) في الواقع أحب فرنسا! والروبوت الكندي (Aya) في الواقع أحب الصين! الطريقة القديمة أخفت هذه المشاعر الإيجابية المحددة لأنها خلطتها مع المشاعر السلبية للروبوتات الأخرى. الطريقة الجديدة أزالت الطبقات وأظهرت أن التحيز ليس شيئاً واحداً يناسب الجميع؛ بل يعتمد كلياً على أي روبوت تختبره وعلى ما تسأله بالضبط.
لماذا هذا مهم
أظهر البحث أيضاً أن الطريقة القديمة في الاختبار غير موثوقة بشكل خطير. بسبب "رمي النرد" العشوائي، غالباً ما تخطئ الطرق القديمة في تحديد اتجاه التحيز. أحياناً، تظن أن الروبوت إيجابي بينما هو في الواقع سلبي، فقط بسبب الضجيج العشوائي. حسب الباحثون أنه باستخدام الطرق القديمة، لديك فرصة جيدة لأن ينعكس اتجاه التحيز (يصبح معكوساً) بمحض الصدفة. أما طريقتهم الجديدة، التي تنظر إلى الرياضيات الدقيقة داخل الروبوت، فلا ترتكب هذا الخطأ أبداً.
باختصار، يجادل هذا البحث بأنه إذا أردنا فهم ما تفكر فيه هذه الوكلاء الأذكياء القويين حقاً، فعلينا التوقف عن معاملتهم كصناديق سوداء تخرج نصوصاً عشوائية. يجب أن نعاملهم كأدوات علمية، ننظر إلى رياضياتهم الداخلية لنرى قيمهم الحقيقية. من خلال القيام بذلك، يمكننا أخيراً فصل شخصية الروبوت الحقيقية عن ضجيج الاختبار، مما يضمن أنه عندما نطلق هؤلاء الوكلاء في العالم الحقيقي، سنعرف بالضبط ما هي التحيزات التي يحملونها معهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.