Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders
تستخدم هذه الدراسة الاستطلاعية المشفرات التلقائية اللغوية الطبيعية لتحليل تنشيطات النموذج الداخلي لـ Qwen2.5-7B-Instruct، مما يكشف أن النموذج يستنتج الهوية الكولومبية والأنماط النمطية المرتبطة بها من إشارات لغوية دقيقة في المطالبات باللغتين الإسبانية والإنجليزية قبل توليد المخرجات الصريحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى روبوت فائق الذكاء قرأ كل شيء تقريبًا على الإنترنت. قد تعتقد أن هذا الروبوت لا يعرف إلا ما تقوله له. ولكن ماذا لو كان الروبوت في الواقع يخمن من أنت بناءً على تلميحات صغيرة وغير مرئية في صوتك أو في الكلمات التي تختارها؟ هذا هو عالم نماذج اللغات الكبيرة (LLMs). هذه هي العقول الاصطناعية التي تقف وراء برامج الدردشة وأدوات البحث. لقد اكتشف العلماء أن هذه النماذج لا تعالج الكلمات فحسب، بل تبني "ملفًا شخصيًا" سريًا للشخص الذي تتحدث معه، وتخمن أشياء مثل جنسيته أو خلفيته الاجتماعية حتى لو لم تذكرها أبدًا.
لإلقاء نظرة داخل عقل هذا الروبوت، يستخدم الباحثون أداة خاصة تسمى المشفر التلقائي للغة الطبيعية (NLA). تخيل عقل الروبوت كمصنع ضخم ومظلم تتدفق فيه المعلومات عبر الأنابيب. الـ NLA يشبه كشافًا سحريًا يمكنه تسليط الضوء على أنبوب معين وترجمة الإشارات الكهربائية المتدفقة عبره إلى جمل باللغة العادية. إنه يسمح لنا بسماع "المونولوج الداخلي" للروبوت قبل أن يكتب فعليًا إجابته النهائية. هذا الأمر مهم لأننا إذا جعلنا الروبوت يخمن أشياء خاطئة عنك — مثل افتراض أنك من بلد آخر أو ابتكار صور نمطية — فقد يعطيك نصيحة سيئة أو يعاملك بشكل غير عادل، كل ذلك بينما يتظاهر بأنه محايد.
لذا، قرر فريق من الباحثين من كولومبيا اختبار هذا على روبوت مشهور يسمى Qwen2.5-7B. أرادوا معرفة: هل يخمن هذا الروبوت سرًا أن المستخدم كولومبي من مجرد تلميح واحد خفي، حتى لو لم يقل المستخدم أبدًا "أنا كولومبي"؟
إليكم ما فعلوه وما وجدوه.
التجربة: لعبة "من أنا؟"
أعد الباحثون لعبة ذكية مكونة من 30 بداية محادثة (مطالبات). قاموا بتقسيمها إلى ثلاث مجموعات:
- مجموعة "الواضح": مطالبات ذكرت بوضوح أن المستخدم كولومبي (مثل ذكر نظام حافلات كولومبي محدد).
- مجموعة "الخفي": مطالبات تحتوي على تلميح واحد صغير ومخفي قد يوحي بكولومبيا (مثل نوع معين من الحساء أو اسم قرض مدرسي محلي)، ولكن لا يوجد فيها أي ذكر صريح لـ "كولومبيا".
- مجموعة "المحايد": مطالبات كانت حول نفس المواضيع ولكنها لا تحتوي على أي تلميحات كولومبية (مثل السؤال عن حساء عام أو حافلة عامة).
لقد طرحوا هذه الأسئلة على الروبوت بكل من الإسبانية والإنجليزية. ثم استخدموا "كشافهم السحري" (NLA) للنظر في عقل الروبوت في أربع لحظات مختلفة أثناء تفكيره (تسمى الأرباع). أرادوا معرفة ما إذا كانت أفكار الروبوت الداخلية بدأت تقول أشياء مثل "هذا الشخص كولومبي" قبل أن يكتب ذلك في إجابته النهائية.
النتائج: همس الروبوت السري
كانت النتائج مزيجًا من لحظات "وجدتها!" ولحظات "يا للهول!".
1. التلميحات الخفية تنجح (في النهاية)
عندما أعطى الباحثون الروبوت المطالبات "الخفية"، بدأت أفكار الروبوت الداخلية تخمن أن المستخدم كولومبي. ومع ذلك، لم يحدث ذلك فورًا.
- في اللحظة الأولى من التفكير (الربع الأول)، ذكر صوت الروبوت الداخلي كولومبيا بنسبة 0% من الوقت.
- بحلول اللحظة الثالثة (الربع الثالث)، بدأ صوت الروبوت الداخلي يذكر "كولومبيا" حوالي 20% من الوقت.
- بحلول اللحظة النهائية (الربع الرابع)، ارتفع هذا الرقم إلى ما يقرب من 78% عند حساب أي تخمين للجنسية، ولكن عندما قام الباحثون بتصفية التخمينات لدول أخرى (مثل إسبانيا أو تركيا) ونظروا فقط إلى الإشارات الخاصة بـ كولومبيا، كانت النسبة في الواقع 0.11 (حوالي 11%).
يشير هذا إلى أن الروبوت يحتاج إلى بعض الوقت لجمع أفكاره. يبدأ بدون هوية كولومبية محددة في ذهنه، ومع معالجة المزيد من الجملة، يبدأ في تكوين ذلك التخمين المحدد، رغم أنه لا يزال يخلط أحيانًا بين كولومبيا ودول أخرى.
2. مشكلة "الأخبار المزيفة"
هنا تصبح الأمور معقدة. لاحظ الباحثون أنه في بعض الأحيان يظهر الكشاف أن الروبوت يفكر في بلد ما، لكنه البلد الخاطئ. على سبيل المثال، عند سؤاله عن موضوع كولومبي، قد يفكر الروبوت داخليًا: "أوه، هذا يتعلق بـ إسبانيا" أو "هذا يتعلق بـ تركيا".
كان على الباحثين أن يكونوا حذرين للغاية. أدركوا أن الروبوت جيد في تخمين "بلد ما"، لكنه ليس جيدًا دائمًا في تخمين "كولومبيا" تحديدًا. عندما قاموا بتصفية هذه التخمينات الخاطئة، أصبح النمط الخاص بالمجموعة "الخفية" أكثر وضوحًا: الروبوت كان بالتأكيد يشكل هوية كولومبية في عقله (يرتفع من 0% إلى حوالي 11%)، بينما ظلت المجموعة "المحايدة" (التي لا تحتوي على تلميحات) عند 0% فيما يتعلق بالتفكير في كولومبيا تحديدًا.
3. مجموعة "الواضح" كانت غريبة
في مجموعة "الواضح"، حيث كان التلميح الكولومبي موجودًا في الجملة الأولى، كانت أفكار الروبوت الداخلية هادئة بشكل مثير للدهشة في منتصف العملية. لقد بدأ فقط في التحدث عن كولومبيا بكثافة في النهاية. يعتقد الباحثون أن هذا بسبب ارتباك الروبوت من بيانات التدريب الخاصة به أو تشتت انتباهه بأفكار أخرى قبل الاستقرار على الإجابة الصحيحة.
ما مدى تأكدهم؟
الباحثون حذرون من الصراخ "لقد حللنا الأمر!" الآن. إنهم يسمون هذا دراسة استطلاعية، وهي تشبه جولة تجريبية. لقد اختبروا 5 أمثلة فقط لكل نوع من التلميحات. نظرًا لأن العدد صغير جدًا، لا يمكنهم القول بيقين بنسبة 100% أن هذا يحدث في كل مرة.
ومع ذلك، فإن البيانات التي لديهم تشير إلى نمط قوي:
- الروبوت يبدو بالفعل أنه يستنتج الهوية الكولومبية من تلميح خفي واحد.
- هذا الاستنتاج يحدث قبل أن يكتب الروبوت إجابته النهائية.
- الروبوت ليس مثاليًا؛ فهو يخلط أحيانًا بين كولومبيا ودول أخرى، وهو خلل معروف في كيفية عمل هذه الأدوات.
الصورة الكبيرة
هذه الورقة لا تثبت أن الروبوت منحاز بطريقة تفسد كل شيء، لكنها تظهر أن الروبوت "يستمع" إلى تلميحات لم نكن نعتقد أنها مهمة. الأمر يشبه محققًا يبدأ في تخمين جنسية مشتبه به بناءً على طريقة إمساكه بكوب القهوة، حتى لو لم ينطق بكلمة واحدة.
وجد الباحثون أنه بالنسبة للإسبانية الكولومبية، فإن تخمين الروبوت الداخلي حقيقي، لكنه يستغرق بضع ثوانٍ من التفكير ليتضح. كما وجدوا أنه إذا سألت نفس السؤال باللغة الإنجليزية، فإن الروبوت غالبًا ما ينسى السياق الكولومبي تمامًا، ويستبدله بأفكاء عن كندا أو أوروبا. يخبرنا هذا أن هذه الروابت قد تعامل اللغات والثقافات المختلفة بشكل مختلف تمامًا، وعلينا الاستمرار في تسليط ذلك الكشاف على عقولها للتأكد من أنها لا تؤلف قصصًا عن هويتنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.