Language Model Goal Selection Differs from Humans' in an Open-Ended Task

إليك ملخص تقني مفصل للورقة البحثية بعنوان "اختيار الأهداف في النماذج اللغوية يختلف عن البشر في المهام مفتوحة النهايات."

١. بيان المشكلة

بينما يتم دمج النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في أنظمة اتخاذ القرار، غالباً ما تُكلف بـ اختيار الأهداف ذاتياً بدلاً من مجرد تنفيذ أهداف يحددها البشر. يعتمد هذا التوجه على افتراض ضمني بأن النماذج اللغوية يمكن أن تعمل كبدائل صالحة لـ "الغاية الذاتية" البشرية (القدرة على تحديد الأهداف ذاتياً)، وهو أمر بالغ الأهمية للتعلم المرن والسلوك الذكي.

ومع ذلك، لا يزال هذا الافتراض غير مختبر إلى حد كبير. تركز الاختبارات المرجعية الحالية على ما يمكن للنماذج فعله (إكمال المهام) بدلاً من ما تختار فعله عندما تُمنح الاستقلالية. ويرى المؤلفون أن الاعتماد على النماذج اللغوية كـ "مواضيع سيليكونية" لأبحاث السياسات، أو الاكتشاف العلمي، أو المساعدة الشخصية هو أمر محفوف بالمخاطر إذا لم تكن النماذج تحاكي حقاً أنماط اختيار الأهداف البشرية، والتباين، والدافع الجوهري. تكمن المشكلة الأساسية في غياب التحقق التجريبي حول ما إذا كانت النماذج اللغوية الكبيرة تظهر سمات بشرية في اختيار الأهداف مفتوحة النهايات.

٢. المنهجية

تعتمد الدراسة نموذجاً معرفياً مضبوطاً (لعبة الخيمياء من Molinaro et al., 2024) لمقارنة السلوك البشري وسلوك النماذج اللغوية الكبيرة في بيئة تعلم ذاتي التوجيه.

• تصميم المهمة:

  • البيئة: مهمة تعلم تكرارية مرتبطة بالأهداف، حيث يجب على الوكلاء "تحضير" جرعات محددة عبر اختيار تسلسل من المكونات.
  • الهيكل: توجد ٦ أهداف متميزة (جرعات)، يتطلب كل منها تسلسلاً محدداً من مكونين أو ٤ مكونات.
  • الآلية: يختار الوكلاء هدفاً، ثم يختارون المكونات. يتلقون تغذية راجعة حتمية (نجاح/فشل). الوصفات الصحيحة ثابتة ولكنها غير معروفة في البداية.
  • المراحل:
    1. الممارسة: أهداف مفروضة لتعلم الآليات.
    2. التعلم: اختيار حر للأهداف والأفعال (٢٤ تجربة × ٦ كتل).
    3. الاختبار: اختبار مفاجئ حيث يتم تعيين الأهداف خارجياً (داخل التوزيع) ويتم استنتاج أهداف جديدة من الأنماط المتعلمة (خارج التوزيع).
  • الدافع: لا توجد مكافآت خارجية؛ التعلم مدفوع بالدافع الجوهري الصرف.

• المشاركون:

  • البشر: ١٧٥ مشاركاً.
  • النماذج اللغوية الكبيرة (LLMs): أربعة نماذج رائدة:
    • GPT-5 (OpenAI)
    • Gemini 2.5 Pro (Google)
    • Claude Sonnet 4.5 (Anthropic)
    • Centaur (تم ضبطه بدقة خصيصاً لمحاكاة علم النفس البشري في التجارب).
  • التكرارات: خضع كل نموذج لـ ٥٠ تكراراً للمهمة عبر ١٠ تكوينات عشوائية.

• التنوع التجريبي:

  • الأساس (Baseline): المخرجات المباشرة للاختيارات.
  • سلسلة الأفكـار (CoT): تم توجيه النماذج للتفكير خطوة بخطوة قبل الإجابة (زيادة ميزانية الرموز/جهد التفكير).
  • توجيه الشخصية (Persona Steering): تم توجيه النماذج لتبني شخصية طالب جامعي مشارك لمعرفة ما إذا كان ذلك سيزيد من الشبه بالبشر.

• المقاييس:

  • الأداء: دقة اختيار المهمة (التعلم، اختبار داخل التوزيع، اختبار خارج التوزيع).
  • اختيار الهدف: احتمالية اختيار الأهداف السهلة مقابل الصعبة، معدل تكرار الهدف، إنتروبيا اختيار الهدف (التنوع)، الموقع المفضل للهدف (الانحياز لترتيب القائمة)، وأنماط دورات الأهداف.
  • اختيار الفعل: اختبار الفرضيات المنهجي (مثل اختبار تسلسلات المكونات في ترتيب مكاني محدد).

٣. المساهمات الرئيسية

• معيار مرجعي جديد: تقديم مهمة منضبطة ومفتوحة النهايات مصممة خصيصاً لقياس اختيار الأهداف (الـ "ماذا") بدلاً من مجرد تنفيذ الأهداف (الـ "كيف")، مما يسد فجوة في التقييم الحالي للنماذج اللغبية الكبيرة.
• دليل تجريبي على التباعد: تقديم أول مقارنة مباشرة تظهر أن حتى أكثر النماذج تقدماً تفشل في محاكاة التوزيع، والتباين، وأنماط الاستكشاف الاستراتيجية في اختيار الأهداف البشرية.
• تقييم النماذج "الشبيهة بالبشر": اختبار نموذج Centaur، وهو نموذج تم ضبطه بدقة للتنبؤ بالسلوك البشري، ووجد أنه لا يزال يفشل في التقاط ديناميكيات اختيار الأهداف البشرية.
• تحليل التدخل: تقييم ما إذا كان التفكير المتسلسل (CoT) وتوجيه الشخصية يمكن أن يسدوا الفجوة بين السلوك البشري وسلوك الذكاء الاصطناعي، حيث وجدا تحسناً محدوداً وغير متسق فقط.

٤. النتائج الرئيسية

أ. التفاوتات في الأداء

• البشر: أظهروا تعلماً تدريجياً، وأتقنوا الوصفات في النهاية وراجعوها في دورات. كان الأداء متوسطاً ولكنه متباين للغاية بين الأفراد.
• GPT-5 و Gemini 2.5 Pro: حققا دقة تعلم أعلى بكثير من البشر (GPT-5: ~٠.٨٧ مقابل البشر: ~٠.٤٠). ومع ذلك، أظهرا سلوك "اختراق المكافأة" (reward hacking): حيث استغلا الحلول المعروفة أثناء التعلم، لكنهما فشلا في تعميم المعرفة أثناء الاختبار المفاجئ (انخفاض كبير في الأداء)، على عكس البشر الذين حافظوا على الاتساق.
• Claude Sonnet 4.5: أظهر أداءً منخفضاً بشكل مفاجئ طوال جميع المراحل.
• Centaur: أظهر توزيعاً ثنائي المنوال؛ كان متوسط الأداء مشابهاً للبشر، لكن توزيع الدرجات كان مختلفاً جوهرياً.

ب. أنماط اختيار الأهداف

• التنوع (الإنتروبيا): أظهر البشر إنتروبيا عالية للأهداف (استكشاف أهداف متنوعة). أظهرت جميع النماذج إنتروبيا أقل، حيث مالت لاستغلال حل واحد محدد أو مجموعة فرعية صغيرة جداً من الأهداف.
• التكرار: قام البشر بالدوران عبر الأهداف للممارسة. أظهرت معظم النماذج (باستثناء Gemini 2.5 Pro مع CoT) انحيازاً قوخل لـ تكرار نفس الهدف بالتتابع (الاحتمالية > ٠.٩٣ مقابل البشر ~٠.٥٤).
• الانحياز الموقعي: أظهرت جميع النماذج انحيازاً قوياً لاختيار الهدف الأول المدرج، وهو أثر لغوي لا يوجد في السلوك البشري.
• الانحياز للصعوبة: مالت معظم النماذج (GPT-5، Claude) نحو الأهداف الأسهل (مكونين)، بينما وازن البشر بين الصعوبة بناءً على تقدم التعلم.

ج. اختيار الفعل والاستراتيجية

• اختبار الفرضيات المنهجي: استخدم البشر استراتيجية مكانية منهجية متكررة (مثل اختبار تركيبات المكونات في ترتيب مكاني ثابت مثل [٠,١]، [٠,٢]...) لإدارة عبء الذاكرة. لم يحاكي أي نموذج هذا الانحياز المكاني المحدد، مما يشير إلى اعتمادهم على آليات داخلية مختلفة (غالباً الوصول الكامل للسياق) بدلاً من قيود الذاكرة التي تشبه البشر.

د. تأثير التدخلات

• سلسلة الأفكـار (CoT): حسنت أداء التعلم لـ Gemini و GPT-5 ولكنها أدت إلى تدهور التطابق التوزيعي مع البشر. أصبح Gemini 2.5 Pro مع CoT فعالاً أكثر من اللازم، حيث كان يكرر الأهداف بشكل مفرط ويقلل تكرار الأهداف دون مستويات البشر.
• توجيه الشخصية: كان تأثيره ضئيلاً. وبينما غير سلوك Gemini قليلاً، إلا أنه لم يجعل توزيعات سلوك النماذج تتماشى مع البشر. بل إن أداء Centaur تدهور تحت توجيه الشخصية.

٥. الأهمية والآثار المترتبة

• السلامة والمواءمة: تحذر النتائج من استخدام النماذج اللغوية الكبيرة كبدائل لاتخاذ القرار البشري في المجالات عالية المخاطر (مثل أبحاث السياسات، الاكتشاف العلمي، المساعدين الشخصيين). الافتراض بأن "المواضيع السيليكونية" ستظهر انحيازات وخيارات شبيهة بالبشر هو افتراض خاطئ؛ فهي تظهر استراتيجيات تحسين متميزة وغالباً ما تكون استغلالية.
• الدافع الجوهري: تفتقر النماذج اللغوية الكبيرة إلى "الغاية الذاتية" الحقيقية. اختيار الأهداف لديها مدفوع بتعظيم المكافأة الفورية أو مطابقة الأنماط بدلاً من الدافع البشري للاستكشاف المتنوع واكتساب المهارات.
• القيود في النماذج الحالية: حتى النماذج التي تم ضبطها بدقة لمحاكاة علم النفس البشري (Centaur) أو تلك التي تمتلك قدرات استدلال متقدمة (CoT) تفشل في التقاط ثراء وتنوع اختيار الأهداف البشرية.
• الاتجاهات المستقبلية: تسلط الدراسة الضوء على الحاجة إلى معايير مرجعية جديدة تقيم الميول (ما تختار النماذج فعله) بدلاً من مجرد القدرات (ما يمكنها فعله). وهي تشير إلى أن أنظمة الذكاء الاصطناዊ الحالية قد توجه الخطاب العلمي أو السياسات بطرق تختلف عن الأهداف البشرية، مما قد يؤدي إلى "تشريعات مضللة" أو أولويات علمية منحرفة.

في الختام، بينما يمكن للنماذج اللغوية الكبيرة التفوق على البشر في مقاييس مهام محددة، إلا أنها تختلف جوهرياً في كيفية اختيار الأهداف ومتابعتها، حيث تفتقر إلى التنوع الاستكشافي والتباين الاستراتيجي المتأصل في الإدراك البشري.