Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
تقدم هذه الورقة إطار عمل "المندوب الدلالي" (semantic bandit) لتوضيح أن مقايضات الاستكشاف والاستغلال في النماذج اللغوية الكبيرة تتأثر بشكل كبير بالبوادر الدلالية المستمدة من مرحلة ما قبل التدريب، حيث يمكن للتسميات المعلوماتية إما أن تعزز الأداء أو تضعفه اعتماداً على توافقها مع المكافآت، كما أن المكافآت السلبية تحفز الاستكشاف بشكل غير متناسب بسبب انحيازات النطاق المتوقعة.
المؤلفون الأصليون:David Eric Austin, Kaheer Suleman, Jackie Chi Kit Cheung
تخيل برنامج حاسوب قرأ كل كتاب ومقال وموقع إلكتروني على الإنترنت تقريبًا. يمكنه كتابة الشعر، وحل المسائل الرياضية، وإجراء محادثات تبدو بشرية بشكل مذهل. هذا هو النموذج اللغوي الكبير. الآن، تخيل أنك أعطيت هذا البرنامج وظيفة تتطلب منه اتخاذ سلسلة من القرارات للوصول إلى أفضل مكافأة ممكنة، مثل مزارع يقرر أي حقل يزرع فيه المحاصيل، أو محرك توصيات يختار أي قميص يعرضه على زبون. هذه هي مهمة اتخاذ القرار. في عالم علوم الحاسوب، هناك طريقة كلاسيكية لاختبار مدى جودة تعلم "الوكيل" من الخبرة: مشكلة "متعدد الأذرع" (multi-armed bandit). سُميت بهذا الاسم نسبة إلى صف من آلات القمار في الكازينو، لكل منها عائد مختلف وغير معروف. للفوز بأكبر قدر من المال، يجب عليك الموازنة بين حاجتين متنافستين: التمسك بالآلة التي يبدو أنها تدفع أكثر في الوقت الحالي، وتجربة الآلات الأخرى تحسبًا لأن تكون إحداها أفضل بالفعل. تسمى هذه الموازنة بين "الاستكشاف" و"الاستغلال". لعقود من الزمن، درس الباحثون كيفية حل هذه المشكلة رياضيًا. ولكن عندما بدأوا في استخدام هذه النماذج اللغوية القوية كصناع للقرار، لاحظوا شيئًا غريبًا؛ لم تكن النماذج تنظر إلى الأرقام فحسب، بل كانت تقرأ الكلمات.
قرر فريق من الباحثين في جامعة مكغيل ومعهد ميلا (Mila) التحقيق في هذه الظاهرة من خلال إنشاء نوع جديد من الاختبار يسمى "المقامر الدلالي" (semantic bandit). في الاختبار القياسي، تُصنف الخيارات برموز محايدة مثل "الذراع أ" أو "الذراع ب". في هذا الاختبار الجديد، أعطى الباحثون الخيارات أسماءً تحمل معانٍ، مثل "إلهي"، "لطيف"، أو "سيء". أرادوا معرفة ما إذا كان الكمبيوتر سيسمح لمعنى هذه الكلمات بأن يطغى على البيانات الفعلية التي يجمعها. وضعوا سيناريو حيث يعمل الكمبيوتر كمزارع يختار بين ثلاثة حقول. أنتج كل حقل كمية عشوائية من محصول المحاصيل، وكان الهدف هو تعظيم إجمالي الحصاد بمرور الوقت. أعطى الباحثون الحقول أسماءً توحي بجودتها. في نسخة واحدة، كان الحقل الأفضل يسمى "إلهي" والأسوأ يسمى "سيء". وفي نسخة أخرى، قاموا بتبديل الأسماء، بحيث أصبح الحقل الأفضل يسمى "سيء" والأسوأ يسمى "إلهي".
كانت النتائج مذهلة. عندما تطابقت الأسماء مع واقع الحقول — أي عندما كان الحقل "الإلهي" ينتج بالفعل أكبر كمية من المحاصيل — تعلم الكمبيوتر بسرعة فائقة. لقد توقف عن تجربة الحقول الأخرى فورًا وتمسك بالحقل "الإلهي"، محققًا درجة مثالية مع حد أدنى من التجربة والخطأ. ومع ذلك، عندما كانت الأسماء مضللة، ارتكب الكمبيوتر خطأً كارثيًا. فقد أصبح مقتنعًا بأن الحقل المسمى "إلهي" هو الأفضل، حتى بعد أن أظهرت البيانات أنه ينتج أسوأ حصاد. لقد تجاهل الأدلة واستمر في اختيار الحقل "الإلهي"، بينما تُرك الحقل المسمى "سيء" (والذي كان في الواقع الأفضل) دون لمس. لم يكن الكمبيوتر يتصرف بناءً على الأرقام؛ بل كان يتصرف بناءً على الارتباطات التي تعلمها من قراءة مليارات الكلمات أثناء تدريبه. لقد تعلم أن كلمة "إلهي" تعني عادةً جيد و"سيء" تعني عادةً سيء، وطبق تلك القاعدة حتى عندما قالت الأرقام المحددة أمامه عكس ذلك.
اكتشف الباحثون أيضًا أن الكمبيوتر يتفاعل بشكل مختلف مع الأرقام الموجبة والسالبة. فعندما تلقى الكمبيوتر مكافأة سلبية — أي خسارة أو عقوبة — أصبح فجأة أكثر فضولاً. بدأ بتجربة جميع الخيارات المختلفة مرة أخرى، مستكشفًا الحقول المجهولة بطاقة عالية. ولكن عندما تلقى مكافأة موجبة، حتى لو كانت صغيرة، مال إلى التوقف عن الاستكشاف والتمسك بما يعرفه. يشير هذا إلى أن الكمبيوتر لا يرى الأرقام كإشارات مجردة في فراغ. بدلاً من ذلك، يبدو أن لديه توقعًا داخليًا لما تبدو عليه المكافأة "الطبيعية"، وهو أمر صاغته على الأرجح الطريقة التي توصف بها المكافآت في النصوص التي تدرب عليها. فالرقم السالب يكسر هذا التوقع بشدة لدرجة أنه يجبر الكمبيوتر على إعادة تقييم كل شيء، بينما الرقم الموجب يبعث على الشعور بالأمان ويشجعه على الاستمرار في مساره.
لم يقتصر هذا السلوك على نموذج حاسوبي واحد. اختبر الباحثون ثلاثة نماجات لغوية كبيرة مختلفة، تتراوح من الأنظمة مفتوحة المصدر إلى النسخ التجارية المتقدمة، وأظهرت جميعها نفس الانحياز. كان التأثير قويًا لدرجة أنه يمكن أن يحول مشكلة قرار بسيطة إلى فشل ذريع. في مهمة كان بإمكان برنامج حاسوبي كلاسيكي حلها في خطوات قليلة، يمكن للنموذج اللغوي أن يفشل تمامًا إذا كانت الكلمات مضللة قليلاً. وجد الباحثون أنهم استطاعوا إصلاح ذلك جزئيًا من خلال إخبار الكمبيوتر صراحةً في تعليماته بتجاهل الأسماء والاستمرار في الاستكشاف، لكن الانحياز كان عميق الجذور. وحتى مع وجود التحذيرات، غالبًا ما كافحت النماذج للفصل بين معنى الكلمات وحقيقة الأرقام.
تخلص الدراسة إلى أن استخدام اللغة لوصف بيئة اتخاذ القرار يؤدي إلى انحيازات لا يمكن تجنبها. ولأن هذه النماذج مدربة على التزامن بين الكلمات في النصوص البشرية، فإنها تحمل مجموعة من الافتراضات حول كيفية عمل العالم. عندما تتوافق تلك الافتراضات مع المهمة، يكون النموذج عبقريًا، ويتعلم بسرعة أكبر من أي خوارزمية تقليدية. وعندما تتعارض، يصبح النموذج عنيدًا، متجاهلاً الأدلة الواضحة لأنه مشغول جدًا باتباع القصة التي ترويها الكلمات. هذا ليس خطأً في الكود، بل هو سمة من سمات كيفية تعلم هذه الأنظمة من اللغة. ومع نشر هذه النماذج في مواقف من الواقع، من الاستشارات المالية إلى القيادة الذاتية، فإن فهم متى تساعد الحدس اللغوي ومتى يقود إلى الضلال أمر بالغ الأهمية. لقد وجد الباحثون أنه في أبسط سيناريو ممكن لاتخاذ القرار، يمكن خداع الكمبيوتر لارتكاب أسوأ خيار ممكن بمجرد تغيير الملصق الموجود على زر.
ملخص تقني: المندليات الدلالية: الاستكشاف والاستغلال في السياق هو انحياز للمسبقات الدلالية
تعريف المشكلة
يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كوكلاء اتخاذ قرار في إعدادات التعلم المعزز داخل السياق (ICRL)، حيث يتعين عليها موازنة الاستكشاف (جمع المعلومات) والاستغلال (تعظيم المكافآت المعروفة) بناءً على التغذية الراجعة المقدمة بلغة طبيعية. وبينما تعمل وكلاء التعلم المعزز (RL) الكلاسيكية على تمثيلات رمزية تجرد كل المعلومات غير الضرورية، تعالج النماذج اللغوية الكبيرة المهام من خلال اللغة الطبيعية، مما يعرضها لمعلومات دلالية (مثل تسميات الأفعال، سياق المجال، الإشارة الرقمية) ليس لها مقابل رسمي في بنية المهمة.
المشكلة الجوهرية التي يتناولها البحث هي أن هذه "المسبقات الدلالية" (semantic priors) — وهي الانحيازات الاستقرائية الناشئة عن إحصائيات التواجد المشترك للكلمات التي تعلمتها أثناء مرحلة ما قبل التدريب — قد تشوه سلوك الاستكشاف في النماذج اللغوية الكبيرة بشكل منهجي. تفشل أطر التقييم الحالية القائمة على التعلم المعزز الكلاسيكي في مراعاة هذه الانحيازات، مما قد يؤدي إلى تقييمات مضللة لقدرات الوكيل في اتخاذ القرار. يفترض البحث أن استخدام اللغة لتعريف البيئات يؤدي إلى انحيازات لا يمكن تجنبها، والتي يمكن أن تساعد أو تعيق الأداء اعتمادًا على مدى توافق المسبقة الدلالية مع توزيع المكافأة الحقيقي.
المنهجية
للتحقيق في ذلك، قدم المؤلفون المندلي الدلالي (Semantic Bandit)، وهو امتداد رسمي لمشكلة المندلي متعدد الأذرع (MAB). بخلاف مشكلة MAB الكلاسيكية التي تُعرف فقط بتوزيعات المكافأة، يتضمن نموذج المندلي الدلالي صراحةً:
تسمية الأفعال (L): تسميات نصية مخصصة لكل ذراع (مثل "إلهي"، "معتدل"، "بذيء").
السيناريو (c): المجال الموضوعي الذي يرتكز عليه البحث (مثل الزراعة، توصية الملابس، مندلي مجرد).
التصميم التجريبي
تقيم الدراسة ثلاثة نماذج لغوية كبيرة مضبوطة للتعليمات (OLMo-3.1-32B، وQwen3-32B، وGemini 3.1 Flash Lite) عبر ثلاثة سيناريوهات ذات مستويات متفاوتة من التعقيد الدلالي. تتلاعب التجارب بمتغيرين رئيسيين:
تسمية الأفعال: تم اختبار أربعة أنواع:
الأبجدي الرقمي: سلاسل عشوائية (شرط الضبط/التحكم).
العاطفة (Sentiment): صفات ذات دلالات إيجابية، محايدة، أو سلبية.
المعرفة بالعالم: تسميات خاصة بالمجال حيث تُستنتج القيمة من مرحلة ما قبل التدريب (مثل "أراضي عشبية منتجة" مقابل "صحراء قاحلة").
التوافق (Alignment): تم اختبار كل تسمية في تكوينات "مفيدة" (التسمية الدلالية تتوافق مع المكافأة العالية) و"مضللة" (التسمية الدلالية تتوافق مع المكافأة المنخفضة).
مقياس المكافأة: تم تغيير قطبية وحجم المكافآت المرصودة، بما في ذلك المقاييس الإيجابية (مرتفع+، منخفض+) والمقاييس السلبية (مرتفع-، منخفض-)، لاختبار انحيازات المقياس المتوقع.
المقاييس
تم قياس الأداء باستخدام:
الندم التراكمي الموحد: الفرق بين مكافأة الذراع المثلى والمكافأة المتراكمة للوكيل، موضحًا إلى النطاق [0,1].
عدد الاستكشاف: عدد الأذرع المختلفة التي تم اختيارها خلال الحلقة.
احتمالية الاستكشاف: احتمال تغيير الذراع فور ملاحظة قيمة مكافأة معينة في تجارب مسح المقياس.
المساهمات الرئيسية
إطار المندلي الدلالي: يضفي البحث صبغة رسمية على امتداد مشكلة MAB لتشمل تسمية الأفعال وسياق السيناريو، مما يوفر بيئة محكومة لعزل آثار المسبقات الدلالية على الاستكشاف.
توصيف الانحياز الدلالي: يوضح المؤلفون أن المسبقات الدلالية ليست مجرد ضوضاء بل هي محركات نشطة لاتخاذ القرار يمكنها تجاوز إشارات المكافأة.
آثار قطبية المكافأة: تحدد الدراسة انحيازًا متميزًا حيث تؤدي المكافآت السلبية إلى استكشاف أكبر بكثير من المكافآت الإيجابية المعادلة، مما يشير إلى أن النماذج اللغوية الكبيرة تفسر المكافآت بالنسبة لمقياس متوقع مستمد من اصطلاحات ما قبل التدريب.
التفاعل بين المسبقات والمكافآت: يكشف البحث أن المكافآت السلبية يمكن أن تبطل تأثير تسمية الأفعال، مما يجبر النموذج على الاستكشاف حتى عندما تشير التسميات الدلالية إلى الاستغلال.
النتائج
أسفرت التجارب عن ثلاث نتائج رئيسية:
تسمية الأفعال تقود الاستكشاف/الاستغلال:
عندما كانت التسمية متوافقة مع هيكل المكافأة (مثل التسميات الإيجابية على الأذرع ذات المكافأة العالية)، استغلت النماذج المسبقات الدلالية لتحقيق ندم منخفض مع حد أدنى من الاستكشاف، متفوقة غالبًا على النماذج المرجعية الكلاسيكية مثل UCB1.
عندما كانت التسمية غير متوافقة (مثل التسميات الإيجابية على الأذرع ذات المكافأة المنخفضة)، تعرضت النماذج للتضليل الشديد، حيث تمسكت بأفعال غير مثالية وعانت من ندم تراكمي مرتفع.
أحدثت التسميات الترتيبية أقوى انحياز، تليها تسميات العاطفة ثم المعرفة بالعالم. أما التسميات الأبجدية الرقمية فقد أدت إلى سلوك أقرب إلى خط الأساس المعياري UCB1.
أظهرت النماذج المختلفة سلوكيات متباينة: عانى OLMo من صعوبة في الاستكشاف دون تأطير صريح للمهمة؛ وأظهر Qwen3 استغلالاً متسقًا للتسميات الترتيبية؛ بينما استكشف Gemini بسرعة ولكنه كان عرضة لانحيازات المعرفة بالعالم في السياقات المعقدة.
القطبية المكافأة كإشارة سياقية:
حفزت قيم المكافأة السلبية الاستكشاف بشكل كبير مقارنة بالقيم الإيجابية. هذا يشير إلى أن النماذج اللغوية الكبيرة لا تعامل المكافآت كإشارات عددية مجردة، بل تفسرها بالنسبة لمقياس متوقع (على سبيل المثال، القيم السلبية هي "غير متوقعة" أو "سيئة"، مما يحفز البحث عن خيارات أفضل).
كان هذا التأثير أكثر وضوحًا في OLMo وQwen3، بينما أظهر Gemini استجابة أكثر اعتدالًا.
التخفيف عبر التلقين (Prompting):
أدى التحذير الصريح للنماذج من احتمال انحياز التسمية أو توجيهها بضرية "الاستكشاف" إلى زيادة أعداد الاستكشاف.
ومع ذلك، كان تأثير ذلك على الندم التراكمي غير متسق: في السيناريوهات "المفيدة"، أدى فرض الاستكشاف غالبًا إلى زيادة الندم (عن طريق تعطيل الاستغلال الفعال)، بينما في السيناريوهات "المضللة"، أدى إلى تقليل الندم.
الأهمية والادعاءات
يجادل البحث بأن الاعتماد على اللغة الطبيعية لمهام ICRL يؤدي إلى تباعد جوهري عن نظرية اتخاذ القرار الكلاسيكية. الادعاء الأكثر أهمية هو أن المسبقات الدلالية قوية بما يكفي لتحديد السلوك تمامًا في واحدة من أبسط مشكلات اتخاذ القرار (مندلي ثابت بثلاثة أذرع ولا يوجد تباين).
الآثار المترتبة على التقييم: قد يقيس الممارسون الذين يقيمون وكلاء النماذج اللغوية الكبيرة في مهام ذات تسميات طبيعية ومتسقة دلاليًا، مزيجًا من التفكير الحقيقي واستغلال المسبقات الدلالية. النموذج الذي يبدو جيد الأداء قد يكون ببساطة يمتلك مسبقات تتوافق مع بيئة التقييم، مما يؤدي إلى فشل صامت عند النشر في بيئات لا يتوفر فيها هذا التوافق.
مخاوف الموثوقية: تثير النتائج مخاوف بشأن استقرار وكلاء النماذج اللغوية الكبيرة في البيئات الواقعية (مثل أنظمة التوصية، الوكلاء المستقلين). إن قدرة النص السطحي على تجاوز إشارات المكافأة يشير إلى أنه لا يمكن افتراض المتانة بمجرد أداء النموذج جيدًا في الاختبارات المعيارية.
الاتجاهات المستقبلية: يخلص المؤلفون إلى أن فهم متى يساعد السياق الدلالي على التكيف ومتى يسبب أخطاءً منهجية هو شرط مسبق للنشر الآمن. ويقترحون "المندلي الدلالي" كأداة للعمل المستقبلي حول متانة ومعايرة اتخاذ القرار في النماذج اللغوية الكبيرة.
يظل البحث متواضعًا في نطاقه، حيث يقر بالقيود مثل العدد الصغير من المكررات بسبب القيود الحسابية وبساطة البيئة الاصطناعية. وهو يدعو إلى مزيد من البحث لربط هذه التأثيرات بإعدادات النشر الوكيلية الأكثر واقعية.