The Illusion of Control: Why Bare Classifier Inversion Silently Fails in Concept-Bottleneck Text Generation

في عالم الذكاء الاصطعي، سعى الباحثون طويلاً لإيجاد وسيلة تجعل النصوص المولدة حاسوبياً تلتزم بقواعد محددة. تخيل أنك تطلب من آلة كتابة قصة لا تكتفي بأن تكون صحيحة لغوياً فحسب، بل تلتزم أيضاً بصرامة بمجموعة من السمات: يجب أن تُكتب بصيغة الماضي، وتتضمن نوعاً معيناً من المأكولات، وتحافظ على نبرة عاطفية محددة. هذا التحدي، المعروف باسم التحكم متعدد السمات، يتطلب من الذكاء الاصطناعي الموازنة بين عدة تعليمات في وقت واحد، خاصة عندما تُدمج تلك التعليمات بطرق لم يسبق له رؤيتها من قبل. ولحل هذه المعضلة، طور العلماء نظاماً يسمى "نموذج عنق الزجاجة المفاهيمي". فكر في هذا كأنه ممر ضيق يجب أن تمر من خلاله جميع المعلومات. يقوم الذكاء الاصطناعي أولاً بترجمة الطلب إلى رمز مدمج ومنخفض الأبعاد يمثل السمات المطلوبة، ثم يستخدم ذلك الرمز لتوليد النص النهائي. ويعد هذا التصميم بالشفافية والدقة، مما يسمح للبشر بتوجيه الآلة عبر تعديل الرمز بدلاً من الصراع مع النص الخام.

ومع ذلك، تكشف دراسة جديدة أن الطريقة الأكثر وضوحاً لاستخدام هذا النظام معطلة بشكل جوهري. فقد اكتشف الباحثون، الذين عملوا مع نماذج تتراوح من الصغيرة إلى الكبيرة جداً، أنه عندما تحاول توليد الرمز اللازم ببساطة عبر عكس المنطق الخاص بالمصنفات الداخلية للذكاء الاصطناعي نفسه، فإن النظام يفشل بصمت. فهو ينتج نصاً يبدو بليغاً ولكنه يتجاهل التعليمات تماماً، وكأنه يخمن بشكل عشوائي. وقد أرجع الفريق هذا الفشل إلى خلل خفي: الرمز الناتج عن هذه الطريقة يوجد في مساحة رياضية لم يرها مولد الذكاء الاصطناعي أثناء التدريب. الأمر كما لو أن التعليمات تُسلم إلى مترجم يتحدث لهجة مختلفة تماماً؛ الكلمات موجودة، لكن المعنى مفقود. وتوضح الدراسة أن هذا الفشل ليس مجرد خلل بسيط، بل هو انهيار كامل للتحكم، يحدث عبر مختلف أحجام النماذج وبنياتها، ويظل غير مرئي لفحوصات التدريب القياسية التي قد توحي بخلاف ذلك بأن كل شيء يعمل على ما يرام.

بدأ الباحثون باختبار نهج مباشر لإنشاء رموز التحكم هذه. في نظام عنق الزجاجة المفاهيمي، يتم تدريب الذكاء الاصطناعي على التعرف على سمات محددة، مثل "المشاعر الإيجابية" أو "صيغة الماضي"، ويمتلك آليات داخلية، أو "رؤوس"، يمكنها تحديد هذه السمات. والحل البديهي لتوليد نص بتركيبات جديدة من السمات هو أن تطلب من الذكاء الاصطناعي إيجاد رمز من شأنه أن يحفز تلك الرؤوس المحددة. هذه العملية، المعروفة باسم "عكس المصنف"، تتضمن البحث رياضياً عن رمز يجبر الكواشف الداخلية على الاستجابة للسمات المطلوبة. طبق الفريق هذه الطريقة على عدة نماذج لغوية مختلفة، بما في ذلك نسخ تحتوي على مئات الملايين والمليارات من المعلمات. وكانوا يتوقعون أن يرى الذكاء الاصطناعي يولد بنجاح نصوصاً تطابق التركيبات المطلوبة من السمات، حتى للتركيبات التي لم يسبق له مواجهتها خلال مرحلة التدريب.

بدلاً من ذلك، كانت النتائج مذهلة. فعندما استخدم الباحثون طريقة العكس هذه، فشلت النصوص المولدة باستمرار في اتباع التعليمات. وفي اختبار مرجعي يتضمن أربع سمات متميزة، لم تؤدِ النماذج أفضل من التخمين العشوائي، حيث حققت معدل دقة يبلغ حوالي 42.5 بالمائة، وهو الخط الأساسي للتخمين دون أي فهم حقيقي. كان النص الناتج غالباً متماسكاً ولكن بعيداً تماماً عن الموضوع، أو يتحول إلى حلقات مكررة من الكلمات. والأهم من ذلك، ظلت مقاييس التدريب لهذه النماذج سليمة، ولم تظهر أي علامات اضطراب. لقد تم بالفعل إجبار الكواشف الداخلية على الاستجادة للسمات المستهدفة، لكن الرمز الناتج كان بعيداً جداً عن النطاق الطبيعي للبيانات التي تعلمها المولد، لدرجة أن المولد لم يستطع فهمه. وقد قاس الباحثون هذه المسافة مباشرة ووجدوا أن الرموز المعكوسة كانت أبعد بثلاث إلى سبع مرات من البيانات التدريبية العادية مقارنة بالرموز الناتجة عن الطرق العاملة. هذا الرمز "خارج النطاق" (off-manifold)، والذي يوجد في منطقة رياضية غريبة، جعل المولد يبالغ في رد فعله، مما أدى إلى تضخيم الأخطاء الصغيرة إلى تشوهات هائلة أثناء بناء النص طبقة تلو الأخرى.

لفهم سبب حدما حدث ذلك، نظر الفريق في كيفية انتقال الرمز عبر طبقات الذكاء الاصطناعي. ووجدوا أن الرمز المعيب عمل كإشارة تزداد صخباً وفوضوية مع كل خطوة من عملية التوليد. وفي أحد النماذج الأكبر، كان التشوه في الطبقة النهائية أقوى أربعين مرة مما ينتجه الرمز السليم. هذا الإفراط في التعديل دفع المولد خارج منطقة راحته، مما جعله يعود إلى عاداته المدربة مسبقاً بدلاً من اتباع التعليمات الجديدة. وأكدت الدراسة أن هذه لم تكن مشكلة تتعلق بالنماذج المحددة المستخدمة، بل هي مشكلة جوهرية في بروتوكول الاستدلال نفسه. فقد حدث الفشل ذاته عبر عائلات نماذج مختلفة، من GPT-2 إلى LLaMA وQwen، واستمر حتى عندما حاول الباحثون إضافة عقوبات رياضية لإبقاء الرمز أقرب إلى بيانات التدريب. ورغم أن هذه العقوبات حسنت الوضع قليلاً، إلا أنها لم تستطع أبداً استعادة السيطرة المفقودة بالكامل.

ثم اقترح الباحثون واختبروا حلاً مختلفاً: "السبق الشرطي المعتمد على التسمية اللاحقة" (post-hoc label-conditioned prior). فبدلاً من محاولة هندسة الرمز عكسياً من المصنفات، تستخدم هذه الطريقة خريطة بسيطة مدربة مسبقاً لتقدير كيف يجب أن يبدو الرمز لمجموعة معينة من السمات. وهي تعمل من خلال تعلم متوسط الرمز لكل تركيبة من السمات التي تمت رؤيتها أثناء التدريب، ثم استخدام هذا المتوسط للتنبؤ بالرمز للتركيبات الجديدة وغير المرئية. يعمل هذا النهج كـ "مزيل للضجيج"، حيث يقوم بتصفية الخصائص العشوائية للجمل الفردية ويركز على المفهوم الجوهري. وعندما انتقل الفريق إلى هذه الطريقة، تحولت النتائج فوراً. استعادت النماذ قدرتها على اتباع التعليمات المعقدة، حيث قفزت الدقة من الخط الأساسي العشوائي البالغ 42.5 بالمائة إلى ما يصل إلى 76 بالمائة في أكبر النماذج التي تم اختبارها. لم يكن النص المولد دقيقاً فحسب، بل كان بليغاً أيضاً، حيث نجح في الجمع بين السمات بطرق لم يسبق للنماذج رؤيتها من قبل.

يعيد هذا الاكتشاف صياغة كيفية تفكيرنا في التحكم في توليد النصوص بالذكاء الاصطناعي. تظهر الدراسة أن المسار الأكثر مباشرة للتحكم غالباً ما يكون الخاطئ، مما يؤدي إلى فشل صامت يبدو كأنه نجاح من الخارج. وقد تحقق الباحثون من تشخيصهم باستخدام معايض مرجعية حقيقية، وأكدوا أن الطريقة الجديدة تعمل عبر مجموعات بيانات مختلفة، بما في ذلك مراجعات المنتجات والمهام ذات السمة الواحدة. كما أظهروا أن الطريقة الجديدة تتفوق على التقنيات الأخرى الموجودة، بما في ذلك تلك التي تعتمد على إيجاد جملة مرجعية للنسخ منها. وتتمثل الرؤية الجوهرية في أن رمز التحكم يجب أن يبقى ضمن توزيع البيانات التي يعرفها المولد، وأفضل طريقة لضمان ذلك هي استخدام متوسط إحصائي بدلاً من البحث التحسيني.

تتجاوز تداعيات هذا العمل مجرد إصلاح خطأ برمجي. فهي تسلط الضوء على فجوة حرجة في كيفية تقييم ونشر هذه الأنظمة. يمكن للنموذج أن يبدو وكأنه يتعلم بشكل مثالي أثناء التدريب، مع اجتياز جميع فحوصاته الداخلية، ومع ذلك يفشل تماماً عند مطالبته بأداء مهمة بطريقة جديدة. تؤكد الدراسة أنه لكي تكون نماذج عنق الزجاجة المفاهيمية موثوقة، فإن الطريقة المستخدمة لتوليد رمز التحكم لا تقل أهمية عن النموذج نفسه. ومن خلال استبدال طريقة العكس المعيبة بـ "سبق" بسيط ومستند إلى أسس إحصائية، استعاد الباحثون وعد الدقة في التحكم. وهذا لا يعني أن التكنولوجيا مثالية؛ إذ تشير الدراسة إلى أن الطريقة الجديدة لا تتفوق بعد على كل المعايير المرجعية الموجودة في كل المقاييس، وهي محدودة باللغة الإنجليزية وأحجام نماذج معينة. ومع ذلك، فإنها توفر مساراً واضحاً وعاملاً لجعل توليد النصوص بالذكاء الاصطناعي قابلاً للتحكم حقاً، مما يضمن أنه عندما نطلب قصة بسمات محددة، فإن الآلة تستمع بالفعل.