Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs
تقدم هذه الورقة البحثية PatternEval، وهو معيار تشخيصي يكشف عن عدم اتساق منهجي في أنماط الاستجابة بين أوضاع التفكير وغير التفكير في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الهجينة، وتقترح PatternRL، وهو إطار عمل للتعلم التعزيزي يتضمن عقوبات محددة لكل نمط لمواءمة هذه السلوكيات مع الحفاظ على أداء المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى صديق آلي فائق الذكاء يمكنه رؤية الصور، وقراءة المخططات، وحل الألغاز المعقدة. في بعض الأحيان، تطلب من هذا الروبوت أن "يفكر بعمق" قبل الإجابة، مما يمنحه وقتًا إضافيًا للعمل على المشكلة خطوة بخطوة. وفي أحيان أخرى، تريد إجابة سريعة، لذا تطلب منه أن "يخمن فقط" أو يعطي استجابة مباشرة دون عملية التفكير الطويلة. هذا هو عالم نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) — وهي أنظمة ذكاء اصطناعي يمكنها فهم كل من النصوص والصور. السؤال الكبير الذي يطرحه العلماء ليس فقط "هل الإجابة صحيحة؟" بل "هل يتصرف الروبوت بنفس الطريقة سواء كان يفكر بعمق أو يكتفي بالتخمين فقط؟" إذا قدم الروبوت إجابة مثالية بعد التفكير، ولكنه بعد ذلك أفشى أفكاره السرية، أو كرر نفسه، أو ناقض نفسه عندما طُلب منه إعطاء إجابة سريعة، فهذه مشكلة. نحن نريد من الذكاء الاصطناعي أن يكون موثوقًا ومهذبًا، بغضًا عن مقدار الوقت الذي نمنحه إياه للعمل.
هذه الورقة البحثية، التي تحمل عنوان "ما وراء الصحة: تقييم ومواءمة سلوكيات الاستجابة في نماذج الملحوظات متعددة الوسائط الهجينة"، تغوص في هذه المشكلة تحديدًا. فقد وجد الباحثون أن حتى أكثر نماذج الذكاء الاصطناعي ذكاءً تمتلك "شخصية منقسمة" غريبة. فعندما يُسمح لها بالتفكير ببطء، تتصرف كخبراء هادئين ومحترفين. ولكن عندما تُجبر على أن تكون سريعة وغير مفكرة، فإنها غالبًا ما تبدأ في التصرف بشكل فوضوي: فهي تسرب خطوات "التفكير" الداخلية إلى الإجابة النهائية عن طريق الخطأ، أو تكرر نفس الجمل مرارًا وتكرارًا، أو تقول شيئين متناقضين في آن واحد، أو تتظاهر بالتحليل بينما هي لا تقوم بأي عمل فعلي في الواقع.
ولإثبات ذلك، بنى الفريق اختبارًا خاصًا يسمى PatternEval، وهو بمثابة "امتحان كشف الأخطاء" المصمم خصيصًا للإيقاع بهذه السلوكيات الفوضوية. لقد اختبروا 25 نموذجًا مختلفًا من نماذج الذكاء الاصطناعي (بما في ذلك أسماء كبيرة مثل Qwen وKimi وClaude) في 2,415 لغزًا معقدًا من الصور والنصوص. كانت النتائج مذهلة: حتى النماذج الأكثر تقدمًا أظهرت فجوة هائلة بين وضع "التفكير" ووضع "عدم التفكير". في الواقع، بالنسبة للعديد من النماذج، فشل وضع السرعة وعدم التفكير في اتباع القواعد الأساسية للمحادثة الجيدة بنسبة تقارب 48% من الوقت، بينما كان وضع التفكير البطيء أكثر انضباطًا بكثير.
ولإصلاح ذلك، ابتكر المؤلفون طريقة تدريب جديدة تسمى PatternRL. فكر في الأمر كتعليم طالب ليس فقط كيفية حل المسألة الرياضية بشكل صحيح، بل وأيضًا كيفية الكتابة بوضوح دون خربشة أو تكرار لنفسه. لقد قاموا بتدريب ذكاء اصطناعي "حكم" (يسمى PatternRM) لرصد هذه العادات السيئة الأربع المحددة:
- تسرب سلسلة الأفكار (Chain-of-thought leakage): إفشاء خطوات "التفكير" السرية في الإجابة النهائية.
- تكرار الاستجابة (Response repetition): قول الشيء نفسه مرتين بلا سبب.
- التناقض المنطقي (Logical contradiction): قول "نعم" و"لا" حول نفس الشيء في الوقت ذاته.
- التفكير الاستعراضي (Performative reasoning): التظاهر بالتحليل دون استخدام أي أدلة حقيقية فعليًا.
وعندما طبقوا هذا التدريب الجديد على نموذجين محددين (Qwen3-VL-4B وQwen3-VL-8B)، انخفضت السلوكيات الفوضوية في وضع السرعة بشكل ملحوظ — بنحو 13 إلى 14 نقطة مئوية — دون التأثير على قدرة النماذج على تقديم الإجابات الصحيحة. ومع ذلك، لاحظ الباحثون أيضًا مقايضة صغيرة: أصبحت النماذج أقل دقة قليلاً في مهام الرياضيات والمنطق الصعبة للغاية، مما يشير إلى أن إجبارهم على أن يكونوا "منضبطين" قد يمنعهم أحيانًا من استكشاف طرق إبداعية (ولكن فوضوية) لحل المشكلات.
باختصار، تشير الورقة البحثية إلى أنه ليس لمجرد قدرة الذكاء الاصطناعي على حل مشكلة ما يعني أنه جاهز للتحدث مع البشر. لكي يكون الذكاء الاصطناعي مفيدًا حقًا، يجب تدريبه ليس فقط على ماذا يقول، بل على كيفية قوله، لضمان بقائه مهذبًا ومتسقًا سواء كان يستغرق وقتًا طويلاً في التفكير أو يقدم إجابة سريعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.