VLMs Trace Without Tracking: Diagnosing Failures in Visual Path Following
تكشف هذه الورقة أن نماذج الرؤية واللغة الحديثة تعاني في تتبع المسارات البصرية بسبب عدم قدرة جوهري على مقاومة المشتتات المحلية، وهو عنق زجاجة يستمر رغم التوسع، أو تدخلات الاستدلال، أو التعليمات الصريحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "توصيل النقاط" مع روبوت ذكي جداً. تشير إلى نقطة حمراء محددة وتقول: "اتبع هذا الخط المتعرج حتى النهاية، وأخبرني بلون كل نقطة تمر بها".
ستتوقع أن يقوم الروبوت بذلك بسهولة. ولكن وفقاً لهذه الورقة البحثية، فإن نماذج الذكاء الاصطناعي المتقدمة (التي تسمى نماذج الرؤية واللغة أو VLMs) سيئة جداً في هذه المهمة البسيطة. هي لا ترتكب أخطاء عشوائية فحسب؛ بل يتشتت انتباهها وتنتقل إلى خط آخر يبدو مطابقاً تماماً للخط الذي طلب منها اتباعه.
إليك تفصيل لما وجده الباحثون، باستخدام تشبيهات بسيطة:
1. مشكلة "محطة القطار المزدحمة"
أنشأ الباحثون اختبارين رئيسيين لمعرفة مدى قدرة الذكاء الاصطناعي على تتبع خط ما.
- اختبار الدائرة الكهربائية: تخيل لوحة كهربائية فوضوية بها العديد من الأسلاك من نفس اللون تسير جنباً إلى جنب. تطلب من الذكاء الاصطناعي تتبع السلك المتصل بـ "المنفذ 7".
- اختبار الدوامة: تخيل سلماً لولبياً واحداً (مثل شكل قطعة الحلوى) به نقاط ملونة عليه. تطلب من الذكاء الاصطناعي الصعود على السلم من الأسفل إلى الأعلى.
النتيجة: يبدأ الذكاء الاصطناعي بشكل صحيح ولكنه يرتبك فوراً. إذا كان هناك سلك آخر أو لفة لولبية بجوار السلك الذي يفترض به اتباعه مباشرة، فإن الذكاء الاصطناعي غالباً ما "يقفز" إلى جاره. الأمر يشبه متنزهاً يحاول اتباع مسار واحد عبر غابة، ولكن عندما يتقاطع مساران متوازيان لبضعة أقدام، يخطئ المتنزه ويدخل المسار الخاطئ ويستمر في المشي فيه.
2. تشتت "التوأم"
اكتشفت الورقة البحثية أن الذكاء الاصطناعي لا يفشل لأن المهمة صعبة للغاية أو لأنه لا يستطيع "الرؤية". هو يفشل بسبب المنافسة المحلية.
فكر في الأمر كالتالي: أنت تحاول الاستماع إلى صديقك وهو يتحدث في غرفة هادئة. هذا سهل. الآن، تخيل أن صديقك يتحدث، ولكن بجانبه تماماً توأم يرتدي نفس الملابس بالضبط، ويتحدث بنفس الصوت، ويقول الكلمات نفسها تماماً. حتى لو كنت تعرف من هو صديقك، فقد يرتبك عقلك وتبدأ في الاستماع إلى التوأم.
وجد الباحثون أنه عندما يبدو "الجار" (الخط المجاور) مشابهاً جداً لـ "الهدف" (الخط المطلوب)، فإن انتباه الذكاء الاصطناعي ينصرف إليه. الذكاء الاصطناعي لا "يفقد المسار" بطريقة ضبابية؛ بل يختار بنشاط المسار الخاطئ لأن المسار الخاطد يبدو مغرياً للغاية من الناحية المحلية.
3. لماذا لا يساعد "التفكير بعمق"
حاول الباحثون إصلاح ذلك من خلال الطلب من الذكاء الاصطناعي أن "يفكر خطوة بخطوة" (وهي تقنية تسمى التفكير المنطقي). كانوا يأملون أن يتوقف قليلاً، وينظر بدقة، ويقول: "مهلاً، هذا هو الخط الخاطئ".
التشبيه: الأمر يشبه مطالبة سائح تائه بأن "يفكر بعمق" حول الاتجاه الذي يجب أن يسلكه. بدلاً من النظر إلى الخريطة (الخط المرئي)، يبدأ الذكوا الاصطناعي في استخدام "اختصارات" أو تخمينات بناءً على قواعد عامة مثل: "عادةً ما تنحني الطرق بهذا الشكل"، أو "الشمس على اليسار، لذا يجب أن أتجه يميناً".
وجدت الورقة البحثية أن:
- التفكير المنطقي لم يصلح الرؤية: لم يبدأ الذكاء الاصطناعي في تتبع الخط بشكل صحيح. بدلاً من ذلك، بدأ في استخدام "اختصارات" أو تخمينات. على سبيل المثال، في اختبار اللولب، توقفت بعض النماذج عن تتبع الخط وبدأت فقط في تخمين ترتيب النقاط بناءً على شكل اللولب (مثلاً: "الدائرة الداخلية حمراء، لذا يجب أن تكون التالية زرقاء").
- أصبح الأمر أكثر تكلفة: عندما حاول الذكاء الاصطناعي "التفكير"، استهلك كمية هائلة من القدرة الحوسبية (مثل إنسان يتحدث إلى نفسه لمدة 10 دقائق فقط ليقول "أحمر، أزرق، أخضر")، ومع ذلك ظل يعطي إجابة خاطئة.
- فشلت التعليمات: حتى عندما أعطى الباحثون الذكاء الاصطناعي كتاب قواعد صارم يقول: "لا تغير الخط، حتى لو بدا مشابهاً"، تجاهل الذكاء الاصطناعي القاعدة وقفز إلى الخط الخاطئ.
4. أسطورة "الدماغ الكبير"
عادةً، عندما يرتكب الذكاء الاصط ملي خطأ، نفترض أن السبب هو أن النموذج صغير جداً. نعتقد: "إذا جعلنا الدماغ أكبر، فسوف ينجح".
اختبر الباحثون هذا من خلال استخدام نماذج تتراوح من الصغيرة إلى الضخمة (تصل إلى 235 مليار معلمة/parameter).
- النتيجة: كانت النماذ الأكبر أفضل قليلاً، ولكن ليس كثيراً. حتى أكبر النماذج وأكثرها تكلفة، لا تزال تضل طريقها في "محطة القطار المزدحمة". جعل الدماغ أكبر لم يمنحها قدرة أفضل على التمسك بخيط واحد في وسط كتلة متشابكة.
5. الفوضى في العالم الحقيقي
أخيراً، اختبر الباحثون هذا على صور من العالم الحقيقي، مثل الكابلات المتشابكة في مصنع أو خرائط مترو الأنفاق المعقدة.
- النتيجة: حدثت نفس المشكلة. عندما حاول الذكاء الاصطناعي تتبع خط مترو عبر محطة حيث تتقاطع ثلاثة خطوط، أو تتبع كابل عبر عقدة، استمر في التبديل إلى الخط الخاطئ. سلوك "القفز" لم يكن مجرد خلل في اختباراتهم الوهمية؛ بل يحدث في المواقف الحقيقية والفوضوية أيضاً.
الخلاصة
تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطناعي الحالية بارعة في التعرف على ماهية الأشياء (مثل: "هذه خريطة مترو")، لكنها سيئة بشكل مفاجئ في تتبع الأشياء (مثل: "تتبع هذا الخط المحدد من أ إلى ب").
إنها تفتقر إلى "عضلة" محددة للحفاظ على تركيز انتباهها على مسار واحد عندما يكون هناك مسار آخر مشابه له تماماً بجواره. وإلى أن نبني ذكاءً اصطناعياً يمتلك آلية مخصصة لتجاهل هؤلاء "التوائم البصرية"، ستظل هذه النماذج تضل طريقها في أبسط ألعاب تتبع الخطوط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.