Token Warping Helps MLLMs Look from Nearby Viewpoints

إليك شرح لورقة بحثية بعنوان "Token Warping Helps MLLMs Look from Nearby Viewpoints" (التواء الرموز يساعد النماذج اللغوية الكبيرة متعددة الوسائط على النظر من زوايا قريبة)، مترجمة إلى لغة بسيطة، يومية، ومع استخدام تشبيهات إبداعية.

الفكرة الكبرى: تعليم الذكاء الاصطناعي كيف "يتخيل" زاوية جديدة

تخيل أنك تقف في غرفة تنظر إلى طاولة قهوة. يوجد على الطاولة كتاب وكوب. من مكانك الحالي، يقع الكوب على يمين الكتاب.

الآن، تخيل أنك خطوت خطوتين جهة اليمين. فجأة، يصبح الكوب أمام الكتاب، أو ربما يصبح مختبئاً خلفه.

المشكلة:
النماذج الحالية للذكاء الاصطناعي (النماذج اللغوية الكبيرة متعددة الوسائط، أو MLLMs) بارعة في وصف ما تراه الآن. ولكن إذا سألتها: "كيف سيبدو هذا المشهد إذا تحركتُ جهة اليمين؟" فغالباً ما ترتبك. إنها تجد صعوبة في تدوير المشهد ذهنياً.

إذا حاولت إجبارها على فعل ذلك عن طريق "تمطيط" أو "إمالة" بكسلات الصورة رقمياً (مثل شد صورة على ورقة مطاطية)، فإن الصورة تصبح مشوهة، ضبابية، ومكسرة. يرى الذكاء الاصطناعي فوضى عارمة ولا يستطيع فهمها.

الحل:
اكتشف مؤلفو هذه الورقة طريقة أذكى. فبدلاً من تمطيط البكسلات (النقاط الصغيرة الملونة)، قرروا تمطيط الرموز (Tokens).

التشبيه: قطع الليغو مقابل الفسيفساء

لفهم الفرق، دعونا نستخدم تشبيهين:

1. تمطيط البكسل (الطريقة القديمة) = الفسيفساء

تخيل صورة مكونة من آلاف القطع الصغيرة والمنفردة (البكسلات).

• المشكلة: إذا حاولت تغيير زاوية الرؤية لفسيفساء، يجب عليك تحريك كل قطعة صغيرة. ولأن القطع صغيرة جداً، فإن أي خطأ بسيط في الحساب يجعل الصورة تبدو متعرجة، مشدودة، أو ممزقة. الأمر يشبه محاولة سحب سجادة ثقيلة عبر الأرضية؛ فهي تتجمع وتتجعد.
• النتيجة: ينظر الذكاء الاصطناعي إلى هذه الصورة "المتجمعة" ويصاب بالارتباك. قد يعتقد أن الكوب عبارة عن كتلة من الضجيج الأحمر.

2. تمطيط الرمز (الطريقة الجديدة) = مجموعة الليغو

الآن، تخيل أن الصورة مبنية من قطع "ليغو" كبيرة. في مصطلحات الذكاء الاصطناعي، تسمى هذه القطع الرموز (Tokens). الرمز ليس مجرد نقطة واحدة؛ بل هو جزء من الصورة يمثل جسماً معيناً أو جزءاً من جسم (مثل "يد الكوب" أو "كعب الكتاب").

• السحر: بدلاً من تحريك بكسلات دقيقة، يقوم الذكاء الاصطناعي بالإمساك بهذه "قطع الليغو" الكاملة وتحريكها ككتلة واحدة.
• الفائدة: حتى لو لم يكن الحساب دقيقاً تماماً، تظل قطعة "الكوب" سليمة، وتبقى قطعة "الكتاب" سليمة. لا يزال بإمكان الذكاء الاصطناعي التعرف عليهما بوضوح، حتى لو كانا في مكان مختلف قليلاً. الأمر يشبه نقل سيارة ليغو كاملة إلى مكان جديد على الطاولة بدلاً من محاولة إعادة ترتيب كل قطعة بلاستيكية صغيرة.

كيف فعلوا ذلك: خدعة "العودة للخلف"

اختبر الباحثون طريقتين لتحريك قطع الليغو هذه:

1. التمطيط الأمامي (Forward Warping): خذ القطع من مكانها الأصلي وارمِها باتجاه المكان الجديد.
   • المشكلة: ستنتهي بوجود ثقوب في الصورة الجديدة لأن بعض القطع لن تهبط في مكانها تماماً، وبعضها سيهبط فوق بعضه البعض. إنها عملية فوضوية.
2. التمطيط الخلفي (Backward Warping) - (الفائز): ابدأ من المكان الجديد الذي تريد رؤيته. اسأل: "إذا كنت واقفاً هنا، من أين أتت هذه القطع في الصورة الأصلية؟" ثم اذهب وأحضر تلك القطع المحددة وضعها في رؤيتك الجديدة.
   • النتيجة: هذا يخلق شبكة مثالية ونظيفة من القطع في الرؤية الجديدة. لا توجد ثقوب، ولا تداخلات.

كما اختبروا طريقتين لجلب القطع:

• الجلب الأقرب (Nearest Fetching): "خُذ القطعة الأقرب للمكان الذي أحتاجه". (سريع ودقيق بشكل مدهش).
• الجلب التكيفي (Adaptive Fetching): "اقطع قطعة جديدة تماماً لتناسب المكان بدقة". (أكثر دقة، ولكنه يتطلب قوة حوسبة أكبر).

المفاجأة: وجدوا أن طريقة "الجلب الأقرب" البسيطة تعمل بكفاءة تقارب طريقة "الجلب التكيفي" المعقدة. الذكاء الاصطناعي متسامح بشكل مفاجئ؛ فهو لا يحتاج إلى قطع مثالي، بل يحتاج فقط إلى "الكتلة" الصحيحة من الصورة.

النتائج: لماذا يهم هذا؟

بنى الفريق اختباراً يسمى ViewBench لمعرفة مدى قدرة الذكاء الاصطناعي على الإجابة على أسئلة مثل: "إذا تحركتُ لليمين، هل سيظل الكوب على يمين الكتاب؟"

• الطرق القديمة (تمطيط البكسل): ارتبك الذكما الاصطناعي بسبب الصور المشوهة وأعطى إجابات خاطئة.
• نماذج الذكاء الاصطناعي المتخصصة: حتى النماذج التي تم تدريبها خصيصاً لمهام ثلاثية الأبعاد واجهت صعوبة في "تخيل" الزاوية الجديدة.
• تمطيط الرموز (Token Warping): نجح الذكاء الاصطناعي الذي يستخدم هذه الطريقة الجديدة! لقد استطاع "النظر" من زاوية جديدة ببراعة، مع الحفاظ على العلاقات بين الأجسام دون الحاجة إلى إنشاء صورة جديدة تماماً من الصفر.

الخلاصة

تثبت هذه الورقة أن الذكاء الاصطناعي لا يحتاج لأن يكون رساماً ماهراً ليفهم الفضاء ثلاثي الأبعاد. يحتاج فقط لأن يكون جيداً في تحريك "قطع الليغو" الخاصة به (الرموز).

من خلال التعامل مع الصورة كمجموعة من الأجزاء ذات المعنى بدلاً من بحر من النقاط الصغيرة، يمكننا تعليم الذكاء الاصطناعي كيفية تدوير المشاهد ذهنياً، وفهم العلاقات المكانية، والإجابة على أسئلة حول ما سوف يحدث إذا تحركنا، وكل ذلك دون أن تصبح الصورة ضبابية أو مكسرة. إنها طريقة خفيفة وفعالة لمنح الذكاء الاصطناعي حساً أفضل بـ "أين توجد الأشياء" في العالم.