From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model

في عالم الذكاء الاصطناعي المعاصر، تعلمت الحواسيب أن ترى وتقرأ بطلاقة مذهلة. فالأنظمة المعروفة بنماذج الرؤية واللغة يمكنها النظر إلى صورة ووصفها، أو قراءة جملة وإيجاد الصورة المطابقة لها، وكل ذلك دون أن يتم تعليمها صراحةً لهذه المهمة المحددة. وهي تحقق ذلك من خلال تعلم ترجمة الصور والكلمات إلى لغة رياضية مشتركة، وهي مساحة عامة حيث تقع صورة قطة وكلمة "قطة" بجانب بعضهما البعض تماماً. وتسمح هذه القدرة للنماذج بالتعرف على أشياء لم ترها من قبل، وهي مهارة تسمى التعلم بـ "الصفر محاولة" (zero-shot learning). ومع ذلك، فإن هذه النماذج هشة؛ فعندما يتغير العالم الحقيقي — عندما تكون الصورة ضبابية، أو ملتقطة في طقس سيئ، أو مشوهة بسبب الضجيج الرقمي — تنهار اللغة المشتركة. ينقطع الاتصال بين الصورة والكلمة، وتتداعى ثقة النموذج، مما يؤدي إلى أخطاء قد تكون خطيرة في التطبيقات الحرجة مثل القيادة الذاتية أو التشخيص الطبي.

حاول الباحثون إصلاح ذلك من خلال السماح للنموذج بالتعلم أثناء العمل، وهي عملية تسمى "التكيف في وقت الاختبار" (test-time adaptation). الفكرة بسيطة: بينما يواجه النموذج صوراً جديدة ومشوشة، يجب عليه تعديل إعداداته الداخلية لفهمها. لكن المحاولات السابقة في هذا الصدد تعثرت بسبب مشكلة جوهرية. فلكي يتعلم النموذج، يحتاج إلى معرفة ما ينظر إليه، ولكن في هذه السيناريوهات الواقعية، لا أحد يقدم له الإجابات الصحيحة. يتعين على النموذج تخمين تسمياته الخاصة، وغالباً ما تكون هذه التخمينات خاطئة. وعندما يحاول النموذج التعلم من تخميناته السيئة، فإنه يضاعف الضجيج، مما يجعله أسوأ حالاً. علاوة على ذلك، حاولت الأساليب القديمة تنعيم هذه الأخطاء من خلال النظر إلى فئات عريضة، حيث تعامل كل صورة في المجموعة على أنها متطابقة. هذا النهج الفضفاض تجاهل التفاصيل الفريدة لكل صورة، مما منع النموذج من الفهم الحقيقي للعلاقة المحددة بين صورة معينة ووصفها.

لقد اقترح فريق من الباحثين الآن طريقة جديدة لحل هذه المشكلة، أطلقوا عليها اسم "ORIGIN". فبدلاً من الاعتماد على تخمينات النموذج الخام، التي غالباً ما تكون مرتبكة، يعاملون المشكلة كلعبة مطابقة يجب حلها بمنطق كلي. تخيل غرفة مليئة بالأشخاص وغرفة مليئة بالأسماء؛ الهدف هو ربط كل شخص بالاسم الصحيح. إذا نظرت إلى كل شخص على حدة، فقد ترتكب خطأً. ولكن إذا نظرت إلى الغرفة بأكملها دفعة واحدة، يمكنك استخدام حقيقة أن كل اسم يجب أن يُستخدم مرة واحدة بالضبط لتصحيح أخطائك. يستخدم الباحثون إطاراً رياضياً يسمى "النقل الأمثل" (optimal transport) للقيام بذلك بالضبط. فهو يجبر النموذج على النظر إلى مجموعة الصور والأوصاف النصية بأكملها معاً، لإيجاد الطريقة الأكثر منطقية لربطهم ببعضهم البعض. هذه الرؤية الشاملة تعمل على تصفية الضجيج وتنتج تخمينات أكثر موثوقية لماهية الصور.

بمجرد حصول النموذج على هذه التخمينات الموثوقة، فإنه يستخدمها ليعلم نفسه. وجد الباحثون أن أفضل طريقة للتعلم من هذه الصور الجديدة والمشوشة هي استخدام طريقة تحاكي بدقة كيفية تدريب النموذج في الأصل. إنهم يوجهون النموذج لتعديل إعداداته الداخلية بحيث تقترب الصورة المحددة التي ينظر إليها من وصفها الصحيح في تلك المساحة الرياضية المشتركة، بينما تبتعد عن الأوصاف غير الصحيحة. هذا نهج دقيق؛ فهو يهتم بالتفاصيل الفريدة لكل صورة على حدة، وليس فقط بمتوسط المجموعة. ومن خلال القيام بذلك، يتعلم النموذج إعادة ضبط نفسه مع العالم المتغير، مستعيداً قدرته على الرؤية بوضوح حتى عندما تكون الصور تالفة.

تكمن عبقرية هذا النهج الجديد في كيفية توحيد خطوتين منفصلتين كان يُنظر إليهما سابقاً كعمليتين متميزتين. لقد أظهر الباحثون أن المنطق المستخدم لإجراء التخمينات الأولية والمنطق المستخدم للتعلم منها هما في الواقع وجهان لعملة واحدة. فالطريقة التي تجد أفضل الأزواج المطابقة هي متطابقة رياضياً مع الطة التي تُعلم النموذج كيف يتحسن. وهذا يعني أن عملية التخمين وعملية التعلم لا تتصارعان، بل تساعد كل منهما الأخرى. فكلما كانت التخمينات أفضل، كان التعلم أفضل، وكلما كان التعلم أفضل، أصبحت التخمينات المستقبلية أكثر دقة. وهذا يخلق دورة من التحسين حيث يصبح النموذج أكثر ذكاءً وقوة مع كل خطوة يخطوها.

عند اختباره على معايير قياسية حيث تم تشويه الصور عمداً بالضجيج والضبابية وآثار الطقس، أثبتت هذه الطة الجديدة أنها أكثر فعالية بشكل ملحوظ من أي شيء سبقها. وفي مجموعة بيانات من الصور الصغيرة منخفضة الدقة، حسنت دقة النموذج بنسبة تصل إلى 7.4 بالمائة مقارنة بأفضل الأساليب الموجودة. وعلى مجموعة بيانات أكبر من الصور الأكثر تعقيداً، لا تزال تتفوق على المنافسين بفارق كبير. وربما الأهم من ذلك، أنها فعلت ذلك دون إبطاء النظام. فالحسابات الإضافية المطلوبة لإيجاد أفضل المطابقات كانت فعالة للغاية لدرجة أنها لم تضف أي تأخير تقريباً إلى العملية. استطاع النموذج التكيف في الوقت الفعلي، مواكباً تدفق البيانات مع الحفاظ على أداء عالٍ.

كما استكشف الباحثون سبب نجاح هذا النهج بهذا الشكل من خلال تفكيك الأجزاء المختلفة لنظامهم. ووجدوا أن استخدام منطق المطابقة العالمي لتوليد التخمينات الأولية كان أمراً حاسماً؛ فبدونه، كان النموذج يعاني للتعلم من البيانات المشوشة. واكتشفوا أيضاً أن استخدام طريقة تعلم دقيقة، تركز على أزواج (صورة-نص) الفردية، كان متفوقاً بمراحل على الأساليب القديمة التي كانت تنظر فقط إلى الفئات العريضة. وعندما جمعوا بين هذين العنصرين، كانت النتائج هي الأفضل باستمرار. لم يكتفِ النظام بمجرد النجاة من تحولات التوزيع، بل ازدهر فيها، مبرهناً على أنه من خلال مواءمة الطريقة التي يفكر بها النموذج مع الطريقة التي يتعلم بها، يمكننا بناء ذكاء اصطناعي مرن حقاً أمام الطبيعة الفوضوية وغير المتوقعة للعالم الحقيقي.