In-Context Collapse in Vision-Language Models and How to Mitigate it?
تكشف هذه الورقة أن التعلم في السياق متعدد الأمثلة (many-shot in-context learning) في نماذج الرؤية واللغة يمكن أن يؤدي إلى "انهيار في السياق" كارثي حيث تنخفض الدقة بشكل حاد مع تراكم الأمثلة التوضيحية، وتحدد هذا الفشل باعتباره خللاً محددًا في مسار تكامل الرؤية واللغة، وتقترح تدخلًا خفيف الوزن وقابلًا للنقل يسمى CircA لاستعادة التعلم القوي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الإعداد: عندما تأتي الأمثلة الكثيرة بنتائج عكسية
تخيل أنك تعلم روبوتًا فائق الذكاء كيف يلعب لعبة جديدة. بدلًا من إعادة كتابة دماغ الروبوت بالكامل (وهو أمر بطيء ومحفوف بالمخاطر)، تقوم فقط بعرض بضعة أمثلة له حول كيفية اللعب قبل أن يأخذ دوره مباشرة. هذا ما يسمى "التعلم في السياق" (In-Context Learning). الأمر يشبه الهمس بقواعد اللعبة في أذن الروبوت أثناء لعبه، على أمل أن يلتقط النمط أثناء العمل. بالنسبة للذكاء الاصطناعي القائم على النصوص، يعمل هذا بشكل رائع؛ فكلما أعطيته أمثلة أكثر، أصبح أفضل.
الآن، تخيل أنك تعطي نفس الروبوت كومة من الصور ليتعلم منها. قد تعتقد: "المزيد من الصور يعني تعلمًا أكثر!". لكن هنا تكمن المفاجأة: في عالم نماذج الرؤية واللغة (Vision-Language Models) (الذكاء الاصطناعي الذي يرى الصور ويقرأ النصوص)، يمكن أن يؤدي إعطاء الكثير من الأمثلة أحيانًا إلى جعل الروبوت ينسى فجأة كل ما عرفه. الأمر يشبه عرض مائة مسألة رياضية على طالب، وبدلًا من أن يصبح أكثر ذكاءً، يبدأ في تخمين الإجابة بناءً على آخر مسألة رآها فقط، متجاهلاً السؤال الفعلي. هذا البحث يتعمق في سبب حدوث ذلك، وأين يقع الخلل بالضبط في "دماغ" الروبوت، وكيف يمكن إصلاحه دون كسر أي شيء آخر.
"انهيار السياق" العظيم
اكتشف المؤلف خللًا غريبًا أطلق عليه اسم "انهيار السياق" (In-Context Collapse). عادةً، عندما تعرض على الذكاء الاصطناعي المزيد من الأمثلة، فإنه يتحسن. ولكن بالنسبة للعديد من نماذج الرؤية واللغة، فإن إضافة المزيد من الصور والتسميات يؤدي في الواقع إلى جعلها أسوأ. في بعض الحالات، تنخفض دقتها لدرجة أنها تؤدي أداءً أسوأ مما لو كانت قد خمنت الإجابة عشوائيًا.
فكر في الأمر كطالب يؤدي اختبارًا. بدون أي مساعدة، يعرف الطالب المادة ويحصل على درجة 94%. لكن بمجرد أن تسلمه ورقة مرجعية تحتوي على عشرة أمثلة صحيحة، يحدث له "ماس كهربائي" في دماغه. يتوقف عن قراءة السؤال الفعلي ويبدأ فقط في نسخ الإجابة من آخر مثال في الورقة المرجعية. إذا قالت الورقة المرجعية "الإجابة هي الأزرق"، وكان السؤال عن سيارة حمراء، سيكتب الطالب بثقة "الأزرق". وكلما أضفت المزيد من الأمثلة، زاد تجاهله للسؤال الحقيقي واكتفى بتقليد المثال الأخير.
يوضح البحث أن هذا ليس مجرد خطأ في التنسيق (مثل إخراج الروبوت لكلمات غير مفهومة)؛ فالروبوت لا يزال يكتب جملًا مثالية، لكنه فقط يتخذ قرارات سيئة للغاية. يحدث هذا عبر العديد من النماذج المختلفة، بدءًا من النماذج الصغيرة وصولًا إلى النماذج الضخمة والمتطورة التي يترقبها الجميع. إنها مشكلة متدرجة: بعض النماذج محصنة، وبعضها ينهار بشدة، وبعضها ينهار لدرجة تجعل أداءها أقل من مستوى التخمين العشوائي.
القوتان المختلفتان
من أجمل النتائج التي توصل إليها البحث هي أنه يقسم "التعلم" إلى مهارتين منفصلتين نعتبرهما عادةً شيئًا واحدًا:
- المتانة (Robustness): هل يستطيع النموذج التعامل مع رؤية المزيد من الأمثلة دون الانهيار؟
- التعلم (Learning): هل يستطيع النموذج بالفعل تعلم قاعدة جديدة من تلك الأمثلة؟
وجد المؤلف أن النموذج يمكن أن يكون متينًا تمامًا (لا ينهار) ولكنه لا يزال غير قادر تمامًا على تعلم قاعدة جديدة. الأمر يشبه طالبًا يحافظ على هدوئه عندما تريه ورقة مرجعية، لكنه يتجاهلها تمامًا، متمسكًا بما يعرفه بالفعل. وعلى العكس من ذلك، قد يحاول نموذج ما التعلم ولكنه ينهار فورًا. يثبت البحث أن هذين أمرين مختلفان، ويمكن للنموذج أن يمتلك أحدهما دون الآخر.
أين يسكن الخلل: محطة "التكامل"
إذًا، أين يوجد الخطأ؟ لم يكتفِ المؤلف بالتخمين، بل أجرى نوعًا من "الجراحة" على دماغ الذكاء الاصطناعي. قام بتقسيم طبقات النموذج إلى ثلاث مناطق:
- الموصل (The Connector): حيث يتم ترجمة الصورة إلى لغة يفهمها الذكاء الاصطناعي.
- الطبقات المبكرة/المتوسطة: حيث يحاول الذكاء الاصطناعي دمج الصورة مع الأمثلة النصية.
- الطبقات المتأخرة: حيث يقرر الذكاء الاصطناعي الإجابة النهائية.
وجدوا أن الانهيار يحدث تحديدًا في الموصل والطبقات المبكرة/المتوسطة. هذه هي "محطة التكامل" (Integration Station). عندما تتراكم الأمثلة الكثيرة، تصبح هذه المحطة مثقلة فوق طاقتها. وبدلًا من دمج المعلومات الجديدة مع السؤال الحالي، يصاب الذكاء الاصطناعي بالارتباك ويكتفي بنسخ آخر مثال رآه.
والأهم من ذلك، أثبتوا أن إصلاح الطبقات المتأخرة (حيث يتم اختيار الإجابة) لا يساعد. في الواقع، محاولة الإصلاح هناك تجعل الأمور أسوأ! الأمر يشبه محاولة حل مشكلة ازدحام مروري عند مخرج الطريق بينما المشكلة الحقيقية تكمن عند نقطة الاندماج. يجب أن يحدث الإصلاح بالضبط حيث تلتقي الصور والنصوص لأول مرة.
العلاج: "لقاح التكامل"
يقترح البحث حلاً ذكيًا يسمى CircA (تكييف دائرة التكامل). ونجم هذا العرض هو "اللقاح" (Vaccine).
تخيل أن لديك روبوتًا معرضًا لخلل "النسخ" هذا. بدلًا من إعادة تدريب الروبوت بالكامل (وهو أمر مكلف وبطيء)، قام المؤلف بتدريب "مُكيِّف" متخصص وصغير (وحدة إضافية صغيرة) على محطة التكامل فقط. لقد علموا هذا المُكيِّف مهمة واحدة بسيطة: "عندما ترى أمثلة، استخدمها فعليًا لاستنتاج القاعدة، ولا تكتفِ بنسخ المثال الأخير".
إليك السحر: بمجرد تدريب هذا المُكيِّف الصغير على مهمة واحدة محددة، فإنه يعمل مثل اللقاح. فهو لا يصلح تلك المهمة الواحدة فحسب، بل يحمي الروبوت من الانهيار في مهام جديدة تمامًا لم يسبق له رؤيتها. يصبح الروبوت فجأة محصنًا ضد فخ "المزيد من الأمثلة = أداء أسوأ".
يقترح البحث أيضًا أداتين أخريين لصندوق الأدوات:
- البوابة (The Gate): إذا كنت لا تستطيع تغيير دماغ الروبوت (كما هو الحال عند استخدام واجهة برمجة تطبيقات مغلقة)، فما عليك سوى التوقف عن إضافة الأمثلة قبل أن يبدأ الروبوت في الانهيار. راقب الإشارة التي يبدأ عندها الروبوت في نسخ الإجابة الأخيرة، واقطع الأمثلة عند تلك النقطة تمامًا.
- الحاقن (The Inject): إذا كان لديك روبوت يمكنه التعلم ولكن الأمثلة طويلة جدًا بحيث لا تتسع لها الذاكرة، يمكنك ضغط الأمثلة في "متجه مهمة" (task vector) واحد وحقنه مباشرة في الدماغ، متجاوزًا الحاجة لعرض كل الصور.
الخلاصة الكبرى
التحول الأكثر إثارة للدهشة هو أن المكان الذي تصلح فيه التعلم "السريع" (محطة التكامل) ليس هو نفسه المكان الذي يجب أن تخزن فيه الذكريات "البطيئة" والدائمة.
إذا كنت تريد تعليم الروبوت مهارة جديدة بشكل دائم (عن طريق تحديث أوزانه)، فيجب عليك القيام بذلك في الطبقات المتأخرة. ولكن إذا كنت تريده أن يتعلم بسرعة من بضعة أمثلة دون الانهيار، فأنت بحاجة إلى إصلاح محطة التكامل. هاتان وظيفتان مختلفتان لجزءين مختلفين من الدماغ.
باختصار، يوضح هذا البحث أن إعطاء الذكاء الاصطناعي المزيد من الأمثلة ليس دائمًا وجبة مجانية. أحيانًا، يكون فخًا. ولكن من خلال فهم مكان نصب هذا الفخ بدقة، يمكننا بناء إصلاح صغير ورخيص يسمح لهذه النماذج بالتعلم من مئات الأمثلة دون أن تفقد عقلها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.