🤖 machine learning

From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs

تقدم هذه الورقة تحليلاً آلياً لتقسيم النماذج اللغوية الكبيرة متعددة الوسائط (MLLM) من خلال الكشف عن أنه بينما تؤدي المهايئات (adapters) في البداية إلى تدهور التمثيلات المكانية، فإن طبقات النماذج اللغوية الكبيرة اللاحقة تعمل تدريجياً على استعادة دقة التقسيم من خلال الصقل بوساطة الانتباه والتفاعلات الثنائية للرموز (tokens).

المؤلفون الأصليون: Boyong Wu, Sanghwan Kim, Zeynep Akata

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Boyong Wu, Sanghwan Kim, Zeynep Akata

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من الخبراء يحاولون حل لغز معقد: تقسيم الصور (Image Segmentation). وهذا يعني النظر إلى صورة ورسم خط حول كل جسم (مثل سيارة، أو شجرة، أو شخص) وتصنيفه بشكل صحيح.

تستقصي هذه الورقة البحثية نوعاً معيناً من فرق الذكاء الاصطناعي تسمى MLLM (نموذج لغوي كبير متعدد الوسائط). هذه أنظمة ذكاء اصطناعي قوية يمكنها "رؤية" الصور و"قراءة" النصوص. أراد الباحثون فهم كيف يحل هذا الفريق اللغز أثناء انتقال المعلومات من خبير إلى آخر.

إليك قصة نتائجهم، مقسمة إلى تشبيهات بسيطة:

1. الإعداد: سباق التتابع

تخيل نموذج الذكاء الاصطناعي كسباق تتابع يتكون من ثلاثة عداءين رئيسيين:

مشفر الرؤية (المصور الفوتوغرافي): يأخذ الصورة ويقسمها إلى مربعات صغيرة (بلاطات/Patches). هو يعرف شكل كل بلاطة.
المحول (المترجم): يأخذ ملاحظات المصور الفوتوغرافي ويترجمها إلى لغة يفهمها العداء التالي.
النموذج اللغوي الكبير (الحكواتي): خبير لغوي ضخم يعالج الملاحظات المترجمة لاتخاذ القرار النهائي.

2. المشكلة: "هبوط الترجمة"

وجد الباحثون شيئاً مفاجئاً يحدث عند محطة المترجم (المحول).

ماذا حدث: عندما تمت ترجمة ملاحظات المصور الفوتوغرافي التفصيلية إلى لغة الحكواتي، فُقدت بعض التفاصيل الدقيقة. الأمر يشبه ترجمة صورة عالية الدقة إلى وصف نصي بسيط؛ حيث تفقد الحواف الحادة والأنسجة المحددة.
النتيجة: قدرة الذكاء الاصطناعي على رسم خطوط دقيقة حول الأجسام في الواقع أصبحت أسوأ مباشرة بعد عملية الترجمة. يطلق الباحثون على هذا اسم "هبوط التمثيل" (Representation Drop-off).

3. المعجزة: تعافي "التصحيح الذاتي"

قد تعتقد أن السباق قد انتهى إذا أخطأ المترجم، لكن الحكواتي (LLM) عبقري في فهم السياق.

ماذا حدث: بينما كانت المعلومات تمر عبر طبقات الحكواتي (تخيلها كغرف مختلفة في مكتبة)، بدأ الذكاء الاصطناعي في إصلاح أخطائه بنفسه.
التشبيه: تخيل مجموعة من الأشخاص يحاولون تحديد جسم ضبابي في صورة. يقول أحدهم "إنه كلب"، لكنه مخطئ. ثم يقول شخص آخر، يرى الصورة بأكملها: "لا، انظر إلى الأذنين والذيل؛ إنه بالتأكيد قط". فيغير الشخص الأول رأيه.
النتيجة: يقوم الذكاء الاصطناعي بذلك تلقائياً. البلاطات التي تم تحديدها بشكل صحيح تعمل كـ "مرتكزات" (Anchors). فهي ترسل إشارات إلى جيرانها المرتبكين، قائلة: "مهلاً، أنا أعرف ما أنا عليه، وأنت تشبهني، لذا يجب أن تكون مثلي أيضاً". تسمى هذه العملية "انتباه الرموز المتقاطع" (Cross-Token Attention)، وهي تسمح للذكاء الاصطناعي باستعادة الجودة المفقودة ورسم خطوط أفضل.

4. التجربة: اختبار "الغرفة الصامتة"

لإثبات أن هذا "النقاش الجماعي" (الانتباه) هو الذي يقوم بالعمل فعلياً، استخدم الباحثون خدعة. لقد استخدموا تقنية تسمى "إقصاء الانتباه" (Attention Knockout).

الخدعة: تظاهروا بكتم صوت "المرتكزات" (البلاطات المحددة بشكل صحيح).
النتيجة: عندما تم إسكات البلاطات الصحيحة، لم تستطع البلاطات المرتبكة معرفة ماهيتها. أصبح الذكاء الاصطناعي أسوأ.
الخدعة العكسية: عندما قاموا بكتم صوت البلاطات الخاطئة (التي ترتكب أخطاء)، أصبح الذكاء الاصطناعي في الواقع أفضل بشكل أسرع لأن الضجيج قد زال، مما سمح للمرتكزات الصحيحة بتوجيه الجميع بوضوح.
الاستنتاج: الذكاء الاصطناعي لا يخمن فحسب؛ بل يستمع بنشاط لجيرانه لصقل إجابته.

5. عنق الزجاجة: مشكلة "الأول في الصف"

كان هناك عقبة واحدة. يقرأ الحكواتي بلاطات الصورة بترتيب معين، مثل قراءة كتاب من اليسار إلى اليمين، ومن الأعلى إلى الأسفل.

المشكلة: البلاطة الأولى (الركن العلوي الأيسر) ليس لديها أحد لتتحدث إليه لأنها الأولى في الصف. إنها "متعطشة للسياق". لا يمكنها رؤية بقية الصورة لتعرف ما يجب أن تكون عليه.
الحل: حاول الباحثون جعل بلاطات الصورة تتحدث مع بعضها البعض في كلا الاتجاهين (ثنائي الاتجاه)، بدلاً من الاتجاه الأمامي فقط.
النتيجة: استطاعت البلاطة الأولى فجأة "رؤية" الغرفة بأكملها. قفزت دقتها بشكل كبير. كان الأمر بمثابة منح الشخص الأول في الطابور نافذة ليرى الحشد بأكمله، بدلاً من رؤية ظهر الشخص الذي أمامه فقط.

الخلاصة الكبرى

تخبرنا هذه الورقة البحثية أن نماذج MLLM ليست مجرد "مترجمين أغبياء".

هي تفقد في البداية بعض التفاصيل البصرية عند ترجمة الصور إلى نصوص.
لكن، لديها قوة خارقة: التنقية الذاتية (Self-Refinement). فهي تستخدم الأجزاء "الذكية" من الصورة لإصلاح الأجزاء "المرتبكة" من خلال التحدث مع بعضها البعض.
ومع ذلك، لا يعمل هذا إلا إذا استطاع الجميع سماع الجميع. إذا أُجبر الذكاء الاصطناعي على القراءة في خط مستقيم صارم، فإن الأشخاص في بداية الخط سيتخلفون عن الركب.

لماذا يهم هذا؟
إذا أردنا بناء ذكاء اصطناعي أفضل للسيارات ذاتية القيادة أو التصوير الطبي (حيث يهم رؤية كل تفصيل)، فلا ينبغي لنا فقط جعل الذكاء الاصطناعي أكبر حجماً. نحن بحاجة لتصميمه بحيث يمكن لكل جزء من الصورة "التحدث" مع كل جزء آخر، لضمان عدم ترك أي تفصيل في الظلام.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "من التراجع إلى الاستعادة: تحليل ميكانيكي للتجزئة في نماذج اللغات الكبيرة متعددة الوسائط (MLLMs)."

1. بيان المشكلة

تُطبق نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد على مهام الرؤية على مستوى البكسل مثل التجزئة الدلالية (semantic segmentation)، وغالبًا ما تستفيد من قدراتها في اتباع التعليمات. ومع ذلك، فإن القدرة الجوهرية لهذه النماذج على الفهم المكاني لا تزال غير مفهومة بشكل جيد. ومن غير الواضح ما إذا كان هيكل الـ MLLM (مشفر الرؤية $\leftarrow$ المهايئ/Adapter $\leftarrow$ نموذج اللغة LLM) يحسن بالفعل أداء التجزئة أم أنه يكتفي بمجرد إضعاف المعلومات المكانية الغنية الموجودة بالفعل في مشفر الرؤية. علاوة على ذلك، فإن الآليات المحددة التي تقود أي تحسينات ملحوظة (مثل الانتباه عبر الرموز/cross-token attention مقابل الاتصالات المتبقية/residual connections) وتأثير الخيارات المعمارية (مثل الانتباه السببي/causal مقابل ثنائي الاتجاه/bidirectional) على الاتساق المكاني ليست محددة بدقة.

2. المنهجية

يقترح المؤلفون إطار عمل منهجيًا يعتمد على التدخل التشريحي لتفكيك تدفق كفاءة التجزئة عبر مسار الـ MLLM. تستخدم الدراسة ثلاث طرق تحليلية أساسية:

الاختبار الخطي عبر الطبقات (Layerwise Linear Probing):
- الإعداد: يقيم المؤلفون التمثيلات (embeddings) المجمدة في ثلاث مراحل: مخرجات مشفر الرؤية، مخرجات المهايئ (Adapter)، وكل طبقة وسيطة في نموذج اللغة (LLM).
- البروتوكول: لكل طبقة $\ell$ ، يستخرجون تمثيلات رموز الصورة ( $X^{(\ell)}$ ) ويدربون اختبارًا خطيًا مستقلًا (مع خسارة التقاطع المتعامد/cross-entropy loss) للتنبؤ بالفئات الدلالية لكل رقعة (patch). يسمح هذا بمقارنة مباشرة لجودة التجزئة (mIoU) عبر الهيكل دون الحاجة لضبط دقيق (fine-tuning) خاص بالمهمة للنموذج الأساسي.
- النماذج: تستخدم التجارب نموذج Vicuna-7B مقترنًا بثلاثة مشفرات رؤية: CLIP (محاذٍ للنص)، SigLIP (محاذٍ للنص)، و DINOv2 (رؤية فقط).
تدخلات تعطيل الانتباه (Attention Knockout Interventions):
- الهدف: تحديد ما إذا كان التحسين الذاتي مدفوعًا بالانتباه عبر الرموز (cross-token attention).
- الإجراء: يحدد المؤلفون "أزواج الفئات المتضاربة" (مثل السقف مقابل السماء) حيث يرتكب النموذج أخطاءً. ثم يقومون بتعطيل مسارات الانتباه بشكل انتقائي:
  1. حظر الفئة غير الصحيحة: حجب الانتباه إلى الرموز المتوقع أنها تنتمي للفئة الخاطئة (مثل حجب رموز "السماء" عندما تكون الحقيقة الأرضية هي "السقف").
  2. حظر الفئة الصحيحة: حجب الانتباه إلى الرموز المتوقع أنها تنتمي للفئة الصحيحة (مثل حجب رموز "السقف" عندما تكون الحقيقة هي "السقف").
- الآلية: من خلال ضبط قيم لوجيت الانتباه (attention logits) إلى $-\infty$ لمجموعات رموز محددة، يختبرون ما إذا كانت الرموز المصنفة بشكل صحيح تعمل كـ "مرتكزات دلالية" (semantic anchors) توجه الجيران المصنفين خطأً.
مقارنة الانتباه السببي مقابل ثنائي الاتجاه (Causal vs. Bidirectional Attention Ablation):
- الفرضية: الانتباه السببي القياسي (من اليسار إلى اليمين) يسبب "مجاعة السياق" (context starvation) للرموز الصورية المبكرة، والتي لا تستطيع الانتباه للرقع المستقبلية.
- التعديل: يقدم المؤلفون انتباهًا ثنائي الاتجاه حصريًا بين رموز الصورة، مع الحفاظ على القناع السببي (causal masking) لتوليد النصوص. يسمح هذا للرقع الصورية المبكرة بالوصول إلى السياق المكاني العالمي فورًا.

3. النتائج والنتائج الرئيسية

أ. ظاهرة "التراجع والاستعادة" (Drop-off and Recovery)

تراجع المهايئ (Adapter Drop-off): تؤدي طبقة المهايئ، التي تقوم بإسقاط الميزات البصرية في فضاء تمثيل نموذج اللغة، إلى تراجع كبير في التمثيل. يتم التضحية بالدقة المكانية الدقيقة مقابل المحاذاة عبر الوسائط، مما يؤدي إلى انخفاض حاد في mIoU مقارنة بمخرجات مشفر الرؤية الخام.
استعادة نموذج اللغة (LLM Recovery): خلافًا للافتراض بأن نماذج LLM تضعف المهام المكانية، فإن طبقات LLM اللاحقة تستعيد تدريجيًا جودة التجزئة.
- الآلية: تعمل طبقات LLM بنشاط على تحسين التمثيلات البصرية، مما يعيد تأسيس التماسك المكاني ويحل الارتباك في الفئات.
- الاعتماد على المشفر: يرتبط درجة الاستعادة بمدى محاذاة مشفر الرؤية مع النص. تُظهر نماذج CLIP و SigLep (المحاذية للنص) استعادة قوية، وغالبًا ما تتجاوز خط الأساس لمشفر الرؤية. أما DINOv2 (الرؤية فقط) فيظهر استعادة أضعف، مما يشير إلى أن LLM يعتمد على التوافق الدلالي لفضاء المدخلات.

ب. الانتباه عبر الرموز كآلية للتحسين

المرتكزات الدلالية: تكشف تجارب تعطيل الانتباه أن الرموز المصنفة بشكل صحيح تعمل كمرتكزات دلالية.
- عند حظر الرموز الصحيحة، تتدهور قدرة النموذج على التصحيح الذاتي، وتستمر الأخطاء.
- عند حجب الرموز الخاطئة، يصحح النموذج الأخطاء بشكل أسرع، حيث يتم إزالة "الضجيج" الذي يعزز الملصق الخاطئ.
الاستنتاج: الاستعادة الملحوظة في طبقات LLM ليست نتاجًا سلبيًا للاتصالات المتبقية، بل هي مدفوعة بنشاط بواسطة الانتباه عبر الرموز، حيث تسحب الرموز المصنفة بشكل صحيح الجيران المصنفين خطأً نحو الملصق الصحيح.

ج. مجاعة السياق والانتباه ثنائي الاتجاه

التحيز الموضعي: تحت تأثير الانتباه السببي القياسي، تعاني رموز الصورة المبكرة (خاصة في أعلى اليسار) من مجاعة السياق، حيث تفتقر إلى الوصول إلى معلومات المشهد العالمية. يؤدي هذا إلى دقة أقل باستمرار لهذه الرقع، وهي دقة لا تتحسن حتى في طبقات LLM العميقة.
الحل ثنائي الاتجاه: يؤدي تمكين الانتباه ثنائي الاتجاه بين رموز الصورة إلى القضاء على هذا التحيز الموضعي.
- النتائج: تُظهر الرقع المبكرة زيادة هائلة في الدقة (على سبيل المثال، +14.35% في دقة البكسل للرمز الأول).
- التأثير العالمي: بالنسبة للمشفرات المحاذية للنص (CLIP, SigLIP)، يحافظ الانتباه ثنائي الاتجاه على تحسن رتيب عبر الطبقات، بينما يؤدي الانتباه السببي إلى استقرار الأداء أو تراجعه في الطبقات العميقة.
- الحفاظ على اللغة: من المهم ملاحظة أن هذا التعديل لا يضعف قدرات فهم اللغة (بقاء نتائج VQA مقاربة)، مما يوفر مقايضة مواتية.

4. المساهمات الرئيسية

التشخيص الميكانيكي: تقدم الورقة أول تحليل عبر الطبقات لكفاءة التجزئة في نماذج MLLM، حيث تحدد المهايئ (adapter) كعنق زجاجة، ونموذج اللغة (LLM) كمحرك للاستعادة.
تحديد المرتكزات الدلالية: من خلال تعطيل الانتباه، يثبت المؤلفون أن التحسين الذاتي مدفوع بالانتباه عبر الرموز حيث توجه التنبؤات الصحيحة التنبؤات الخاطئة.
الرؤية المعمارية: توضح الدراسة أن الانتباه ثنائي الاتجاه بين رموز الصورة أمر بالغ الأهمية لحل مشكلة "مجاعة السياق" في الرقع المبكرة، مما يحسن التجزئة بشكل كبير دون التضحភាព بقدرات فهم اللغة.
توافق المشفر: تسلط الضوء على أن فعالية التحسين القائم على LLM تعتمد بشدة على محاذاة مشفر الرؤية مع النص (المشفرات المحاذية للنص تستفيد أكثر).

5. الأهمية

يغير هذا العمل بشكل جذري فهمنا لنماذج MLLM في مهام الرؤية. فهو يوضح أنه بينما تضعف نماذج MLLM في البداية الدقة المكانية أثناء عملية الإسقاط إلى فضاء اللغة، إلا أنها تمتلك آلية تحسين ذاتي قوية مدفوعة بالانتباه.

لتصميم النماذج: يجب أن تأخذ نماذج MLLM القادرة على التجزئة في الاعتبار أقنعة الانتباه ثنائية الاتجاه لرموز الصورة لضمان فهم مكاني موحد، واستخدام مشفرات رؤية محاذية للنص لتعظيم إمكانات التحسين في نموذج اللغة.
للتفسير: تقدم النتائج تفسيرًا سببيًا لكيفية حل نماذج MLLM للغموض البصري، متجاوزة مقاييس الأداء "الصندوق الأسود" إلى فهم ميكانيكي لتصحيح الأخطاء والتجميع الدلالي.

باختدال، تجادل الورقة بأن نماذج MLLM ليست مجرد "نماذج لغة ذات عيون"، بل هي معالجات نشطة يمكنها استعادة وتحسين المعلومات المكانية من خلال آليات انتباه محددة، بشرط أن يدعم الهيكل الوصول إلى السياق العالمي وأن تكون ميزات المدخلات متوافقة دلاليًا.