💻 computer science

Decoupling Vision and Language: Codebook Anchored Visual Adaptation

تقدم الورقة البحثية CRAFT، وهي طريقة خفيفة الوزن تفصل بين التكيف البصري واللغوي من خلال ضبط المشفرات البصرية باستخدام كتاب رموز منفصل لترسيخ التمثيلات البصرية، مما يحقق مكاسب كبيرة في الأداء في المهام الخاصة بنطاقات معينة دون تعديل النموذج اللغوي أو الحاجة إلى إعادة المحاذاة عبر بنيات مختلفة.

المؤلفون الأصليون: Jason Wu, Tianchen Zhao, Chang Liu, Jiarui Cai, Zheng Zhang, Zhuowei Li, Aaditya Singh, Xiang Xu, Mani Srivastava, Jonathan Wu

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jason Wu, Tianchen Zhao, Chang Liu, Jiarui Cai, Zheng Zhang, Zhuowei Li, Aaditya Singh, Xiang Xu, Mani Srivastava, Jonathan Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مترجماً بارعاً (النموذج اللغوي) يتحدث الإنجليزية بطلاقة ويمكنه شرح أي شيء في العالم. ومع ذلك، يعتمد هذا المترجم على كاميرا (المشفّر البصري) ليرى العالم ويصفه.

المشكلة؟ الكاميرا عامة الأغراض. هي رائعة في التقاط صور للقطط والسيارات وغروب الشمس، ولكن إذا وجهتها نحو أشعة سينية طبية أو زهرة نادرة، فإنها ترتبك. قد تقول: "أرى ثقباً"، بينما هي في الواقع ترى سوائل، أو تقول: "أرى نقطة حمراء"، بينما هي في الواقع مرض محدد.

عندما تعطي الكاميرا وصفاً سيئاً، يضل المترجم البارع طريقه ويعطي إجابة خاطئة، رغم أن المترجم ذكي.

الطريقة القديمة: كابوس "إعادة التدريب"

في السابق، إذا أردت إصلاح الكاميرا لتناسب الأشعة السينية الطبية، كان عليك:

تعديل الكاميرا لترى بشكل أفضل.
إعادة تعليم المترجم كيف يفهم طريقة كلام الكاميرا الجديدة والغريبة.

هذا يشبه توظيف مصور كاميرا جديد، ثم إجبار مترجمك على الذهة إلى مدرسة جديدة تماماً لتعلم لهجته الجديدة. إذا أردت استخدام مترجم مختلف لاحقاً، سيتعين عليك بدء عملية إعادة التعليم بأكملها من جديد. هذا الأمر مكلف، بطيء، ويفقد المترجم قدرته على التحدث بشكل طبيعي.

الطة الجديدة: CRAFT (الـ "قاموس العالمي")

ابتكر مؤلفو هذه الورقة البحثية، CRAFT، حلاً ذكياً. لقد أدركوا أن المترجم والكاميرا لا يحتاجان للتحدث بلغة مستمرة وانسيابية. بدلاً من ذلك، يمكنهما التحدث باستخدام مجموعة ثابتة من وحدات البناء ("كتاب الرموز" أو Codebook).

فكر في "كتاب الرموز" كأنه قاموس عالمي أو مجموعة ليغو تحتوي على 16,000 قطعة محددة ومعدة مسبقاً.

القطعة رقم 11745 تعني دائماً "خلفية بيضاء".
القطعة رقم 5825 تعني دائماً "أذن كلب".
القطعة رقم 3918 تعني دائماً "بتلة زهرة".

كيف يعمل CRAFT:

الكاميرا تتعلم القاموس: بدلاً من محاولة وصف صورة بتفاصيل دقيقة وانسيابية بالملايين، تتعلم الكاميرا النظر إلى الصورة وقول: "هذا الجزء هو القطعة رقم 5825، وهذا الجزء هو القطعة رقم 3918".
المترجم "مجمد": المترجم البارع يعرف بالفعل هذا القاموس تمام المعرفة. هو لا يحتاج لإعادة تعلمه. هو فقط يقرأ القطع ويبني جملة.
الخدعة السحرية: لجعل الكاميرا جيدة في الأشعة السينية، تقوم فقط بتدريب الكاميرا على اختيار القطع الصحيحة للصور الطبية. أنت لا تلمس المترجم على الإطلاق.
- تشبيه: تخيل أن لديك مترجماً يعرف القاموس. تقوم بتوظيف مصور كاميرا جديد وتقول له: "فقط أشر إلى كلمات القاموس الصحيحة لهذه الأشعة السينية". سيفهم المترجم فوراً لأن الكلمات لم تتغير.

لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة

1. التوافق الجاهز للتشغيل (Plug-and-Play)
بما أن الجميع يستخدم نفس "القاموس العالمي" (كتاب الرموز)، يمكنك تدريب كاميرا على كمبيوتر صغير (باستخدام "بديل" مترجم صغير) ثم توصيل هذه الكاميرا بمترجم ضخم وفائق القوة لاحقاً. إنهما يتحدثان نفس اللغة فوراً. لا حاجة لإعادة التدريب!

2. لا يوجد "فقدان ذاكرة"
عندما تحاول إعادة تعليم المترجم لفهم كاميرا جديدة، فإنه غالباً ما ينسى كيفية التحدث بشكل طبيعي (وهي مشكلة تسمى "النسيان الكارثي"). قد يبدأ بإعطاء إجابات من كلمة واحدة مثل "نعم" أو "لا" بدلاً من شرح لماذا.

نتيجة CRAFT: يحافظ المترجم على شخصيته الكاملة وقدرته على الشرح. يمكنه أن يقول: "نعم، هناك سوائل، لأنني أرى دائرة ساطعة بمركز مظلم"، تماماً كما يفعل الطبيب البشري.

3. إنه فعال
تدريب النظام بأكمله (الكاميرا + المترجم) يشبه محاولة تحريك جبل. أما CRAFT فهو يشبه تحريك بعض الحصوات. أنت تدرب الكاميرا فقط.

ميزة "التقليم" (Pruning): تضيف الورقة البحثية أيضاً خطوة "التقليم". تخيل أن الكاميرا تلتقط صورة وتنتج 100 قطعة، لكن 80 منها هي مجرد "سماء" أو "عشب" (خلفية مملة). يقوم CRAFT تلقائياً برمي القطع المملة ويرسل فقط القطع المثيرة للاهتمام (الزهرة، أو الورم) إلى المترجم. هذا يجعل النظام أسرع وأرخص في التشغيل.

التأثير في العالم الحقيقي

في الورقة البحثية، اختبروا هذا على:

المسحات الطبية: تحديد السوائل في الدماغ.
أمراض النباتات: رصد البقع البكتيرية على الأوراق.
المخططات التجريدية: حل الألغاز المنطقية بالأشكال.

النتيجة: حقق CRAFT تحسناً في الدقة بنسبة 13.5% في المتوسط مقارنة بالطرق الأخرى، مع الحفاظ على قدرة الذكاء الاصطناعي على شرح استنتاجاته.

الملخص

Craf يشبه منح الكاميرا مفردات عالمية حتى تتمكن من التحدث مع أي مترجم ذكاء اصطناٍع دون الحاجة لإعادة تعليم المترجم. إنه أرخص، أسرع، ويضمن ألا ينسى الذكاء الاصطناعي كيف يكون ذكياً ومفيداً أثناء تعلم رؤية أشياء جديدة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "فك الارتباط بين الرؤية واللغة: التكيف البصري المرتكز على كتاب الرموز" (CRAFT).

1. بيان المشكلة

عادةً ما تعاني نماذج الرؤية واللغة الكبيرة (LVLMs) في المهام المتخصصة في مجالات معينة (مثل التشخيص الطبي، أو التصنيف الدقيق للنباتات) لأن مشفرات الرؤية المدربة مسبقاً تفتقر إلى التأسيس البصري المتخصص.

العقبة: طرق التكيف الحالية (مثل LoRA، أو ضبط أداء جهاز الإسقاط/Projector tuning) تقوم بتعديل واجهة الميزات المستمرة بين مشفر الرؤية والنموذج اللغوي الكبير (LLM).
النتيجة: هذه الطرق تربط بين مكونات الرؤية واللغة. فعندما يتم ضبط مشفر الرؤية بدقة لمجال جديد، يتغير توزيع ميزاته، مما يستلزم إعادة محاذاة مكلفة للنموذج اللغوي (LLM). علاوة على ذلك، فإن ضبط النموذج اللغوي نفسه غالباً ما يؤدي إلى النسيان الكارثي لقدرات اتباع التعليمات العامة وقدرات الاستنتاج.
الهدف: هل يمكننا تكييف نموذج (LVLM) مع مجال جديد عن طريق تعديل مشفر الرؤية فقط، مع إبقاء النموذج اللغوي (LLM) مجمداً والحفاظ على قدراته الأصلية في الاستنتاج؟

2. المنهجية: CRAFT

يقترح المؤلفون إطار عمل CRAFT (التدريب الدقيق المنظم بكتاب الرموز)، وهو إطار عمل خفيف الوزن يعمل على فك الارتباط بين التكيف البصري ومعالجة اللغة باستخدام واجهة كتاب رموز منفصل (Discrete Codebook Interface).

المفهوم الجوهري

بدلاً من تمرير نواقل مستمرة (Continuous Vectors) إلى النموذج اللغوي، يقوم CRAFT بتكميم الميزات البصرية إلى كتاب رموز منفصل مشترك ومجمد. يتعلم مشفر الرؤية كيفية اختيار وترتيب مدخلات كتاب الرموز الموجودة (Tokens) التي تمثل أفضل تمثيل للإشارات البصرية الخاصة بالمجال الجديد. ولأن كتاب الرموز ثابت، فإن "المفردات البصرية" تظل مستقرة، مما يسمح للمشفر الذي تم ضبطه بدقة بالعمل مع أي نموذج لغوي (LLM) يشارك نفس كتاب الرموز دون الحاجة لإعادة تدريب النموذج اللغوي.

المكونات الرئيسية

الواجهة البصرية المنفصلة:
- ينتج مشفر الرؤية ميزات مستمرة $z$ .
  z يتم تكميمها إلى أقرب مدخل في كتاب رموز مجمد $C$ : $\tilde{z} = q(z)$ .
- يتم إسقاط الرموز المنفصلة الناتجة في مساحة التضمين (Embedding Space) الخاصة بالنموذج اللغوي.
هدف التدريب المركب:
يقوم CRAFT بضبط مشفر الرؤية فقط باستخدام ثلاثة دوال خسارة (Loss Functions):
- خسارة المحاكاة للمحاذاة ( $L_{SAL}$ ): يتنبأ نموذج لغوي "بديل" (Surrogate LLM) صغير ومجمد بالرمز التالي بناءً على الصورة والنص. يتم تمرير التدرجات (Gradients) عبر النموذج البديل وصولاً إلى مشفر الرؤية. هذا يعلم المشفر إنتاج رموز تكون قابلة للتفسير ومفيدة للاستنتاج، بدلاً من مجرد تمثيل دقيق للبكسلات.
- خسارة الالتزام ( $L_{commit}$ ): تضمن بقاء المخرجات المستمرة للمشفر قريبة من مدخلات كتاب الرموز المخصصة لها، مما يمنع انزياح الميزات (Feature Drift) الذي قد يكسر عملية التكميم.
- الخسارة التباينية ( $L_{con}$ ): تحافظ على البنية الدلالية التي تم تعلمها أثناء التدريب المسبق من خلال محاذاة تضمينات الصور مع التعليقات النصية (الحقيقة الأرضية والمولدة)، مما يمنع النموذج من نسيان المعرفة البصرية العامة.
تقليم الرموز في وقت الاختبار (Test-Time Token Pruning):
- غالباً ما تنتج المشفرات المنفصلة رموزاً زائدة عن الحاجة (على سبيل المثال، قطع الخلفية التي ترتبط بنفس معرف الرمز المتكرر).
- يستخدم CRAFT استراتيجية تقليم موزونة بالندرة:
  - يحسب "وزن الندرة" لكل معرف رمز (Token ID) بناءً على تكراره في مجموعة التدريب (يتم الاحتفاظ بالرموز النادرة؛ ويتم تقليم رموز الخلفية المتكررة).
  - يستخدم بواقي التكميم (Quantization Residuals - مدى صعوبة تكميم قطعة معينة) والعزل المكاني لاختيار الرموز الأكثر معلوماتية ضمن معرف معين.
- يقلل هذا من العبء الحسابي (FLOPs) ويركز النموذج اللغوي على التفاصيل البصرية البارزة.

3. المساهمات الرئيسية

التكيف المنفصل: يقدم طريقة لتكييف نماذج (LVLMs) مع مجالات جديدة عن طريق تحديث مشفر الرؤية فقط، مع ترك النموذج اللغوي مجمداً تماماً.
تثبيت كتاب الرموز (Codebook Anchoring): يثبت أن كتاب الرموز المنفصل المشترك يعمل كـ "لغة بصرية" مستقرة، مما يسمح بـ النقل عبر البنى المختلفة (Cross-architecture transfer). يمكن استخدام مشفر تم ضبطه بدقة باستخدام نموذج بديل صغير (مثل 0.5B) مباشرة مع نموذج لغوي أكبر بكثير (مثل 70B) دون الحاجة لإعادة المحاذاة.
التوجيه عبر النموذج البديل: يستخدم نموذجاً لغوياً بديلاً خفيف الوزن لتوجيه مشفر الرؤية، مما يضمن أن الرموز المولدة تسهل عملية الاستنتاج بدلاً من مجرد إعادة بناء الميزات.
الكفاءة: يحقق تكيف المجال بتكاليف حوسبة أقل بكثير (التدريب على نماذج بديلة صغيرة) وتكاليف استنتاج أقل (تقليم الرموز).

4. النتائج التجريبية

قيم المؤلفون CRAFT على 10 اختبارات مرجعية (Benchmarks) تغطي التصوير الطبي (VQARAD, Kvasir)، والتصنيف الدقيق (Flowers, Cars, Dogs, PlantVillage)، والاستنتاج المجرد (IconQA, ScienceQA).

مكاسب الأداء: حقق CRAFT تحسناً متوسطاً بنسبة 13.51% عبر الاختبارات المرجعية مقارنة بالنماذج المرجعية (Zero-shot baselines).
المقارنة مع أحدث التقنيات (SOTA): تفوق على طرق التكيف ذات الميزات المستمرة (Vision FT, Projector FT, LDIFS) وعلى ضبط LoRA للنموذج اللغوي.
- مثال: في اختبار PlantVillage، حسن CRAFT الدقة بنسبة ~26% عن النموذج الأساسي، بينما فشلت الطرق المستمرة أو أدت إلى تدهور الأداء.
الحفاظ على الاستنتاج: على عكس نماذج LLM LoRA أو Projector FT، التي غالباً ما تسبب "انهيار" النموذج إلى إجابات قصيرة وغير تفسيرية، حافظ CRAFT على قدرات النموذج اللغوي في اتباع التعليمات والقدرة التفسيرية.
- في الجدول 2، حافظ CRAft على درجات عالية في "الحضور" (تقديم التفسيرات) و"الأمانة" (الارتباط بالصورة)، بينما سجلت النماذج المضبوطة بـ LoRA درجات تقترب من الصفر في هذه المقاييس.
النقل عبر النماذج اللغوية (Cross-LLM Transfer): نجح مشفر تم تدريبه باستخدام نموذج بديل 0.5B في تعزيز أداء النماذج اللغوية ذات الأحجام 7B و3B، مما يثبت نمطية النهج.
الكفاءة:
- التدريب: استخدام نموذج بديل 0.5B قلل من استخدام ذاكرة الفيديو (VRAM) بنسبة ~61% ووقت التدريب بنسبة ~73% مقارنة بضبط نموذج 7B.
- الاستنتاج: قلل تقليم الرموز من العمليات الحسابية (FLOPs) بنسبة 16% وزمن الاستجابة (Latency) بنسبة 7% دون التضحية بالدقة.

5. الأهمية

يعالج CRAFT عقبة حرجة في نشر نماذج (LVLMs): التكلفة العالية وعدم الاستقرار عند تكييف النماذج مع المجالات المتخصصة.

كفاءة الموارد: يجعل عملية تكييف النماذج متاحة للجميع، مما يسمح للمؤسسات بتخصيص النماذج باستخدام نماذج بديلة صغيرة وبيانات محدودة، بدلاً من الحاجة إلى موارد حوسبة ضخمة لإعادة تدريب الأنظمة متعددة الوسائط بالكامل.
الاستقرار: من خلال فصل الرؤية عن اللغة، يمنع النموذج من "النسيان الكارثي" لمهارات الاستنتاج العامة التي تعيب طرق الضبط الدقيق الحالية.
النمطية (Modularity): يشير مفهوم كتاب الرموز المشترك إلى مستقبل يمكن فيه لتطور مشفرات الرؤية والنماذج اللغية بشكل مستقل، طالما أنها تلتزم بمفردات بصرية منفصلة مشتركة. وهذا يقدم حلاً عملياً للبيئات محدودة الموارد والصناعات المتخصصة مثل الرعاية الصحية.