💻 computer science

Hybrid Token Compression for Vision-Language Models

تقدم هذه الورقة HTC-VLM، وهو إطار عمل هجين لضغط الرموز المرئية يوازن بفعالية بين الحفاظ على تفاصيل المظهر دقيقة التفاصيل والدلالات عالية المستوى من خلال دمج ميزات الرقع المستمرة مع المرتكزات الدلالية المنفصلة، محققاً تفوقاً في الاحتفاظ بالأداء والكفاءة مقارنة بالنماذج المستمرة الحالية.

المؤلفون الأصليون: Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

نُشر 2026-08-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

التخمة البصرية العظمى: لماذا يحتاج الذكاء الاصطناعي إلى ملخص أفضل

تخيل أنك تحاول تعليم طالب عبقري ولكنه جائع جداً كيف يفهم صورة. في عالم الذكاء الاصطناعي، يُطلق على هذا الطالب اسم "نموذج الرؤية واللغة" (VLM). وهو نوع من أدمغة الكمبيوتر التي يمكنها النظر إلى صورة والإجابة على أسئلة حولها، مثل "ماذا يرتدي الكلب؟" أو "لماذا السماء زرقاء؟". للقيف بهذا، يقوم الكمبيوتر بتفكيك الصورة إلى مئات المربعات الصغيرة، تسمى "الرقع" (patches)، ويحول كل واحدة منها إلى قائمة طويلة من الأرقام (رمز أو token) لكي يتمكن من قراءتها.

المشكلة هي أن الكمبيوتر يصاب بالارتباك. إذا غذّيته بـ 576 من هذه المربعات الصغيرة، فسيتعين على الدماغ مقارنة كل مربع بكل مربع آخر لفهم الصورة. هذا يخلق قدراً هائلاً من العمل، مثل محاولة قراءة مكتبة من الكتب دفعة واحدة. هذا يبطئ كل شيء ويستهلك كميات هائلة من ذاكرة الكمبيوتر. حاول العلماء إصلاح ذلك عن طريق تلخيص الصورة في رمز أو بضعة "رموز ملخصة" فقط، ولكن هناك عقبة. إذا قمت بمجرد دمج كل التفاصيل في رقم متوسط واحد، فستفقد القصة المهمة (مثل حقيقة أنه كلب). وإذا حاولت الحفاظ على القصة عبر اختيار "كلمات رئيسية" محددة، فستفقد التفاصيل الدقيقة (مثل ملمس فرو الكلب). إنه مقايضة محبطة: إما أن تحصل على الجوهر العام ولكن تفقد التفاصيل، أو تحصل على التفاصيل ولكن تنسى النقطة الأساسية. تسأل هذه الورقة سؤالاً بسيطاً: هل يمكننا الحصول على كليهما؟

البطل الهجين: HTC-VLM

يقول الباحثون وراء هذه الورقة، بقيادة جوشينغ تشانغ وفريقه، إن الإجابة هي نعم، ولكن فقط إذا توقفنا عن محاولة إجبار الكمبيوتر على القيام بكل شيء باستخدام أداة واحدة فقط. لقد قدموا طريقة جديدة تسمى HTC-VLM (ضغط الرموز الهجين لنماذج الرؤية واللغة). فكر في الأمر كطريقة ذكية لتلخيص قصة معقدة دون فقدان الحبكة أو تفاصيل الشخصيات.

إليك كيف تعمل خدعتهم "الهجينة"، باستخدام تشبيه بسيط:

تخيل أنك تصف مشهداً فوضوياً في حديقة لصديق لا يمكنه سماع سوى جملة واحدة.

الطريقة القديمة (الضغط المستمر): تحاول حشر كل شيء في جملة واحدة: "هناك أشياء كثمة تتحرك بألوان وأشكال". يسمع صديقك الضجيج ولكنه لا يملك أي فكرة عما يحدث فعلياً. هو يعلم أن المكان مزدحم، لكنه لا يعرف ما هو المزدحم. هذا ما يحدث عندما يحاول الذكاء الاصطناعي ضغط صورة في رقم متوسط واحد؛ حيث تضيع "المعاني عالية المستوى" (مثل "إنه كلب") وسط "الضجيج" (مثل العشب والسماء).
الطريقة القديمة الأخرى (التكميم المنفصل): تحاول أن تكون دقيقاً وتقول: "كلب. عشب. شجرة". يعرف صديقك الممثلين الرئيسيين، لكن ليس لديه أدنى فكرة عن شكل الكلب، أو ما إذا كان يركض، أو لون فرائه. إنه يفقد الملمس والحركة.
طريقة HTC-VLM (الحل الهجين): يقترح الباحثون نهجاً من خطوتين. أولاً، تعطي صديقك أربع "بطاقات مرساة" خاصة توضح بالضبط ماهية الأشياء الرئيسية (على سبيل المثال: "كلب"، "عشب"، "شجرة"). هذه هي الرموز المنفصلة (discrete tokens). وهي تعمل كالهيكل العظمي أو الخريطة. بعد ذلك، تعطيه رمز "ملخص" واحداً يحمل كل التفاصيل الدقيقة والفوضوية (ملمس الفرو، حركة الرياح في العشب، وضعية الكلب).

يحدث السحر لأن الكمبيوتر يتم تدريبه على استخدام "بطاقات المرساة" لتوجيه كيفية قراءته لـ "رمز الملخص". تخبر البطاقات المرساة الكمبيوتر: "مهلاً، ابحث عن كلب هنا!" حتى لا يرتبك رمز الملخص بسبب كل التفاصيل الأخرى. بهذه الطريقة، يحافظ الذكاء الاصطناعي على الصورة الكبيرة (الدلالات) والتفاصيل الدقيقة (المظهر) بشكل منفصل حتى اللحظة الأخيرة، حيث يتم دمجهما معاً بشكل مثالي.

ماذا وجدوا

اختبر الفريق هذه الفكرة في سبعة اختبارات مختلفة وصعبة، تتراوح من الإجابة على أسئلة حول الصور إلى فهم الرسوم البيانية العلمية. وقارنوا طريقتهم الجديدة بأفضل الطرق الموجودة حالياً لضغط الصور.

النتائج: عندما ضغطوا الصورة بأكملها لتصبح رمزاً واحداً فقط (الضغط الأقصى)، حافظت طريقتهم الهجينة على 87.2% من الأداء الأصلي. بينما حافظت الطريقة الأفضل السابقة (التي استخدمت نهج "المتوسط" فقط) على 81.0%. قد يبدو هذا الفرق صغيراً، ولكن في عالم الذكاء الاصطناعي، الحفاظ على تلك الـ 6% الإضافية من الذكاء عند التخلص من معظم البيانات تقريباً هو أمر ضخم للغاية.
لماذا ينجح الأمر: حلل الباحثون كيف يعمل "انتباه" الكمبيوتر. وجدوا أن رمز الملخص الواحد كان ينظر بنشاط إلى بطاقات المرساة الأربع أولاً. لقد كان يستخدم تلك المرساة كدليل لفهم بقية الصورة. وهذا أثبت أن المرساة كانت تقوم بالعمل الشاق للحفاظ على المعنى سليماً.
المقايضة: تتطلب الطريقة قدراً ضئيلاً من العمل الإضافي لإنشاء بطاقات المرساة الأربع تلك، لكن الباحثين أظهروا أن الوقت الذي يتم توفيره بعدم الحاجة لمعالجة مئات الرموز هو ضخم جداً، بحيث تظل السرعة الإجمالية سريعة للغاية. الأمر يشبه قضاء 5 ثوانٍ في كتابة مخطط رائع، مما يوفر عليك 5 ساعات من كتابة مقال سيء.

ما لا تدعيه الورقة

من المهم ملاحظة ما لا تدعيه هذه الورقة. يجادل الباحثون صراحة ضد فكرة أنه يمكنك مجرد "متوسط" كل شيء معاً وتوقع أن يعمل بشكل جيد تحت الضغط الشديد. لقد أظهروا أن محاولة إجبار رقم مستمر واحد على حمل كل من "القصة" و"التفاصيل" تؤدي إلى انهيار القصة. كما أظهروا أن مجرد اختيار قطع عشوائية من الصورة أو استخدام طرق "التقليم" القديمة (قطع الأجزاء) لا يعمل بنفس الكفاءة عندما تصل إلى رمز أو اثنين فقط.

تشير الورقة إلى أن هذا النهج الهجين هو حل قوي لمشكلة الضغط الشديد تحديداً، لكنها لا تدعي أنها تحل كل مشكلة في الذكاء الاصطناعي. على سبيل المثال، يشيرون إلى أنه بينما يعمل هذا بشكل رائع للصور الفردية، فقد يحتاج إلى تعديلات للفيديوهات الطويلة أو المحادثات المعقدة متعددة الصور.

الخلاصة

باختاً، تقترح HTC-VLM أنه لجعل الذكاء الاصطناعي ذكياً وسريعاً، لا ينبغي لنا فقط محاولة تقليص الصورة إلى نقطة صغيرة. بدلاً من ذلك، يجب أن نعطي الذكاء الاصطنا- خريطة (المرساة المنفصلة) وإيجازاً (التفاصيل المستمرة) ونتركهما يعملان معاً. من خلال فصل "ماذا" عن "كيف"، يمكن للكمبيوتر فهم صورة باستخدام رمز واحد فقط، مع الحفاظ على وضوح المعنى ودقة التفاصيل، دون أن يتوه في الضجيج. إنه تذكير بأنه في بعض الأحيان، لكي توفر المساحة، لا تحتاج إلى رمي الأشياء؛ بل تحتاج فقط إلى تنظيمها بشكل أفضل.

ملخص تقني: HTC-VLM – ضغط الرموز الهجين لنماذج الرؤية واللغة

1. بيان المشكلة

تعتمد نماذج الرؤية واللغة (VLMs) عادةً على مئات من رموز الرقع البصرية (على سبيل المثال، $N=576$ من مشفر ViT) لتزويد النماذج اللغوية الكبيرة (LLMs) بمعلومات إدراكية غنية. هذا الاقتران الكثيف يؤدي إلى تكاليف حسابية تربيعية، $O((N+L)^2)$ ، مما يستنزف ذاكرة وحدة معالجة الرسومات (GPU) ونوافذ السياق بسرعة.

تواجه استراتيجيات الضغط الحالية مقايضة جوهرية:

الضغط المستمر (Continuous Compression): الطرق التي تستخدم التجميع العالمي (global pooling) أو تجميع الانتباه (attention aggregation) تضغط جميع الرقع في متجه كثيف واحد. ورغم كفاءتها، إلا أنها غالبًا ما تؤدي إلى التمييع الدلالي (semantic dilution)، حيث تُفقد المعاني عالية المستوى (هويات الأشياء، العلاقات المكانية) نتيجة انخفاض المعلومات المتبادلة $I(v_c; S)$ بسبب متوسط توزيعات الرقع المتنوعة.
التكميم المنفصل (Discrete Quantization): الطرق التي تستخدم التكميم الشعاعي (Vector Quantization - VQ) تحافظ على الدلالات الفئوية ولكنها تتخلص من الإشارات المستمرة الدقيقة (الأنسجة، الوضعيات، التشوهات)، مما يخلق فجوة في الدقة (granularity gap) تحد من القدرة على الاستنتاج التفصيلي.

التحدي الجوهري هو ما إذا كان بإمكان نموذج الرؤية واللغة الاحتفاظ بالمعلومات البصرية المفيدة دلاليًا عند ضغط الصورة بأكملها في رمز واحد دون التضحية بالبنية عالية المستوى أو التفاصيل منخفضة المستوى.

2. المنهجية: HTC-VLM

يقترح المؤلفون HTC-VLM (ضغط الرموز الهجين لنماذج الرؤية واللغة)، وهو إطار عمل يقوم بفك الارتباط بين المعلومات البصرية إلى قناتين متكاملتين قبل دمجهما في رمز كامن واحد.

2.1 بنية القنوات المزدوجة

بدلاً من ضغط الرقع الخام مباشرة، يقوم HTC-VLM بتفكيك المدخل البصري $I$ إلى:

قناة التفاصيل المستمرة ( $D$ ): تستخدم مشفر رؤية مدرب مسبقًا (CLIP ViT-L/14) ومشروع خطي لتوليد $N=576$ من تضمينات الرقع. يحافظ هذا المسار على التفاصيل منخفضة المستوى مثل تدرجات الأنسجة وتغيرات الوضعية.
قناة الدلالات المنفصلة ( $S$ ): تستخدم MGVQ (التكميم الشعاعي متعدد المجموعات) لتكميم الصورة إلى متجه سمات، والذي يتم بعد ذلك إسقاطه عبر MLP إلى تسلسل صغير من 4 رموز دلالية مرجعية منفصلة ( $v_d$ ). تلتقط هذه المراجع الدلالات الفئوية عالية المستوى (مثل "كلب"، "شجرة") والتخطيطات المكانية.

2.2 الدمج الهجين وعنق زجاجة فك الارتباط

يتم إدراج الرموز المرجعية المنفصلة قبل تسلسل الرقع المستمرة لتشكيل تسلسل هجين $V_{hy} \in \mathbb{R}^{580 \times d}$ (4 مراجع + 576 رقعة). يتم تغذية هذا التسلسل في رمز قابل للتدريب يسمى <voco>.

المكون الحاسم هو قناع انتباه فك الارتباط ( $M_{hy}$ ):

قيد النص-إلى-الرؤية: يُمنع منعًا باتًا رموز النص من الانتباه إلى الرموز البصرية الهجينة الخام ( $V_{hy}$ ). يمكنها فقط الانتباه إلى رمز <voco> المضغوط.
الانتباه الذاتي البصري: يُسمح للرموز البصرية (سواء المنفصلة أو المستمرة) بالانتباه إلى بعضها البعض قبل عملية التجميع. يسمح هذا لرمز <voco> بدمج الأدلة البصرية السياقية.
الاستخراج الكامن: يقوم رمز <voco> بضغط التسلسل المكون من 580 رمزًا إلى متجه كامن واحد $z$ ، والذي يعمل كمدخل بصري وحيد للنموذج اللغوي الكبير (LLM).

2.3 الأساس النظري

تستند الطريقة إلى مبدأ عنق زجاجة المعلومات (Information Bottleneck - IB). يجادل المؤلفون بأن المتجه المستمر الواحد يعاني من هيمنة الإنتروبيا (Entropy Domination)، حيث تؤدي التفاصيل عالية التردد ( $D$ ) إلى إشباع السعة المحدودة لعنق الزجاجة، مما يجبر المعلومات الدلالية ( $S$ ) على التلاشي. ومن خلال إدخال مراجع منفصلة كـ "سابقة دلالية" (semantic prior)، يقلل HTC-VLM من حاجز الإنتروبيا لـ $S$ ، مما يسمح لـ $z$ بالتركيز قدرته على تشفير التفاصيل المتبقية $D$ . وقد تم صياغة ذلك رسميًا عبر حد أدنى أدنى (ELBO) أكثر إحكامًا مقارنة بالنماذج المعتمدة على الاستمرار فقط.

3. المساهمات الرئيسية

تحليل عنق الزجاجة التمثيلي: يحدد البحث "صراع سعة الدلالة والتفاصيل"، ويقدم براهين معلوماتية (النظرية 1) تشرح لماذا تفشل عناق الزجاجة المستمرة الصرفة في الحفاظ على الدلالات عالية المستوى تحت الضغط الشديد.
إطار العمل الهجين لفك الارتباط الدلالي: بنية مبدئية تحقن الحد الأدنى من المراجع الدلالية المنفصلة قبل الضغط، مما يسمح بالتحسين المشترك للدلالات المنفصلة والمظهر المستمر.
البنية العملية (HTC-VLM): تطبيق يحقق نسبة احتفاظ بالأداء تبلغ 87.2% في المتوسط عبر سبعة اختبارات قياسية تحت ميزانية رمز واحد، متفوقًا على النموذج المستمر الرائد (VoCo-LLaMA) الذي حقق 81.0%.
التحقق الموسع: دراسات شاملة على ميزانيات الرموز (1–576)، والتعميم عبر البنى المختلفة (Qwen-VL, LLaVA-NeXT)، وكفاءة الاستدلال، والمتانة تجاه المعلمات الفائقة (حجم الـ codebook، وطوبولوجيا القناع).

4. النتائج التجريبية

4.1 الاحتفاظ بالأداء

في تقييم على سبعة اختبارات قياسية (GQA, VQAv2, MMBench, MME, POPE, SEED-Bench, ScienceQA-Image)، حقق HTC-VLM متوسط احتفاظ بنسبة 87.2% مقارنة بالنموذج الكامل ذي الـ 576 رمزًا. وهذا يتفوق بشكل كبير على:

VoCl-LLaMA (مستمر فقط): 81.0%
التجميع المتوسط (Average Pooling): 64.1%
Q-Former: 57.2%

4.2 المتانة تجاه ميزانية الرموز

بينما تعمل طرق التقليم المهيكلة (مثل ToMe و PDrop) بشكل جيد عند الضغط المتوسط (64–192 رمزًا)، إلا أنها تتدهور بشدة في نظام الرموز شديد الانخفاض ( $<32$ رمزًا). يظل HTC-VLM مستقرًا حتى في نظام الرمز الواحد، مما يثبت أن المراجع المنفصلة تمنع انهيار المعلومات حيث تفشل الطرق المستمرة.

4.3 التعميم

ينتقل عنق الزجاجة الهجين بفعالية إلى نماذج خلفية أقوى ومختلفة بنيويًا:

Qwen-VL-Chat: احتفاظ بنسبة 94.5% (مقابل 86.4% لـ VoCl-LLaMA).
LLaVA-NeXT (الدقة الديناميكية): احتفاظ بنسبة 95.7% (مقابل 86.6% لـ VoCl-LLaMA).

4.4 الكفاءة وزمن الاستجابة (Latency)

على وحدة معالجة رسومات NVIDIA A100، يقلل HTC-VLM زمن استجابة (prefill latency) للنموذج اللغوي بنسبة 94.3% مقارنة بنموذج الـ 576 رمزًا الأصلي. ورغم أن إضافة مشفر MGVQ تسبب عبئًا طفيفًا (~6.1 مللي ثانية)، إلا أن إجمالي زمن النظام (61.0 مللي ثانية) يظل قريبًا من النموذج المستمر فقط (51.9 مللي ثانية) وأسرع بكثير من طرق التقليم التي تحتفظ برموز متعددة.

4.5 دراسات الاستئصال (Ablation Studies)

المراجع المنفصلة: إزالة المراجع (النموذج المستمر فقط) يخفض الأداء إلى 81.0%؛ بينما استخدام الرموز المنفصلة فقط يخفضه إلى حوالي 33%.
عدد المراجع: يوفر وجود 4 رموز الأداء الأمثل؛ حيث إن وجود رمز أو اثنين غير كافٍ، بينما يؤدي وجود 8 رموز إلى التكرار غير المفيد.
القناع (Masking): قناع عنق الزجاجة النصي (الذي يسمح بالانتباه البصري الذاتي ولكنه يمنع الانتباه من النص إلى الرموز البصرية الخام) هو الأفضل، مما يؤكد الحاجة إلى السياق البصري قبل الضغط.

5. الأهمية والادعاءات

يزعم البحث أن HTC-VLM يقدم حلاً عمليًا للمقايضة بين الكفاءة والدقة في نماذج الرؤية واللغة. من خلال فصل الدلالات عن التفاصيل بشكل صريح، يسمح النهج الهجين بـ الضغط الشديد (1 رمز) دون الانهيار الدلالي الملاحظ في الطرق المستمرة فقط.

يؤكد المؤلفون أن مكاسب الأداء تنبع من التصميم الهجين الهيكلي وليس من الضبط الدقيق للمعلمات الفائقة، حيث تعمل المراجع المنفصلة كمرشدات دلالية قابلة للتفسير، مما يثبت عملية الضغط ويسمح للنموذج اللغوي بالاستنتاج بفعالية حتى عندما يتم تقليص المدخل البصري إلى رمز واحد. يشير هذا العمل إلى اتجاه مستقبلي لضغط الوسائط المتعددة: تصميم عناق زجاجة مهيكلة ومتكيفة مع المهام تحافظ على التفسير الدلالي مع تقليل تكاليف الرموز بشكل جذري.

القيود المعلنة: تقدم الطريقة مشفر MGVQ خفيف الوزن، مما يعني أنها ليست ذات تكلفة صفرية تمامًا مقارنة بالضغط المستمر فقط. بالإضافة إلى ذلك، يركز التقييم الحالي على نماذج الرؤية واللغة على مستوى الصورة؛ وقد يتطلب التوسع إلى مهام الفيديو الطويلة أو مهام التحديد الدقيق (localization) مزيدًا من التكيف.