💻 computer science

UniCompress: Token Compression for Unified Vision-Language Understanding and Generation

تقترح هذه الورقة البحثية UniCompress، وهو إطار عمل لضغط الرموز (tokens) يتميز بخفته ونمطيته، ويستخدم رموزاً ميتا عالمية قابلة للتعلم لتقليل عدد الرموز البصرية بشكل كبير في نماذج الرؤية واللغة الموحدة، مما يؤدي إلى خفض العبء الحسابي وتمكين النشر الفعال في السيناريوهات ذات الموارد المحدودة مع الحفاظ على أداء عالٍ في مهام الفهم والتوليد على حد سواء.

المؤلفون الأصليون: Ziyao Wang, Chen Chen, Jingtao Li, Weiming Zhuang, Jiabo Huang, Ang Li, Lingjuan Lyu

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziyao Wang, Chen Chen, Jingtao Li, Weiming Zhuang, Jiabo Huang, Ang Li, Lingjuan Lyu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال فيلم ضخم عالي الدقة إلى صديق لديه اتصال إنترنت بطيء جداً وهاتف صغير جداً. إذا أرسلت الفيلم كاملاً، فسيستغرق التحميل وقتاً طويلاً وقد يتسبب في تعطل هاتفه. ولكن إذا أرسلت مجرد صورة مصغرة ضبابية، فلن يتمكن من رؤية التفاصيل.

هذه هي المشكلة ذاتها التي يواجهها علماء الكمبيوتر مع نماذج الذكاء الاصطناعي الموحدة (Unified AI models). هذه الأنظمة الذكية يمكنها رؤية الصورة ووصفها (الفهم) وأيضاً رؤية الوصف ورسم صورة (التوليد).

المشكلة: الكثير من "الضجيج البصري"

حالياً، تتعامل هذه النماذج مع الصور كأنها شبكة ضخمة من قطع الليغو الصغيرة (تسمى الرموز أو الـ tokens).

لكي يفهم الذكاء الاصطناعي صورة ما، يحتاج للنظر إلى جميع الـ 1,024 قطعة.
ولكي يرسم صورة، يحتاج لإعادة وضع الـ 1,024 قطعة معاً بشكل مثالي.

هذا يشبه محاولة حمل مكتبة كاملة من الموسوعات في حقيبة ظهرك لمجرد قراءة جملة واحدة. إنه أمر ثقيل، بطيء، ومكلف. وإذا حاولت ببساطة التخلص من نصف القطع لجعل الحمل أخف، فسيصاب الذكاء الاصطناعي بالارتباك: سيظل قادراً على تخمين الموضوع العام، لكن الصورة التي سيرسمها ستصبح فوضى ضبابية.

الحل: UNICOMPRESS (الملخص الذكي)

يقدم البحث أداة جديدة تسمى UNICOMPRESS. فكر فيها كأنها وكيل سفر فائق الذكاء يساعدك على حزم "حقيبة سفرك" البصرية بكفاءة دون فقدان أي شيء مهم.

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. "الرموز الوصفية العالمية" (الدليل السياحي)

تخيل أنك تنظر إلى مدينة معقدة. بدلاً من تذكر كل نافذة في كل مبنى، تقوم باستئجار دليل سياحي (الرمز الوصفي العالمي - Global Meta Token).

ينظر هذا الدليل إلى المدينة بأكملها ويعطيك ملخصاً سريعاً: "إنه يوم مشمس، هناك توربين رياح كبير، وهناك شخص يرتدي سترة صفراء يتسلق التوربين."
يلتقط هذا الدليل الصورة الكبيرة والعلاقات بين الأشياء.

2. "المُضغط" (مكعب الترتيب)

بعد ذلك، يأخذ الذكاء الاصطناعي قطع الليغو الأصلية البالغ عددها 1,024 قطعة ويضغطها في صندوق أصغر (أصغر بـ 4 مرات).

عادةً، عملية ضغط القطع تؤدي إلى كسرها.
لكن UNICOMPRESS يستخدم تقنية "التجميع المتوسط" (Average Pooling). تخيل أخذ شبكة 4×4 من قطع الليغو وصهرها لتصبح قطعة واحدة مفردة، أكبر قليلاً، تمثل متوسط اللون والشكل لتلك المنطقة. إنها تحافظ على الشكل العام ولكنها تزيل التفاصيل الصغيرة غير الضرورية.

3. "المفكك" (إعادة البناء السحرية)

هذه هي الخدعة السحرية. عندما يحتاج الذكاء الاصطناعي لرسم الصورة مرة أخرى، فهو لا يكتفي بالتخمين فقط.

ينظر إلى ملخص الدليل السياحي (الرموز الوصفية العالمية) ليتذكر القواعد الكبرى: "اجعل السماء زرقاء، وأبقِ الشخص على التوربين."
ثم يستخدم القطع المضغوطة لملء التفاصيل.
ولأن لديه تعليمات الدليل السياحي، فهو يعرف تماماً كيف يوسع الصندوق الصغير مرة أخرى إلى صورة كاملة عالية الجودة دون فقدان التفاصيل المهمة.

لماذا يعد هذا أمراً بالغ الأهمية؟

1. ترقية "جاهزة للتشغيل" (Plug-and-Play)
لا تحتاج إلى إعادة بناء عقل الذكاء الاصطناعي بالكامل. أنت فقط تقوم بتركيب وحدة "التعبئة" الجديدة هذه على النظام الحالي، مثل إضافة عدسة جديدة لكاميرا. وهي تعمل مع أي نموذج ذكاء اصطناعي حالي تقريباً.

2. أسرع بـ 4 مرات وأصغر حجماً
من خلال تقليل عدد قطع الليغو البصرية من 1,024 إلى 256 فقط، يقوم الذكاء الاصطناعي بـ:

التفكير بسرعة أكبر بنسبة 40% (بيانات أقل للمعالجة).
استخدام ذاكرة أقل (يناسب الأجهزة الأصغر والأرخص).
التدريب بتكلفة أقل (يوفر المال في الكهرباء وقوة الحوسبة).

3. لا يضحي بالجودة
المحاولات السابقة لتقليص حجم الصور جعلت الذكاء الاصطناعي سيئاً في الرسم. لكن UNICOMPRESS مميز لأن الدليل السياحي يضمن تذكر الذكاء الاصطناعي لـ "روح" الصورة.

الفهم: لا يزال بإمكانه قراءة الصورة بشكل مثالي.
التوليد: لا يزال بإمكانه رسم صور حادة ومفصلة، وليس مجرد كتل ضبابية.

الخلاصة

UNICOMPRESS يشبه المترجم الذي يتحدث لغتين: "الصورة الكبيرة" و"التفاصيل الدقيقة". فهو يسمح للذكاء الاصطناعي بحمل حمولة أخف مع الاستمرار في رؤية العالم بوضوح وإنشاء فن جميل. وهذا يعني أنه يمكننا قرياً تشغيل ذكاء اصطناعي إبداعي وقوي على هواتفنا، وروبوتاتنا، وأجهزة الكمبيوتر المحمولة الخاصة بنا دون الحاجة إلى كمبيوتر خارق في السحابة.

إليك ملخص تقني مفصل لورقة البحث "UniCompress: Token Compression for Unified Vision–Language Understanding and Generation."

1. بيان المشكلة

تهدف نماذج الرؤية واللغة الموحدة (VLMs) إلى التعامل مع كل من فهم الصور وتوليد الصور ضمن إطار عمل تلقائي الترتيب (autoregressive) واحد عن طريق تشفير الصور إلى رموز (tokens) منفصلة. وبينما توفر هذه البنية البساطة والتآزر عبر الوسائط، إلا أنها تعاني من عقبة حرجة: عدم كفاءة الرموز (token inefficiency).

التكلفة الحسابية العالية: تقوم أجهزة الترميز المنفصلة القياسية (مثل VQ-VAE أو VQGAN) بتحويل صورة بمقاس $512 \times 512$ إلى $1024 $رمزاً ($ 32 \times 32$). وتؤدي معالجة هذه التسلسلات الطويلة إلى زيادة البصمة الذاكرية، وتكاليف التدريب، وزمن الاستجابة عند الاستنتاج، مما يجعل النشر على الأجهزة محدودة الموارد (مثل الذكاء الاصطناعي المتجسد/Embodied AI) أمراً صعباً.
معضلة الضغط: تعمل طرق الضغط البدائية (مثل خفض العينات المنتظم أو تقليم الرموز) بشكل جيد لمهام الفهم، لكنها تضعف بشدة أداء التوليد (غالباً بنسبة تزيد عن $15\%$ ). يتطلب التوليد رموزاً دقيقة ومتسقة مكانياً لإعادة بناء التفاصيل، مما يجعله حساساً للغاية لفقدان المعلومات.
تكاليف إعادة التدريب: يتطلب تدريب جهاز ترميز جديد أكثر كفاءة من الصفر إعادة تدريب النموذج اللغوي التابع بالكامل، وهو أمر مكلف حسابياً وغير عملي.

الهدف: تطوير إطار عمل ضغط معياري وقابل للتركيب (plug-in) يقلل عدد الرموز البصرية بشكل كبير (على سبيل المثال $4\times$ ) مع الحفاظ على الأداء العالي في مهام الفهم والتوليد معاً، دون الحاجة إلى إعادة تدريب النموذج بالكامل.

2. المنهجية: UNICOMPRESS

يقترح المؤلفون UNICOMPRESS، وهو إطار عمل خفيف الوزن ومعياري يعزز أجهزة الترميز المنفصلة الحالية بثلاث مكونات رئيسية. وهو يعمل بطريقة "اضغط مرة واحدة، واستخدم للطرفين".

أ. نظرة عامة على البنية

يدمج الإطار ثلاثة وحدات حول جهاز ترميز منفصل قياسي:

مستخرج الرموز العالمي (Global Token Extractor): يستخدم الانتباه المتقاطع أحادي الاتجاه لتلخيص الدلالات على مستوى المشهد في مجموعة صغيرة من الرموز الميتا العالمية (global meta tokens) القابلة للتعلم ( $G$ ).
ضاغط الرموز (Token Compressor): يقوم بتجميع الرموز البصرية المحلية باستخدام التجميع المتوسط (average pooling) فوق رقع مكانية غير متداخلة (مثل $2 \times 2$ أو $4 \times 4$ ) لإنشاء تسلسل أقصر من الرموز المحلية المضغوطة ( $\hat{X}$ ).
فك ضغط تلقائي الترتيب موجه عالمياً (Global-Guided Autoregressive Decompressor): هو محول (Transformer decoder) يعيد بناء شبكة الرموز الكثيفة وعالية الدقة من الرموز المحلية المضغوطة، مشروطاً بالرموز الميتا العالمية ( $G$ ).

ب. سير العمل

الترميز (Tokenization): يتم تشفير صورة مدخلة إلى شبكة كثيفة من الرموز ( $X$ ).
الاستخراج والضغط:
- الرموز العالمية: تقوم رموز استعلام (query tokens) قابلة للتعلم بالانتباه إلى شبكة الصورة الكاملة لاستخراج الدلالات الشاملة ( $G$ ).
- الضغط المحلي: يتم إعادة تشكيل الشبكة $X$ وتقليل عينات منها عبر التجميع المتوسط لإنتاج تسلسل مدمج $\hat{X}$ .
- بناء التسلسل: يتم ترتيب التسلسل النهائي للنموذج اللغوي (LLM) كالتالي: [IMG_BOS]، الرموز العالمية ( $G$ )، [IMG_SEP]، الرموز المحلية المضغوطة ( $\hat{X}$ )، [IMG_EOS].
التشغيل ثنائي الوضع:
- الفهم: يستهلك النموذج اللغوي الميزات المستمرة المضغوطة مباشرة.
- التوليد: يتنبأ النموذج اللغدي تلقائياً بفهارس (indices) منفصلة لكل من الرموز العالمية والمحلية. يتم إلغاء تكميم هذه الفهارس وتغذيتها إلى مفكك الضغط (Decompressor)، الذي يقوم بتوسيعها مرة أخرى إلى شبكة كثيفة لمفكك الشفرة الصوري (image decoder).

ج. مسار التدريب

تستخدم الطريقة عملية تدريب من مرحلتين لتجنب إعادة التدريب الكامل:

تدريب جهاز الترميز (Tokenizer Training): يتم تجميد النموذج اللغوي (LLM). ويتم تدريب مجموعة أجهزة الترميز (المستخرج، الضاغط، كتاب الشفرات/Codebook، وفك الضغط) باستخدام فقدان إعادة البناء ( $\mathcal{L}_{recon}$ ) لضمان استعادة عالية الدقة للصورة الأصلية من التمثيل المضغوط.
ضبط النموذج اللغوي (LLM Fine-tuning): يتم تجميد جهاز الترميز المضغوط. ويتم إجراء ضبط دقيق خفيف للنموذج اللغوي على تسلسلات الرموز المدمجة الجديدة لكل من مهام الفهم والتوليد.

3. المساهمات الرئيسية

تحديد العقبة: تسلط الورقة الضوء على أن كفاءة الرموز هي عائق رئيسي للنماذج الموحدة، وتوضح أن الضغط البدائي يضر بأداء توليد الصور بشكل غير متناسب.
إطار عمل UNICOMPRESS: حل مبتكر وقابل للتركيب (plug-and-play) يتميز بـ فك ضغط تلقائي الترتيب موجه عالمياً. فهو يحافظ على البنية المكانية والاعتمادات طويلة المدى الضرورية للتوليد مع تقليل طول التسلسل.
المعيارية (Modularity): يتكامل النهج بسلاسة مع النماذج الموحدة الحالية (مثل VILA-U، وUniTok، وVARGPT) دون تعديل هيكل النموذج اللغوي أو طلب إعادة تدريب كاملة.
التحقق التجريبي: تظهر التجاريات الواسعة انخفاضاً يصل إلى $4\times$ في عدد الرموز مع حد أدنى من تدهور الأداء ( $\le 3\%$ انخفاض في الفهم، و $\le 5\%$ زيادة في FID في التوليد).

4. النتائج التجريبية

تم تقييم الطريقة على نماذج موحدة متعددة (UNITOK، VILA-U، VARGPT، UNIFORK، OPENUNI، BAGEL) عبر معايير قياسية.

أداء الفهم:
- تسبب الضغط في انخفاضات طفيفة فقط في الدقة. على سبيل المثال، في معيار GQA، انخفض نموذج UNITOK من $55.71 $إلى$ 53.07 $، وفي **POPE** من$ 82.66 $إلى$ 79.36$.
- ظل الأداء قوياً عبر مختلف البنيات، بما في ذلك تلك التي تستخدم رؤوس الانتشار (diffusion heads).
أداء التوليد:
- بينما يؤدي ضغط الرموز طبيعياً إلى بعض فقدان التفاصيل، إلا أن فك الضغط الموجه عالمياً خفف من ذلك بشكل كبير.
- UNITOK: ارتفع مقياس FID قليلاً من $16.14 $إلى$ 16.33$.
- VILA-U: ارتفع مقياس FID من $14.80 $إلى$ 16.37$.
- BAGEL: حافظ على جودة تنافسية ( $12.73 \to 17.22$ FID).
- والأهم من ذلك، حافظت الطريقة على المحاذاة الدلالية (درجات CLIP) بشكل أفضل بكثير من خفض العينات البدائي.
مكاسب الكفاءة:
- زمن استجابة الاستنتاج: حقق انخفاضاً يصل إلى $41.8\%$ في زمن استجماء الاستنتاج. على سبيل المثال، انخفض زمن استنتاج توليد UNITOK من $32.25 $دقيقة إلى$ 18.96$ دقيقة.
- تكلفة التدريب: قلل وقت التدريب بنسبة تصل إلى $15.4\%$ .
- تقليل الرموز: نجح في تقليل الرموز البصرية بمقدار $4\times$ (مثلاً من $256 \to 64$ رمزاً).
دراسات الاستئصال (Ablation Studies):
- الرموز العالمية: تفوقت الرموز الميتا العالمية القابلة للتعلم بشكل كبير على التجميع المتوسط (mean-pooling) أو رموز CLS من حيث جودة التوليد، مما أثبت ضرورة التوجيه العالمي الصريح.
- فك الضغط: كان فك الضغط تلقائي الترتيب ضرورياً؛ حيث أدى فك الضغط غير تلقائي الترتيب (البدائي) إلى نسيج مفرط النعومة وظهور عيوب (artifacts).
- نسبة الضغط: قدمت نسبة تقليل $4\times$ ( $s=2$ ) أفضل مقايضة؛ حيث أدى الضغط الإضافي ( $1/16$ ) إلى انخفاض حاد في جودة التوليد.

5. الأهمية

يعالج UniCompress فجوة حرجة في نشر النماذج متعددة الوسائط الموحدة. فمن خلال تمكين تقليل الرموز البصرية بمقدار $4\times$ مع فقدان ضئيل في الأداء، فإنه يجعل النماذج الموحدة قابلة للتطبيق في البيئات محدودة الموارد (مثل الأجهزة الطرفية والروبوتات).

على عكس الطرق السابقة التي حسنت الفهم فقط أو تطلبت إعادة تدريب مكلفة، يقدم UniCompress حلاً عالمياً وقابلاً للتركيب يسرع كل من التدريب والاستنتاج لكل من مهام الفهم والتوليد. وهذا يمهد الطريق لأنظمة ذكاء اصطناعي موحدة، فعالة وعالية الجودة وقابلة للتوسع، قادرة على التطبيق في العالم الحقيقي.