🤖 AI

Communication-Inspired Tokenization for Structured Image Representations

تقدم هذه الورقة COMiT، وهو إطار عمل للترميز مستوحى من التواصل يعمل على تحسين الرموز البصرية المنفصلة بشكل تكراري عبر محول متكرر لإنتاج تمثيلات صورية مهيكلة ومركزة على الأشياء تعزز بشكل كبير من التعميم التركيبي والاستدلال العلاقاتي مقارنة بالطرق الحالية التي تركز على إعادة البناء.

المؤلفون الأصليون: Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro

نُشر 2026-02-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وصف لوحة معقدة لصديق عبر اتصال راديو بطيء وغير مستقر. لديك عدد محدود من "الكلمات" (الرموز/Tokens) لإرسالها، وعليك التأكد من أن صديقك يمكنه إعادة بناء الصورة بأكملها في ذهنه بناءً على وصفك.

تحاول معظم أنظمة الذكاء الاصطعي الحالية القيام بذلك عن طريق أخذ لقطة ضخمة وضبابية للوحة بأكملها، ثم ضغطها في ملف صغير للغاية، والأمل في أن يخمن الصديق التفاصيل. هذا ينجح بشكل جيد في الأشياء البسيطة، لكنه غالباً ما يفتقد الصورة الكبيرة: ما هي الأشياء وكيف ترتبط ببعضها البعض. ينتهي الأمر بالذكاء الاصطناعي بتذكر ملمس العشب بشكل أفضل من حقيقة وجود كلب يركض عليه.

COMiT (الترميز المستوحى من التواصل) هو طريقة جديدة لتعليم الذكاء الاصطناعي كيف "يتحدث" عن الصور، مستوحاة من كيفية وصف البشر للمشاهد لبعضهم البعض.

إليك الشرح باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: "المصور الأعمى"

تعمل أدوات الترميز التقليدية في الذكاء الاصطناعي مثل مصور يلتقط صورة، ثم يصغرها فوراً إلى صورة مصغرة (Thumbnail) صغيرة جداً، ويرسل تلك الصورة المصغرة بعيداً.

المشكلة: لجعل الملف صغيراً، يضطر الذكاء الاصطناعي للتخلص من التفاصيل. وغالباً ما يحتفظ بـ "حبيبات" الصورة (الملمس) ولكنه يفقد "القصة" (الأجسام). الأمر يشبه إرسال صورة لصديق لغابة حيث يمكنه رؤية الأوراق بوضوح، لكنه لا يستطيع معرفة ما إذا كان هناك دب يختبئ خلف شجرة.

2. طريقة COMiT: "الدليل السياحي"

يغير COMiT قواعد اللعبة. بدلاً من إرسال صورة مصغرة ثابتة، فإنه يعمل كـ دليل سياحي يقدم وصفاً حياً وخطوة بخطوة للمشهد.

العملية: تخيل أن الذكاء الاصطنا notice ينظر إلى الصورة من خلال نافذة صغيرة ("قصاصة" أو Crop).
1. ينظر إلى الجانب الأيسر ويقول: "حسناً، أنا أرى كرة حمراء".
2. يحرك النافذة إلى اليمين ويقول: "الآن أرى كلباً أزرق".
3. يُحدث ملاحظته الذهنية: "كرة حمراء، كلب أزرق".
4. يتحرك مجدداً، يرى شجرة، ويحدث الملاحظة: "كرة حمراء، كلب أزرق، شجرة خضراء".

هذا هو الجزء الخاص بـ "الانتباه المتتالي" (Attentive Sequential). الذكال الاصطناعي لا يحاول ابتلاع الصورة بأكملها دفعة واحدة، بل يبني الوصف قطعة بقطة، تماماً كما يفعل المتحدث البشري.

3. "المتحدث والمستمع" هما الشخص نفسه

في معظم أنظمة الذكاء الاصطناعي، يوجد عقل واحد لـ "التحدث" (ترميز الصورة) وعقل مختلف لـ "الاستماع" (إعادة بناء الصورة).

COMiT فريد من نوعه لأنه يستخدم عقلاً واحداً فقط للقيام بكليهما.

التشبيه: تخيل أنك تحاول حفظ مشهد ما من أجل اختبار. تنظر إليه، تصفه لنفسك، ثم تحاول رسمه من ذاكرتك. بعد ذلك، تتحقق من رسمك، ترى ما فاتك، تنظر إلى المشهد مرة أخرى، وتصقل ذاكرتك.
يقوم COMiT بهذه الحلقة. فهو يعمل كـ "متحدث" يبني الرسالة، ثم يعمل فوراً كـ "مستمع" يحاول رسم الصورة من تلك الرسالة. ولأن العقل نفسه هو من يقوم بالاثنين، فإنه يتعلم بالضبط كيفية تنظيم المعلومات بحيث يسهل تذكرها ويسهل إعادة رسمها.

4. "لعبة" إعادة البناء

عملية التدريب تشبه لعبة "الهاتف المكسور" (Telephone) ولكن مع لمسة مختلفة.

يُعطى الذكاء الاصطناعي نسخة ضوضائية وضبابية من صورة ما.
يجب عليه "تنظيف" الصورة باستخدام الرسالة التي بناها من خطوات الدليل السياحي.
إذا كانت الرسالة غير منظمة (مثلاً: "شيء أحمر، شيء أزرق، شيء أخضر" دون معرفة ماهيتها)، فإن الذكاء الاصطناعي يفشل في رسم الصورة بشكل صحيح.
إذا كانت الرسالة مهيكلة (مثلاً: "كرة حمراء على اليسار، كلب أزرق على اليمين")، يمكن للذكاء الاصطناعي رسم صورة مثالية.
يتم معاقبة الذكاء الاصطناعي (يفقد النقاط) إذا لم تطابق الصورة التي يرسمها الصورة الأصلية. ومن خلال ملايين المحاولات، يتعلم تنظيم "كلماته" بحيث تكون منطقية تماماً.

5. لماذا هذا مهم: التفكير "المتمحور حول الأجسام" (Object-Centric)

أكبر فوز لـ COMiT هو أنه يتعلم طبيعياً تجميع الأشياء حسب الأجسام، وليس مجرد البكسلات.

الذكاء الاصطناعي القديم: "هنا 100 بكسل تبدو مثل الفراء".
COMiT: "هنا رمز لـ 'كلب' ورمز لـ 'كرة'".

لأن الذكاء الاصطناعي يبني الرسالة خطوة بخطوة، فإنه يتعلم أن "الكلب" كيان متميز يمكن تحريكه أو ربطه بأشياء أخرى. وهذا يجعل الذكاء الاصطناعي أفضل بكثير في الاستنتاج والتحليل. إذا سألت: "هل يطارد الكلب الكرة؟"، فقد يرتبك الذكاء الاصطناعي التقليدي لأنه يرى فقط ضباباً من الفراء واللون الأحمر. أما COMiT، فهو يعرف بالضبط أين يوجد الكلب وأين توجد الكرة، لذا يمكنه الإجابة على السؤال بشكل صحيح.

الملخص

فكر في COMiT كتعليم الذكاء الاصطناعي كيفية كتابة قصة عن صورة بدلاً من مجرد التقاط صورة مضغوطة.

ينظر إلى الصورة في أجزاء.
يبني قائمة ذهنية بالأجسام.
يستخدم تلك القائمة لإعادة رسم الصورة.
ولأنه يمارس حلقة "سرد القصص" هذه، فإنه ينتهي بفهم أكثر ذكاءً وتنظيماً للعالم، مما يجعله أفضل في المهام المعقدة مثل فهم العلاقات بين الأجسام أو التعميم على مشاهد جديدة.

باختصار: الذكاء الاصطناعي القديم يحاول تصغير حجم الصورة. أما COMiT فيحاول فهم القصة داخل الصورة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الترميز المستوحى من التواصل للتمثيلات الصورية المهيكلة" (COMiT).

1. بيان المشكلة

تعتمد الأنظمة متعددة الوسائط الحديثة بشكل متزايد على المُرمِّزات الصورية المنفصلة (discrete image tokenizers) لتحويل الصور إلى رموز تسلسلية متوافقة مع بنيات الـ Transformer. ومع ذلك، تواجه الأساليب الحالية (مثل VQ-VAE، وTiTok، وFlexTok) عقبتين رئيسيتين:

التحيز الأمثل (Optimization Bias): هي مُحسّنة أساساً من أجل إعادة البناء والضغط. وبناءً على ذلك، غالباً ما تلتقط الرموز المتعلمة الأنسجة المحلية وإحصائيات الرقع (patches) بدلاً من الهياكل الدلالية عالية المستوى المتمحورة حول الأشياء.
التشابك الدلالي (Semantic Entanglement): حتى عند استخدام تسلسلات رموز أحادية الأبعاد (1D)، غالباً ما تكون المعلومات الدلالية متشابكة عبر الرموز، مما يفتقر إلى التنظيم التركيبي المطلوب للمهام اللاحقة مثل الاستدلال العلاقاتي والتعميم التركيبي.
الترميز الساكن (Static Encoding): تقوم معظم الطرق بترميز الصورة بأكملها في تمريرة واحدة، مما يفشل في محاكة الطبيعة التزايدية والتركيبية للإدراك البصري والتواصل البشري.

يجادل المؤلفون بأنه لتحقيق تمثيلات بصرية مهيكلة وقابلة للتفسير، يجب ربط عملية الترميز بإجراء ترميز يشجع صراحةً على التنظيم التركيبي والتأسيس الدلالي (semantic grounding)، بدلاً من مجرد الضغط.

2. المنهجية: COMiT

يقترح المؤلفون الترميز المستوحى من التواصل (COMiT)، وهو إطار عمل يعامل ترميز الصور كعملية "تواصل وإعادة بناء" تكرارية. الفلسفة الجوهرية مستوحاة من التواصل البشري: حيث يراقب المتحدث مشهداً بشكل تزايدي، مدمجاً المعلومات البارزة في رسالة، بينما يقوم المستمع (أو المتحدث نفسه في مهمة ذاكرة) بإعادة بناء المشهد من تلك الرسالة.

المبادئ التصميمية الرئيسية

الترميز الانتباهي والتسلسلي:
- بدلاً من معالجة الصورة بأكملها دفعة واحدة، يراقب المشفر سلسلة من المحاصيل المحلية العشوائية (randomized local crops) ومواقعها النسبية.
- في كل خطوة $k$ ، يقوم النموذج بتحديث رسالة كامنة منفصلة $m_k$ عن طريق دمج المحصول الجديد مع حالة الرسالة السابقة $m_{k-1}$ .
- هذا يجبر النموذج على اتخاذ قرار جشع (greedy) بشأن المعلومات الضرورية للاحتفاظ بها ضمن ميزانية الرموز المحدودة، مما يستحث بنية هرمية.
التواصل المتجانس (بنية موحدة):
- على عكس المشفرات التلقائية التقليدية ذات شبكات المشفر/المفكك المنفصلة، يستخدم COMiT نموذج Transformer واحداً لكل من الترميز وفك التشفير.
- يعمل النموذج كـ "متحدث" (ترميز المحاصيل في رسالة) وكـ "مستمع" (إعادة بناء الصورة من الرسالة)، مما يحاكي التماثل في التواصل البشري.

البنية التقنية والتدريب

عملية الترميز:
- يتم معالجة الصورة المدخلة كسلسلة من $K$ من المحاصيل.
- يتم تهيئة الرسالة الكامنة $m$ بـ $L$ من الرموز من مفردات بحجم $N$ .
- في كل خطوة، يأخذ النموذج المحصول الحالي، وإزاحته النسبية، والرسالة السابقة للتنبؤ برسالة محدثة.
- يتم تكميم الرسالة المحدثة باستخدام الكمية القياسية المحدودة (Finite Scalar Quantization - FSQ) لضمان رموز منفصلة، والتي تُغذى بعد ذلك مرة أخرى في الحلقة التكرارية.
عملية فك التشفير:
- تشترط الرسالة المنفصلة النهائية $m_K$ مُفكك شفرة يعتمد على مطابقة التدفق (Flow-Matching).
- يتم تدريب المُفكك على التنبؤ بمجال السرعة لتدفق هامشي لإعادة بناء الصورة الكاملة من الضجيج، بشرط الرسالة.
دوال الخسارة (Loss Functions):
- خسارة مطابقة التدفق ( $L_{FM}$ ): خسارة مطابقة التدفق الشرطية القياسية لإعادة بناء الصورة.
- محاذاة التمثيل الدلالي (SREPA): خسارة تقطير تعمل على محاذاة التمثيلات الوسيطة لرسالة COMiT مع ميزات من نموذج رؤية (DINOv2) مجمد. وهذا يضمن أن تحمل الرموز معنى دلالياً.
- REPA: خسارة محاذاة إضافية لتسريع التدريب من خلال محاذاة الميزات المكانية.
استراتيجية التدريب:
- عدد المحاصيل العشوائي: يتم تغيير عدد المحاصيل $K$ عشوائياً أثناء التدريب. هذا يمنع النموذج من تخصيص فتحات رموز محددة لمحاصيل معينة، مما يجبره على استخدام الرموز بكفاءة وبشكل جشع.
- إيقاف التدرج (Stop-Gradient): يتم تمرير التدرجات فقط عبر تحديث الرسالة النهائي لتقليل التكلفة الحسابية وتشجيع الاستخدام الجشع للرموز.
- التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG): يتم تدريب النموذج على التعامل مع كل من فك التشفير الشرطي (مع الرسالة) وغير الشرطي (رسالة فارغة) لدعم CFG عند الاستدلال.

3. المساهمات الرئيسية

نموذج ترميز جديد: ينقل التركيز من مقايضات الضغط وإعادة البناء إلى التنظيم الدلالي عبر عملية ترميز تكرارية مستوحاة من التواصل.
مشفر-مفكك موحد: يقدم بنية ذات شبكة واحدة تؤدي كلاً من الترميز التسلسلي وفك التشفير القائم على التدفق، مما يقلل من التكرار الهيكلي وعدد المعلمات.
ظهور الرموز المهيكلة: يثبت أن خط أنابيب الترميز الانتباهي والتسلسلي أمر بالغ الأهمية لاستحثاث رموز متمحورة حول الأشياء. تظهر دراسات الاستئصال (Ablation studies) أنه بدون المحاصيل المحلية التسلسلية، تصبح الرموز منتشرة وأقل قابلية للتفسير.
تقييم شامل: يقترح مجموعة تقييم جديدة تركز على:
- التعرف البصري: تصنيف ImageNet100.
- التعميم التركيبي: MSCOCO (اختبار التعميم لمجموعات الأشياء غير المرئية).
- الاستدلال العلاقاتي: Visual Genome (اختبار علاقات الموضوع-المفعول به-المسند).

4. النتائج

قيم المؤلفون COMiT (بأحجام B و L و XL) مقابل أساليب الترميز أحادية الأبعاد (1D) المتطورة (TiTok و ALIT و FlexTok و SelfTok).

الأداء الدلالي: يتفوق COMiT بشكل كبير على الطرق السابقة في المهام الدلالية.
- ImageNet100: يحقق COMiT-L دقة 85.80% (top-1)، مقارنة بـ ~81.5% لأفضل نسخة من FlexTok.
- MSCOCO (التركيبي): يحقق COMiT-L دقة 45.31% (top-5)، متفوقاً على FlexTok (38.58%).
- Visual Genome (العلاقات): يحقق COMiT-L دقة 56.42% (top-1)، متفوقاً على FlexTok (54.46%).
إعادة البناء: بينما التركيز الأساسي هو الدلالات، يحافظ COMiT على جودة إعادة بناء تنافسية (rFID و PSNR)، وإن كانت أقل قليلاً من الطرق المحسنة خصيصاً للتوليد (مثل SelfTok).
رؤى الاستئصال (Ablation Insights):
- SREPA: يؤدي إزالة المحاذاة الدلالية إلى انخفاض دقة ImageNet100 من 82.91% إلى 72.26%، مما يثبت ضرورة التأسيس الدلالي.
- الترميز الانتباهي: إزالة المحاصيل المحلية (التدريب على المحاصيل العالمية فقط) يقلل من mIoU (محاذاة الرمز-الشيء) من 0.53 إلى 0.34، مما يؤكد أن العملية التسلسلية هي المفتاح لهيكلة الرموز حول الأشياء.
المرونة وقت الاختبار: يدعم النموذج سياسات حصاد تكيفية عند الاستدلال. إضافة المحاصيل المحلية يحسن التعميم التركيبي، بينما يوفر المحصول العالمي الواحد أفضل توازن بين السرعة والأداء.

5. الأهمية والعمل المستقبلي

القابلية للتفسير: ينتج COMiT تسلسلات رموز تتماشى طبيعياً مع أشياء أو أجزاء أشياء محددة، مما يجعل الفضاء الكامن قابلاً للتفسير للغاية.
الإمكانات متعددة الوسائط: الطبيعة الهيكلية والمتمحورة حول الأشياء لرموز COMiT تجعلها مثالية للأنظمة متعددة الوسائط التي تتطلب استدلالاً تركيبياً (مثل الإجابة على الأسئلة البصرية، أو التحكم الروبوتي).
الاتجاهات المستقبلية: يقترح المؤلفون توسيع COMiT ليشمل الفيديو للتعامل مع التكرار الزمني والحركة، واستكشاف الترميز التكيفي عبر التعلم التعزيزي حيث يتعلم النموذج اختيار المحاصيل ديناميكياً بناءً على المهمة.

باختصار، يمثل COMiT تحولاً جذرياً في الترميز البصري، من الانتقال من الضغط الساكن إلى تعلم التمثيل الديناميكي، والمؤسس دلالياً، والتركيبي، مما يسد الفعلي الفجوة بين إعادة البناء البصري منخفض المستوى والفهم الدلالي عالي المستوى.