🤖 AI

Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models

تقدم الورقة البحثية COAST، وهو إطار عمل لتقليم الرموز الدلالية التكيفي والتبايني ولا يتطلب تدريباً، يمنع "الحبسة البصرية" (Visual Aphasia) من خلال الحفاظ ديناميكياً على الرموز البصرية الجوهرية بناءً على التشتت السياقي والتوجيه التبايني، محققاً تسريعاً كبيراً في الاستنتاج مع الحفاظ على أداء قريب من الأداء الأصلي عبر مختلف نماذج الرؤية واللغة.

المؤلفون الأصليون: Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "EVADING VISUAL APHASIA" (تجنب الحبسة البصرية) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: خلل "الحبسة البصرية" (Visual Aphasia)

تخيل أنك توظف محققاً ذكياً جداً (الذكاء الاصطناعي) لحل لغز بناءً على صورة وسؤال محدد.

معظم نماذج الذكاء الاصطناي الحالية تشبه المحققين الذين يسعون جاهدين لإرضائك. فعندما ينظرون إلى صورة، يركزون فوراً على الشيء الأكبر والأكثر سطوعاً ووضوحاً (مثل جمل ضخم في صحراء). إذا سألتهم سؤالاً مخادعاً حول تفصيل صغير في الخلفية (مثل لافتة صغيرة لمقهى)، فإنهم غالباً ما يتجاهلون الخلفية تماماً لأنها لم تجذب انتباههم للوهلة الأولى.

تسمي الورقة البحثية هذا النمط من الفشل بـ "الحبسة البصرية" (Visual Aphasia). الأمر يشبه فقدان المحقق فجأة القدرة على "رؤية" الأدلة البصرية؛ فهو لا يزال يفهم كلماتك، لكنه لم يعد قادراً على ربطها بالصورة. لذا، فهو يخمن بناءً على ما يحدث عادةً في القصص (المعلومات اللغوية المسبقة) بدلاً مما هو موجود بالفعل في الصورة.

النتيجة: تسأل: "ما هو اسم المقهى؟"، فيرى الذكاء الاصطناعي جملاً، ويجيب بثقة: "مقهى الجمل"، رغم أن اللافتة مكتوب عليها بوضوح "Daily Grind".

لماذا يحدث هذا؟

تجادل الورقة بأن نماذح الذكاء الاصطناعي الحالية ترتكب خطأً في مرحلة مبكرة. فهي تحاول تسريع العمل عبر التخلص من الأجزاء "المملة" من الصورة منذ البداية. وهي تستخدم قاعدة بسيطة: "إذا كان جزء من الصورة لا يحظى باهتمام كبير الآن، فاحذفه".

لكن الباحثين وجدوا أن هذه القاعدة معيبة. فبعض أجزاء الصورة قد تبدو مملة في البداية، لكنها تصبح جوهرية لاحقاً.

التشبيه: تخيل أنك تقرأ رواية غموض. في الفصل الأول، تذكر الشخصية "باباً أحمر" بشكل عابر. يبدو الأمر غير مهم، ولكن في الفصل العاشر، يصبح ذلك الباب الأحمر هو المفتاح لحل الجريمة. إذا حذفت الجملة التي تتحدث عن الباب الأحمر في الفصل الأول لتوفير الوقت، فستكون تائهاً في الفصل العاشر.
الواقع: في الذكاء الاصطناعي، تتحول "الرموز" (tokens) ذات "الاهتمام المنخفض" (الأجزاء المملة) غالباً إلى رموز ذات "اهتمام عالٍ" لاحقاً بينما يحاول الذكاء الاصطناعي فهم العلاقات المعقدة (مثل "ماذا يوجد خلف الجمل؟"). إذا تم قطع هذه الأجزاء مبكراً جداً، يفقد الذكاء الاصطناعي السياق اللازم للإجابة بشكل صحيح.

الحل: COAST (الدليل السياحي الذكي)

ابتكر المؤلفون طريقة جديدة تسمى COAST (التقليم الدلالي التكيفي التبايني). وبدلاً من مجرد قطع الأجزاء "المملة"، يعمل COAST مثل دليل سياحي ذكي يعرف بالضبط ما الذي يجب الاحتفاظ به.

لا يعتمد COAST على درجة واحدة فقط ليقرر ما الذي سيبقيه، بل يستخدم استراتيجية من خطوتين:

"المرساة" (المعلم الرئيسي):
أولاً، يحدد الأجزاء المحددة من الصورة التي تجيب مباشرة على السؤال (المراسي). إذا سألت عن "قبعة"، فإنه يحتفظ بالقبعة. هذا هو "الدليل الدلالي".
"السياق" (المحيط):
هذا هو الجزء السحري. يدرك COAST أنك أحياناً تحتاج إلى الخلفية لفهم المقدمة. فهو يحتفظ عمداً ببعض الأجزاء "منخفضة الاهتمام" من الصورة التي تعمل كخريطة أو مرجع مكاني.
- التشبيه: إذا كنت تبحث عن شخص معين في حشد، فأنت لا تنظر إلى الشخص فحسب، بل تحتاج أيضاً إلى رؤية الأشخاص الواقفين بجانبه لتعرف من هو. COAST يحتفظ بـ "الأشخاص بجانب الشخص" حتى لو لم يكونوا هم التركيز الأساسي.

كيف يقرر ما الذي يحتفظ به (مقياس "الإنتروبيا")

يمتلك COAST مقياساً خاصاً يسمى "إنتروبيا الانتباه" (Attention Entropy). فكر في هذا كـ "مقياس الارتباك".

ارتباك منخفض (تركيز): إذا كان الذكاء الاصطناعي متأكداً جداً مما ينظر إليه (مثلاً: "هذه قطة")، فإن COAST يحتفظ بالقطة غالباً ويتخلص من الباقي.
ارتباك عالٍ (تشتت): إذا كان الذكاء الاصطناعي ينظر إلى مشهد معقد يحتوي على العديد من الأشياء والعلاقات، فإن "مقياس الارتباك" يرتفع. يرى COAST ذلك ويقول: "حسناً، هذا أمر معقد. أحتاج إلى الاحتفاظ بمزيد من سياق الخلفية لمساعدة الذكاء الاصطناعي على فهم الأمر".

إنه يضبط ديناميكياً مقدار ما يحتفظ به من "الموضوع الرئيسي" مقابل "سياق الخلفية" بناءً على مدى صعوبة السؤال.

النتائج: أسرع وأذكى

اختبرت الورقة البحثية نظام COAST على سبعة اختبارات معيارية مختلفة (مثل الامتحان النهائي للذكاء الاصطناعي).

السرعة: قام بتقليل عدد قطع الصورة (الرموز/tokens) التي يتعين على الذكاء الاصطناعي معالجتها بنسبة تقارب 78%. وهذا جعل الذكاء الاصطناعي يعمل بسرعة أكبر بمقدار 2.15 مرة.
الدقة: رغم قطع هذا القدر الكبير من البيانات، احتفظ الذكاء الاصطناعي بـ 98.6% من ذكائه الأصلي.
الانتصار: على عكس الطرق الأخرى التي تسببت في "الحبسة البصرية" (تخيل إجابات خاطئة)، حافظ COAST على بقاء الذكاء الاصطناعي مرتبطاً بالواقع. لقد حل مشكلة "مقهى الجمل" من خلال الاحتفاظ باللافتة الصغيرة في الخلفية، مما سمح للذكاء الاصطناعي بقراءة "Daily Grind" بشكل صحيح.

الملخص

الطريقة القديمة: "احذف كل شيء ليس هو التركيز الرئيسي الآن." -> النتيجة: يصاب الذكاء الاصطناعي بالارتباك ويبدأ في الهلوسة (تقديم إجابات خاطئة).
طريقة COAST: "احتفظ بالتركيز الرئيسي، ولكن احتفظ أيضاً بما يكفي من سياق الخلفية لمساعدتنا على فهم العلاقات، خاصة إذا كان المشهد معقداً." -> النتيجة: الذكاء الاصطناعي أسرع، ولكنه لا يزال يرى الصورة كاملة ويجيب بشكل صحيح.

تخلص الورقة البحثية إلى أنه من خلال معاملة ضغط الصور كمسألة توجيه ذكية (تقرير ما الذي يجب الاحتفاظ به، وليس فقط كم سيتم قطعه)، يمكننا جعل الذكاء الاصطناعي أسرع دون جعله "أعمى".

ملخص تقني: COAST – التقطيع الدلالي التكيفي التبايني للنماذج البصرية اللغوية

1. بيان المشكلة: الحبسة البصرية في تقطيع الرموز (Visual Aphasia in Token Pruning)

تحقق النماذج اللغوية البصرية الكبيرة (LVLMs) استدلالاً متعدد الوسائط قوياً من خلال معالجة تسلسلات الرموز البصرية الكثيفة. ومع ذلك، فإن التعقيد التربيعي لآلية الانتباه الذاتي في فك التشفير (decoder self-attention) يستلزم تقليل الرموز البصرية لتحسين كفاءة الاستدلال. تعتمد طرق التقطيع الحالية الخالية من التدريب (مثل FastV وLLaVA-PruMerge) عادةً على درجات الانتباه القياسية (scalar attention scores) من الطبقات الضحلة لتصنيف واستبعاد الرموز ذات "الانتباه المنخفض".

حدد المؤلفون نمط فشل حرج في هذا النهج، يُسمى الحبسة البصرية (Visual Aphasia). تحدث هذه الظاهرة عندما يؤدي التقطيع المبكر بناءً على درجات الطبقات الضحلة إلى إزالة الرموز التي تكون في البداية ذات درجات منخفضة ولكنها تصبح ضرورية في الطبقات الأعمق لحل الأجسام الثانوية، والعلاقات المكانية، والإشارات السياقية. عندما يتم استبعاد هذه الرموز، يفقد النموذج التأسيس البصري (visual grounding) ويعود للاعتماد على الأولويات اللغوية (language priors)، مما يؤدي إلى الهلوسة (على سبيل المثال، الإجابة بـ "مقهى الجمل" عند السؤال عن لافتة صغيرة في صورة يهيمن عليها جمل). يجادل البحث بأن البروز القياسي (scalar saliency) يقلل بطبيعته من تقدير الأدلة البصرية الناشئة سياقياً والمطلوبة للاستدلال التركيبي.

2. المنهجية: COAST

لمعالجة الحبسة البصرية، يقترح المؤلفون COAST (التقطيع الدلالي التبايني التكيفي للرموز)، وهو إطار عمل خالٍ من التدريب يعيد صياغة الضغط البصري كعملية توجيه دلالي تكيفي (adaptive semantic routing). بدلاً من قرار قياسي واحد، يقوم COAST بفصل ميزانية الاحتفاظ إلى دورين متكاملين: الأدلة الدلالية (المتوافقة مع الاستعلام) والسياق المكاني (المتكامل).

يعمل الإطار في مرحلتين رئيسيتين عند طبقات التقطيع المجدولة:

أ. الميزانية الديناميكية المدفوعة بالإنتروبيا (Entropy-Driven Dynamic Budgeting)

يعيد COAST استخدام انتباه العبور-النماذج (cross-modal attention) الأصلي لتقدير تشتت الأدلة البصرية.

حساب إنتروبيا الانتباه: يحسب إنتروبيا انتباه النص إلى الصورة ( $H$ ) من الطبقة السابقة. تشير الإنتروبيا المنخفضة إلى تركيز الانتباه على مناطق محددة، بينما تشير الإنتروبيا العالية إلى أدلة مشتتة تتطلب سياقاً أوسع.
التقسيم التكيفي: يتم تقسيم ميزانية الرموز المتبقية (بعد حجز ركائز الاستعلام المحددة) إلى جزأين بناءً على $H$ $H$ :
- $n_1$ (الأدلة الدلالية): الرموز المتوافقة مع الاستعلام.
- $n_2$ (السياق المكاني المتكامل): الرموز التي توفر سياقاً على مستوى المشهد.
- التقسيم تكيفي: مع زيادة إنتروبيا الانتباه، تتحول الميزانية نحو الحفاظ على المزيد من السياق المكاني ( $n_2$ )، مما يضمن عدم فقدان الإشارات المشتتة.

ب. التوجيه الدلالي التبايني بين الركيزة والمرجع (Anchor–Reference Contrastive Semantic Routing)

بمجرد تخصيص الميزانية، يقوم COAST بتسجيل درجات الرموز المرشحة باستخدام آلية تباينية بدلاً من درجة قياسية واحدة.

بناء المجموعات:
- الركائز (Anchors - $A$ ): يتم اختيارها عبر انتباه الرمز الأخير (عالية الصلة بالاستعلام).
- المراجع (References - $R$ ): يتم اختيارها عبر الانتباه العالمي كأقل الرموز تسجيلاً للدرجات (سياق منخفض البروز).
- المرشحون (Candidates - $C$ ): بقية الرموز غير الركائز.
التسجيل التبايني: لكل مرشح $c_i$ ، يتم حساب درجة من خلال مقارنة تشابهه مع الركائز مقابل تشابهه مع المراجع:
$\text{Score}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$
حيث أن $\text{Sim}_A$ هي أقصى تشابه جيب تمام (cosine similarity) مع أي ركيزة، و $\text{Sim}_R$ هو متوسط تشابه جيب التمام مع مجموعة المراجع.
الاحتفاظ ثنائي الطرف (Two-Tail Retention):
- أعلى- $n_1$ : المرشحون ذوو الدرجات الأعلى يتم الاحتفاظ بهم كـ أدلة متوافقة مع الركيزة.
- أدنى- $n_2$ : المرشحون ذوو الدرجات الأدنى يتم الاحتفاظ بهم كـ سياق مكاني متكامل. هذه الرموز تختلف عن الركائز ولكنها حاسمة للحفاظ على تغطية المشهد والعلاقات المكانية التي قد يتجاهلها التقطيع القياسي.
إعادة التكوين المرتب: يتم فرز الرموز المحتفظ بها (الركائز + أعلى- $n_1$ + أدنى- $n_2$ ) حسب مؤشرات التسلسل الأصلية للحفاظ على التخطيط المكاني للطبقات التالية من فك التشفير.

3. المساهمات الرئيسية

تحديد الحبسة البصرية: حدد البحث وأثبت نمط فشل محدد حيث يؤدي التقطيع المبكر العدواني إلى فقدان النماذج اللغوية البصرية لأساسها البصري، والاعتماد بدلاً من ذلك على الأولويات اللغوية.
إطار عمل COAST: طريقة تقطيع خالية من التدريب تعامل الضغط كعملية توجيه دلالي تكيفي، باستخدام الإنتروبيا للموازنة بين الأدلة الدلالية والسياق المكاني.
آلية التوجيه التبايني: استراتيجية تسجيل مبتكرة تحافظ على كل من الركائز عالية الصلة والسياق المكمل منخفض البروز، مما يتجنب "انهيار الانتباه" (attention collapse) نحو الكائن الأكثر بروزاً فقط.
تقييم شامل: تجارب واسعة عبر سبعة معايير (MME, MMBench, AI2D, GQA, VizWiz, POPE, ScienceQA-IMG) وعائلات متعددة من نماذج LVLM (مثل LLaVA-1.5, LLaVA-NeXT, LLaVA-OneVision, Qwen2.5-VL).

4. النتائج التجريبية

عبر سبعة معايم، أظهر COAST تفوقاً في المقايضة بين الأداء والكفاءة مقارنة بالنماذج المرجعية القوية (FastV, PDrop, SparseVLM, V2Drop, MMTOK):

الاحتفاظ بالأداء: يقلل COAST الرموز البصرية بنسبة 77.8% (الاحتفاظ بـ 128 رمزاً) مع الاحتفاظ بـ 98.64% من متوسط الأداء الأصلي. وتحت ميزانية 192 رمزاً، يتسبب فقط في انخفاض قدره 0.21% في الأداء، متفوقاً بشكل كبير على النماذج المرجعية (على سبيل المثال، SparseVLM بانخفاض قدره 1.61%).
تسريع زمن الاستجابة (Latency Speedup): يحقق COAST تسريعاً في زمن الاستجابة بمقدار 2.15×. والجدير بالذكر أنه يحقق زمن استجابة أقل من النماذج المرجعية ذات تقليل FLOPs المماثل بسبب التوجيه الفعال وإعادة تكوين الرموز المرتب.
التعميم: تتفوق الطريقة باستمرار على النماذج المرجعية عبر مختلف أحجام النماذج (من 0.5B إلى 13B) وهياكلها، مما يظهر متانة في كل من حالات الضغط المتوسط والعدواني.
دراسات الاستئصال (Ablation Studies):
- الاحتفاظ ثنائي الطرف: إزالة أي من فرع الأدلة المتوافقة مع الركيزة ( $n_1$ ) أو فرع السياق المكمل ( $n_2$ ) يؤدي إلى تدهور الأداء، مما يؤكد ضرورة الحفاظ على كلا النوعين من الأدلة.
- الميزانية المدفوعة بالإنتروبيا: التقسيم التكيفي بناءً على إنتروبيا الانتباه يتفوق على التقسيم بنسبة ثابتة، خاصة في المعايم التي تتطلب استدلالاً معقداً (MME, GQA).
- التسجيل التبايني: يتفوق تسجيل التباين بين الركيزة والمرجع بشكل كبير على التسجيل القياسي أو تسجيل MaxSim-only.

5. الأهمية والادعاءات

يدعي البحث أن التوجيه الدلالي التكيفي يعد بديلاً قوياً للتقطيع القياسي ذو الخطوة الواحدة. ومن خلال الإقرار بأن أهمية الرموز ديناميكية وتعتمد على السياق، يقلل COAST من نمط فشل "الحبسة البصرية"، مما يسمح للنماذج اللغوية البصرية بالحفاظ على تأسيس بصري دقيق حتى تحت ضغط تقليل الرموز العدواني. ويؤكد المؤلفون أن طريقتهم لا تتطلب أي ضبط دقيق (fine-tuning)، ولا تضيف عبئاً حسابياً كبيراً، وهي قابلة للتطبيق عبر هياكل متنوعة من نماذج LVLM، مما يوفر حلاً عملياً لنشر أنظمة استدلال متعددة الوسائط عالية الدقة وفعالة.