💬 NLP

ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

يقدم ResAdapt إطار عمل تكيفي في جانب المدخلات يقوم بتخصيص ميزانيات دقة بصرية لكل إطار ديناميكيًا عبر مُخصص خفيف الوزن تم تدريبه باستخدام تحسين السياسة الواعية بالتكلفة، مما يمكّن النماذج اللغوية الكبيرة متعددة الوسائط من تحسين أداء الاستدلال بشكل كبير ودعم سياقات زمنية أطول ضمن ميزانيات حوسبة ثابتة.

المؤلفون الأصليون: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز من خلال مشاهدة فيديو لكاميرا مراقبة مدته ساعتان.

المشكلة:
عقلك (النموذج الذكي/AI) ذكي للغاية، لكن لديه حد أقصى لكمية المعلومات التي يمكنه معالجتها في وقت واحد. إذا قمت بتغذية النموذج بالفيديو الكامل لمدة ساعتين بدقة عالية، فسيصبح مثقلاً بالمعلومات، وينفد منه "طاقة الدماغ" (ميزانية الحوسبة)، ثم ينهار. وإذا قمت فقط بتسريع الفيديو بمقدار 10 أضعاف (تقليل الدقة)، فقد تفوتك التفاصيل الصغيرة التي تحل اللغز، مثل لوحة أرقام سيارة محددة أو تعبير وجه عابر.

تحاول الطرق الحالية إصلاح ذلك عبر:

حذف الإطارات بشكل عشوائي: "سأقوم فقط بتخطي كل ثانية أخرى". (قد تتخطى اللحظة التي وقعت فيها الجريمة بالضبط).
تغبيش (Blurring) كل شيء: "سأجعل الفيديو بأكدها دقة منخفضة". (ستفقد كل التفاصيل الدقيقة).
طلب النظر مجدداً من الذكاء الاصطناعي: "انتظر، كبّر الصورة هنا، ثم كبّر هناك". (هذا يستغرق وقتاً طويلاً وهو بطيء).

الحل: ResAdapt (مشغل الكاميرا الذكي)
يقدم البحث ResAdapt، الذي يعمل مثل مشغل كاميرا فائق الذكاء يقف قبل وصول الفيديو إلى دماغ الذكاء الاصطناعي.

بدلاً من إعطاء الذكاء الاصطنا_ي الفيديو بأكمله، يقوم ResAdapt بمشاهدة اللقطات الخام أولاً ويقرر: "حسناً، هذا الجزء ممل (جدار ثابت)، دعنا نظهر للذكاء الاصطناعي صورة مصغرة صغيرة وضبابية. لكن هذا الجزء فيه شخص يركض ومعه مسدس؟ دعنا نظهر للذكاء الاصطنا_ي لقطة قريبة واضحة جداً وعالية الدقة!"

يفعل ذلك قبل أن يبدأ الذكاء الاصطنا_ي في التفكير. فهو يعدل "ميزانية الدقة" ديناميكياً لكل إطار بناءً على ما يسأل عنه السؤال.

كيف يعمل (الاستعارات)

1. "الميزانية الذكية" (المحفظة)

تخيل أن لديك مبلغاً محدوداً من المال (قدرة الحوسبة) لشراء "رموز بصرية" (بكسلات).

الطريقة القديمة: تشتري 100 صورة متوسطة الجودة ومتطابقة للمشهد بأكمله.
طريقة ResAdapt: تشتري 10 صور عالية الدقة للأكشن المهم و90 رسماً تخطيطياً صغيراً ورخيصاً للخلفية المملة. تحصل على نفس التكلفة الإجمالية، ولكن لديك تفاصيل أكثر بكثير في الأماكن التي تهم فعلياً.

2. "الموزع" (المايسترو)

يحتوي ResAdapt على دماغ صغير وخفيف الوزن يسمى الموزع (Allocator). إنه يشبه المايسترو في الأوركسترا.

ينظر إلى الفيديو والسؤال (مثلاً: "ماذا أسقط الصبي؟").
يهمس للكاميرا: "الإطار 10؟ اجعله ضبابياً. الإطار 15؟ هذا هو المكان الذي أسقط فيه الصبي الكوب! كبّر الصورة! الإطار 20؟ مجرد رسم تخطيطي سريع."
الأوركسترا (الذكاء الاصطنا_ي الرئيسي) لا تعرف الفرق أبداً؛ فهي تستلم فقط تسلسلاً من الصور المنسقة بعناية وتحل المشكلة بشكل أسرع.

3. "المعلم" (CAPO)

كيف يتعلم الموزع ليكون بهذا الذكاء؟ يستخدم طريقة تدريب تسمى CAPO (تحسين السياسة المدركة للتكلفة).

تخيل معلماً يقيم الموزع.
إذا وفر الموزع المال (استخدم دقة منخفضة) ومع ذلك أجاب الذكاء الاصطنا_ي بشكل صحيح، يمنحه المعلم مكافأة.
إذا وفر الموزع المال ولكن الذكاء الاصطنا_ي أخطأ لأنه فاته تفصيل ما، يمنحه المعلم عقوبة كبيرة.
والأهم من ذلك، يقول المعلم: "لا تعطِ دقة عالية لإطارين متتاليين متطابقين؛ فهذا هدر للمال". هذا يمنع النظام من أن يكون كسولاً أو مكرراً.

لماذا يعد هذا أمراً هاماً

إنه سريع: لأن الذكاء الاصطنا_ي لا يحتاج لمعالجة إطارات ضبابية وغير مفيدة، يمكنه مشاهدة 16 ضعف كمية الفيديو في نفس الوقت.
إنه أذكى: في مهام الاستنتاج الصعبة (مثل حل مسألة رياضية في فيديو)، فإنه يتفوق بشكل كبير على مجرد "تخطي الإطارات" أو "تغبيش كل شيء".
إنه مرن: لا يكسر الأجهزة الحالية للذكاء الاصطنا_ي. هو فقط يقدم للذكاء الاصطنا_ي وجبة مُعدة بشكل أفضل.

الخلاصة

ResAdapt يشبه توظيف محرر شخصي للذكاء الاصطنا_ي الخاص بك. بدلاً من إلقاء ملف فيديو خام مدته 4 ساعات على الذكاء الاصطنا_ي والأمل في أن يفهم الأمر، يقوم ResAdapt بتحرير الفيديو ليركز على اللحظات الأكثر أهمية، ويشحذ الأجزاء المهمة، ويغبش الباقي. هذا يسمح للذكاء الاصطنا_ي بـ "رؤية" فيديوهات أطول بوضوح أعلى، باستخدام نفس القدر من الطاقة.

باختختصر: هو يمنع الذكاء الاصطنا_ي من إضاعة طاقة دماغه في الأجزاء المملة من الفيديو ليركز 100% من طاقته على الأجزاء التي تهم حقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ResAdapt: التكيف مع الدقة من أجل الاستدلال متعدد الوسائط الفعال".

1. بيان المشكلة

تحقق النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) فهماً بصرياً فائقاً عن طريق رفع دقة المدخلات (الدقة وعدد الإطارات). ومع ذلك، يخلق هذا عائقاً جوهرياً: الدقة المكانية العالية والسياق الزمني الطويل أمران لا يمكن الجمع بينهما في ظل ميزانيات حوسبة ثابتة.

المقايضة: يؤدي تقليل الدقة إلى خطر فقدان الأدلة البصرية الدقيقة (مثل النصوص الصغيرة أو الأجسام الخفية) الضرورية للإجابة. أما تقصير المقطع المرئي فيزيل السياق الزمني اللازم للاستدلال طويل المدى.
قصور الحلول الحالية:
- ضغط الرموز (Tokens) من جانب النموذج: الطرق التي تقوم بتقليم أو دمج الرموز بعد عملية الترميز (مثل ToMe وFlashVid) تتخلص من الأدلة الدقيقة بشكل غير قابل للاسترداد، وغالباً ما تعطل نوى الاستدلال (inference kernels) المحسنة بسبب التخطيطات غير المنتظمة للرموز.
- الاستدلال الوكيل (Agentic Reasoning) من جانب المخرجات: الطرق التي تعمل بشكل تكراري لاسترجاع البيانات أو التكبير (zoom in) تضيف تأخراً كبيرًا في زمن الاستجابة متعدد الدورات، ولا تزال تعتمد على رؤية أولية عامة قد تفقد الإشارات الحاسمة.
الرؤية الجوهرية: يكمن العائق ليس في كيفية ضغط التمثيلات بعد الترميز، بل في حجم البكسلات التي يتلقاها المرمز في المقام الأول.

2. المنهجية: ResAdapt

يقترح ResAdapt إطار عمل للتكيف من جانب المدخلات يتعلم تخصيص الميزانيات البصرية قبل عملية الترميز. ويتكون من ثلاثة مكونات رئيسية:

أ. المخصص (سياسة جانب المدخلات - The Allocator)

البنية: شبكة عصبية خفيفة الوزن (تعتمد على SmolVLM) تأخذ ميزات بصرية عامة والاستعلام النصي كمدخلات.
الوظيفة: تتنبأ بمتجه تخصيص لكل إطار $s = (s_1, \dots, s_T)$ ، حيث يمثل كل $s_t$ عامل تحجيم (دقة) أو احتمالية اختيار للإطار $t$ .
الآلية: يتم تنفيذ التخصيص المتوقع عبر عامل ما قبل الترميز (مثل إعادة التحجيم الثنائي الخطي أو اختيار الإطارات) قبل دخول الفيديو إلى العمود الفقري الأساسي لـ MLLM. وهذا يحافظ على واجهة الرموز الأصلية للنموذتد وتوافقه مع النوى المحسنة (مثل FlashAttention وvLLM).
المُعامل: يستخدم المخصص توزيع بيتا (Beta distribution) لتمثيل الإجراءات المستمرة، مما يسمح بكل من خفض الدقة (الضغط) والتكبير الانتقائي.

ب. تحسين السياسة الواعية بالتكلفة (CAPO)

يعد تدريب المخصص تحدياً لأن العامل غير قابل للاشتقاق، كما أن عقوبات التكلفة الساذجة قد تؤدي إلى انهيار السياسة إلى الحد الأدنى من الميزانية. يقدم ResAdapt خوارزمية CAPO لاستقرار التعلم:

صياغة "بانديت السياقي" (Contextual Bandit): تُصاغ المشكلة كعملية ماركوف لاتخاذ القرار (MDP) من خطوة واحدة، حيث الهدف هو تعظيم جودة الإجابة $Q(x, y)$ مع مراعاة قيد التكلفة البصرية $C(s)$ .
التشكيل غير المتماثل: بدلاً من العقوبة الخطية الخام، يستخدم CAPO محور تكلفة ديناميكي $\tau_{dyn}$ $τ_{d y n}$ لتشكيل المكافأة.
- إجابة صحيحة وتكلفة منخفضة: تحصل على مكافأة متوسطة.
- إجابة خاطئة وتكلفة عالية: تحصل على عقوبة شديدة.
- هذه الإشارة غير المتماثلة تمنع السياسة من الانهيار نحو حل "رخيص ولكنه خاطئ".
المحور الديناميكي: يتكيف عتبة التكلفة بناءً على أداء الدفعة (batch) الحالية، مما يوازن بين الاستكشاف والاستغلال.

ج. تنظيم التشابه الزمني

لمنع المخصص من تخصيص ميزانيات عالية لإطارات متكررة أو شبه متطابقة (وهو نمط فشل شائع في الفيديوهات الطويلة)، تم إدخال منظم التشابه الزمني ( $L_{sim}$ ).

يقوم المنظم بمعاقبة التخصيصات ذات الميزانية العالية للإطارات المتجاورة المتشابهة بصرياً (تشابه جيب التمام العالي).
هذا يجبر السياسة على تمييز المحتوى، وتركيز الموارد على اللحظات كثيفة المعلومات (مثل تغير المشاهد أو النصوص المتراكبة) بدلاً من الضغط الموحد.

3. المساهمات الرئيسية

إطار عمل التكيف من جانب المدخلات: ينقل ResAdapt عبء الكفاءة من ضغط الرموز بعد الترميز إلى التحكم في الميزانية البصرية قبل الترميز، مما يحافظ على البنية الأصلية لـ MLLM وتحسينات الأجهزة.
خوارزمية CAPO: هدف تعلم تعزيزي مبتكر يحول تغذية راجعة الانتشار المتفرقة إلى إشارة تعلم مستقرة وغير متماثلة، مما يتيح التحسين المشترك للدقة والتكلفة دون الحاجة إلى استدلالات يدوية.
التنظيم الزمني: آلية تقمع التخصيص المرتفع للميزانية على الإطارات المتكررة، مما يضمن التمييز القائم على المحتوى في تمريرة أمامية واحدة.
الإدراك النشط مفتوح الحلقة (Open-Loop Active Perception): تظهر السياسة المتعلمة سلوك "مفتوح الحلقة"، حيث تركز الميزانية البصرية على المحتوى كثيف المعلومات دون الحاجة إلى ردود فعل تكرارية أو تعديل العمود الفقري.

4. النتائج التجريبية

تم تقييم Res_Adapt على عدة اختبارات مرجعية (VideoMME، LongVideoBench، MMVU، VideoMMMU، إلخ) باستخدام نماذج Qwen2.5-VL-7B وQwen3-VL-8B كأعمدة فقارية.

حد الكفاءة-الدقة: يقع ResAdapt باستمرار على أو بالقرب من جبهة باريتو (Pareto frontier). تحت الضغط الشديد (على سبيل المثال، الاحتفاظ بـ ~10-12% فقط من الرموز البصرية)، يتفوق بشكل كبير على ضغط جانب النموذج (مثل ToMe وVisionZip) وعلى خطوط الأساس ذات الدقة الثابتة.
- مثال: في اختبار VideoMMMU مع 32 إطاراً عند احتفاظ بنسبة ~11%، يحقق ResAdapt دقة 45.7%، متفوقاً على ToMe (39.2%) وVisionZip (39.1%).
التغطية الزمنية: من خلال توفير الحوسبة المكانية، يمكن لـ ResAdapt معالجة 16 ضعف عدد الإطارات بنفس الميزانية البصرية.
- مثال: معالجة 128 إطاراً باستخدام ResAdapt عند احتفاظ بنسبة ~11% يعطي دقة أعلى من معالجة 32 إطاراً بدقة 100%.
الاستدلال مقابل الإدراك: تظهر المكاسب بشكل أوضح في الاختبارات كثيفة الاستدلال (مثل VideoMMMU) حيث تكون الأدلة الدقيقة نادرة ولكنها حاسمة.
زمن الاستجابة (Latency): بينما يضيف المخصص عبئاً طفيفاً في المقدمة، فإن تقليل رموز العمود الفقري يؤدي إلى توفير كبير في زمن الاستجابة الإجمالي، خاصة للفيديوهات الطويلة (على سبيل المثال، تقليل بنسبة ~50-60% في وقت التوليد لمدخلات الـ 128 إطاراً عند احتفاظ بنسبة 28%).
التعميم: تظهر السياسة التي تم تدريبها على إعادة التحجيم قدرة على التعميم (Zero-shot) لمهام اختيار الإطارات، مما يؤكد أنها تعلمت مقيساً قوياً للأهمية البصرية.

5. الأهمية والأثر

تحول في النموذج المعرفي: يثبت ResAdapt أن التكيف من جانب ما قبل الترميد هو استراتيجية أكثر فعالية للاستدلال بالفيديو طويل السياق من تقليم الرموز بعد الترميز. وهو يحل مشكلة "الفقدان غير القابل للاسترداد للمعلومات" المتأصلة في الطرق الحالية.
التوافق مع الأجهزة: على عكس طرق دمج/تقليم الرموز التي تكسر نوى الانتباه المحسنة، ينتج ResAdapt تسلسلاً قياسياً من الرموز (لكن بعدد أقل منها)، مما يجعله متوافقاً مع بنيات الاستدلال عالية الأداء (مثل vLLM وSGLang).
القابلية للتوسع: يوفر مساراً عملياً لتوسيع فهم الفيديو إلى سياقات تصل لساعات عن طريق المقايضة بين الدقة المكانية والتغطية الزمنية، وهي مقايضة يديرها السياسة المتعلمة ديناميكياً.
الإدراك النشط: يتعلم النظام العمل كـ "مدرك نشط"، حيث يركز الموارد الحوسبية فقط حيث يُحتمل أن تُحسم الإجابة، محاكياً آليات الانتباه البشري.

في الختام، يقدم ResAdapt حلاً قوياً، قابلاً للتدريب، وفعالاً من حيث الأجهزة لعائق الاستدلال بالفيديو طويل السياق، محققاً أفضل مستويات التوازن بين الكفاءة والدقة دون تعديل بنية MLLM الأساسية.