🤖 machine learning

INAR-VL: Input-Aware Routing for Edge-Cloud Vision-Language Inference

يُعد INAR-VL نظام توجيه خفيف الوزن بين الحافة والسحابة، يقوم بالاختيار ديناميكيًا بين نماذج الرؤية واللغة المحلية وتلك القائمة على السحابة بناءً على تعقيد المدخلات، مما يحقق انخفاضًا كبيرًا في زمن الاستجابة واستهلاك الطاقة مع الحفاظ على دقة تقارب دقة النماذج السحابية.

المؤلفون الأصليون: Ahmed Šabanović, Paul Joe Maliakel, Ivona Brandić

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ahmed Šabanović, Paul Joe Maliakel, Ivona Brandić

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً يمكنه "رؤية" الصور و"قراءة" النصوص للإجابة على أسئلتك. يُسمى هذا بنموذج الرؤية واللغة (VLM). تقدم هذه الورقة نظاماً جديداً يسمى INAR-VL يعمل كمنظم حركة مرور ذكي لهذه المساعدات، حيث يقرر ما إذا كان سيجيب على سؤالك مباشرة على جهازك (الحافة - Edge) أو يرسله إلى حاسوب خارق في السحابة (Cloud).

إليك القصة البسيطة للمشكلة والحل، باستخدام تشبيهات من الحياة اليومية.

المشكلة: معضلة "السريع لكن الغبي" مقابل "البطيء لكن الذكي"

تخيل أن هاتفك أو كاميرا الروبوت هي بمثابة ورشة ميكانيكا محلية.

الورشة المحلية (الحافة - Edge): هي قريبة منك جداً. هي سريعة للغاية في تقديم التشخيص، ولا تستهلك الكثير من الوقود للتشغيل. ومع ذلك، فإن الميكانيكي هناك يمتلك مجموعة أدوات أساسية فقط. إذا جلبت له مشكلة بسيطة (مثل "هل هذا الإطار فارغ من الهواء؟")، فسيصلحها فوراً. ولكن إذا جلبت له مشكلة معقدة في المحرك أو صورة ضبابية لقطعة صغيرة، فقد يخطئ في التشخيص لأن أدواته ليست قوية بما يكفي.
المرآب الرئيسي (السحابة - Cloud): هو مرفق ضخم وعالي التقنية يقع على بعد أميال. لديه كل أداة يمكن تخيلها وأفضل الميكانيكيين. يمكنه حل أي مشكلة، حتى الأصعب منها. ولكن، عليك قيادة سيارتك إلى هناك (إرسال البيانات عبر الإنترنت)، مما يستغرد وقتاً ووقوداً (طاقة). وإذا كان الطريق سيئاً (إنترنت بطيء)، فقد تنتظر للأبد.

العقبة: ليست كل المشكلات تحتاج إلى المرآب الرئيسي. إرسال سؤال بسيط مثل "هل هذا الإطار فارغ؟" إلى المرآب الرئيسي هو إهدار للوقت والوقود. ولكن إرسال سؤال معقد مثل "لماذا يصدر هذا المحرك صوتاً غريباً؟" إلى الورشة المحلية قد يؤدي إلى إجابة خاطئة.

معظم الأنظمة اليوم تشبه مديراً عنيداً يقول: "نحن نستخدم الورشة المحلية فقط" أو "نحن نستخدم المرآب الرئيسي فقط"، بغض النظر عن طبيعة المشكلة. وهذا يؤدي إما إلى إجابات بطيئة أو إجابات خاطئة.

الحل: INAR-VL (الموزع الذكي)

قام المؤلفون ببناء INAR-VL، وهو موزع ذكي ينظر إلى كل سؤال قبل الإجابة عليه ليقرر المسار الأفضل.

كيف يعمل:

الفحص السريع: قبل إرسال أي سؤال إلى أي مكان، يقوم INAR-VL بإجراء فحص سريع للغاية (يستغرق جزءاً بسيطاً من الثانية). إنه ينظر إلى شيئين:
- الصورة: هل هي ضبابية؟ هل هي مظلمة؟ هل هي صورة بسيطة أم مخطط معقد؟
- السؤال: هل هو سؤال بسيط مثل "ما هذا؟" أم سؤال معقد مثل "اشرح المنطق وراء هذا الرسم البياني"؟
القرار:
- إذا كانت الصورة واضحة والسؤال بسيطاً، يقول الموزع: "تعامل مع هذا محلياً!". هنا تقوم الورشة المحلية (الحافة) بالإجابة فوراً.
- إذا كانت الصورة ضبابية أو كان السؤال يتطلب تفكيراً عميقاً، يقول الموزع: "أرسل هذا إلى المرآب الرئيسي!". عندها تتولى السحابة المهمة لضمان الدقة.

الفريق "المتكامل":
النظام لا يمتلك مجرد ورشة محلية واحدة ومرآب رئيسي واحد. بل لديه فريق صغير من الخبراء المختلفين. بعضهم أفضل في قراءة النصوص (OCR)، بينما البعض الآخر أفضل في التفكير المنطقي. يقوم INAR-VL باختيار الخبير المناسب للمهمة، وليس فقط الموقع المناسب.

النتائج: الحصول على أفضل ما في العالمين

اختبر الباحثون هذا النظام على آلاف الأسئلة. وإليك ما حدث:

السرعة: من خلال معالجة الأسئلة البسيطة محلياً، أصبح النظام أسرع بنسبة 24% في المتوسط مقارنة بإرسال كل شيء إلى السحابة.
الطاقة: استهلك طاقة أقل بنسبة 26%، لأنه لم يهدر الطاقة في إرسال واستقبال البيانات للمهام السهلة.
الدقة: لم يضحِّ بالجودة. فقد حافظ على 97% من الدقة التي كنت ستحصل عليها لو أرسلت كل شيء إلى الحاسوب الخارق.
التوزيع: تم التعامل مع حوالي 36% من الطلبات محلياً (مما وفر الوقت والطاقة)، بينما أُرسلت المهمة الأصعب بنسبة 64% إلى السحابة (لضمان الإجابة بشكل صحيح).

الخلاصة

INAR-VL يشبه إشارة المرور الذكية للذكاء الاصطناعي. فبدلاً من إجبار كل السيارات على سلوك الطريق السريع الطويل (السحابة) أو إبقاء كل السيارات في الحي (الحافة)، فإنه ينظر إلى الوجهة وظروف المرور. يرسل الرحلات السهلة عبر الطريق المحلي ويحجز الطريق السريع للشحنات الثقيلة.

النتيجة؟ تحصل على إجابات ذكية تقريباً مثل الحاسوب الخارق، ولكنها أسرع بكثير وأقل تكلفة في التشغيل، خاصة عندما لا يكون اتصال الإنترنت لديك مثالياً.

ملخص تقني: INAR-VL

بيان المشكلة

يواجه نشر نماذج الرؤية واللغة (VLMs) في بيئات الحافة (مثل الأجهزة المحمولة، الروبوتات، والكاميرات المدمجة) مقايضة جوهرية بين زمن الاستجابة/كفاءة الطاقة وبين دقة التنبؤ. يوفر التنفيذ السحابي دقة عالية ولكنه يتسبب في تأخيرات كبيرة في الاتصال وتكاليف طاقة مرتفقة، بينما يكون التنفيذ المقتصر على الحافة أسرع وأكثر كفاءة في استهلاك الطاقة، ولكنه يعاني من محدودية سعة النموذج وانخفاض الدقة، لا سيما في حالات المدخلات المتدهورة بصرياً أو مهام الاستدلال المعقدة.

تعتمد طرق التوجيه الحالية غالباً على قرارات وضع ثابتة أو تقدير الصعوبة القائم على النص فقط، مما يفشل في مراعاة عدم تجانس المدخلات متعددة الوسائط. وبشكل محدد، لا تستوعب هذه الطرق بشكل كافٍ تأثيرات التدهور البصري (مثل الضبابية، الإضاءة، وعيوب الضغط) والتي تؤثر بشكل كبير على أداء النموذج. علاوة على ذلك، تُظهر بنيات نماذج الرؤية واللغة المختلفة نقاط قوة متكاملة (على سبيل المثال، بعضها يتفوق في التعرف على النصوص OCR/التفاصيل الدقيقة، بينما يتفوق البعض الآخر في الاستدلال)، ومع ذلك، لا تستطيع الأنظمة الثابتة الاستفيد من هذا التنوع ديناميكياً. التحدي يكمن في تصميم نظام توجيه يتخذ قرارات ما قبل الاستدلال بناءً على إشارات خفيفة الوزن لتحسين اختيار النموذج، ودقة المدخلات، ومكان التنفيذ (الحافة مقابل السحابة) دون تحمل عبء تشغيل نماذج الرؤية واللغة المكلفة لتوصيف البيانات.

المنهجية: INAR-VL

إن INAR-VL هو نظام توجيه خفيف الوزن، مدرك للمدخلات، مصمم للنشر ثنائي المستويات (الحافة-السحابة). يعمل النظام من خلال توصيف الطلبات الواردة قبل استدعاء أي استدلال ثقيل لنموذج الرؤية واللغة.

1. بنية النظام

يحافظ النظام على مجموعة غير متجانسة من أربعة نماذج للرؤية واللغة: نموذجان مدمجان (Qwen3-VL-2B، SmolVLM-2B) منشوران على الحافة (8 جيجابايت من ذاكرة VRAM، بدقة INT8) ونموذجان أكبر (LLaVA-OV-8B، Qwen3-VL-8B) على السحابة (بدقة FP16).

يتكون مسار التوجيه من:

استخراج الميزات: عند استقبال زوج (صورة، سؤال)، يستخرج النظام متجه ميزات مكون من 10 أبعاد قبل عملية الاستدلال:
- الميزات البصرية (4): الضبابية، التعرض للضوء، عيوب JPEG، وإشارات التفاصيل.
- الميزات النصية (6): الطول، كثافة الكيانات/الأرقام، نوع السؤال، تعقيد المفردات، علامات الاستدلال، وعلامات الاعتماد على السياق.
دمج الميزات: يتم تطبيع هذه الإشارات ودمجها في وصف للطلب.
التوجيه القائم على باريتو (Pareto-Based Routing): يقيم الموجّه التكوينات الصالحة (النموذج، الدقة، الدقة، المكان) لبناء جبهة باريتو لكل طلب. ويقوم بالتنبؤ بجودة الإجابة والتكلفة المقدرة (زمن الاستجابة، الطاقة، عبء الشبكة) لكل مرشح.
منطق القرار: يعطي النظام الأولوية للتنفيذ على الحافة إذا كانت الجودة المتوقدة كافية. ويتم نقل العمليات إلى السحابة فقط إذا تجاوزت زيادة الجودة المتوقعة عتبة مُعايرة ( $\delta_{min} = 0.03$ ) وبررت التكلفة الإضافية.

2. التنبؤ بالجودة والتكلفة

يستخدم النظام متنبئ جودة مُعاير ( $\hat{q}$ ) ومقدر تكلفة ( $\hat{c}$ ).

التنبؤ بالجودة: يأخذ الجودة المتوقعة في الاعتبار الدقة الأساسية للنموذج، وتعديلات الدقة، وتدرج الدقة، وعقوبات عدم التطابق بين احتياجات المدخلات (مثل الضبابية العالية، التفاصيل العالية) ونقاط قوة النموذج (قوة تحمل الضبابية، القدرة على التفاصيل/OCR، القدرة على الاستدلال).
تقدير التكلفة: يجمع بين زمن الاستجلة (يتناسب مع حجم النموذج والدقة)، والطاقة (بناءً على طاقة وحدة معالجة الرسومات وطبقة التنفيذ)، ومصطلحات الشبكة (عبء نقل الصور).
المعايرة: يتم معايرة المعلمات باستخدام مجموعة بيانات مستبعدة (1,000 عينة لكل معيار اختبار) لضبط المعاملات الخاصة بتدرج الدقة، وعقوبات عدم التطابق، وأوزان التكلفة. هذه المعايرة مدركة للأجهزة ولكن يتم إجراؤها مرة واحدة فقط لكل تكوين نشر.

المساهمات الرئيسية

التوجيه متعدد الوسائط المدرك للمدخلات: يقدم INAR-VL آلية توجيه تستخدم إشارات خفيفة الوزن من كل من جودة الصورة وتعقيد النص لتوجيه القرارات، مما يعالج عدم تجانس أحمال العمل متعددة الوسائط التي تغفلها النهج النصية فقط أو الثابتة.
التحسين المشترك: على عكس الأعمال السابقة التي تحسن بعداً واحداً، يقوم INAR-VL بتحسين بنية النموذج، ودقة المدخلات، ومكان التنفيذ (الحافة مقابل السحابة) بشكل مشترك تحت قيود عملية (الذاكرة، الطاقة، تباين الشبكة).
سياسة مدركة للنشر: يستخدم النظام قاعدة تفضيل الحافة التي توازن صراحةً بين استعادة الدقة مقابل زمن الاستجلة وتكاليف الطاقة، مما يضمن أن النقل للسحابة يحدث فقط عندما يكون مفيداً.
التنفيذ العملي: تم تنفيذ النظام وتقييمه على أجهزة حقيقية (NVIDIA RTX 4060 للحافة، RTX PRO 6000 للسحابة) مع عبء توجيه يتراوح بين 10-30 مللي ثانية فقط.

النتائج التجريبية

تم تقييم النظام على ثلاثة معايير للأسئلة البصرية (VQA): VQAv2، وTextVQA، وGQA، باستخدام 2,000 عينة لكل مجموعة بيانات.

الدقة مقابل الكفاءة: حقق IN-AR-VL متوسط دقة قدره 72.1%، مستعيداً 71% من فجوة الدقة بين التنفيذ المقتصر على الحافة (66.5%) والتنفيذ المقتصر على السحابة (74.4%).
توزيع التوجيه: نفذ النظام 36% من الطلبات على الحافة، مما أدى بفعالية إلى تصفية الاستعلامات منخفضة التعقيد محلياً.
مكاسب الأداء: مقارنة بالتنفيذ المقتصر على السحابة فقط، قلل INAR-VL متوسط زمن الاستجابة بنسبة 24% (من 2408 مللي ثانية إلى 1826 مللي ثانية) واستهلاك الطاقة بنسبة 26% (من 26.0 جول إلى 19.2 جول).
دراسات الاستئصال (Ablation Studies):
- أهمية الإشارة: وُجد أن الميزات النصية هي الإشارة المهيمنة؛ حيث حقق الموجّه المعتمد على النص فقط دقة 71.4%، بينما انخفضت دقة الموجّه المعتمد على الصورة فقط إلى 68.6%.
- تنوع النماذج: أدى استخدام مجموعة متنوعة من النماذج (بنيات Qwen وLLaVA) إلى تحسين متوسط الدقة بمقدار 0.9 نقطة مئوية مقارنة باستراتيجية التوجيه الثابتة التي تستخدم نماذج Qwen فقط.
المتانة: أظهر النظام استقراراً عبر نطاقات عرض النطاق الترددي المتغيرة (10–1000 ميجابت في الثانية). يضمن حارس عرض النطاق الترددي (15 ميجابت في الثانية) التنفيذ المقتصر على الحافة عند ضعف الاتصال، مما يحافظ على دقة ثابتة بينما يتغير زمن الاستجابة مع عرض النطاق الترددي.

الأهمية والادعاءات

يزعم البحث أن INAR-VL يوفر حلاً عملياً لنشر نماذج الرؤية واللغة في بيئات الحافة محدودة الموارد. ومن خلال النمذجة الصريحة للمقايضات بين عدم تجانس المدخلات، وقدرات النماذج، وقيود النشر، يحقق النظام مقايضة متفوقة بين زمن الاستجلة والدقة والطاقة مقارنة بالخطوط المرجعية الثابتة.

يؤكد المؤلفون أنه بينما لا يصل النظام إلى أداء "النموذج المثالي/Oracle" (دقة 90.6%، الذي يختار أفضل نموذج بناءً على المعلومات اللاحقة)، فإنه يستعيد معظم ميزة الدقة السحابية مع تقليل التكاليف التشغيلية بشكل كبير. يتم تقديم النهج على أنه مستقل عن الأجهزة وقابل للتعميم؛ حيث يمكن دمج طبقات أجهزة جديدة أو نماذج جديدة عن طريق إعادة معايرة عتبات التوجيه دون تغيير المنهجية الأساسية. يسلط العمل الضوء على أن التوجيه المدرك للمدخلات ضروري لأحمال العمل متعددة الوسائط حيث تفشل التوجيهات الثابتة في التكيف مع تباين التعقيد البصري والنصي.