💬 NLP

SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning

تُعد SpecEyes إطار عمل للتسريع التخميني بمستوى وكيل، يستخدم نموذجاً خفيف الوزن كمخطط تخميني مع آلية بوابات معرفية وقمع متوازي غير متجانس لتقليل زمن الاستجابة بشكل كبير وتحسين إنتاجية النماذج اللغوية الكبيرة متعددة الوسائط مع الحفاظ على الدقة أو تعزيزها.

المؤلفون الأصليون: Haoyu Huang, Jinfa Huang, Zhongwei Wan, Xiawu Zheng, Rongrong Ji, Jiebo Luo

نُشر 2026-03-25

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Haoyu Huang, Jinfa Huang, Zhongwei Wan, Xiawu Zheng, Rongrong Ji, Jiebo Luo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك محققاً ذكياً جداً ولكنه بطيء للغاية (النموذج اللغوي متعدد الوسائط الوكيل - Agentic Multimodal LLM). هذا المحقق بارع في حل الألغاز البصرية المعقدة، مثل العثور على خطأ مطبعي صغير في صورة بدقة 4K أو معرفة مكان اختباء قطة بالضبط في غرفة مزدحمة. وللقيام بذلك، يمتلك المحقق مجموعة أدوات خاصة: يمكنه التكبير، وقص الصور، وقراءة النصوص، والنظر إلى الأشياء من زوايا مختلفة.

ومع ذلك، هناك مشكلة ضخمة: المحقق بطيء بشكل مؤلم.

لماذا؟ لأنه يعمل في خطوة بخطوة صارمة:

ينظر إلى الصورة كاملة.
يقرر: "أحتاج إلى التكبير على الجانب الأيسر".
ينتظر حتى ينتهي التكبير.
ينظر إلى الجزء الذي كبّره.
يقرر: "الآن أحتاج إلى قراءة النص هنا".
ينتظر حتى تتم قراءة النص.
... وهكذا دواليك.

إذا طلبت 100 شخص توظيف هذا المحقق، فسيتعين عليهم جميعاً الانتظار في طابور واحد. يمكن للمحقق القيام بخطوة واحدة فقط لشخص واحد في كل مرة. وهذا ما يسمى بـ "عنق الزجاجة المرتبط بالحالة" (Stateful Bottleneck). إنه يشبه جسراً بمسار واحد حيث يتعين على كل سيارة العبور واحدة تلو الأخرى، حتى لو كان الطريق أمامها خالياً.

ظهور: SpecEyes (نظام "الحدس السريع")

أدرك الباحثون وراء SpecEyes أمراً عبقرياً: ليست كل الأسئلة تحتاج فعلياً إلى مجموعة أدوات المحقق البطيئة والخطوة بخطوة.

أحياناً، تسأل فقط: "ما هو لون السيارة؟" الإجابة واضحة من الصورة الرئيسية. لست بحاجة للتكبير أو قراءة لافتة. لكن المحقق البطيء لا يعرف ذلك بعد؛ فهو يبدأ عملية طويلة ومكلفة بشكل أعمى على أي حال.

SpecEyes يقدم "الحدسي السريع" (Fast Intuitionist) (نموذج ذكاء اصطناعي صغير وخفيف الوزن) ليقف عند الباب الأمامي. وإليك كيف يعمل، باستخدام تشبيه بسيط:

1. "الحدسي السريع" مقابل "المحقق البطيء"

تخيل طابور أمن في مطار مزدحم.

المحقق البطيء هو جهاز المسح الكامل للجسم والتفتيش اليدوي للحقائب. إنه دقيق ولكنه يستغرق 10 دقائق لكل شخص.
الحدسي السريع هو رجل أمن بنظرة خاطفة. يمكنه النظر إلى مسافر وقول: "تبدو بخير، لا داعي للمسح الضوئي"، أو "تبدو مريباً، اذهب إلى الماسح الضوئي".

في SpecEyes:

الحدسي السريع ينظر إلى الصورة والسؤال. إذا كان السؤال سهلاً (مثل "ما لون السيارة؟")، فإن الحدسي يجيب فوراً. لا حاجة لأدوات. لا انتظار.
إذا كان الحدسي غير متأكد، أو إذا كان السؤال واضحاً أنه صعب (مثل "ابحث عن الرقم التسلسلي على الصندوق الصغير في الزاوية")، فإنه يقول: "أنا لست متأكداً، أرسلهم إلى المحقق البطيء".

2. "بوابة الثقة" (البوابة المعرفية)

كيف يعرف الحدسي السريع متى يثق في نفسه؟
عادةً ما تكون نماذج الذكاء الاصطناعي سيئة في معرفة متى تخمن. قد تقول "أنا متأكد بنسبة 99%" حتى عندما تكون مخطئة.

يستخدم SpecEyes حيلة ذكية تسمى "قابلية الفصل للإجابة" (Answer Separability).

تخيل أن الحدسي السريع يخمن الإجابة.
تخمين سيء: يعتقد النموذج أن الإجابة هي "أحمر"، لكنه متأكد أيضاً من أنها قد تكون "برتقالي" أو "وردي". الدرجات كلها متقاربة. هذه هي "قابلية فصل منخفضة". النظام يقول: "لا تثق بهذا؛ أرسله إلى المحقق البطيء".
تخمين جيد: يعتقد النموذج أن الإجابة هي "أحمر" بدرجة عالية جداً، بينما يحصل "البرتقالي" على صفر تقريباً. الفجوة واسعة. هذه هي "قابلية فصل عالية". النظام يقول: "هذا فوز واضح! دعونا نتخطى المحقق البطيء".

تضمن هذه البوابة أننا نتخطى العملية البطيئة فقط عندما نكون واثقين حقاً، حتى لا نفقد الدقة.

3. "القمع المتوازي" (سحر السرعة)

إليك السحر الحقيقي.

المحقق البطيء هو نظام "مرتبط بالحالة" (stateful). هو يتذكر ما فعله للشخص (أ) قبل الانتقال إلى الشخص (ب). هذا يعني أنه لا يمكنه العمل على الشخص (أ) والشخص (ب) في نفس الوقت. إنه عالق في مسار واحد.
الحدسي السريع هو نظام "غير مرتبط بالحالة" (stateless). هو لا يهتم بالماضي. يمكنه النظر إلى 100 شخص في نفس الوقت وإعطاء 100 إجابة فوراً.

يقوم SpecEyes بإعداد قمع:

يدخل 100 شخص.
ينظر الحدسي السريع إلى الـ 100 جميعاً في وقت واحد (بالتوازي!).
لنفترض أن 80 منهم لديهم أسئلة سهلة. الحدسي يجيب عليهم فوراً.
الأسئلة الـ 20 الصعبة المتبقية فقط تذهب إلى المحقق البطيء.
المحقق البطيء يتعامل الآن مع 20 شخصاً فقط بدلاً من 100.

لأن المحقق البطيء يتعامل الآن فقط مع الحالات "الصعبة"، فإن النظام بأكمله يتحرك أسرع بمقدار 1.7 إلى 3.3 مرة.

النتائج

اختبرت الورقة البحثية هذا على ثلاثة أنواع مختلفة من الألغاز البصرية:

الأشياء السهلة (V Bench):* كان النظام سريعاً للغاية وحصل فعلياً على إجابات صحيحة أكثر لأن النظام تجنب "الهلوسة" (الأخطاء) التي تحدث عندما يبالغ المحقق البطيء في التفكير في الأشياء البسيطة.
الأشياء الصعبة (HR-Bench): حتى هنا، حيث تتطلب العديد من الأسئلة بالفعل تدخل المحقق البطيء، نجح النظام في تسريع العملية من خلال تصفية الأسئلة السهلة أولاً.
المقارنة: حاولت طرق أخرى تسريع المحقق البطيء من خلال جعلهم يخمنون الرموز (tokens) بشكل أسرع، لكنهم ظلوا مضطرين للقيام بالعملية الطويلة بأكملها. أما SpecEyes فيتخطى العملية بأكملها للأسئلة السهلة.

الملخص

SpecEyes يشبه توظيف مساعد سريع البديهة لتصفية بريدك قبل أن يصل إلى مديرك المشغول.

قبل: كان المدير يقرأ كل رسالة، حتى الرسائل المزعجة (Spam) ورسائل "عيد ميلاد سعيد"، واحدة تلو الأخرى.
الآن: يقوم المساعد بفرز البريد بسرعة. هو يتولى رسائل "عيد ميلاد سعيد" فوراً، ويرسل فقط الوثائق القانونية المعقدة إلى المدير.
النتيجة: يتلقى المدير عملاً أقل، ويتم معالجة البريد بشكل أسرع، ولا يزال المدير يتعامل مع الأمور الصعبة بشكل مثالي.

هذا يسمح لأنظمة الذكاء الاصطناعي بأن تكون أسرع، وأرخص، وأكثر كفاءة دون التضحية بذكائها.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "SpecEyes: تسريع النماذج اللغوية الكبيرة متعددة الوسائط الوكيلة عبر الإدراك والتخطيط التخميني."

1. بيان المشكلة: عنق زجاجة العمق الوكيل (Agentic Depth Bottleneck)

تحقق النماذج اللغوية الكبيرة متعددة الوسائط الوكيلة (MLLMs) (مثل OpenAI o3 وGemini Agentic Vision) قدرات استدلال فائقة من خلال الاستدعاء المتكرر للأدوات البصرية الخارجية (التكبير، القص، التعرف الضوئي على الحروف OCR) لتنقيح فهمها. ومع ذلك، يفرض هذا النموذج أزمة كفاءة شديدة تتميز بمشكلتين رئيسيتين:

انفجار التأخير التسلسلي (Sequential Latency Explosion): عملية الاستدلال هي سلسلة ماركوفية حيث تعتمد الخطوة $d+1$ حصريًا على مخرجات الخطوة $d$ . وبالتالي، يتوسع زمن الوصول من النهاية إلى النهاية خطيًا مع "العمق الوكيل" ( $D$ )، وهو عدد خطوات استخدام الأدوات المطلوبة.
انهيار التوازي (Concurrency Collapse): نظرًا لأن كل استعلام يحافظ على مسار حالة فريد، فإن المعالجة بالدفعات (Batching) في وحدات معالجة الرسومات (GPU) تصبح معدومة فعليًا. لا يمكن للنظام معالجة سوى خطوة واحدة لكل استعلام في المرة الواحدة، مما يترك قدرات التوازي الضخمة للأجهزة في حالة خمول.

تفشل طرق التحسين الحالية (مثل التوليد التخميني على مستوى الرمز أو تقليم الرموز) في معالجة ذلك لأنها تعمل ضمن الحلقة الوكيلية الثابتة، مما يترك التبعية التسلسلية لاستدعاء الأدوات قائمة كما هي.

2. المنهجية: إطار عمل SpecEyes

يقترح المؤلفون SpecEyes، وهو إطار عمل ينقل التسريع التخميني من مستوى الرمز (Token) إلى المستوى الوكيل (Agentic Level). وتتمثل الرؤية الجوهرية في أن العديد من الاستعلامات لا تتطلب استدلالًا عميقًا مدعومًا بالأدوات، ويمكن الإجابة عليها بشكل صحيح بواسطة نموذج خفيف الوزن وخالٍ من الأدوات باستخدام الصورة الأصلية فقط.

يستخدم SpecEyes خط إنتاج غير متجانس رباعي المراحل:

المرحلة الأولى: الحكم الهيورستي (الاستدلالي) على استخدام الأدوات

يقوم نموذج وكيل كبير ( $M_L$ ) بإجراء تصنيف ثنائي خفيف الوزن لتحديد ما إذا كان الاستعلام يتطلب استدعاء أدوات.

إذا كان خاليًا من الأدوات ( $g=0$ ): ينتقل الاستعلام إلى المرحلة الثانية.
إذا كان يتطلب أدوات ( $g=1$ ): يتجاوز الاستعلام مرحلة التخمين ويذهب مباشرة إلى المرحلة الرابعة (الاحتياطي الوكيل).
ملاحظة: هذه المرحلة لا تسبب عبئًا يذكر لأنها تولد رمزًا ثنائيًا واحدًا فقط دون تنفيذ الأدوات.

المرحلة الثانية: التنبؤ التخميني

بالنسبة للمرشحين الذين لا يحتاجون لأدوات، يقوم نموذج صغير، عديم الحالة (Stateless)، وغير وكيل ( $M_S$ ) بتوليد إجابة تخمينية ( $\hat{y}_S$ ) وتوزيع اللوغيت (Logit) الكامل الخاص بها مباشرة من الصورة.

هذه الخطوة قابلة للتوازي بالكامل عبر مجموعة من الاستعلامات لأن $M_S$ عديم الحالة.

المرحلة الثالثة: البوابة المعرفية (قابلية فصل الإجابة)

لتقرير ما إذا كان سيتم الوثوق بالإجابة التخمينية، يقدم SpecEyes مقياسًا مبتكرًا لـ درجة قابلية فصل الإجابة ( $S_{sep}$ ).

قصور الثقة التقليدية: غالبًا ما تكون احتمالات "softmax" غير معايرة بدقة ولا تقيس الفجوة بين التنبؤ الأعلى والمنافسين له.
الحل: تحسب $S_{sep}$ المسافة المعيارية بين أعلى قيمة لوغيت والمتوسط/التباين لأعلى $K$ من قيم اللوغيت.
$S^{(n)}_{sep} = \frac{\ell^{(n)}_{[1]} - \mu^{(n)}_K}{\sigma^{(n)}_K + \epsilon}$
التجميع: يقترح البحث استراتيجية "التجميع الأدنى" (Min-Aggregation) ( $S^{min}_{sep}$ )، والتي تأخذ الحد الأدنى لدرجة قابلية الفصل عبر جميع رموز الإجابة. يعمل هذا كـ "حارس للحالة الأسوأ"، مما يضمن أن كل رمز في الإجابة يتمتع بثقة عالية قبل قبول النتيجة.
القرار: إذا كانت $S_{sep} \geq \tau$ (العتبة)، يتم قبول الإجابة. خلاف ذلك، يتم الرجوع إلى المرحلة الرابعة.

المرحلة الرابعة: الاحتياطي الوكيل (Agentic Fallback)

الاستعلامات التي ترفضها البوابة أو التي تم تحديد حاجتها للأدوات في المرحلة الأولى، يتم معالجتها بواسطة النموذج الوكيل الكامل ( $M_L$ ) باستخدام حلقة استخدام الأدوات التسلسلية القياسية. يعمل هذا كشبكة أمان لضمان الدقة.

بنية النظام: القمع المتوازي غير المتجانس

يفكك إطار العمل التنفيذ عديم الحالة (Stateless) عن التنفيذ المرتبط بالحالة (Stateful):

الواجهة الأمامية المتوازية: عمليات الفرز (المرحلة الأولى) والتخمين (المرحلة الثانية) تعمل بالتوازي لكامل الدفعة.
الواجهة الخلفية التسلسلية: فقط مجموعة الاستعلامات المتبقية (التي رفضتها البوابة أو تتطلب أدوات) تدخل في الحلقة الوكيلية التسلسلية.

كسب الإنتاجية (Throughput): يحقق النظام تسارعًا نظريًا قدره $\approx 1/(1 - \beta\alpha)$ ، حيث $\beta$ هو نسبة الاستعلامات الخالية من الأدوات و $\alpha$ هو معدل قبول البوابة.

3. المساهمات الرئيسية

صياغة عنق زجاجة الحالة: توضح الورقة رياضيًا كيف تفرض تبعية البيانات في سلاسل استخدام الأدوات حاجزًا أساسيًا لكل من زمن الوصول والتوازي في النماذج اللغوية الكبيرة متعددة الوسائط الوكيلية.
التخمين على المستوى الوكيل: يعد SpecEyes أول إطار عمل يخمن المسار الوكيلي بأكل بدلاً من الرموز الفردية، متجاوزًا حلقة استخدام الأدوات تمامًا للاستعلامات البسيطة.
آلية البوابة المعرفية: تقديم مقياس "قابلية فصل الإجابة"، وهو معيار مستقل عن التسميات (Label-free) وثابت المقياس، يتفوق على ثقة "softmax" التقليدية في التمييز بين الإجابات الصحيحة والخاطئة.
القمع المتوازي غير المتجانس: بنية تقديم تستغل الطبيعة عديمة الحالة للنماذج الصغيرة لإخفاء التنفيذ التسلسلي للنماذج الكبيرة، مما يحول توفير زمن الوصول لكل استعلام إلى مكاسب في إنتاجية النظام ككل.

4. النتائج التجريبية

تم تقييم إطار العمل على V Bench* و HR-Bench و POPE باستخدام DeepEyes و Thyme كنماذج خلفية وكيلية، و Qwen3-VL-2B كنموذج تخميني.

التسريع: يحقق SpecEyes تسارعًا يتراوح بين 1.1× و 3.35× مقارنة بالنموذج الوكيلي المرجعي.
- في اختبار POPE (اختبار الهلوسة)، وصلت نسب التسريع إلى 2.13×–2.19× مع DeepEyes.
- في V Bench*، وصل التسريع إلى 1.90× مع تحسين الدقة.
الدقة: على عكس طرق التخمين الأخرى التي تضعف الأداء، فإن SpecEyes يحافظ على الدقة أو يحسنها (بزيادة تصل إلى +6.7% في POPE).
- وُجد أن استراتيجية "التجميع الأدنى" (Min-Aggregation) هي الأكثر قوة، حيث حافظت على دقة النموذج المرجعي مع تعظيم سرعة التنفيذ.
المقارنة: الطرق المنافسة مثل SpecReason (التخمين على مستوى الرمز) أدت في الواقع إلى إبطاء الاستدلال (0.37×–0.61×) بسبب العبء الإضافي لعدد الدورات وتوليد الرموز، بينما يتجنب SpecEyes ذلك عبر تجاوز الحلقة بالكامل.
الإنتاجية: تحت أعباء العمل المتزامنة، يعزز القمع المتوازي غير المتجانس إنتاجية النظام بشكل كبير، مع مكاسب تتناسب طرديًا مع معدل قبول النموذج التخميني.

5. الأهمية

يمثل SpecEyes تحولًا جذريًا في تحسين النماذج اللغوية الكبيرة متعددة الوسائط الوكيلية. فمن خلال إدراك أن "الحلقة الوكيلية" ليست ضرورية دائمًا، فإنه يتجاوز التحسينات الدقيقة (مثل تقليم الرموز) لينتقل إلى التحسينات الكلية (تخطي الحلقة).

القابلية للتوسع: يحل مشكلة انهيار التوازي، مما يجعل النماذج الوكيلية قابلة للتطبيق في بيئات التشغيل عالية الإنتاجية في العالم الحقيقي.
المفاضلة بين الكفاءة والدقة: يثبت أن التخمين القوي، عندما يتم التحكم فيه بواسطة بوابة معرفية متينة، يمكن أن يقلل زمن الوصول دون التضحية بقدرات الاستدلال العالية للنماذج الكبيرة.
الاتجاه المستقبلي: تشير الورقة إلى إمكانية التوسع في هذا النهج ليشمل "التخمين متعدد العمق" (السماح باستدعاءات محدودة للأدوات في النموذج التخميني) لتسريع المهام المعقدة التي تعاني حاليًا من اختناق العمق الوكيل المرتفع.