💻 computer science

Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models

تقدم هذه الورقة إطار عمل "التفكير أثناء الرؤية" (TaYS)، وهو إطار عمل موحد يتيح تسلسلاً استنتاجياً متزامناً وتدفقياً لسلاسل الأفكار لنماذج اللغة والرؤية الكبيرة من خلال فصل الترميز البصري عن الاستنتاج النصي، مما يتفوق على النهج التقليدي القائم على الدفعات والتداخل في كل من الدقة وزمن الاستجابة لفهم الفيديو في الوقت الفعلي.

المؤلفون الأصليون: Jialiang Zhang, Junlong Tong, Junyan Lin, Hao Wu, Yirong Sun, Yunpu Ma, Xiaoyu Shen

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jialiang Zhang, Junlong Tong, Junyan Lin, Hao Wu, Yirong Sun, Yunpu Ma, Xiaoyu Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "Think-as-You-See" (TaYS) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: عنق زجاجة "الانتظار والمراقبة"

تخ-يل أنك تشاهد برنامج طبخ مباشرًا على التلفاز.

الطريقة القديمة (الاستنتاج بالدفعات - Batch Inference): تعمل نماذج الذكاء الاصطنا الحالي كطالب صارم وبطيء للغاية. يشاهد الفيديو بأك-مله من البداية إلى النهاية، ثم يوقف العرض، ويقول: "حسنًا، الآن سأفكر فيما حدث". هو لا يبدأ في التفكير إلا بعد انتهاء الفيديو تمامًا.
- النتيجة: إذا كان طول الفيديو 10 دقائق، فإن الذكاء الاصطناعي ينتظر 10 دقائق قبل أن ينطق بكلمة واحدة. وبحلول الوقت الذي يتحدث فيه، تكون اللحظة "المباشرة" قد ضاعت. الأمر يشبه محاولة التعليق على مباراة كرة قدم بعد صافرة النهاية.
طريقة "البث المباشر" الساذجة (The "Naive" Streaming Way): تحاول بعض النماذج الأحدث مشاهدة الفيديو والتفكير في نفس الوقت، لكنها تفعل ذلك بطريقة خرقاء. تشاهد ثانية واحدة، ثم تتوقف لتكتب جملة، ثم تشاهد الثانية التالية، ثم تتوقف لتكتب جملة أخرى.
- النتيجة: يشبه الأمر سائقًا يضطر لإيقاف السيارة تمامًا في كل مرة يريد فيها تفقد المرآة الخلفية. هي طريقة أكثر أمانًا من الانتظار، لكنها لا تزال متقطعة، بطيئة، وغير فعالة.

الحل: فكر أثناء المشاهدة (TaYS)

يقترح المؤلفون إطار عمل جديدًا يسمى Think-as-You-See (TaYS). تخيل معلقًا رياضيًا محترفًا يتمتع بمهارة عالية تمكنه من وصف اللعب أثناء حدوثه، دون أن يفقد الإيقاع أو يقطع التدفق أبدًا.

يسمح TaYS للذكاء الاصطناعي بالمشاهدة والتفكير في آن واحد، تمامًا كما يفعل البشر. فمع وصول إطارات الفيديو، يقوم الذكاء الاصطناعي بمعالجتها وتوليد أفكاره فورًا.

كيف يعمل؟ الثلاث حيل السحرية

لتحقيق ذلك، بنى الباحثون ثلاثة "أدوات" محددة داخل عقل الذكاء الاصطناعي:

1. "الزجاج ذو الاتجاه الواحد" (قناع الانتباه للبث المباشر - Streaming Attention Mask)

المشكلة: في الفيديو الطبيعي، إذا نظر الذكاء الاصطناعي إلى المستقبل (ما سيحدث لاحقًا)، فإنه يغش. الأمر يشبه طالبًا يختلس النظر إلى ورقة الإجابات قبل إجراء الاختبار.
الحل: يقوم TaYS بتثبيت "زجاج ذو اتجاه واحد" في آلية الانتباه الخاصة بالذكاء الاصطناعي. يمكن للذكاء الاصطناعي رؤية كل ما رآه بالفعل، لكنه ممنوع فيزيائيًا من رؤية الإطارات المستقبلية. هذا يجبر الذكاء الاصطناعي على التفكير بناءً على الواقع الحالي فقط، مما يجعل أفكاره متجذرة فيما يحدث حقًا في هذه اللحظة.

2. "دفتر العناوين المزدوج" (ترميز الموضع المنفصل - Decoupled Positional Encoding)

المشكلة: تخيل أنك تكتب قصة حيث تضيف صفحات جديدة (إطارات الفيديو) وجملًا جديدة (الأفكار) في نفس الوقت. إذا استخدمت نظام ترقيم واحدًا، ستختلط الأرقام. "هل الصفحة 5 هي الثانية الخامسة من الفيديو، أم الفكرة الخامسة؟" هذا الارتباك يجعل الذكاء الاصطناعي يفقد مكانه في الزمن.
الحل: يمنح TaYS الفيديو والأفكار "دفاتر عناوين" منفصلة خاصة بكل منهما. لإطارات الفيديو جدولها الزمني الخاص، وللأفكار جدولها الزمني الخاص. يمكنهما النمو بشكل مستقل دون الاصطدام ببعضهما البعض، مما يضمن أن يعرف الذكاء الاصطناعي دائمًا متى حدث الشيء بالنسبة لأفكاره.

3. "الطريق السريع ذو المسارين" (ذاكرة التخزين المؤقت المزدوجة المتوازية - Parallel Dual KV-Cache)

المشكلة: في الأنظمة القديمة، يمتلك الذكاء الاصطناعي طريقًا ذا مسار واحد للذاكرة. يجب عليه إنهاء تحميل الفيديو في الذاكرة قبل أن يبدأ في كتابة الأفكار، وهذا يخلق ازدحامًا مروريًا.
الحل: يبني TaYS طريقًا سريعًا بمسارين.
- المسار 1 (البصري): يقوم الذكاء الاصطناعي باستمرار بتحميل إطارات فيديو جديدة في ذاكرته.
- المسار 2 (الاستنتاجي): في الوقت ذاته تمامًا، يقوم الذكاء الاصطناعي بتوليد أفكار بناءً على ما قام بتحميله للتو.
- ولأن هذه المسارات منفصلة ولكنها متصلة، لا يضطر الذكاء الاصطناب إلى التوقف أبدًا لـ "تحميل" الفيديو. الأمر يشبه الطاهي الذي يقطع الخضروات (يشاهد) بينما يقوم في الوقت نفسه بتقليب القدر (يفكر).

لماذا يهم هذا؟ (النتائج)

اختبر الباحثون TaYS على اختبار تقييمي يسمى VideoEspresso (وهو اختبار لمهارات الاستنتاج بالفيديو). وإليك ما حدث:

السرعة: انخفض "الوقت حتى ظهور أول رمز" (أي المدة المستغرقة لقول أول كلمة) من 10.6 ثانية (الانتظار حتى نهاية الفيديو بالكامل) إلى الصفر تقريبًا. إنه فوري.
الدقة: زادت دقة الذكاء الاصطناعي بنسبة 2.9%. ولأنه لم يكن ينتظر حتى النهاية، فإنه لم "ينسَ" بداية الفيديو (وهي مشكلة تسمى "الانجراف الزمني").
الواقعية: تطابقت أفكار الذك- الاصطناعي مع أحداث الفيديو بشكل وثيق جدًا. فبدلاً من قول "الرجل طبخ الوجبة كاملة"، استطاع القول: "الآن، هو يقطع البصل"، بتوقيت مثالي.

الخلاصة

يغير Think-as-You-See الذكاء الاصطناعي من "محلل ما بعد المباراة" الذي ينتظر انتهاء المباراة، إلى "معلق مباشر" يفهم الأحداث أثناء تطورها.

هذه خطوة هائلة نحو الذكاء الاصطناعي في الوقت الفعلي الذي يمكنه مساعدة الروبوتات في التنقل في العالم، أو مساعدة الجراحين في العمليات الجراحية الحية، أو إدارة أنظمة المرور، حيث يكون الانتظار للحصول على "الصورة الكاملة" قبل التفكير أمرًا بطيئًا للغاية لدرجة تجعله غير مفيد.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models".

1. بيان المشكلة

تعتمد نماذج الرؤية واللغة الكبيرة (LVLMs) الحالية المخصصة للاستدلال المرئي للفيديو بشكل أساسي على نموذج الاستدلال بالدفعات ("الانتظار حتى الرؤية" - Wait-and-See). في هذا النهج، يجب على النموذج استيعاب تسلسل الفيديو بالكامل قبل البدء في أي عملية استدلال أو توليد استجابة. وهذا يخلق ثلاث مشكلات حرجة:

زمن انتقال مرتفع (High Latency): لا يمكن للنظام الاستجابة حتى تتم معالجة الفيديو بالكامل، مما يؤدي إلى تأخيرات كبيرة (على سبيل المثال، زمن الوصول لأول توكن TTFT > 10 ثوانٍ).
الانجراف الزمني (Temporal Drift): مع زيادة طول الفيديو، تزداد الفجوة بين الحدث المرئي وخطوة الاستدلال الخاصة بالنموذج، مما يتسبب في فقدان النموذج للإشارات المبكرة ويؤدي إلى الهلوسة أو فقدان السياق.
عدم الكفاءة: تفرض المعالجة بالدفعات تبعية تسلسلية حيث يكون الترميز المرئي وتوليد النصوص مرتبطين ارتباطاً وثيقاً، مما يمنع المعالجة المتزامنة.

تتطلب التطبيقات في العالم الحقيقي (مثل الروبوتات، القيادة الذاتية، والمراقبة الحية) استدلالاً تدفقياً (Streaming Reasoning)، حيث يقوم النموذج بمعالجة البيانات المرئية والاستدلال بشأنها بشكل تدريجي مع وصولها، محاكياً بذلك الإدراك البشري.

2. المنهجية: فكر أثناء الرؤية (TaYS)

يقترح المؤلفون إطار عمل TaYS، الذي ينقل نماذج LVLMs من معالجة الدفعات إلى نموذج الاستدلال التدفيقي. الفلسفة الجوهرية هي "التفكير أثناء الرؤية"، مما يسمح باستدلال مستمر وتدريجي متزامن مع التدفق المرئي.

الابتكارات التقنية الرئيسية

لتحقيق تدفق موازٍ حقيقي دون التضحية بالاتساق السببي، قدمت TaYS ثلاثة ابتكارات معمارية وخوارزمية:

قناع الانتباه التدفيقي (Streaming Attention Mask):
- يفرض سببية زمنية صارمة. يمكن للتوكن الاستدلالي المولد عند الزمن $t$ أن ينتبه فقط للإطارات المرئية وتوكنات الاستدلال المتاحة حتى الزمن $t$ .
- على عكس أقنعة الدفعات القياسية التي تكشف عن جميع التوكنات، ينشئ هذا القناع نافذة منزلقة فوق التوكنات المرئية بالنسبة لخطوة الاستدلال الحالية، مما يمنع تسرب المعلومات من الإطارات المستقبلية.
الترميز الموضعي المفكك (Decoupled Positional Encoding):
- يحل صراع المؤشرات الناتج عن النمو المتزامن للتدفقات المرئية والمنطقية.
- تقوم ترميزات الموضع الدوارة (RoPE) القياسية بإزاحة توكنات الاستدلال بمقدار الطول المرئي الإجمالي ( $N_v$ )، مما يسبب تغيرات ديناميكية في المواقع النسبية مع نمو $N_v$ .
- تقوم TaYS بتعيين محاور موضع مستقلة للرؤية ( $pos(v_s) = s$ ) وللاستدلال ( $pos(r_t) = t$ ). يضمن ذلك بقاء المسافة الزمنية النسبية ( $t-s$ ) متسقة دلالياً بغض النظر عن طول التسلسل، مما يعزز استقرار الإدراك الزمني للنموذج.
آلية ذاكرة التخزين المؤقت المزدوجة المتوازية (Parallel Dual KV-Cache Mechanism):
- تفك الارتباط بين الترميز المرئي وتوليد الاستدلال لتمكين التزامن الحقيقي.
- تحتفظ بذاكرتين منفصلتين: ذاكرة الفيديو المؤقتة ( $C_v$ ) للحالات المرئية، وذاكرة الاستدلال المؤقتة ( $C_r$ ) لحالات النص.
- سير العمل: يتم إلحاق الإطارات الجديدة بشكل غير متزامن بـ $C_v$ بينما يقوم النموذج بتوليد توكنات الاستدلال باستخدام $C_r$ . يقوم النظام بعملية "دمج-تقسيم" (merge-split) على مستوى المؤشر (نسخ صفري/zero-copy) لحساب الانتباه عبر الدمج المنطقي لكلا الذاكرتين. يسمح هذا للنموذج باستيعاب إطارات جديدة مع فك تشفير التوكنات في آن واحد، مما يلغي عقبة "الحظر" (blocking) الموجودة في الأساليب المتداخلة.

بناء البيانات

قام المؤلفون ببناء مجموعة بيانات سلسلة استدلال الفيديو التدفقية (Streaming Video CoT dataset) بناءً على معيار VideoEspresso.

العملية: استخدموا إعادة أخذ العينات القائم على الطوابع الزمنية (2 إطار في الثانية) لمواءمة الإطارات مع التعليقات التوضيحية للإطارات الرئيسية.
توليد المسارات: استخدموا النماذج اللغوية الكبيرة (LLMs) لتوليد ثلاثيات (سؤال-استدلال-إجابة) $(Q_t, R_t, A_t)$ مرتبطة زمنياً لكل إطار رئيسي.
ضبط الجودة: طبقوا فحوصات الاتساق الدلالي والترشيح الزمني لضمان توافق خطوات الاستدلال بدقة مع الأدلة المرئية المرصودة، مع استبعاد العينات الزائدة أو غير المتوافقة.

3. المساهمات الرئيسية

تحول في النموذج (Paradigm Shift): تقديم نموذج استدلال تدفيقي مبدئي لنماذج LVLMs، مما يسمح باستدلال تدريجي ومرتبط زمنياً يتطور مع الأدلة المرئية.
تصميم المعمارية: تصميم بنية تدريب واستدلال متماسكة تتميز بالقناع السببي، والترميز الموضعي المفكك، وآلية الذاكرة المؤقتة المزدوجة المتوازية.
التحقق التجريبي: إجراء تقييمات شاملة أظهرت أن الاستدلال التدفيقي يتفوق بشكل كبير على نماذج الدفعات والنماذج المتداخلة البسيطة من حيث الدقة والاستجابة.
المصدر المفتوح: إطلاق الكود المصدري ومجموعة البيانات لتسهيل المزيد من الأبحاث في الذكاء متعدد الوسائط في الوقت الفعلي.

4. النتائج التجريبية

تم تقييم إطار العمل على معيار VideoEspresso الموسع باستخدام عائلة نماذج Qwen2.5-VL (بأحجام 3B و 7B).

دقة الاستدلال: حسنت TaYS دقة الاستدلال بنسبة +2.9% مقارنة بنماذج سلسلة الاستدلال (CoT) القائمة على الدفعات. وفي تقييمات GPT-5 المحاكية للبشر، حققت TaYS معدل فوز بنسبة 43.7%، متفوقة بشكل كبير على الطرق القائمة على الدفعات (31.4%) والطرق المتداخلة (21.7%).
تقليل زمن الانتقال:
- زمن الوصول لأول توكن (TTFT): انخفض من 10.6 ثانية (في حالة الدفعات) إلى ما يقرب من الصفر ( $\approx 10^{-6}$ ثانية) في TaYS.
- التأخير: حافظت على تأخير مستقر للنهاية إلى النهاية يبلغ حوالي 12 ثانية عبر معدلات إطارات متغيرة (1-5 إطار في الثانية)، بينما عانت الأساليب المتداخلة من نمو تراكمي في التأخير.
الارتباط الزمني: قللت TaYS من الانحراف بين أحداث الاستدلال والأحداث المرئية الفعلية من 1.52 ثانية (في الأسلوب المتداخل) إلى 0.69 ثانية. وقع 86% من خطوات استدلال TaYS ضمن ثانية واحدة من الإطارات الرئيسية، مقارنة بـ 62.4% للنماذج المرجعية.
التماسك: أنتجت TaYS ملفات تعريف تشابه دلالي أكثر سلاسة بين خطوات الاستدلال المتتالية، متجنبة الذروات المتكررة وغير الضرورية التي لوحظت في النماذج المتداخلة.

5. الأهمية والأثر

القابلية للتطبيق في الوقت الفعلي: تسد TaYS الفجوة بين التحليل غير المتصل (offline) والتفاعل في الوقت الفعلي، مما يجعل نماذج LVLMs قابلة للاستخدام في التطبيقات الحساسة لزمن الانتقال مثل القيادة الذاتية والتحكم عن بعد في الروبوتات.
المحاكاة البيولوجية: يتماشى هذا النهج مع العمليات الإدراكية البشرية، حيث يتم تحديث الفهم بشكل تدريجي بدلاً من الانتظار حتى انتهاء التسلسل.
مستقبل الذكاء الاصطناዊ المتجسد (Embodied AI): من خلال فصل الإدراك عن الاستدلال، تضع TaYS الأساس لوكلاء قادرين على "التفكير أثناء الحركة" وقادرين على التفاعل الديناميكي في بيئات العالم المفتوح دون انتظار اكتمال ترميز السياق.

باختصار، يمثل Think-as-You-See تحولاً جوهرياً من فهم الفيديو الساكن القائم على الدفعات إلى الاستدلال التدفيقي الديناميكي، مما يحل مشكلات زمن الانتقال والانجراف الزمني الحرجة مع تعزيز دقة وتماسك الذكاء الاصطناعي متعدد الوسائط.