Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation
تقدم الورقة البحثية Aero Realtime، وهو نموذج متعدد الوسائط للبث بحجم 4 مليار معلمة (4B) يحقق تفاعلاً ثنائي الاتجاه ومتوافقاً تماماً في المدخلات والمخرجات على شبكة زمنية مشتركة، مما يتيح توليداً استباقياً منخفض التأخير مع إعادة استخدام فعالة لمخزن المفاتيح والقيم (KV-cache) وفجوة معالجة تقل عن 200 مللي ثانية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إجراء محادثة مع صديق يشاهد معك فيلماً. في الدردشة العادية، تنتظر حتى ينهي جملته قبل أن تتحدث. لكن في المحادثة الطبيعية حقاً، قد تقاطعه بكلمة "واو!" سريعة بينما لا يزال يتحدث، أو قد تلتزم الصمت بينما يشرح نقطة معقدة في الحبكة، لتتدخل في اللحظة ذاتها التي تفهم فيها شيئاً جديداً. هذا هو الهدف الأسمى للتفاعل "في الوقت الفعلي": القدرة على الاستماع والتحدث في نفس الوقت دون تفويت أي لحظة.
لفترة طويلة، كانت الحواسيب سيئة جداً في هذا الأمر. تعمل معظم نماذج الذكاء الاصطنا-عي مثل لعبة "القطعة الساخنة" المهذبة ولكن البطيئة نوعاً ما؛ فهي تنتظر حتى تنهي قصتك بالكامل (المدخلات)، ثم تعالجها دفعة واحدة، وبعد ذلك تبدأ في التحدث (المخرجات). لا يمكنها حقاً "الاستماع" أثناء "التحدث". إذا حاولت تزويدها بمعلومات جديدة أثناء منتصف جملتها، فإنها ترتبك أو تضطر للتوقف وإعادة البدء من جديد. تتناول هذه الورقة البحثية مشكلة بناء ذكاء اصطناعي يمكنه أن يكون "ثنائي الاتجاه" (duplex) حقاً — أي قادراً على سماع أشياء جديدة ونطق أشياء جديدة في آن واحد، تماماً كما يفعل البشر، وكل ذلك مع مواكبة تدفق فيديو سريع الحركة.
قام الباحثون وراء هذه الورقة، من جامعة هونغ كونغ ومؤسسات أخرى، ببناء نموذج ذكاء اصطناعي جديد يسمى Aero Realtime. فكر فيه كنموذج لا يتحدث بالجمل فحسب، بل بـ "نبضات" زمنية صغيرة ومنتظمة. بدلاً من انتظار انتهاء الفيديو بالكامل، يقوم Aero Realtime بتفكيك الوقت إلى أجزاء صغيرة تبلغ 80 ميلي ثانية. ولكل جزء من الصوت يسمعه، يتعين عليه اتخاذ قرار في جزء من الثانية: "هل يجب أن أقول كلمة الآن، أم أبقى صامتاً؟".
هذا تحول هائل عن كيفية عمل النماذج الأخرى. عادةً، يتعين على الذكاء الاصطناعي إنهاء مرحلة "التفكير" قبل أن يبدأ مرحلة "التحدث". أما Aero Realtime فيقوم بكليهما في وقت واحد. إنه يربط الفيديو والصوت وكلماته على خط زمني واحد مشترك. تخيل حزاماً ناقلاً حيث يصل جزء جديد من الفيديو والصوت كل 80 ميلي ثانية. في تلك اللحظة ذاتها، يقرر الذكاء الاصطناعي ما إذا كان سيضع كلمة على الحزام أو يضع "رمز صمت" (مكان محجوز للهدوء). هذا يسمح للذكاء الاصطنا-عي بالاستماع إلى أجزاء جديدة من الفيديو حتى وهو في منتصف توليد جملة، فهو لا يقطع التدفق أبداً لكي "يلحق بالركب".
تجادل الورقة بأن المحاولات السابقة لجعل الذكاء الاصطنا-عي "مبادراً" (مستعداً للتحدث) كانت خرقاء. استخدمت بعض الأنظمة طريقة "الدور المصغر" (micro-turn)، حيث يسأل الذكاء الاصطنا-عي نفسه باستمرار: "هل يجب أن أتحدث الآن؟". هذا يشبه سائقاً يتوقف عند كل تقاطع ليتحقق من الخريطة قبل المضي قدماً. واستخدمت أنظمة أخرى "بوابات" أو مفاتيح خارجية لتقرير متى يتحدث، مما جعل النظام معقداً وبطيئاً. يرفض Aero Realtime هذه الأساليب؛ بدلاً من ذلك، يتعلم التوقيت بشكل طبيعي. فقد تم تدريب النموذج على معاملة "الصمت" ككلمة صالحة، تماماً مثل كلمة "مرحباً" أو "قطة". وهذا يعني أن الذكاء الاصطنا-عي لا يحتاج إلى مفتاح منفصل ليقرر متى يتحدث؛ فقرار التحدث أو البقاء صامتاً مدمج مباشرة في نفس العملية التي تختار الكلمات.
لإنجاح ذلك، تعين على الفريق حل ألغاز هندسية معقدة. لقد ابتكروا طريقة خاصة لتدريب النموذج باستخدام مزيج من بيانات الفيديو في الوقت الفعلي وأسئلة الفيديو القياسية. كما صمموا طريقة جديدة لتشغيل النموذج على الحواسيب توفر في الذاكرة والسرعة. فبدلاً من إعادة قراءة الفيديو بالكامل مع وصول كل إطار جديد، يتذكر النموذج ما عالجه بالفعل ويضيف فقط "الشريحة" الجديدة من المعلومات. هذا يشبه قراءة كتاب حيث لا تضطر لإعادة قراءة الفصل الأول في كل مرة تقلب فيها الصفحة؛ بل تتذكر فقط أين توقفت وتستمر في المتابعة.
النتائج مثيرة للإعجاب بالنسبة لنموذج بهذا الحجم. اختبر الباحثون Aero Realtime على بث فيديو مستمر لمدة 20 دقيقة. وحتى مع استمرار تشغيل الفيديو، تمكن النموذج من الحفاظ على "التأخير" الخاص به — وهو الفارق الزمني بين ما يحدث في الفيديو وما يقوله الذكاء الاصطنا-عي — عند وسيط قدره 84 ميلي ثانية. وهذا أقل من رمشة العين. وحتى عند المئين الخامس والتسعين (بمعنى أنه كان كذلك في 95% من الوقت)، كان التأخير 173 ميلي ثانية فقط. هذا يعني أن الذكاء الاصطنا-عي يظل ضمن نطاق 200 ميلي ثانية من الخط الزمني "الحقيقي"، مما يجعله يستمع ويتحدث في الوقت الفعلي فعلياً.
ومع ذلك، تحذر الورقة من الادعاء بأن هذا هو أفضل ذكاء اصطنا-ئي في العالم في فهم الفيديو. فعند اختباره على معيار قياسي يسمى OVOBench، سجل النموذج الذي يحتوي على 4 مليارات معلمة (وهو صغير نسبياً) نتيجة جيدة، لكنه لم يتفوق على النماذج الأكبر والأقوى التي تحتوي على 7 مليارات معلمة والمصممة للمهام غير الزمنية (offline). ويشير المؤلفون إلى أن هذه الفجوة موجودة لأن النموذج كان عليه تعلم طريقة تفاعل جديدة تماماً (أسلوب "ثنائي الاتجاه") ولم يكن لديه بيانات تدريب محددة لهذا النوع من المحادثات في الوقت الفعلي بقدر ما كان لدى النماذج القديمة للمهام التقليدية.
باختصار، يثبت Aero Realtime أنه من الممكن بناء ذكاء اصطنا-ئي لا ينتظر دوره في الكلام فحسب، بل يمكنه حقاً إجراء محادثة في الوقت الفعلي، والاستماع والتحدث في آن واحد دون عناء. إنها خطوة نحو ذكاء اصطنا-ئي يشعر بأنه أقل شبهاً بروبوت ينتظر التعليمات، وأكثر شبهاً بصديق ينتبه للعالم معك حقاً. ورغم أنه ليس بعد "الخبير الأذكى" في مجال الفيديو، إلا أنه أول من أتقن حقاً فن مواكبة تدفق الزمن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.