← أحدث الأبحاث
🤖 AI

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

يُعد EgoGazeLite متنبئاً خفيف الوزن لتتبع نظرات العين ثنائي المعالجة يعمل على الأجهزة، مما يتيح فهماً لـفيديوهات منظور الشخص الأول بكفاءة عالية في استخدام الرموز (tokens) للنماذج اللغوية الكبيرة متعددة الوسائط من خلال قص الفيديو بدقة بناءً على النظرة المتوقعة، مما يلغي الحاجة إلى أجهزة مخصصة لتتبع حركة العين مع الحفاظ على جودة الوصف والعمل في الوقت الفعلي على الأجهزة الاستهلاكية.

المؤلفون الأصليون: Matteo Stoiber, Niels Buus Lassen

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Matteo Stoiber, Niels Buus Lassen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك ترتدي نظارات ذكية يمكنها مراقبة العالم من خلال عينيك ووصف ما تفعله. يحمل هذا النوع من التكنولوجيا وعداً بمساعدة جراح في استرجاع إجراء معقد، أو توجيه ميكانيكي خلال عملية إصلاح، أو مساعدة شخص يعاني من ضعف البصر عبر سرد تفاصيل محيطه. ولإنجاز ذلك، يجب على النظارات إرسال بث فيديو إلى نظام ذكاء اصطناعي قوي قادر على فهم الصور واللغة. ومع ذلك، هناك عقبة كبيرة: إرسال فيديو عالي الدقة يتطلب كمية هائلة من البيانات، وهي أكثر بكثير مما يمكن لجهاز صغير قابل للارتداء نقله أو معالجته بسهولة. كما تعاني أنظمة الكمبيوتر التي تفهم هذه الفيديوهات عندما يتم تغذيتها بالكثير من المعلومات المرئية دفعة واحدة، حيث غالباً ما تصاب بالارتباك بسبب الحجم الهائل لعدد البكسلات.

لقد وجد الباحثون طريقة ذكية لحل مشكلة البيانات هذه من خلال التركيز فقط على ما ينظر إليه الشخص بالفعل. فبدلاً من إرسال العرض الواسع بأكمله، يمكن للنظام قص الفيديو ليظهر فقط المنطقة الصغيرة التي يثبت فيها نظر مرتديها. وهذا يقلل من كمية البيانات التي يحتاج الكمبيوتر لمعالجتها بنسبة تقارب تسعين بالمائة، مما يجعل المهمة أسرع وأقل تكلفة. وحتى الآن، تطلب هذا النهج قطعة مادية خاصة ومكلفة مدمجة في النظارات لتتبع حركات العين بدقة. وبدون هذه الأجهزة المخصصة، لم يكن النظام ليعرف أين ينظر، مما ترك إمكانات هذه النظارات الذكية غير مستغلة للمستهلكين العاديين.

وقد أثبت فريق من الباحثين الآن أن مستشعراً مخصصاً لتتبع العين ليس ضرورياً في الواقع. فقد طوروا برنامجاً برمجياً خفيف الوزن يمكنه التنبؤ بمكان نظر الشخص بمجرد تحليل تدفق الفيديو نفسه. هذا البرنامج، الذي يُدعى "EgoGazeite"، يعمل مباشرة على هاتف ذكي قياسي، وهو دقيق بما يكفي ليحل محل أجهزة الاستشعار المادية المكلفة. وقد اختبر الباحثون ذلك عن طريق تغذية مقاطع فيديو لنظام ذكاء اصطناعي، وقصها بناءً على تتبع العين الحقيقي أو التنبؤ البرمجي. ثم طلبوا من الذكاء الاصطناعي وصف الأفعال الموجودة في الفيديو. وأظهرت النتائج أن الأوصاف الناتية عن النظر المتنبأ به كانت متطابقة تقريباً مع الأوصاف الناتجة عن تتبع العين الحقيقي. وفي كل حالة اختبار، كان أداء التنبؤ البرمجي يضاهي أداء القياس المادي، مما أثبت أن النظام يمكنه العمل دون المستشعر المتخصص.

إن البرنامج نفسه يتميز بكفاءة ملحوظة؛ فهو صغير بما يكفي للعمل في الوقت الفعلي على أجهزة استهلاكية، مثل المعالج الموجود في هاتف ذكي حديث، حيث يكمل عملية التنبؤ وقص كل إطار فيديو في أقل من اثنين وعشرين مللي ثانية. وهذه السرعة أمر بالغ الأهمية لأنها تعني أن النظام يمكنه مواكبة بث الفيديو المباشر دون تأخير. وقد درب الباحثون هذا البرنامج على آلاف الساعات من الفيديو لأشخاص يقومون بمهام متنوعة، من الطبخ وإصلاح الدراجات الهوائية إلى لعب كرة القدم وإجراء الإنعاش القلبي الرئوي. وعندما اختبروا النظام على فيديوهات جديدة لم يسبق له رؤيتها، نجح في تحديد مكان نظر الشخص بدقة عالية. ويعمل البرنامج من خلال تعلم طريقتين مختلفتين للاهتمام: إحداهما تعتمد على ما هو ساطع بصرياً أو متحرك في المشهد، والأخرى تعتمد على المكان الذي كان ينظر إليه الشخص قبل لحظة وجيزة. ويجمع بين هذين القرينين لتخمين نقطة التركيز التالية.

ولضمان قوة نتائجهم، لم يعتمد الباحثون على طريقة تقييم واحدة؛ فقد استخدموا نموذجين مختلفين من النماذج اللغوية الكبيرة لتوليد أوصاف الفيديو، ثم جعلوا تلك الأوصاف تخضع للتقييم من قبل أنظمة تسجيل آلية ونماذج ذكاء اصطناعي متقدمة أخرى. وقارنوا جودة الأوصاف من النظر المتنبأ به مقابل "الحقيقة الأرضية" (البيانات الفعلية) من مستشعرات الأجهزة، ومقابل خط أساس بسيط يقوم فقط بقص مركز الشاشة. وكانت النتائج واضحة: أنتج النظر المتنبأ به أوصافاً أفضل بكثير من قص المركز، وكانت لا تختلف إحصائياً عن النظر القائم على الأجهزة. وفي الواقع، كان التنبؤ البرمجي قريباً جداً من بيانات تتبع العين الحقيقية لدرجة أن الفرق كان صغيراً جداً بحيث لا يمكن قياسه كفرق جوهري في أي من سيناريوهات الاختبار العشرة التي أجروها.

يزيل هذا العمل عائقاً رئيسياً أمام الانتشار الواسع للذكاء الاصطناعي المدرك للنظر. فمن خلال إثبات أن النموذج البرمجي يمكنه استبدال مستشعر الأجهزة، أظهر الباحثون أن النظارات الذكية المستقبلية ليست بحاجة لأن تُثقل بمكونات تتبع العين المكلفة والمستهلكة للطاقة لتكون مفيدة. يمكن الآن نشر النظام على أي جهاز يحتوي على كاميرا ومعالج قياسي، مما يفتح الباب أمام المساعدة في الوقت الفعلي وبأسعار معقولة في مجموعة واسعة من الأنشطة اليومية. ورغم أن الدراسة أُجريت على مجموعات بيانات ونماذج محددة، إلا أن النتائج تشير إلى تحول جذري في كيفية بناء هذه الأنظمة، بالانتقال من الأجهزة المتخصصة نحو برمجيات ذكية وخفيفة الوزن يمكنها فهم الانتباه البشري بمجرد مراقبة ما نراه.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →