GazePrior: Zero-Shot AR/VR Eye Tracking via Learned 3D Gaze Reconstruction
تقدم الورقة البحثية GazePrior، وهو أسلوب لتتبع حركة العين بنمط (zero-shot) يستفيد من نموذج ثلاثي الأبعاد مُتعلم مسبقاً لتخليق بيانات تدريب واقعية، متنوعة، وموسومة بدقة من أجهزة موجودة، مما يتيح تتبعاً عالي الأداء لحركة العين على أجهزة الواقع المعزز والواقع الافتراضي الجديدة دون الحاجة إلى عمليات جمع بيانات جديدة مكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يقرأ عيونك. لكي يفعل ذلك بدقة، يحتاج الروبوت إلى رؤية ملايين الصور لعيون بشرية تنظر في كل اتجاه ممكن، وتحت كل إضاءة ممكنة، ومن كل زاوية ممكنة.
عادةً، للحصول على هذه الصور، يتعين على الشركات بناء إعداد كاميرا جديد، وإيجاد آلاف المتطوعين، وقضاء شهور في التقاط الصور. هذا أمر مكلف، وبطيء، وكابوس لوجستي في كل مرة يصممون فيها زوجاً جديداً من النظارات الذكية.
المشكلة: معضلة "الكاميرا الجديدة"
فكر في كاميرات تتبع حركة العين مثل نظارات مختلفة. إذا قمت بتغيير النظارات (الككميرا)، فإن مظهر العين يتغير قليلاً. النموذج الذي تم تدريبه على "النظارة أ" غالباً ما يفشل عندما تضع عليه "النظارة ب". تقليدياً، لإصلاح ذلك، سيتعين عليك الخروج والتقاط مجموعة كاملة جديدة من الصور باستخدام "النظارة ب".
الحل: GazePrior (المخطط الشامل للعين)
ابتكر الباحثون وراء GavePrior اختصاراً ذكياً. بدلاً من التقاط صور جديدة، قاموا ببناء "مخطط شامل للعين".
إليك كيف يعمل ذلك، باستخدام تشبيه بسيط:
- النحات الماهر (النموذج ثلاثي الأبعاد المسبق - 3D Prior): تخيل نحاتاً ماهراً درس آلاف العيون البشرية الحقيقية. هذا النحات لا يحفظ وجهاً واحداً فحسب؛ بل يتعلم القواعد التي توضح كيف تتحرك العيون والجفون والحواجب معاً. هو يفهم أنه عندما تنظر العين إلى اليسار، فإن الجفن لا يبقى ثابتاً فحسب، بل يتحرك قلياً. هذا "النحات" هو نموذج حاسوبي يسمى 3D Prior. إنه يتعلم الأنماط الخفية لكيفية ظهور العيون من كل زاوية، لكل شخص، وفي كل إضاءة.
- القرائن الشحيحة (البيانات القديمة): أخذ الباحثون صوراً موجودة بالفعل للعيون تم التقاطها باستخدام إعدادات كاميرا قديمة (وهي مصنفة بالفعل مع اتجاه "نظرة العين" الصحيح). لم يكونوا بحاجة إلى صور جديدة؛ كانوا بحتاج فقط إلى هذه القرائن الشحيحة القديمة.
- الترجمة السحرية (إعادة الاستهداف - Retargeting): الآن، تخيل أنك تريد رؤية كيف ستبدو تلك العيون نفسها من خلال عدسة كاميرا جديدة تماماً لم تُصنع بعد.
- يأخذ "النحات" الصور القديمة.
- يستخدم "المخطط الشامل للعين" الخاص به لإعادة بناء نموذج ثلاثي الأبعاد مثالي للعين في تلك اللحظة.
- ثم يقوم بـ "رندرة" (تصوير/رسم) صورة جديدة لتلك العين كما لو كانت تُرى من خلال عدسة الكاميرا الجديدة.
لماذا يعد هذا أمراً مهماً
حاولت الأساليب السابقة القيام بذلك عن طريق أخذ صورة ثنائية الأبعاد (2D) ثم "تعديل شكلها" أو مطّ مقلة العين لتبدو وكأنها تنظر في اتجاه آخر. الأمر يشبه أخذ ملصق مسطح لعين ومحاولة لوي مقلة العين؛ غالباً ما يبدو الأمر مزيفاً، ولا تتحرك الجفون بشكل طبيعي.
GazePrior مختلف لأنه يبني نموذجاً ثلاثي الأبعاد حقيقياً. هو يفهم أن العيون أجسام مستديرة وأن الجفون هي جلد مرن. لهذا السبب، عندما يولد صوراً جديدة لكاميرا جديدة، تومض الجفون بشكل طبيعي، وتلتقط الرموش الضوء بشكل صحيح، ويبدو الانعكاس على العين حقيقياً.
النتيجة
اختبر الباحثون هذا من خلال تدريب ذكاء اصطناعي لتتبع حركة العين باستخدام هذه الصور المولدة حاسوبياً فقط.
- الاختبار: حاولوا جعل الذكاء الاصطناعي يعمل على جهاز جديد (سماعة Meta Aria) دون أن يظهر له ولو صورة واحدة حقيقية التقطها هذا الجهاز تحديداً.
- النتيجة: أدى الذكاء الاصطناعي أداءً يقارب أداء التدريب باستخدام صور حقيقية من ذلك الجهاز نفسه. لقد تفوق على جميع الأساليب السابقة "صفرية المعرفة" (zero-shot) (الأساليب التي تحاول العمل دون بيانات جديدة) بفارق كبير.
باختصار
GazePrior يشبه وجود طاهٍ ماهر يمكنه إعادة ابتكار طبق معقد بشكل مثالي باستخدام عدد قليل من المكونات ووصفة معينة، دون الحاجة للذهاب إلى السوق لشراء منتجات طازجة في كل مرة. إنه يسمح للشركات بتصميم واختبار نظارات تتبع حركة العين باستخدام بيانات "افتراضية" مولدة من بيانات قديمة، مما يوفر عليهم تكلفة ووقت جلسات التصوير الواقعية الضخمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.