See Through the Noise: Improving Domain Generalization in Gaze Estimation

إليك ملخص تقني مفصل لورقة البحث بعنوان "الرؤية من خلال الضجيج: تحسين التعميم النطاقي في تقدير نظرة العين" (See Through the Noise: Improving Domain Generalization in Gaze Estimation).

1. بيان المشكلة

السياق: يعد تقدير نظرة العين أمراً بالغ الأهمية لتطبيقات مثل التفاعل بين الإنسان والحاسوب والواقع الافتراضي (VR). وبينما أدى التعلم العميق إلى تحسين الأداء، إلا أن النماذج غالباً ما تفشل عند نشرها في نطاقات غير مرئية (التعميم النطاقي - Domain Generalization).
المشكلة الجوهرية: تتجاهل معظم طرق التعميم النطاقي الحالية ضجيج التسميات (Label Noise). ففي تقدير نظرة العين، يعد الحصول على تسميات توضيحية دقيقة (Ground-truth) أمراً صعباً بطبيعته بسبب عدم استقرار انتباه البشر، والإضاءة، والانسداد. يؤدي هذا إلى ضجيج كبير في التسميات التوضيحية في مجموعات البيانات واسعة النطاق (مثل Gaze360).
التحديات:

1. الانحدار مقابل التصنيف: معظم طرق تعلم التسميات الضوضائية (NLL) مصممة للمهام التصنيفية. أما تقدير نظرة العين فهو مهمة انحدار (Regression) حيث تكون التسميات زوايا مستمرة، مما يجعل من الصعب تحديد حدود واضحة بين العينات "النظيفة" و"الضوضائية" أو استخدام الاستدلالات القياسية مثل "اختيار الخسارة الصغيرة".
2. تعقيد عبر النطاقات: مجرد تصحيح التسميات الضوضائية داخل النطاق المصدر لا يضمن تعميماً أفضل للنطاقات المستهدفة، لأنه يفشل في سد الفجوة التوزيعية بين النطاقات.
3. الإفراط في ملاءمة الضجيج (Overfitting Noise): تميل النماذج المدربة على بيانات ضوضائية إلى الإفراط في ملاءمة التسميات غير الصحيحة، مما يؤدي إلى تعلم ميزات غير متعلقة بنظرة العين (مثل وضعية الرأس أو الخلفية) بدلاً من اتجاه النظر الحقيقي، مما يقلل من أداء التعميم عبر النطاقات.

2. المنهجية: إطار عمل SeeTN

يقترح المؤلفون إطار عمل See-Through-Noise (SeeTN)، وهو إطار يعمل على تخفيف ضجيج التسميات لتعزيز التعميم النطاقي. تعمل الطريقة عبر ثلاث مراحل رئيسية:

أ. بناء المخطط الدلالي (Semantic Manifold Construction)

لمعالجة الطبيعة المستمرة لتسميات نظرة العين، قام المؤلفون ببناء مخطط دلالي ($M$) للحفاظ على البنية الطوبولوجية بين الميزات والتسميات.

• تحويل النماذج الأولية (Prototype Transformation): يتم إسقاط الميزات على كرة فائقة الوحدة (Unit Hypersphere) ورسم خرائط لـ $K$ من النماذج الأولية القابلة للتعلم ($\mu_k$) عبر شبكة MLP وتحديثات المتوسط المتحرك الأسي (EMA).
• محاذاة التقارب (Affinity Alignment): تقوم الطريقة بحساب مصفوفة تقارب ($A^{(m)}$) للميزات في المخطط و($A^{(g)}$) لتسميات نظرة العين الحقيقية باستخدام تشابه جيب التمام (Cosine Similarity).
• الهدف: يقلل النموذج من متوسط الخطأ المطلق (MAE) بين $A^{(m)}$ و $A^{(g)}$. وهذا يجبر مساحة الميزات على الحفاظ على بنية متسقة مع مساحة التسميات، مما يضمن أن العينات ذات زوايا النظر المتشابهة تمتلك تمثيلات ميزات متشابهة.

ب. تحديد الضجيج عبر تباين التقارب (Noise Identification via Affinity Discrepancy)

بدلاً من استخدام حجم الخسارة (الذي لا يمكن الاعتماد عليه في مهام الانحدار)، يستخدم SeeTN التباين بين تقارب الميزات وتقارب التسميات للكشف عن الضجيج.

• المؤشر ($\eta$): لكل عينة، تحسب الطريقة مؤشر تباين $\eta_i$ باستخدام صيغة الإنتروبيا المتقاطعة (Cross-entropy) بين توزيع التسميات ($\hat{y}^{(g)}$) وتوزيع الميزات ($\hat{y}^{(m)}$) في المخطط.
  $$\eta_i = -\sum_{j=1}^{B} \hat{y}^{(g)}_{i,j} \log \hat{y}^{(m)}_{i,j}$$
• التقسيم: يتم فرز العينات حسب $\eta$. تُصنف أعلى $t\%$ من العينات ذات التباين الأعلى كـ مجموعة ضوضائية ($D_S^N$)، بينما تشكل بقية العينات المجموعة النظيفة ($D_S^C$). يتم تحديث هذا التقسيم ديناميكياً أثناء التدريب لتجنب الانحياز التأكيدي.

ج. التنظيم القوي ضد الضجيج (Noise-Robust Regularization)

يطبق إطار العمل دوال خسارة متميزة للمجموعات الفرعية النظيفة والضوضائية لتعظيم الاستفادة من المعلومات مع كبح الضجيج.

• المجموعة النظيفة ($D_S^C$): تستخدم خسارة انحدار نظرة العين القياسية ($L_{gaze}$) وخسارة محاذاة ($L_{align}^C$) لفرض اتساق التقارب بصرامة بين الميزات والتسميات.
• المجموعة الضوضائية ($D_S^N$): بدلاً من التخلص من هذه العينات، تستخدم الطريقة خسارة محاذاة ناعمة ($L_{align}^N$). فهي تستفيد من مصفوفة التقارب المستمدة من العينات النظيفة لتقييد تقارب ميزات العينات الضوضائية. هذا ينقل المعلومات المتعلقة بنظرة العين من العينات النظيفة إلى الضوضائية، مما يصحح التسميات الضوضائية بفعالية دون الاعتماد على التسميات الأصلية الفاسدة.
• إجمالي الخسارة: $L_{all} = L_{gaze} + L_{align}^C + \lambda L_{align}^N$.

3. المساهمات الرئيسية

1. منظور جديد: أول عمل يستقصي ويعالج التعميم النطاقي في تقدير نظرة العين بشكل شامل من خلال عدسة تخفيف ضجيج التسميات.
2. إطار عمل SeeTN: يقترح مخططاً دلالياً قائماً على النماذج الأولية يربط بين تسميات نظرة العين المستمرة وتمثيلات الميزات. كما يقدم مؤشراً مبتكراً للتقارب ($\eta$) لتمييز العينات الضوضائية في مهام الانحدار، واستراتيجية تنظيم قوية ضد الضجيج تستخدم العينات النظيفة للإشراف على العينات الضوضائية.
3. أداء رائد (State-of-the-Art): أثبت أن التعامل الصريح مع الضجيج يؤدي إلى تعميم فائق عبر النطاقات دون المساس بدقة النطاق المصدر.

4. النتائج التجريبية

قيم المؤلفون SeeTN على أربع مجموعات بيانات: ETH-XGaze، و Gaze360، و MPIIFaceGaze، و EyeDiap، باستخدام هياكل ResNet-18 و ResNet-50.

• الأداء الكمي:
  • عبر النطاقات (Cross-Domain): يتفوق SeeTN بشكل كبير على النموذج الأساسي (ResNet-18) وعلى طرق التعميم النطاقي الرائدة الأخرى (مثل PureGaze، GazeCF، AGG).
    • مثال: في إعداد DG $\to$ DM (من Gaze360 إلى MPIIFaceGaze)، خفض SeeTN متوسط الخطأ الزاوي (MAE) من 7.94° (النموذج الأساسي) إلى 6.57°، أي تحسن بنسبة 17.2%.
  • داخل النطاق (Within-Domain): على عكس العديد من طرق التعميم التي تضحي بدقة المصدر من أجل أداء الهدف، حسن SeeTH أيضاً من الدقة داخل النطاق (على سبيل المثال، تقليل الخطأ بنسبة 3-5% في النطاقات المصدر).
• المقارنة مع طرق تعلم التسميات الضوضائية (NLL): تفوق SeeTN على طرق تعلم التسميات الضوضائية الموجودة والمكيفة لهذه المهمة (مثل DivideMix، SUGE)، والتي عانت مع طبيعة الانحدار في المشكلة أو مع قيود داخل النطاق.
• دراسات الاستئصال (Ablation Studies):
  • أدى حذف التنظيم القوي ضد الضجيج ($L_{align}^N$) إلى انخفاض كبير في الأداء، مما يثبت قيمة استخدام العينات الضوضائية عبر الإشراف النظيف.
  • كان المؤشر المقترح $\eta$ أكثر فعالية من معايير الخسارة الصغيرة القياسية ($L_1$) في تحديد الضجيج.
• التحليل النوعي:
  • تصوير t-SNE: أظهر أن النموذج الأساسي قام بتجميع الميزات حسب وضعية الرأس، بينما قام SeeTN بتجميع الميزات حسب اتجاه نظرة العين، مما يشير إلى نجاح في تعلم معلومات دلالية ثابتة عبر النطاقات.
  • كشف الضجيج: أكدت التصويرات أن قيم $\eta$ العالية ترتبط بالتسميات التوضيحية غير الصحيحة، بينما ظل النموذج قادراً على التنبؤ باتجاه النظر الصحيح لهذه العينات.

5. الأهمية

تسلط هذه الورقة الضوء على عقبة حرجة وغالباً ما يتم تجاهلها في تقدير نظرة العين: ضجيج التسميات التوضيحية. من خلال تحويل التركيز من مجرد تعلم ميزات ثابتة عبر النطاقات إلى تخفيف واستغلال ضجيج التسميات بشكل نشط، يثبت المؤلفون أن المتانة تجاه الضجيج هي شرط مسبق للتعميم النطاقي الفعال. يوفر إطار عمل SeeTN نموذجاً جديداً لمهام الرؤية الحاسوبية القائمة على الانحدار حيث تكون الحقيقة الأرضية (Ground Truth) ضوضائية بطبيعتها، مما يمهد الطريق لنشر أنظمة تتبع نظرة العين بشكل أكثر موثوقية في العالم الحقيقي.