تخيل أنك تحاول التقاط صورة للوحة فنية جميلة معلقة في متحف، لكن الصندوق الزجاجي أمامها يعكس وجهك وفلاش كاميرتك. النتيجة هي مزيج فوضوي: اللوحة التي تريد رؤيتها مدفونة تحت طبقة شبحية من انعكاس صورتك. هذه هي المشكلة الكلاسيكية لـ "إزالة الانعكاس" في الرؤية الحاسوبية. لفترة طويلة، حاولت الحواسيب حل هذه المشكلة من خلال النظر إلى صورة واحدة ثابتة وتخمين أي الأجزاء تنتمي إلى اللوحة وأيها ينتمي إلى الانعكاس. الأمر يشبه محاولة فصل أغنيتين مختلفتين تعملان في نفس الوقت بمجرد الاستماع إلى تسجيل ثابت واحد؛ إنه أمر صعب للغاية لأن الحاسوب يصاب بالارتباك، مما يترك وراءه بقعاً ضبابية أو يمسح أجزاءً من المشهد الحقيقي عن طريق الخطأ.

ولزيادة الأمر سوءاً، تحاول العديد من الطرق المتقدمة إصلاح ذلك من خلال التقاط فيديو والبحث عن حركات كبيرة، مثل هز الكاميرا بعنف لرؤية كيف يتحرك الانعكاس بشكل مختلف عن الخلفية. ولكن في الحياة الواقعية، لا يمكننا تحريك الكاميرا بهذا القدر، أو قد تكون الحركة صغيرة جداً بحيث لا يمكن رؤيتها بواسطة كاميرا عادية تلتقط صوراً بوتيرة بطيئة وثابتة. وهنا يأتي دور نوع خاص من الكاميرات يسمى "كاميرا الأحداث" (event camera). على عكس الكاميرات العادية التي تلتقط لقطات مثل كتاب الصور المتحركة، فإن كاميرات الأحداث تشبه "آذاناً" فائقة السرعة والحساسية؛ فهي لا تنتظر صورة كاملة، بل تسجل فقط التغيرات الضئيلة في السطوع التي تحدث في أجزاء من المليون من الثانية. وهذا يسمح لها بالتقاط أدق "الترنحات" الضوئية التي قد تحدث حتى لو حركت يدك حركة بسيطة جداً.

في هذا البحث، يقدم الباحثون نظاماً جديداً يسمى EvReflection يستخدم كاميرات الأحداث فائقة السرعة هذه لحل لغز الانعكاس. بدلاً من التخمين بناءً على صورة واحدة ثابتة أو الحاجة إلى هز الكاميرا بعنف، يعتمد أسلوبهم على الاستماع إلى "الديناميكيات الدقيقة" (micro-dynamics)—وهي التغيرات عالية السرعة والضئيلة في الضوء التي تلتقطها كاميرا الأحداث. ولأن الانعكاس (على الزجاج) والمشهد الحقيقي (خلف الزجاج) يقعان على مسافات مختلفة، فإن أصغر حركة للكاميرا تجعل الانعكاس والخلفية يهتزان بطرق مختلفة قليلاً. تلتقط كاميرا الأحداث هذه الاختلافات الطفيفة فوراً. لقد بنى الباحثون شبكة ذكية تستخدم هذه الاهتزازات الضئيلة كشفرة سرية لفصل الانعكاس عن الصورة الحقيقية بشكل مثالي. وقد اختبروا ذلك على مشاهد مولدة بالحاسوب وعلى مجموعة بيانات جديدة من العالم الحقيقي أنشأوها، وتظهر النتائج أن طريقتهم تنظف الصورة بشكل أفضل بكثير من التقنيات السابقة، حيث تزيل "الأشباح" دون التسبب في ضبابية التفاصيل الحقيقية.

المشكلة: الشبح في الزجاج

فكر في النظر عبر نافذة في يوم ممطر. ترى الشارع في الخارج (طبقة الإرسال)، ولكنك ترى أيضاً وجهك والغرفة التي خلفك منعكسة في الزجاج (طبقة الانعكاس). بالنسبة للحاسوب، تندمج هاتان الطبقتان معاً لتشكلا فوضى ضبابية واحدة. لسنوات، حاول العلماء استخدام الذكاء الاصطناعي لفك تشابكهما.

الطريقة القديمة كانت تعتمد على النظر إلى صورة واحدة ومحاولة تخمين أي البكسلات تنتمي إلى الانعكاس. لكن هذا يشبه محاولة إعادة فصل "سموذي" للحصول على الفاكهة الأصلية؛ إنه أمر مستحيل رياضياً أن تعرف اليقين دون أدلة إضافية. أحياناً يبدو الانعكاس تماماً مثل الخلفية، مما يربك الحاسوب ويترك وراءه "آثاراً" (artifacts)—وهي بقع غريبة أو صور مزدوجة تفسد الصورة.

هناك نهج آخر يتمثل في التقاط فيديو والبحث عن الحركة. إذا حركت الكاميرا، فإن الانعكاس على الزجاج يتحرك بسرعة مختلفة عن الخلفية لأن لهما أعماقاً مختلفة. ومع ذلك، فإن الكاميرات العادية بطيئة جداً لالتقاط هذه الحركات الصغيرة ما لم تحرك الكاميرا كثيراً. إذا حركت الكاميرا قليلاً فقط (مثل رعشة بسيطة في اليد)، فإن الكاميرا العادية لا ترى سوى صورة ثابتة، ويتعثر الحاسوب مرة أخرى.

الحل: الاستماع إلى "الديناميكيات الدقيقة"

أدرك مؤلفو هذا البحث أنه بينما تفوت الكاميرات العادية الحركات الصغيرة، فإن كاميرات الأحداث لا تفعل ذلك. كاميرا الأحداث هي مستشعر خاص لا يعمل إلا عندما يرى تغيراً في الضوء. وهي سريعة جداً لدرجة أنها تستطيع اكتشاف التغيرات في أجزاء من المليون من الثانية.

كانت فكرة الفريق الكبيرة بسيطة ولكنها عبقرية: استخدام الحركات الضئيلة وغير المرئية تقريباً ليدك للتمييز بين الانعكاس والمشهد الحقيقي.

حتى لو كنت تمسك الكاميرا بثبات شديد، فإن يدك ليست متجمدة تماماً؛ فهي تحتوي على رعشات صغيرة. ولأن الانعكاس موجود على سطح الزجاج والمشهد الحقيقي موجود خلفه، فإن هذه الرعشات الصغيرة تجعل الانعكاس والخلفية يتحركان بمقادير مختلفة قليلاً. الكاميرا العادية بطيئة جداً لرؤية هذا الفرق، لكن كاميرا الأحداث تلتقطه فوراً. الأمر يشبه امتلاك ميكروفون فائق الحساسية يمكنه سماع الفرق بين شخصين يهمسان في غرفة، حتى لو كانا يهمسان بنفس الكلمات تقريباً.

كيف يعمل نظام EvReflection

بنى الباحثون نظام ذكاء اصطناعي جديد يسمى EvReflection يعمل مثل محقق لديه عينان: واحدة تنظر إلى الصورة العادية (RGB) والأخرى تستمع إلى بيانات كاميرا الأحداث عالية السرعة.

1. مفكك الديناميكيات الدقيقة (MDD): هذا هو الجزء الأول من النظام. يأخذ البيانات الخام من كاميرا الأحداث ويحدد بالضبط كيف تتحرك الانعكاسات والخلفية بشكل مختلف. إنه يشبه المرشح (الفلتر) الذي يفصل "اهتزاز" الانعكاس عن "اهتزاز" الخلفية، محولاً إياها إلى خريطة واضحة لمواقع الطبقات.
2. مصحح انتباه اختلاف المنظر (PAR): بمجرد أن يعرف النظام أين تتحرك الطبقات، يستخدم هذا الجزء الثاني تلك الخريطة لتنظيف الصورة العادية. ينظر إلى الصورة ويقول: "آه، هذا الجزء من الصورة يتحرك مثل الانعكاس، لذا سأزيله. وهذا الجزء يتحرك مثل الخلفية، لذا سأحتفظ به". يستخدم آلية "انتباه" خاصة للتركيز فقط على الأجزاء التي تحتاج إلى إصلاح، مما يضمن أن تكون الصورة النهائية حادة وخالية من البقع الشبحية.

النتائج: تصفية الأجواء

لاختبار فكرتهم، واجه الفريق مشكلة: لم تكن هناك صور من العالم الحقيقي مع بيانات كاميرا الأحداث للتدريب عليها. لذلك، قاموا ببناء خط أنابيب محاكاة (simulation pipeline) لإنشاء آلاف الأمثلة الواقعية (لكنها وهمية) حيث يعرفون بالضبط كيف يجب أن تبدو الصورة النظيفة. كما بنوا جهازاً خاصاً مزوداً بمنصة متحركة لالتقاط مجموعة بيانات جديدة من العالم الحقيقي تسمى EVR2، والتي تتضمن صوراً ملتقطة عبر زجاج بسماكات مختلفة.

عندما اختبروا EvReflection، كانت النتائج مبهرة:

• في مجموعات الاختبار القياسية، تفوقت طريقتهم على أفضل الأساليب الموجودة بأكثر من 1.6 ديسيبل في جودة الصورة (PSNR).
• في مجموعة بيانات العالم الحقيقي الجديدة، تفوقوا على المنافسين بـ 1.2 ديسيبل.
• من الناحية البصرية، بينما تركت الأساليب الأخرى آثاراً واضحة من التداخل الشبحي أو الحواف الضبابية (كما يظهر في صور المقارنة في الورقة البحثية)، نجح EvReflection في إزالة الانعكاسات، كاشفاً عن خلفية نظيفة وحادة.

يشير البحث إلى أن هذا النهج جيد بشكل خاص في التعامل مع الزجاج "السميك"، حيث يخلق الانعكاس صوراً مزدوجة معقدة تربك الأنظمة الأخرى. ومن خلال الاعتماد على بيانات الحركة عالية السرعة من كاميرا الأحداث، لا يحتاج النظام إلى التخمين؛ بل لديه دليل مادي على أي طبقة هي الصحيحة.

ماذا يعني هذا؟

يشير هذا البحث إلى أن إضافة كاميرات الأحداث إلى المزيج يمكن أن يحل مشاكل استعصت على الرؤية الحاسوبية لسنوات. وهو يوضح أننا لا نحتاج دائماً إلى تحريك الكاميرا بعنف لفصل الطبقات؛ فحتى الحركات الطبيعية الضئيلة، عند التقاطها بالمستشعر المناسب، توفر معلومات كافية لفك هذا التشابك. وبينما يتطلب النظام حالياً نوعاً معيناً من الكاميرات وجهاز كمبيوتر قوياً للتشغيل، إلا أنه يفتح الباب أمام كاميرات المستقبل التي يمكنها الرؤية عبر الانعكاسات في الوقت الفعلي، مما يساعد الروبوتات، والسيارات ذاتية القيادة، والمصورين على رؤية العالم بوضوح، بغض النظر عن عدد النوافذ التي تقف في طريقهم.