Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels
تقدم الورقة البحثية نظام "لوموزايك" (Lumosaic)، وهو نظام فيديو فائق الطيف نشط ومدمج يعمل على مزامنة مصفوفة صمامات ثنائية باعثة للضوء (LED) ضيقة النطاق مع بكسلات ذات تعريض مشفر لتحقيق إعادة بناء فيديو عالي الدقة مكون من 31 قناة للمشاهد الديناميكية في الوقت الفعلي، متفوقاً بشكل كبير على الطرق السلبية لقطة واحدة (snapshot) الحالية في كل من الدقة الطيفية والاستقرار الزمني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التقاط صورة لمشهد شارع مزدحم، لكنك لا تريد فقط رؤية الألوان (الأحمر، الأخضر، الأزرق) مثل الكاميرا العادية. بل تريد رؤية قوس قزح بأكمله المختبئ داخل كل جسم لتعرف بالضبط مما يتكون (هل ذلك القميص الأحمر مصنوع من القطن أم البوليستر؟ هل تلك الورقة الخضراء صحية أم ذابلة؟).
هذا ما يسمى التصوير الفائق الطيفي (Hyperspectral Imaging). تكمن المشكلة في أن الكاميرات العادية بطيئة جداً للقيام بذلك مع الأجسام المتحركة، كما أن المعدات الخاصة التي تقوم بذلك عادة ما تكون ضخمة، باهية الثمن، وتتطلب أن يكون المشهد ساكناً تماماً.
إليك لوموسيك (Lumosaic). فكر في "لوموسيك" كأنه "خدعة سحرية سريعة لخلط الألوان" تحول كاميرا الفيديو العادية إلى ماسح طيفي عالي التقنية.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. المشكلة: "الطاهي البطيء" مقابل "الوجبات السريعة"
- الطريقة القديمة (الخاملة): تخيل طاهياً يحاول فرز كومة من الكرات الملونة المختلطة. ليفعل ذلك بشكل مثالي، يجب عليه إيقاف الكومة، ثم يلتقط كرة واحدة، يفحص لونها، يضعها جانباً، ثم يلتقط الكرة التالية، وهكذا. إذا بدأت الكومة في التحرك (مثل الفيديو)، سيصاب الطاهي بالارتباك، وتتلطخ الألوان. هذه هي طريقة عمل الكاميرات فائقة الطيف القديمة—فهي بطيئة جداً للمشاهد المتحركة.
- طريقة لوموسيك (النشطة): الآن، تخيل أن الطاهي هو في الواقع ساحر. بدلاً من فرز الكرات، يقوم الطاهي بتوجيه ضوء مسلط بلون مختلف على الكرات بسرعة فائقة بينما تلتقط الكاميرا صورة. الكاميرا لا "ترى" الضوء فحسب؛ بل تعرف بالضبط أي لون من الضوء ضرب أي جزء من الكرة في أي جزء من الملي ثانية.
2. المكونان السحريان
يجمع "لوموسيك" بين خدعتين تقنيتين عاليتي المستوى لجعل هذا ممكناً:
أ. مصفوفة "الضوء الومضي" (الإضاءة النشطة)
بدلاً من استخدام الضوء الأبيض (الذي يحتوي على جميع الألوان مختلطة معاً)، يستخدم "لوموسيك" صفاً من 12 مصباح LED صغيراً وسريعاً للغاية. كل مصباح LED يشع لوناً محدداً ونطاقاً ضيقاً جداً (مثل "الأخضر الليموني" النقي أو "الأحمر الداكن").
- الخدعة: هذه الأضواء تومض وتتوقف آلاف المرات في الثانية، وتدور عبر ألوانها في نمط محدد.
ب. كاميرا "البكسل الذكي" (بكسلات التعرض المشفّر)
هذا هو النجم الحقيقي. بكسل الكاميرا العادية يشبه الدلو الذي يمتلئ بالماء (الضوء) طوال الوقت الذي يظل فيه الغالق مفتوحاً.
- بكسل لوموسيك: تخيل دلواً به مفتاح سري. يمكنه أن يقرر: "سأمتلئ فقط عندما يكون الضوء الأزرق يعمل، لكنني سأتجاهل الضوء الأحمر".
- يتم برمجة الكاميرا بحيث تستمع بكسلات مختلفة لأضواء مختلفة في أوقات مختلفة. الأمر يشبه جوقة موسيقية ضخمة حيث يُسمح لكل مغنٍ (بكسل) بالغناء فقط عندما يرفع قائد أوركسترا (LED) معينة يده.
3. لغز "الموزاييك" (الفسيفساء)
عندما تضع هذين الأمرين معاً، تحصل على موزاييك مكاني-طيفي-زماني (Spatio-Spectro-Temporal Mosaic).
- مكاني (Spatial): أجزاء مختلفة من الصورة تنظر إلى ألوان مختلفة.
- طيفي (Spectral): الألوان تتغير بمرور الوقت.
- زماني (Temporal): تلتقط الكاميرا كل هذا في إطار فيديو واحد (1/30 من الثانية).
فكر في الأمر كأنه لغز قطع التركيب (Jigsaw puzzle) حيث كل قطعة هي لقطة صغيرة للون محدد في لحظة محددة. ولأن الكاميرا والأضواء متزامنة تماماً، يعرف الكمبيوتر بالضبط أي قطعة تنتمي لأي لون وفي أي لحظة.
4. "المحقق الذكي" (إعادة البناء)
بمجرد أن تلتقط الكاميرا هذا الإطار "المشفر" الفوضوي، لن يستطيع البشر فهمه. ولكن الذكاء الاصطنا-التعلم العميق (Deep Learning AI) (وهو نوع من البرامج الحاسوبية الذكية) يعمل كمحقق.
- ينظر إلى اللغز الفوضوي.
- يعرف "القواعد" لكيفية وميض الأضواء وكيف استمعت البكسلات إليها.
- يستخدم الرياضيات والتعرف على الأنماط لفك تشفير اللغز.
- النتيجة: يعيد بناء فيديو كامل وعالي الجودة حيث يمتلك كل بكسل فيه 31 "لوناً" مختلفاً (نطاقات طيفية) بدلاً من 3 فقط (الأحمر، الأخضر، الأزرق).
لماذا يعد هذا أمراً هاماً؟
- إنه سريع: يلتقط الفيديو بمعدل 30 إطاراً في الثانية (مثل فيلم عادي)، حتى مع الأجسام المتحركة مثل كرة دوارة أو يد تلوح.
- إنه مدمج: لا يحتاج إلى عدسات ضخمة أو أجزاء متحركة. يمكنه أن يتسع فوق مكتب.
- إنه ذكي: يمكنه التمييز بين شيئين يبدوان متشابهين لأعيننا (مثل ورقة شجر حقيقية وورقة بلاستيكية مزيفة) لأن "بصماتهما الطيفية" مختلفة.
تشبيه "مطر قوس قزح"
تخيل أنها تمطر، ولكن بدلاً من الماء، تمطر ألواناً مختلفة من الضوء.
- الكاميرات القديمة: تحاول التقاط المطر في دلو، لكنها لا تستطيع التقاط سوى لون واحد في كل مرة. إذا تحرك المطر، فإنها تفقد اللحظة.
- لوموسيك: لديه آلاف الأكواب الصغيرة والذكية. بعض الأكواب تلتقط فقط "المطر الأحمر"، وبعضها يلتقط فقط "المطر الأزرق". كلها تلتقط المطر في نفس الوقت، لكنها لا تمتلئ إلا عندما يسقط لونها المحدد.
- الذكاء الاصطناعي: يأخذ كل الأكواب، ويفرز المياه، ويخبرك بالضبط كمية "المطر الأحمر" و"المطر الأزرق" التي سقطت على كل نقطة في الأرض، مما ينشئ خريطة مثالية للعاصفة.
باختصار: يحول "لوموسيك" كاميرا الفيديو العادية إلى ماسح طيفي فائق القوة عن طريق وميض أضواء ملونة واستخدام كاميرا يمكنها "الاستماع" لتلك الأضواء بكسل تلو الآخر، وكل ذلك يتم فك تشفيره بواسطة ذكاء اصطنا-التعلم العميق لرؤية العالم غير المرئي في حالة حركة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.