Detection and Measurement of Hailstones with Multimodal Large Language Models
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة متعددة الوسائط سابقة التدريب، لا سيما عند تعزيزها باستراتيجيات التلقين ثنائية المراحل التي تستفيد من الأجسام المرجعية، يمكنها اكتشاف وقياس أقطار حبات البرد بفعالية من صور وسائل التواصل الاجتماعي المستمدة من المصادر الجماعية بمتوسط خطأ قدره 1.12 سم، مما يقدم مكملاً واعداً لأجهزة استشعار البرد التقليدية للتقييم السريع للطقس القاسي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك خبير أرصاد جوية يحاول معرفة حجم حبة البرد. في الأيام الخوالي، كان عليك الانتظار حتى تمر العاصفة، ثم ترسل فريقاً من الأشخاص ومعهم مساطر و"وسائد البرد" (حصائر خاصة) لالتقاط الجليد. الأمر يشبه محاولة قياس حجم تسونامي عن طريق وضع مسطرة واحدة في نقطة معينة في المحيط؛ ستفقد معظم الأحداث، ولن تعرف إلا ما حدث في المكان الذي وقفت فيه تماماً.
هذه الورقة البحثية تتحدث عن طريقة أذكى وأسرع للقيام بذلك: سؤال الذكاء الاصطناعي أن ينظر إلى الصور التي ينشرها الناس على وسائل التواصل الاجتماعي ويخمن حجم البرد.
إليك قصة كيف فعلوا ذلك، مقسمة إلى أجزاء بسيطة:
1. المشكلة: "النقطة العمياء"
عواصف البرد مكلفة وخطيرة؛ فهي تحطم السيارات وتدمر المحاصيل. لكن مستشعرات الطقبة الحالية متباعدة؛ فهي تشبه بضعة مصابيح شوارع متفرقة في مدينة ضخمة ومظلمة. إنها تفوت الكثير من البرد. وفي الوقت نفسه، يقوم الملايين من الناس بالتقاط صور للدمار ونشرها على إنستغرام، وإكس (تويتر سابقاً)، وفيسبوك. هذه الصور هي منجم ذهب للبيانات، لكنها فوضوية. فقد تظهر صورة واحدة حبة برد ضخمة بجانب يد، بينما تظهر صورة أخرى برداً صغيراً من مسافة بعيدة دون أي مرجع للمقارنة.
2. الحل: "المحقق فائق الذكاء"
لم يقم الباحثون ببناء روبوت جديد من الصفر. بدلاً من ذلك، استخدموا نماذج اللغات الكبيرة متعددة الوسائط (MLLMs). فكر في هذه النماذج كأنها محققون أذكياء جداً قرأوا الإنترنت بأكره وشاهدوا مليارات الصور. يمكنهم "رؤية" الصورة و"قراءة" السؤال في نفس الوقت.
جمع الفريق 474 صورة لحبات البرد من النمسا (التقطت بين عامي 2022 و2024). وكانوا يعرفون الحجم الحقيقي للبرد في هذه الصور (الحقيقة الأرضية) لأنها جاءت من قواعد بيانات رسمية للعواصف. أرادوا معرفة ما إذا كان بإمكان الذكاء الاصطناعي تخمين الحجم بمجرد النظر إلى الصور.
3. الحيلة: "الرقصة ذات الخطوتين"
اختبروا الذكاء الاصطناعي بطريقتين مختلفتين لطرح السؤال:
- "الضربة المباشرة" (الاستراتيجية 1): سألوا ببساطة: "ما حجم هذا البرد؟"
- النتيجة: غالباً ما ارتبك الذكاء الاصطناعي أو خمن بشكل عشوائي، خاصة إذا التُقطت الصورة من مسافة بعيدة. كان الأمر يشبه سؤال شخص ما عن حجم سيارة في صورة دون وجود أي أشياء أخرى للمقارنة.
- "الرقصة ذات الخطوتين" (الاستراتيجية 2): وكانت هي الفائزة.
- الخطوة 1: يبحث الذكاء الاصطناعي أولاً عن جسم مرجعي. يسأل نفسه: "هل هناك يد، أو عملة معدنية، أو مسطرة، أو سيجارة في هذه الصورة؟"
- الخطوة 2: بمجرد العثور على المرجع (على سبيل المثال: "آها! هذه يد بشرية!")، يستخدم معرفته بأن "اليد عادة ما يكون عرضها حوالي X بوصة" لحساب حجم البرد المجاور لها.
- النتيجة: كان هذا يشبه إعطاء المحقق مسطرة ليمسكها مقابل الصورة. ارتفعت الدقة بشكل كبير.
4. النتائج: "جيدة، ولكن ليست مثالية"
حصل أفضل نموذج ذكاء اصطناعي (GPT-4o) على الحجم الصحيح بمتوسط خطأ قدره 1.12 سنتيمتر تقريباً.
- الأخبار الجيدة: إذا كانت حبة البرد بحجم 5 سم، فإن الذكاء الاصطناعي سيخمن أنها 4.5 أو 5.5 سم. هذا قريب بما يكفي لإخبار مزارع: "مهلاً، هذه عاصفة خطيرة!".
- الأخبار السيئة: كان لدى الذكاء الاصطناعي عادة في أن يكون خجولاً قليلاً. فقد مال إلى التقليل من الحجم (تخمين أن البرد أصغر مما هو عليه في الواقع). هذا يشبه شاهداً متوتراً يقول: "أعتقد أن السيارة كانت صغيرة"، بينما كانت في الواقع ضخمة.
- عامل اليد: كانت الصور التي تحتوي على أيدٍ بشرية هي الأسهل للذكاء الاصطناعي. انخفض الخطأ إلى 0.75 سم فقط. فالذكاء الاصطناعي يعرف شكل اليد، لذا فهي مسطرة مثالية. أما الصور التي لا تحتوي على أجسام مرجعية فكانت أصعب بكثير.
5. لماذا هذا مهم؟
تخيل مستقبلاً حيث يقوم نظام مؤتمت بمسح وسائل التواصل الاجتماعي فوراً، والعثور على صور البرد، وإخبار خدمة الطقس: "الناس في هذا الحي ينشرون صوراً لبرد بحجم كرات الجولف!".
هذا يحدث في الوقت الفعلي، ويغطي المناطق التي لا توجد فيها مستشعرات رسمية. إنه يحول "الجمهور" إلى شبكة استشعار ضخمة وموزعة.
الخلاصة
تثبت هذه الورقة البحثية أننا لسنا بحاجة لبناء كاميرات خاصة ومكلفة لقياس البرد بعد الآن. يمكننا ببساطة استخدام أدوات الذكاء الاصطناعي التي نمتلكها بالفعل، مدمجة مع الصور التي يلتقطها الناس بالفعل.
- التشبيه: الأمر يشبه إدراك أنك لست بحاجة لمساح محترف لقياس غرفة؛ بل تحتاج فقط لصورة للغرفة وبها شخص واقف، وحاسوب ذكي للقيام بالحسابات.
- العقبة: لا نزال بحاجة لبناء النظام الذي يجد هذه الصور تلقائياً على وسائل التواصل الاجتماعي في الوقت الفعلي. بمجرد القيام بذلك، سيكون لدينا أداة قوية للغاية لتتبع الطقس القاسي بشكل أسرع وأكثر دقة من أي وقت مضى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.