💻 computer science

EarthEmbeddingExplorer: A Web Application for Cross-Modal Retrieval of Global Satellite Images

تقدم هذه الورقة EarthEmbeddingExplorer، وهو تطبيق ويب سحابي الأصل يسد الفجوة بين النماذج التأسيسية الأكاديمية لمراقبة الأرض والاستخدام العملي من خلال تمكين الاسترجاع التفاعلي عبر الوسائط المتعددة لصور الأقمار الصناعية العالمية عبر استعلامات اللغة الطبيعية، والوسائط المرئية، والموقع الجغرافي.

المؤلفون الأصليون: Yijie Zheng, Weijie Wu, Bingyue Wu, Long Zhao, Guoqing Li, Mikolaj Czerkawski, Konstantin Klemmer

نُشر 2026-04-01

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yijie Zheng, Weijie Wu, Bingyue Wu, Long Zhao, Guoqing Li, Mikolaj Czerkawski, Konstantin Klemmer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة تحتوي على مليارات الصور للأرض ملتقطة من الفضاء. لكن هناك عقبة: الكتب مغلقة داخل خزنة، ومكتوبة بشفرة سرية، وتحتاج إلى دكتوراه في علوم الحاسوب فقط للحصول على المفتاح. هذا هو الوضع الحالي لـ "تضمينات الأرض" (Earth Embeddings)—وهي أدوات ذكاء اصطناعي قوية تفهم صور الأقمار الصناعية، ولكن من الصعب للغاية على الأشخاص العاديين استخدامها.

تقدم هذه الورقة البحثية EarthEmbeddingExplorer، وهو تطبيق ويب جديد صُمم لكسر باب الخزنة وتسليمك المفاتيح. فكر فيه على أنه "صور جوجل لكل كوكب الأرض، ولكن بعقل فائق الذكاء".

إليك شرح بسيط لكيفية عمله ولماذا هو مهم:

1. المشكلة: "الخزنة المغلقة"

بنى العلماء نماذج ذكاء اصطناعي مذهلة (مثل FarSLIP و SigLIP و DINOv2 و SatCLIP) يمكنها "قراءة" صور الأقمار الصناعية. يمكنها إخبارك ما إذا كانت الصورة تظهر غابة، أو مدينة، أو نهرًا.

الطريقة القديمة: لاستخدام هذه النماذج، كان عليك تحميل تيرابايت من البيانات، وتثبيت برامج معقدة، وكتابة أكواد برمجية للبحث من خلالها. كان الأمر يشبه محاولة العثور على كتاب معين عن طريق قراءة كل صفحة في المكتبة بنفسك.
الطريقة الجديدة: أخذ المؤلفون كل ذلك العمل الشاق، وقاموا بحساب "الفهم" الخاص بالصور مسبقًا، ووضعوه في موقع إلكتروني سهل الاستخدام.

2. الحل: "محرك بحث سحري"

يتيح لك تطبيق EarthEmbeddingExplorer البحث في العالم بثلاث طرق مختلفة، تمامًا كما قد تبحث عن صديق على وسائل التواصل الاجتماعي:

🗣️ بحث "الوصف" (النص): تكتب جملة مثل "أرني صورة من القمر الصناعي لغابة استوائية". يفهم الذكاء الاصطناعي مفهوم الغابة الاستوائية ويجد الصور المطابقة.
🖼️ بحث "العرض" (الصورة): ترفع صورة لنهر، ويجد التطبيق أنهارًا أخرى تشبهها بصريًا، حتى لو كانت في قارات مختلفة.
📍 بحث "الموقع" (المكان): تنقر على نقطة على الخريطة (مثل الأمازون)، ويجد التطبيق صورًا مشابهة جغرافيًا أو دلاليًا لذلك الموقع بالضبط.

3. "العقل" الكامن وراء التطبيق

يستخدم التطبيق أربعة "أدمغة" (نماذج ذكاء اصطناعي) للقي البحث، ولكل منها شخصية مختلفة:

الشاعر (FarSLIP & SigLIP): هؤلاء بارعون في فهم الكلمات. إذا قلت "غابة استوائية"، فإنهم يبحثون عن فكرة الغابة الاستوائية.
الفنان (DINOv2): هذا النموذج مهووس بالتفاصيل البصرية. هو لا يهتم بكلمة "نهر"؛ بل يهتم بأن شكل الماء يشبه النهر الموجود في صورتك.
رّسام الخرائط (SatCLIP): هذا النموذج يعرف الجغرافيا. هو يفهم أن الغابات الاستوائية تعيش عادةً بالقرب من خط الاستواء.

4. اختبار من الواقع: رحلة البحث عن الغابة الاستوائية

اختبر المؤلفون التطبيق بمهمة محددة: البحث عن الغابات الاستوائية.

البحث النصي: عندما طلبوا "غابة استوائية"، وجد الذكاء الاصطناعي في الغالب مناطق خضراء كثيفة ورطبة. لقد فهم "الأجواء" العامة.
البحث البصري: عندما عرضوا صورة لنهر، وجد الذكاء الاصطناي أنهارًا أخرى، حتى لو كانت في صحاري أو جبال ثلجية، لأن شكل الماء بدا متشابهًا.
بحث الموقع: عندما نقروا على منطقة الأمازون، وجد التطبيق غابات استوائية أخرى في أفريقيا وآسيا، مدركًا أن الغابات الاستوائية تعيش عادة في مناطق مناخية مماثلة.

لحظة الإدراك ("Aha!"): كشف التطبيق أنه بينما الذكاء الاصطناعي ذكي، إلا أنه ليس مثاليًا. أحيانًا، عند الطلب منه إيجاد غابة استوائية، قد يظهر صورة بها الكثير من السحب (لأن الغابات الاستوائية غائمة)، أو أحيانًا يرتبك ويظهر صورة للمحيط. هذا يساعد العلماء على معرفة الأماكن التي يحتاج فيها الذكاء الاصطناعي ليصبح أكثر ذكاءً.

5. لماذا هذا مهم؟

فكر في هذا التطبيق كأداة لإتاحة التكنولوجيا للجميع (Democratizing tool).

قبل: كانت الفرق الكبيرة التي تمتلك حواسيب فائقة هي الوحيدة القادرة على استكشاف بيانات الأقمار الصناعية العالمية.
الآن: يمكن لطالب في فصل دراسي، أو صحفي، أو باحث، أن يكتب جملة أو ينقر على خريطة ويرى فورًا ما "يراه" الذكاء الاصطناعي عبر الكوكب بأكمله.

باختصار: أخذ المؤلفون أداة علمية عالية التقنية ومعقدة، وغلّفوها بواجهة ويب بسيطة وملونة. لقد حولوا "خزنة مغلقة" من البيانات إلى ساحة لعب مفتوحة حيث يمكن لأي شخص استكشاف سطح الأرض باستخدام قوة الذكاء الاصطناعي الحديث.

إليك ملخص تقني مفصل لورقة البحث بعنوان "EARTHEMBEDDINGEXPLORER: تطبيق ويب للاسترجاع عبر الوسائط للصور الساتلية العالمية" المقدمة في مؤتمر ICLR 2026.

1. بيان المشكلة

على الرغم من التقدم السريع في النماذج التأسيسية وإصدار مجموعات بيانات التضمين الأرضي العالمية واسعة النطاق (مثل Major TOM)، إلا أن هناك عائقاً كبيراً يكمင်း في ترجمة هذه الأصول الأكاديمية إلى أدوات عملية وسهلة الوصول.

الفجوة: يواجه الباحثون والممارسون احتكاكاً عالياً في استخدام هذه الموارد؛ حيث يُطلب منهم غالباً تحميل أرشيفات بيانات ضخمة، وتشغيل خطوط معالجة التضمين يدوياً، وتنفيذ خوارزميات البحث الشعاعي (vector search)، وبناء أدوات تصور مخصصة.
النتيجة: تحد هذا التعقيد من الاستخدام العملي للنماذج المتطورة (SOTA) ليقتصر على الفرق الخبيرة، مما يعيق تبنيها على نطاق أوسع في مجتمع علوم الأرض ويحول دون الانتقال من النماذج البحثية الساكنة إلى سير عمل ديناميكي.

2. المنهجية

قدم المؤلفون EarthEmbeddingExplorer، وهو تطبيق ويب تفاعلي قائم على السحابة، صُمم لتشغيل تضمينات الصور الساتلية المحسوبة مسبقاً لأغراض الاسترجاع عبر الوسائط والتحليل النوعي.

أ. المكونات الأساسية

نماذج التضمين: يدمج النظام أربعة نماذج تأسيسية متكاملة، يدعم كل منها أنماط استعلام مختلفة:
- FarSLIP و SigLIP: نماذج محاذاة اللغة والصورة التي تتيح الاسترجاع من النص إلى الصورة.
- DINOv2: نموذج سمات بصرية ذاتي الإشراف يتيح الاسترجاع من الصورة إلى الصورة.
- SatCLIP: نموذج محاذاة الموقع والصورة يتيح الاسترجاع من الموقع إلى الصورة.
- ملاحظة: تدعم جميع النماذج استعلامات الصور، مما يسمح للمستخدمين بمقارنة المحاذاة الدلالية (المشرفة نصياً) مقابل التشابه البصري (ذاتي الإشراف).
البيانات والمعالجة المسبقة:
- المصدر: MajorTOM-Core-S2L2A (صور Sentinel-2).
- أخذ العينات: يقوم النظام بأخذ عينات فرعية منتظمة بنسبة 1/9 من شبكة Major TOM العالمية (خلايا تقريبية بمساحة 10×10 كم) للحفاظ على التنوع مع ضمان أداء خفيف.
- المعالجة: يتم قص الرقع المركزية بمقاس 384×384 بكسل، مما ينتج عنه 248,719 رقعة فريدة تمثل حوالي 1.4% من سطح الأرض.
- التخزين: تُخزن التضمينات كشرائح GeoParquet محسوبة مسبقاً، وهو تنسيق سحابي أصيل يتيح عمليات بحث سريعة وتحميلات جزئية فعالة.
بنية النظام:
يتبع التطبيق مساراً قائماً على السحابة (مستضاف على ModelScope Studio):

الواجهة الأمامية: مبنية باستخدام Gradio، وتتميز بواجهة منقسمة:
- اللوحة اليسرى: تهيئة المدخلات (نص، صورة، أو إحداثيات)، اختيار النموذج، المرشحات الزمنية/المكانية، وعتبات التشابه.
- اللوحة اليمنى: تصور خرائط التشابه العالمية وأعلى $k$ من رقع الصور المسترجعة.
الواجهة الخلفية:
- يتم تضمين الاستعلامات باستخدام النموذج المختار.
- يتم إجراء بحث التشابه الشعاعي مقابل تضمينات GeoParquet المحسوبة مسبقاً.
- يتم ترشيح النتائج، وتوزينها، وتصورها كخرائط حرارية للتشابه وقوائم صور مرتبة.
النشر: يعمل على Model_Scope مع وقت تشغيل GPU مجاني، مما يلغي الحاجة إلى إعداد أجهزة محلية.

3. المساهمات الرئيسية

ديمقراطية الوصول: أول تطبيق ويب تفاعلي يوفر وصولاً فورياً، بدون إعداد مسبق، لتضمينات الأرض العالمية المحسوبة مسبقاً لأربعة نماذج تأسيسية مختلفة.
واجهة موحدة عبر الوسائط: منصة واحدة تدعم استعلامات النص، والصورة، والموقع الجغرافي، مما يسمح بالمقارنة المباشرة لكيفية تفسير كل نموذج (دلالي مقابل بصري مقابل مكاني) لنفس الاستعلام.
سير عمل قابل للتكرار: يوفر نشراً معيارياً قائماً على السحابة مع تضمينات جاهزة للاستخدام لأربعة نماذج ممثلة، مما يسهل التقييم النوعي السريع دون بنية تحتية محلية.
إطار دراسة الحالة: يوضح سير عمل عملياً لتوليف النتائج عبر مقارنة "بؤر التشابه الساخنة" عبر النماذج والمطالبات المختلفة.

4. النتائج ودراسة الحالة

تتحقق الورقة من صحة النظام من خلال دراسة حالة استرجاع الغابات المطيرة باستخدام المطالبة "صورة ساتلية لغابة استوائية مطيرة" واستعلام إحداثيات محدد بالقرب من نهر ريو بوروس.

المحاذاة الدلالية مقابل البصرية:
- استعلامات النص (FarSLIP): نجحت في تركيز المطابقات في المناطق الاستوائية الرطبة، مما يعكس محاذاة دلالية قوية مع مفهوم "الغابة المطيرة".
- استعلامات الموقع (SatCLIP): أنتجت مسنداً (prior) قوياً متسقاً مع الموقع، مما حصر المطابقات ذات الدرجات العالية في الحزام الاستوائي (الأمازون، الكونغو، جنوب شرق آسيا).
- استعلامات الصور (DINOv2): كانت النتائج أكثر تشتتاً جغرافياً؛ حيث أعطى النموذج الأولوية للسمات البصرية الدقيقة (مثل الأنهار الواسعة) بدلاً من المناطق المناخية، مسترجعاً رقعاً غنية بالأنهار من قارات مختلفة.
تحديد قيود النماذج:
- الانجراف الدلالي: حتى مع المطالبات المحددة، استرجع FarSLIP أحياناً رقعاً خارج المناطق المناخية المتوقعة، مما يشير إلى وجود مسندات جغرافية محدودة في فضاء التضمين.
- الآثار البصرية: أنتج الاسترجاع القائم على الصور أحياناً مطابقات غير منطقية (مثل رقع المحيط) بسبب تشابه الأنماط البصرية (مثل المياه الداكنة مقابل النباتات الداكنة).
فائدة التصور: نجح النظام في تسليط الضوء على هذه التباينات، مما سمح للمستخدمين بفحص أفضل 5 نتائج بصرياً وفهم انحيازات النماذج (مثل تركيز DINOv2 على مورفولوجيا الأنهار مقابل تركيز FarSLIP على كثافة الغطاء النباتي).

5. الأهمية

جسر الفجوة: نجح EarthEmbeddingExplorer في سد الفجوة بين النشر الأكاديمي (التضمينات الساكنة) والتطبيق العملي (سير العمل الديناميكي)، مما يمكن الباحثين من الانتقال من أرشيفات البيانات إلى التحليل الفعلي فوراً.
النظام البيئي للمجتمع: من خلال تعزيز نظام بيئي مدفوع من المجتمع، تشجع المنصة المساهمة في توسيعات التضمين والنماذج الجديدة تحت معيار Major TOM، مما يعزز المقارنة وإعادة الاستخدام المتسقة.
خارطة الطريق المستقبلية: يخطط المؤلفون لتوسيع التغطية المكانية/الزمانية، وتسريع الاسترجاع عبر قواعد بيانات شعاعية مخصصة والكمية (quantization)، ودعم مساهمات المجتمع، مما يسرع البحث في علوم الأرض وتطوير النماذج.

التوفر: التطبيق متاح للجمهور على الرابط: https://modelscope.ai/studios/Major-TOM/EarthEmbeddingExplorer.