💻 computer science

Beyond GSD-as-Token: Continuous Scale Conditioning for Remote Sensing VLMs

تقدم هذه الورقة ScaleEarth، وهو إطار عمل للضبط الدقيق كفء المعلمات لنماذج الرؤية واللغة للاستشعار عن بعد، والذي يعامل مسافة العينة الأرضية (GSD) كمتغير شرطي مستمر لتوجيه الحوسبة ديناميكيًا عبر CS-HLoRA، مع التنبؤ في الوقت ذاته بمسافة العينة الأرضية من الميزات البصرية والاستفادة من مجموعة بيانات جديدة تم إنشاؤها لتكون واعية بالمقياس لتحقيق أداء رائد عبر مهام نظام الأرض المتنوعة.

المؤلفون الأصليون: Song Zhang, Yanlong Chen, Yilin Li, Yining Chen, Zili Yi, Xiaowei Zhang, Yawei Li

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Song Zhang, Yanlong Chen, Yilin Li, Yining Chen, Zili Yi, Xiaowei Zhang, Yawei Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Beyond GSD-as-Token: Continuous Scale Conditioning for Remote Sensing VLMs" (التي تقدم نظام ScaleEarth)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبيرة: ارتباك "الزوم" (التكبير)

تخيل أنك تنظر إلى مدينة من ارتفاعين مختلفين:

من طائرة بدون طيار (درون) تحلق على ارتفاع 10 أقدام: يمكنك رؤية السيارات الفردية، ولون السقف، وشخص يمشي مع كلبه.
من قمر صناعي على ارتفاع 10 أميال: لا يمكنك رؤية السيارات أو الأشخاص. أنت ترى فقط بقعة خضراء (منتزه) أو شبكة رمادية (حي سكني).

في عالم الاستشعار عن بُعد (التقاط صور للأرض من الأعلى)، يُسمى المسافة من الأرض بـ GSD (مسافة التفريق الأرضي). تكمن المشكلة في أن نماذج الذكاء الاصطناعي الحالية (نماذج الرؤية واللغة - VLMs) سيئة في التعامل مع هذا الأمر.

الطريقة القديمة 1 (النموذج الأعمى): ينظر الذكاء الاصطناعي إلى الصورة ويحاول تخمين ما هي، متجاهلاً الارتفاع تماماً. قد يحاول عدّ السيارات الفردية في صورة قمر صناعي ضبابية، وهو أمر مستحيد.
الطريقة القديمة 2 (الرمز النصي): يتم إخبار الذكاء الاصطناعي بأن "هذه الصورة ملتقطة من ارتفاع 10 أميال"، لكنه يعامل هذه الجملة كأي كلمة أخرى في قصة. إنه لا يغير فعلياً طريقة تفكيره أو معالجته للصورة. الأمر يشبه إخبار طباخ بأن "هذا الطبق حار"، لكن الطباخ لا يزال يتذوقه وكأنه طبق غير حار.

الحل: ScaleEarth

بنى المؤلفون نظاماً جديداً يسمى ScaleEarth. بدلاً من مجرد قراءة الارتفاع ككلمة، جعلوا الارتفاع بمثابة مقبض فيزيائي يغير دماغ الذكاء الاصطناعي فعلياً أثناء تفكيره.

تخيل دماغ الذكاء الاصطناعي كأنه سكين سويسري يحتوي على أدوات مختلفة:

أدوات صغيرة: لرؤية التفاصيل الدقيقة (السيارات، الأشخاص، بلاط الأسطح).
أدوات متوسطة: لرؤية الهياكل (الطرق، المباني، المجمعات السكنية).
أدوات كبيرة: لرؤية الصورة الكبيرة (الغابات، المدن، السواحل).

يمتلك ScaleEarth آلية خاصة تختار الأدوات المناسبة تلقائياً بناءً على مدى ارتفاع الكاميرا.

إذا كانت الكاميرا قريبة (GSD منخفض)، فإنه يفتح "الأدوات الصغيرة" ويغلق "الأدوات الكبيرة".
إذا كانت الكاميرا بعيدة (GSD مرتفع)، فإنه يغلق "الأدوات الصغيرة" (لأنها لن ترى سوى الضجيج/التشويش) ويفتح "الأدوات الكبيرة".

يحدث هذا تلقائياً وبسلاسة، ليس عن طريق التبديل بين نماذج ذكاء اصطناعي مختلفة، بل عن طريق ضبط إعدادات نفس النموذج في الوقت الفعلي.

كيف بنوه (الأجزاء الثلاثة)

1. "المقبض الذكي" (CS-HLoRA)

هذا هو الاختراع الجوهر. ابتكر الباحثون "بوابة" داخل الذكاء الاصطناعي تتحكم في أي أجزاء من دماغه ستكون نشطة.

التشبيه: تخيل مفتاح تعتيم (Dimmer) لمصباح كهربائي. بدلاً من مجرد تشغيل الضوء أو إطفائه، يمكنك تحريك المفتاح للوصول إلى السطوع المناسب تماماً.
كيف يعمل: يأخذ الذكاء الاصطناعي المسافة الفيزيائية (GSD) كرقم. يستخدم معادلة رياضية ليقرر بالضبط مقدار "تشغيل" الأجزاء التي تركز على التفاصيل مقابل الأجزاء التي تركز على الصورة الكبيرة. هذا يسمح للذكاء الاصطناعي بالتكيف تماماً مع أي مستوى تكبير.

2. "العين التي تخمن" (SSE-U)

أحياناً، لا تأتي الصورة مع ملصق يوضح مدى ارتفاع الكاميرا.

التشبيه: تخيل أنك تسلمت صورة بدون وصف. تنظر إلى الأشجار والمباني وتقول: "بناءً على صغر حجم الأشجار، أظن أن هذه الصورة التقطت من ارتفاع 1000 قدم تقريباً. أنا متأكد، لكن قد أكون مخطئاً قليلاً".
كيف يعمل: يحتوي النظام على وحدة مساعدة صغيرة تنظر إلى الصورة وتُقدر الارتفاع ومدى ثقتها في هذا التقدير. إذا كانت الصورة واضحة جداً، فإنها تخمن بدقة. إذا كانت الصورة ضبابية أو غريبة، فإنها تقول: "لست متأكداً"، ويتحول النظام إلى إعداد وسطي آمن حتى لا يقوم بتخمين عشوائي خاطئ.

3. "دليل التدريب" (GeoScale-VQA)

لتعليم الذكاء الاصطناعي هذه المهارة الجديدة، أنشأ الباحثون كتاباً تعليمياً ضخماً جديداً يسمى GeoScale-VQA (يحتوي على 1.5 مليون سؤال وجواب).

التشبيه: بدلاً من عرض صورة سيارة للذكاء الاصطناعي وسؤاله "ما هذا؟"، عرضوا له نفس الصورة بمستويات تكبير مختلفة.
- عند المسافة القريبة: "ما لون السيارة؟" (الإجابة: حمراء).
- عند المسافة البعيدة: "ما نوع هذه المنطقة؟" (الإجابة: موقف سيارات).
الحلقة المفرغة (التغذية الراجعة): تأكدوا من أن الأسئلة المطروحة تتناسب مع مستوى التكبير. لن تسأل "ما لون السيارة؟" إذا كانت الصورة ضبابية جداً بحيث لا يمكن رؤية السيارة. هذا خلق حلقة مثالية حيث تعلم الذكاء الاصطناعي أن مستوى التكبير = أسئلة مختلفة = إجابات مختلفة.

النتائج

عندما اختبروا هذا النظام الجديد:

تفوق على جميع نماذج الذكاء الاصطناعي الأخرى الخاصة بالاستشعار عن بُعد في الاختبارات القياسية.
كان أفضل بكثير في الإجابة على الأسئلة التي تتطلب فهم "المقياس" (مثل عدّ السيارات مقابل عدّ الأحياء السكنية).
عمل بكفاءة حتى عندما كانت معلومات الارتفاع مفقودة، بفضل "العين التي تخمن".

الملخص

ScaleEarth يشبه إعطاء ذكاء اصطناğı للاستشعار عن بُعد نظارات ذكية.

النماذج القديمة ترتدي نفس النظارات لكل شيء، لذا فهي إما تضيق عينيها بشدة عند النظر إلى الصور الضبابية أو تفشل في رؤية الصورة الكبيرة في الصور التفصيلية.
ScaleEarth يضبط العدسات تلقائياً بناءً على مدى بعد الجسم. إنه يعرف متى يبحث عن التفاصيل الصغيرة ومتى يتراجع للخلف لينظر إلى المشهد العام، كل ذلك دون الحاجة إلى إنسان ليخبره بما يجب فعله.

ملخص تقني: ما وراء "المسافة الأرضية لعين العينة كرمز": التكييف المستمر للمقياس لنماذج الرؤية واللغة في الاستشعار عن بعد

1. بيان المشكلة

تواجه نماذج الرؤية واللغة للاستشရာ عن بعد (RS-VLMs) عدم توافق جوهري مع نظيراتها من الصور الطبيعية بسبب التباين الشديد في المسافة الأرضية لعين العينة (GSD). فبينما توجد الصور الطبيعية عادةً ضمن نطاق مقياس مستقر، تغطي صور الاستشعار عن بعد أكثر من رتبتين عشريتين، بدءاً من الصور الجوية ذات الدقة تحت المتر (حوالي 0.06 متر/بكسل) وصولاً إلى المنتجات الساتلية ذات الدقة في حدود عشرات الأمتار (~10 أمتار/بكسل أو أكثر).

تفشل نماذج (RS-VLMs) الحالية في معالجة هذا الواقع الفيزيائي بفعالية من خلال قصورين رئيسيين:

الضبط الدقيق غير المرتبط بالمقياس (Scale-Agnostic Fine-Tuning): تستخدم هذه النماذج معاملات ثابتة عبر جميع الدقات، مما يجبر النموذج على دمج الأنظمة البصرية المتميزة (مثل الأنسجة الدقيقة مقابل المناطق الضبابية) في تمثيل متوسط واحد، مما يؤدي إلى تدهور كل من التعرف على التفاصيل الدقيقة والاستدلال الإقليمي الخشن.
GSD كرمز (GSD-as-Token): تقوم النهج الحالية بحقن بيانات GSD الوصفية كرموز نصية منفصلة (مثل "دقة 0.4 م"). هذه الطريقة تحول القيمة القياسية إلى نص، مما لا يؤدي إلى أي تكيف على مستوى المعاملات، ويفشل تماماً عندما تكون البيانات الوصفية للمستشعر مفقودة أو غير موثوقة.

لا يعامل أي من النهجين الـ GSD كمتغير فيزيائي مستمر يجب أن يحكم مسار الحوسبة الداخلي للنموذج ديناميكياً.

2. المنهجية: ScaleEarth

يقترح المؤلفون إطار عمل ScaleEarth، وهو إطار ضبط دقيق فعال للمعاملات مبني على نموذج Qwen3-VL-8B كعمود فقري. الابتكار الجوهري هو التعامل مع GSD ليس كبيانات وصفية سلبية، بل كـ متغير تكييف مستمر يقود حوسبة النموذج. يتكون الإطار من ثلاثة مكونات رئيسية:

أ. CS-HLoRA (Hyper-LoRA المستمر والمكيف بالمقياس)

يعد CS-HLOA آلية التكيف المركزية. يقوم بتعديل مسار تحديث (Low-Rank Adaptation - LoRA) القياسي عن طريق إدخال بوابة مدفوعة بـ GSD بين مصفوفات الإسقاط الهابط (down-projection) والإسقاط الصاعد (up-projection).

الآلية: يتم تعريف التحديث كالتالي: $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$ ، حيث $s = \log_{10}(\text{GSD})$ .
دالة البوابة: البوابة $h_k(s) = \sigma(\alpha(\tau_k - s))$ هي دالة سيجمويد (sigmoid) تختار برفق أبعاد رتبة LoRA بناءً على مقياس المدخلات.
الطبقات الفيزيائية الأولية: تم تهيئة 64 بُعداً من الرتبة إلى ثلاث طبقات مدفوعة فيزيائياً بناءً على نظرية وحدة الخريطة الدنيا:
- رتب الأجسام (0–10): تنشط عند الدقة العالية (GSD < 1 م) للتفاصيل الدقيقة.
- رتب الهياكل (11–31): تنشط عند الدقة المتوسطة إلى المنخفضة (1–10 م) للعلاقات الهيكلية والتخطيطية.
- الرتب الدلالية (32–63): تنشط عبر كامل نطاق المقياس للدلالات على مستوى المناظر الطبيعية.
التوجيه المستمر: مع تغير GSD، تتحرك أبعاد LoRA النشطة بسلاسة، مستبدلة السياسة المتوسطة للضبط الدقيق غير المرتبط بالمقياس بمسار تكيف يعتمد على المقياس دون تعديل العمود الفقري المدرب مسبقاً.

ب. SSE-U (تقدير المقياس متباين التباين)

لضمان عمل الإطار دون الاعتماد على البيانات الوصفية للمستشعر عند النشر، يتضمن ScaleEarth رأساً فرعياً خفيف الوزن، SSE-U.

الوظيفة: يتنبأ بـ GSD ( $\hat{\mu}$ ) وعدم اليقين ( $\hat{\sigma}^2$ ) مباشرة من الميزات البصرية (ميزات ViT المجمعة).
التدريب: يتم تدريبه عبر احتمالية سالبة لوغاريتمية غاوسية (Gaussian NLL) على عينات تحتوي على تسميات GSD دقيقة.
الاستدلال: إذا كانت البيانات الوصفية مفقودة، يستخدم النموذج GSD المتوقع إذا كان عدم اليقين منخفضاً؛ وإلا، فإنه يعود إلى مقياس مرجعي محايد. يسمح هذا بفك تشفير مكيف بالمقياس ومدرك لعدم اليقين.

ج. مجموعة بيانات GeoScale-VQA

لتوفير الإشراف المطابق، أنشأ المؤلفون GeoScale-VQA، وهي مجموعة بيانات (RS-VQA) مكونة من 1.5 مليون عينة متعددة الطبقات للمقياس.

البناء: تجمع بين مجموعات البيانات الموجودة (RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD) مع عينات تم إنشاؤها حديثاً.
توليد واعي بالمقياس: يتم إنشاء أزواج الأسئلة والأجوبة مشروطة بطبقة GSD للصورة (عالية: <0.2م، متوسطة: 0.2–1.0م، منخفضة: >1.0م). تركز مطالبات الطبقة العالية على تفاصيل الأجسام، والطبقة المتوسطة على التخطيط المكاني، والطبقة المنخفضة على الدلالات العامة للمناظر الطبيعية.
ضبط الجودة: تضمن عملية تصفية من مرحلتين (التحقق من التركيب النحوي يليه فحص جودة تحت إشراف Claude) الاتساق الواقعي والمواءمة مع المقياس.

د. مسار التدريب

يستخدم ScaleEarth استراتيجية تدريب من مرحلتين:

المرحلة 1 (RS-Domain SFT): ضبط دقيق كامل المعلمات (Full-parameter SFT) على RS-GPT4V لسد الفجوة بين توزيع الصور الطبيعية وصور الاستشعار عن بعد.
المرحلة 2 (التكيف المشروط بالمقياس): يتم تجميد العمود الفقري (باستخدام التكميم 4-bit). يتم تدريب محولات CS-HLoRA ورأس SSE-U معاً على GeoScale-VQA. يجمع الهدف بين خسارة VLM وخسارة تقدير GSD ( $\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nall}$ ).

3. المساهمات الرئيسية

CS-HLoRA: طريقة ضبط دقيق مبتكرة تقوم بتعديل فضاء الرتبة المنخفضة لـ LoRA من خلال بوابة مدفوعة بـ GSD مع تهيئة طبقات قائمة على أسس فيزيائية. تتيح للنموذج الموحد تكييف الحوسبة مع المقياس الفيزيائي دون تعديل معماري أو الحاجة لمهايئات منفصلة لكل دقة.
SSE-U: رأس لتقدير المقياس متباين التباين يتنبأ بـ GSD وعدم اليقين من الميزات البصرية وحدها، مما يقلل الاعتماد على البيانات الوصفية ويدعم فك التشفير المدرك لعدم اليقين.
GeoScale-VQA: مجموعة بيانات (RS-VQA) واعية بالمقياس مكونة من 1.5 مليون عينة، والتي تشكل حلقة مغلقة بين الطريقة والبيانات، حيث يتم توجيه الإشراف والتكيف الكفء للمعاملات بواسطة نفس المتغير الفيزيائي (Grass GSD).

4. النتائج التجريبية

تم تقييم النموذج على معيارين شاملين: XLRS-Bench (الإدراك والاستدلال فائق الدقة) و OmniEarth-Bench (إدراك نظام الأرض عبر ستة مجالات).

XLRS-Bench: حقق ScaleEarth دقة متوسطة جديدة (SOTA) بنسبة 57.4%، متفوقاً على أقوى خط أساس متخصص (GeoEyes, 54.2%) بنسبة +3.2%، وعلى أفضل نموذج عام مفتوح المصدر (Qwen3-VL-235B-A22B, 51.1%) بنسبة +6.3%، رغم استخدامه لعمود فقري بقدرة 8B فقط. لوحظت مكاسب كبيرة في المهام الحساسة للمقياس مثل تصنيف استخدام الأراضي الإقليمي (78.6%) وحالة حركة الأجسام (66.1%).
OmniEarth-Bench: حقق ScaleEarth دقة متوسطة قدرها 40.71% في مهام الاختيار من متعدد، متجاوزاً أقوى خط أساس مفتوح المصدر (InternVL3-72B, 33.26%) بنسبة +7.45 نقطة مئوية، وأقوى خط أساس مغلق المصدر (Claude-3.7-Sonnet, 29.07%) بنسبة +11.64 نقطة مئوية.
دراسات الاستئصال (Ablation Studies): أدى إزالة CS-HLoRA إلى خفض الدقة بمقدار 4.2%، بينما تسبب إزالة الإشراف الواعي بالمقياس في انخفاض قدره 3.8%. كما أدى تعشية التهيئة الطبقية الفيزيائية إلى خفض الأداء بنسبة 3.5%، مما يؤكد فائدة الأولوية الكارتوغرافية.
اختبارات تزييف GSD: عند تغيير GSD المدخل بشكل منهجي، أظهر ScaleEarth منحنى دقة سلس على شكل جرس يصل ذروته عند GSD الحقيقي. في المقابل، أظهر التوجيه القائم على السلال (Buckets) مثل (MoE-LoRA) انقطاعات حادة عند حدود السلال، بينما أظهر (Standard LoRA) أو حقن الرموز النصية استجابات مسطحة، مما يثبت أن المكاسب ناتجة عن التكييف الفيزيائي المستمر وليس مجرد إضافة سعة.

5. الأهمية والادعاءات

تجادل الورقة بأن الحلقة المغلقة التي أنشأها ScaleEarth بين البنية، والإشراف، والبيانات تشير إلى مبدأ تصميم أوسع لـ RS-VLMs: يجب أن تشكل المتغيرات الفيزيائية التي تميز جوهرياً صور الاستشعار عن بعد عن الصور الطبيعية النموذج بشكل مباشر ومنظم، بدلاً من التخلص منها أو إدراجها مجرد مطالبات نصية مساعدة.

يدعي المؤلفون أن ScaleEarth يثبت أن:

التعامل مع GSD كمتغير تكييف مستمر يسمح لنموذج واحد بتوجيه الحوسبة ديناميكياً عبر طبقات الأجسام، والهياكل، والدلالات.
هذا النهج يتفوق على النماذج غير المرتبطة بالمقياس وتلك التي تعامل المقياس كرمز نصي منفصل أو إشارة توجيه مقسمة إلى سلال.
يظل الإطار قوياً في سيناريوهات النشر حيث تكون البيانات الوصفية للمستشتر مفقودة، بفضل التراجع المدرك لعدم اليقين الذي يوفره SSE-U.

يضع هذا العمل نفسه كخطوة نحو نماذج استشعار عن بعد أكثر موثوقية ووعياً بالدقة، خاصة للمهام التي تتطلب إدراكاً دقيقاً في سيناريوهات فائقة الدقة أو استدلالاً عبر المقاييس في مهام نظام الأرض المعقدة.