🤖 machine learning

TESSERA v2: Scaling Pixel-wise Earth Foundation Models

تقدم هذه الورقة أكبر دراسة تحكم في التوسع لنماذج التأسيس المعتمدة على بكسلات صور رصد الأرض، كاشفةً أن فقد التدريب المسبق يعد مؤشراً ضعيفاً للأداء في المهام اللاحقة، ومثبتةً قاعدة لتخصيص الحوسبة تتيح إنشاء نماذج طالب مدمجة وعالية الأداء تتفوق على المنتجات الحالية مع دعم تضمينات "ماتريوشكا" المرنة ومنخفضة التكلفة.

المؤلفون الأصليون: Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madha

نُشر 2026-08-07

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madhavapeddy, Srinivasan Keshav

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم كوكب الأرض من خلال النظر إلى ألبوم صور عملاق وفوضوي. كل صفحة هي صورة لمكان محدد على الكوكب، لكن الصور التُقطت في أوقات مختلفة، وبكاميرات مختلفة، ونصفها مغطى بالغيوم أو الضباب. هذا هو الواقع اليومي للعلماء الذين يدرسون كوكبنا باستخدام الأقمار الصناعية. إنهم بحاجة إلى تحويل هذه اللقطات الفوضوية وغير المكتملة إلى خريطة واضحة وقابلة للاستخدام لما يفعله كوكب الأرض — سواء كان ذلك لتتبع نمو الغابات، أو عد المحاصيل، أو رصد التلوث. وللقيام بذلك، يستخدمون شيئًا يسمى "النماذج التأسيسية" (foundation models). فكر في هذه النماذج كطلاب أذكياء للغاية قرأوا كل صورة قمر صناعي التُقطت على الإطلاق. وبدلاً من إعطائك الصور الخام الثقيلة، يقوم هؤلاء الطلاب بتلخيص المعلومات في "بطاقة هوية" صغيرة وفعالة (embedding) لكل بقعة على الأرض. تخبرك بطاقة الهوية هذه بكل ما تحتاج لمعرفته عن ذلك الموقع دون الحاجة إلى حمل ألبوم الصور بأكمله. لكن السؤال الكبير الذي ظل قائمًا هو: كيف ندرب هؤلاء الطلاب ليكونوا الأفضل دون إهدار ثروة من الكهرباء والوقت؟

هذه الورقة البحثية، التي تحمل عنوان TESSERA V2، هي تجربة ضخمة للإجابة على هذا السؤال تحديدًا. فقد أجرى الباحثون 395 جلسة تدريب مختلفة لمعرفة الوصفة المثالية لبناء نماذج الذكاء الاصطناعي المخصصة لمراقبة الأرض. وقد اكتشفوا بعض الأشياء المفاجئة. أولاً، وجدوا أن الطريقة المعتادة لتقييم تقدم الطالب — وهي النظر إلى "درجة الواجب المنزلي" (pretraining loss) — هي في الواقع مؤشر سيئ للغاية لمدى نجاحه في العالم الحقيقي. الأمر يشبه طالبًا يحصل على درجة "امتياز" في اختبار تجريبي ولكنه يفشل في الامتحان النهائي؛ وتظهر الورقة أن الاعتماد على هذه الدرجة يهدر كمية هائلة من القدرة الحوسبية. بدلاً من ذلك، وجدوا أن الاستراتيجية الرابحة هي جعل "دماغ" النموذج (المُشفّر/encoder) أكبر بكثير وتغذيته بمزيد من البيانات، مع إبقاء الجزء الذي ينظم الإجابات (المُسقط/projector) صغيرًا وثابتًا.

ولكن هناك عقبة: الدماغ العملاق مكلف في التشغيل. إذا بنيت معلمًا فائق الذكاء، فستكون تكلفة استخدامه يوميًا باهظة. لذا، استخدم الفريق حيلة ذكية تسمى "التقطير" (distillation). قاموا بتدريب نموذج "معلم" واحد عملاق يتكون من 2 مليار بارامتر باستخدام قواعدهم الجديدة، ثم علموا أربعة نماذج "طلاب" أصغر حجمًا لتقليد طريقة تفكيره. هؤلاء الطلاب صغار جدًا مقارنة بالمعلم، لكنهم لا يزالون أذكياء للغاية. والأروع من ذلك، أن هؤلاء الطلاب يمكنهم تقديم إجابات بأحجام مختلفة، مثل دمية "ماتريوشكا" الروسية (الدمية المتداخلة). يمكنك طلب إجابة صغيرة مكونة من 16 بُعدًا تشغل مساحة تخزين ضئيلة ولكنها تحتفظ بـ 92% من الدقة، أو إجابة كاملة مكونة من 128 بُعدًا إذا كنت بحاجة إلى كل تفصيل أخير. والنتيجة هي عائلة من النماذج أقل تكلفة في التخزين، وأسرع في التشغيل، وأكثر دقة في المهام الواقعية من أي نظام آخر مفتوح أو خاص تم اختباره، مما يثبت أن أفضل طريقة للتوسع أحيانًا هي تدريب عملاق ثم تقليصه.

ملخص تقني: TESSERA V2 – توسيع نطاق النماذج التأسيسية للأرض القائمة على البكسل

بيان المشكلة

تواجه تطبيقات رصد الأرض (EO) في المهام اللاحقة اختناقات كبيرة: إعداد البيانات يتطلب جهداً مكثفاً (المعايرة الإشعاعية، تصحيح السحب، وتنسيق المستشعرات المختلفة)، والبيانات المرجعية (ground-truth) نادرة ومحددة جغرافياً، كما أن الصور الخام تحتوي على فترات أخذ عينات غير منتظمة وعوائق سحابية. وبينما تهدف منتجات "التمثيلات كبيانات" (embeddings-as-data) إلى توفير تمثيلات متجهية جاهزة للتحليل لسطح الأرض، تعاني الأنظمة الحالية من مواصفات جامدة؛ فهي غالباً ما تقدم بُعد تمثيل (embedding dimension) وحجماً واحداً ثابتاً للنموذج، مما يجبر جميع المستخدمين على تحمل نفس تكاليف التخزين والإدخال/الإخراج بغضًا عن ميزانياتهم أو متطلبات مهامهم المحددة. علاوة على ذلك، فإن قوانين التوسع التي تحكم كيفية تخصيص الحوسبة المسبقة (بين حجم المشفر، وحجم المسقط، وحجم البيانات) في مجال رصد الأرض لا تزال غير مفهومة جيداً، حيث تعتمد العديد من الدراسات على خسارة التدريب المسبق (pretraining loss) كمؤشر، وهو مؤشر قد يكون غير موثوق بسبب الخصائص الفريدة لبيانات الأقمار الصناعية (مثل هيمنة السحب والالتقاط المداري).

المنهجية

1. دراسة التوسع المدفوعة بالمهام اللاحقة

أجرى المؤلفون أكبر دراسة محكومة للتوسع في مجال رصد الأرض حتى الآن، تضمنت 395 عملية تدريب ضمن عائلة Barlow Twins ثابتة قائمة على البكسل.

البنية المعمارية: تم اختيار عائلة معمارية ثابتة من مشفرات Sentinel-1/2 القائمة على البكسل عبر مسح أولي.
المتغيرات: شملت الدراسة ثلاثة أبعاد: حجم المشفر ( $N_{enc}$ ، 16 عرضاً من 7 ملايين إلى 278 مليون معلمة)، وحجم المسقط ( $N_{proj}$ ، 4 عروض)، وحجم بيانات التدريب ( $D$ ، من 0.03 مليون إلى 3,202 مليون بكسل-ديمومة).
التقييم: تم تقييم كل نموذج على 15 مهمة متنوعة (تصنيف، كشف التغيير، انحدار) من مجموعة ALPHAEARTH.
مقياس الحوسبة: تم حساب إجمالي عمليات الحوسبة (FLOPs) للتدريب باستخدام معادلة محددة تأخذ في الاعتبار ثلاث تمريرات للمشفر في كل خطوة (تمريرتان لصور معززة + تمريرة واحدة لـ mix-up) وتكلفة ارتباط Barlow Twins المتبادل.

2. النتائج الرئيسية حول قوانين التوسع

أسفرت الدراسة عن نتيجتين تجريبيتين حاسمتين تتعارضان مع افتراضات التوسع القياسية في اللغات والرؤية الحاسوبية:

النتيجة الأولى (الخسارة مؤشر ضعيف): بالكاد تتنبأ خسارة التدريب المسبق المتقاربة بالأداء في المهام اللاحقة (معامل ارتباط بيرسون $|r| < 0.2$ ). إن اختيار النماذج بناءً على الخسارة وحدها يتطلب حوسبة تزيد بنحو 2 إلى 5 أضعاف لتحقيق نفس درجة الأداء في المهام اللاحقة مقارنة بالاختيار بناءً على أداء المهمة الفعلي.
النتيجة الثانية (التخصيص الأمثل): مع نمو ميزانية التدريب، تكون الاستراتيجية المثلى هي زيادة سعة المشفر وبيانات التدريب معاً، مع إبقاء حجم المسقط ثابتاً. يعمل المسقط كـ "سقالة تدريب مؤقتة" بدلاً من كونه محوراً للتوسع. قوانين القوة الملائمة هي $N_{enc} \propto C^{0.36}$ و $D \propto C^{0.63}$ ، بينما $N_{proj} \propto C^{0.011}$ (وهي قيمة لا يمكن تمييزها إحصائياً عن الصفر).

3. تقطير المعلم-الطالب وتمثيلات MATRYOSHKA

لسد الفجوة بين النماذج الكبيرة عالية الأداء والمنتجات القابلة للنشر، استخدم المؤلفون استراتيجية التقطير:

تدريب المعلم: تم تدريب مشفر ضخم بسعة 2 مليار معلمة (2B) باستخدام قاعدة التوسع المستمدة (مشفر ضخم + بيانات متوافقة، مسقط ثابت) على حوالي 14 مليار بكسل-ديمومة.
التقطير: استُخدم المعلم (2B) الثابت لتقطير عائلة من الطلاب المدمجين (أحجام N, S, M, L، تتراوح من 1 مليون إلى 44 مليون معلمة).
تمثيل MATRYOSHKA: على عكس التعلم الخاضع للإشراف الذاتي، الذي يحدد الفضاءات الجزئية حتى حد الدوران فقط، يوفر التقطير ضد معلم ثابت الإشارة اللازمة لترتيب إحداثيات التمثيل. وهذا يسمح للطلاب بإنتاج تمثيلات متداخلة حيث تكون مقدمات الأبعاد $d \in \{16, 32, 64, 128\}$ تمثيلات صالحة. تحتفظ المقدمة ذات الـ 16 بُعداً بنحو 92% من أداء التمثيل الكامل ذي الـ 128 بُعداً بتكلفة تخزين تبلغ 1/8 فقط.
تحسين الاستدلال: يستخدم النظام أخذ عينات الحاويات التكيفي (adaptive bucket sampling)، حيث يتم حزم تسلسلات الملاحظات متغيرة الطول في أصغر حاوية ثابتة الطول تناسبها، مع ملء المتبقي عبر إعادة أخذ العينات من نقطة المنتصف. هذا يتجنب التخلص من الملاحظات أو تكرار البيانات بشكل تعسفي.

النتائج الرئيسية

الأداء: يتفوق نموذج TESSERA v2-2B-L المقطر (44 مليون معلمة) على كل منتجات التمثيل المفتوحة والمملوكة التي تم اختبارها، بما في ذلك ALPHAEARTH (480 مليون معلمة) و OlmoEarth-L (308 مليون معلمة).
- على مجموعة بيانات مكونة من 14 مجموعة بيانات مستقلة، حقق TESSERA v2 درجة مركبة قدرها 0.647، مقارنة بـ 0.614 لأفضل الأنظمة التالية.
- على مجموعة مهام ALPHAEARTH المكونة من 15 مهمة، سجل 0.593، متفوقاً على ALPHAEARTH (0.560) و TESSERA v1 (0.541).
الكفاءة: يحقق نموذج الطالب (44M) نتائج رائدة في مجالها بتكلفة استدلال أقل بـ رتبتين من حيث المقدار من المعلم (2B) وأقل بكثير من النماذج المملوكة الأكبر حجماً.
تكيف التخزين: تسمح مقدمات MATRYOSHKA للمستخدمين بالمقايضة بين التخزين والأداء. تحتفظ المقدمة ذات الـ 16 بُعداً بنحو 92% من الدرجة الكاملة عند 1/8 من التخزين، بينما تحتفظ المقدمة ذات الـ 32 بُعداً بنحو 97%.
تقليل العيوب: يقلل TESSERA v2 بشكل كبير من التخطيط الطولي (along-track striping) وانقطاعات فواصل البلاطات (tile-seam discontinuities) التي كانت مرئية في الإصدار الأول (v1)، مع الحفاظ على الاستقرار السنوي.

الأهمية والادعاءات

يدعي البحث تقديم وصفة ملموسة ومبنية تجريبياً لتوسيع نطاق النماذج التأسيسية القائمة على البكسل لرصد الأرض، مما ينقل النموذج من "التدريب على نطاق واسع والأمل في ارتباط الخسارة" إلى "التدريب على نطاق واسع، والاختيار بناءً على أداء المهام اللاحقة، ثم التقطير".

إعادة تعريف التوسع لرصد الأرض: يؤكد المؤلفون أن قوانين التوسع لرصد الأرض تختلف جوهرياً عن اللغات والرؤية؛ فالاعتماد على خسارة التدريب المسبق غير فعال ومضلل. وتعتبر قاعدة التخصيص المقترحة (زيادة المشفر والبيانات، وتثبيت المسقط) هي المسار الأمثل لرصد الأرض.
التقطير كضرورة للتمثيلات المتداخلة: يدعي البحث أن التمثيلات المتداخلة (MATRYOSHKA) لا يمكن تعلمها بفعالية عبر خسائر المقدمة في التعلم الخاضع للإشراف الذاتي بسبب قضايا تناظر الإحداثيات. بدلاً من ذلك، يلزم التقطير ضد معلم ثابت لتوفير إشارة الترتيب التي تجعل المقدمات قابلة للاستخدام عند أبعاد مختلفة.
قابلية المنتج للعمل: يُقدم TESSERA v2 ليس فقط كنموذج، بل كعائلة منتجات قابلة للنشر توفر القدرة على التكيف. فهي تسمح للمستخدمين باختيار أحجام النماذج وأبعاد التمثيل التي تناسب قيود ميزانياتهم المحددة دون الحاجة لإعادة التدريب، مما يعالج فجوة رئيسية في منتجات البيانات الحالية "الجاهزة للتحليل".

يخطط المؤلفون لإصدار تمثيلات سنوية عالمية بدقة 10 أمتار تغطي الفترة من 2017 إلى 2025 كإصدار ثاني لمنتج TESSERA، مع إتاحة الكود والنماذج (checkpoints) للمجتمع العلمي.