💻 computer science

GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction

يُعد GHOST إطار عمل خاليًا من التدريب ومعتمدًا على الهندسة لإعادة البناء ثلاثي الأبعاد بكفاءة من مقاطع الفيديو أحادية العدسة الطويلة، حيث يستخدم تسجيل الأهمية الهرمي، وحماية الرموز الخاصة، وتخصيص الميزانية على مستوى الطبقات لطرد الرموز الزائدة عبر الإنترنت، مما يقلل بشكل كبير من استخدام الذاكرة ويسرع الاستدلال دون المساس بجودة إعادة البناء.

المؤلفون الأصليون: Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لغرفة ما من خلال التجول فيها بكاميرا، مع التقاط صورة في كل خطوة تخطوها. للقيام بذلك، يحتاج "عقل الكمبيوتر" (الذكاء الاصطناعي) إلى تذكر كل صورة التقطها على الإطلاق لفهم كيفية اتصال الجدران والأثاث والزوايا ببعضها البعض.

المشكلة؟ إذا مشيت لفترة طويلة، سينفد من الكمبيوتر الذاكرة. الأمر يشبه محاولة حمل حقيبة ظهر تزداد ثقلاً مع كل خطوة حتى تنهار.

الطريقة القديمة: "أمين المكتبة النساي"
حاولت الأساليب السابقة حل هذه المشكلة عبر التصرف مثل أمين مكتبة يحتفظ فقط بأحدث الكتب أو الكتب التي تبدو الأكثر تشابهاً مع الكتاب الذي يقرؤه حالياً.

العيب: تشير الورقة البحثية إلى أن هذه استراتيجية سيئة للنماذج ثلاثية الأبعاد. فمجرد كون الصورة تبدو مشابهة للصورة الحالية لا يعني أنها مفيدة. قد تحتاج إلى صورة لجدار تم التقاطها قبل 10 دقائق لأن زاوية الكاميرا تغيرت قليلاً، حتى لو بدا الجدار هو نفسه. كانت الطرق القديمة تتخلص من هذه الصور "القيمة هندسياً" لأنها لم تكن تبدو "مثيرة" في تلك اللحظة تحديداً.

الطريقة الجديدة: GHOST ("المهندس المعماري الذكي")
يقدم المؤلفون نظام GHOST، وهو نظام جديد يعمل كمهندس معماري ذكي. بدلاً من مجرد النظر في مدى تشابه الصور، يسأل GHOST: "هل تساعدني هذه الصورة في فهم شكل الغرفة؟"

إليك كيف يعمل GHOST، باستخدام ثلاث حيل بسيطة:

1. بطاقة النقاط ذات المستويين (الصورة الكبيرة مقابل التفاصيل)

لا يكتفي GHOST بتقييم الصورة ككل فحسب؛ بل يقيمها بطريقتين:

المستوى 1: درجة زاوية الرؤية. هل تحركت الكاميرا إلى مكان جديد؟ هل الغرفة مليئة بالزوايا والحواف المثيرة للاهتمام الآن؟ إذا كانت الكاميرا تدور في دائرة في ممر فارغ، فهذا أمر ممل (درجة منخفضة). أما إذا تحركت الكاميرا إلى زاوية جديدة تظهر سلماً معقداً، فهذا كنز (درجة عالية).
المستوى 2: درجة الجزء (الرقعة). حتى في الصورة الرائعة، هناك أجزاء مملة (مثل جدار أبيض فارغ) وأجزاء مثيرة (مثل حافة طاولة). يحتفظ GHOST بالأجزاء "المثيرة" ويتخلص من أجزاء "الجدار الفارغ"، حتى لو كانت الصورة نفسها مهمة.

تشبيه: تخيل أنك تجهز حقيبة سفر لرحلة ما.

الطريقة القديمة: "سأحتفظ بآخر 5 قمصان ارتديتها". (ربما كانت جميعها قمصان بيضاء متطابقة).
GHOST: "سأحتفظ بالقميص الذي يناسب الطقس (زاوية الرؤية) وَبالجيوب المحددة التي تحمل جواز سفري (التفاصيل)، مع التخلص من الجيوب الفارغة".

2. بطاقة الـ VIP (حماية "الرموز الخاصة")

في عقل الذكاء الاصطناعي، توجد "رموز" (Tokens) خاصة (قطع صغيرة من البيانات) تعمل كإحداثيات الـ GPS ومخطط الغرفة. إذا فقدت هذه الرموز، سينهار النموذج ثلاثي الأبعاد بالكامل.

المشكلة: أحياناً، قد تبدو رموز الـ GPS هذه "مملة" مقارنة بصورة براقة للعبة ملونة، لذا قد يقوم النظام القديم بحذفها بالخطأ لتوفير المساحة.
حل GHOST: يمنح GHOST هذه الرموز الخاصة بطاقة VIP. بغض النظر عن مدى كونها تبدو "مملة"، لا يتم التخلص منها أبداً. إنها محمية بحيث لا يفقد الذكاء الاصطناعي أبداً إحساسه بالاتجاه أو الهيكل العام للمشهد.

3. الميزانية الذكية (إنفاق المال حيث يهم الأمر)

يمتلك الكمبيوتر مقداراً محدوداً من "أموال الذاكرة" لإنفاقها على كل طبقة من طبقات عقله.

الطريقة القديمة: "لنمنح كل طبقة من طبقات الدماغ نفس القدر تماماً من الذاكرة".
حل GHOST: يدرس GHOST طبقات الدماغ مسبقاً. ويجد أن بعض الطبقات هي "عمال مجتهدون" يقومون بتحويلات معقدة (تغيير البيانات كثيراً)، بينما البعض الآخر "كسول" ويكرر فقط ما أُعطي له.
- يمنح GHOST ذاكرة أكثر للطبقات المجتهدة حتى تتمكن من الاحتفاظ بجميع التفاصيل المهمة.
- ويمنح ذاكرة أقل للطبقات الكسولة لأنها لا تحتاج للكثير للقيام بمهمتها.

النتيجة

باستخدام هذه الحيل الثلاث، يمكن لـ GHOST معالجة سلاسل فيديو أطول بمرتين دون نفاد الذاكرة.

لقد خفض استخدام الذاكرة بنسبة تقارب 50%.
جعل الكمبيوتر أسرع بمقدار 1.75 مرة.
والأهم من ذلك، أن النماذج ثلاثية الأبعاد التي يبنيها هي أكثر دقة وتحتوي على أخطاء أقل من أفضل الطرق السابقة، حتى عندما يكون الفيديو طويلاً جداً.

باختصار، يمنع GHOST الذكاء الاصطناعي من إضاعة المساحة على البيانات المملة والمتكررة، ويركز ذاكرته المحدودة على أجزاء الفيديو التي تساعده فعلياً في فهم العالم ثلاثي الأبعاد.

ملخص تقني: GHOST (الاستبعاد الهرمي الهندسي للرموز عبر التدفق عبر الإنترنت)

بيان المشكلة

تواجه عملية إعادة البناء ثلاثية الأبعاد بالبث (Streaming 3D reconstruction) من تسلسلات الفيديو أحادية العدسة الطويلة عنق زجاجة حرج في الذاكرة. تحقق النماذج القائمة على المحولات (Transformers)، مثل VGGT، نتائج رائدة (SOTA) من خلال الانتباه المشترك لجميع إطارات الإدخال؛ ومع ذلك، فإن الانتباه المشترك يتوسع تربيعياً مع طول التسلسل، مما يجعل الأمر غير ممكن للفيديوهات الطويلة. تحاول أساليب البث مثل StreamVGGT وInfiniteVGGT التخفيف من ذلك عن طريق الحفاظ على ذاكرة تخزين مؤقت لمفاتيح القيم (KV cache) متنامية واستبعاد الرموز (tokens) عندما يتم تجاوز ميزانية محددة.

تعاني استراتيجيات الاستبعاد الحالية، لا سيما تلك التي تعتمد على قواعد تشابه المفاتيح (على سبيل المثال، التخلص من الرموز ذات المفاتيح الأقل تشابهاً مع الاستعلام الحالي)، من قصور جوهري: درجات الانتباه من إطار الاستعلام الحالي لا تعكس بصدق القيمة الهندسية طويلة المدى للرموز التاريخية. وكما هو موضح في الورقة البحثية، تظهر درجات تشابه المفاتيح ارتباطاً ضئيلاً جداً بتغيرات وضع الكاميرا ( $\rho = -0.07$ ) وارتباطاً متوسطاً فقط بتباين تدرج العمق ( $\rho = +0.31$ ). وبناءً على ذلك، تفشل هذه الأساليب في الحفاظ على الرموز المميزة هندسياً والمشابهة بصرياً للإطار الحالي، مما يؤدي إلى تدهور جودة إعادة البناء في التسلسلات الطويلة.

المنهجية

يقترح المؤلفون GHOST (الاستبعاد الهرمي الهندسي للرموز عبر التدفق عبر الإنترنت)، وهو إطار عمل خالٍ من التدريب مصمم لإدارة ذاكرة التخزين المؤقت لـ KV في إعادة البناء ثلاثي الأبعاد بالبث. يستفيد GHOST من مخرجات الهندسة ثلاثية الأبعاد الخاصة بالنموذج نفسه (العمق، خرائط النقاط، وأوضاع الكاميرا) لتحديد أهمية الرموز، بدلاً من الاعتماد فقط على أنماط الانتباه.

1. تسجيل الأهمية المزدوج الهرمي على مستويين

يقوم GHOST بتفكيك أهمية الرموز إلى مستويين يعزز كل منهما الآخر، ويتم تحديثهماما بشكل تدريجي عبر الإنترنت دون عمليات تمرير إضافية (forward passes):

أهمية مستوى الإطار ( $s_{frame}$ ): تحدد القيمة الهندسية لمنظور كامل. وهي تدمج ثلاثة إشارات:
- تغير وضع الكاميرا: يعاقب على التقارب الانتقالي والتشابه الدوراني لضمان الاحتفاظ بالإطارات ذات التحولات الكبيرة في منظور الرؤية.
- تباين تدرج العمق: يعطي الأولوية للإطارات ذات التفاصيل الهيكلية الغنية (الحواف، الحدود) على الأسطح المنتظمة.
- الحداثة الزمنية: يمنح وزناً أعلى للإطارات الأخيرة للحفاظ على التداخل السياقي، مع الاستمرار في الحفاظ على الإطارات الأقدم ذات المنظورات الفريدة.
أهمية مستوى الرمز ( $s_{token}$ ): تحدد الرقع (patches) المعلوماتية المحددة داخل الإطار. وهي تجمع بين:
- البروز البصري: يُقاس عبر مقدار التدرج المكاني لخرائط الميزات لترسيخ المراسلات الهندسية.
- ثقة العمق: اليقين المعرفي للنموذج فيما يتعلق بتقديرات العمق.
- ثقة النقاط: يقين النموذج فيما يتعلق بتقديرات خريطة النقاط ثلاثية الأبعاد.

الدرجة النهائية لكل رقعة $\phi(t, p)$ هي مجموع مرجح لدرجات مستوى الإطار ومستوى الرمز المعيرة.

2. آلية امتياز الرموز الخاصة

قد تصنف معايير الأهمية القياسية الرموز الخاصة (رموز الكاميرا $c_t$ ورموز السجل $\{r^i_t\}$ ) بدرجة أقل من رموز الرقع المعلوماتية بسبب افتقارها للبروز البصري. يقدم GHOST تعزيزاً حتمياً لهذه الرموز؛ فمن خلال إضافة إزاحة ثابتة ( $\Delta_{boost}$ ) وفض نزاع قائم على التصنيف، تضمن الآلية عدم استبعاد الرموز التي تشفر الهندسة العالمية للمشهد والبوادئ الهيكلية، مما يمنع فساد تقدير الوضع وتعميم المشهد.

3. تخصيص الميزانية لكل طبقة بناءً على تشابه جيب التمام

إدراكاً بأن طبقات المحول تختلف في "قوة التحويل" الخاصة بها، يتجنب GHOST توزيع الميزانية بشكل موحد.

التوصيف خارج الإنترنت (Offline Profiling): يقوم النظام بحساب متوسط تشابه جيب التمام ( $\bar{\rho}_\ell$ ) بين المدخلات والمخرجات لكل طبقة عبر تسلسلات نموذجية.
التخصيص: الطبقات ذات التشابه العالي (تحويلات قريبة من الهوية) تُخصص لها ميزانيات أصغر، بينما تُمنح الطبقات ذات التشابه المنخفض (التحويلات القوية) ميزانيات أكبر. هذا يركز ميزانية الرموز حيث تشتد الحاجة إليها للحفاظ على التمثيل.

المساهمات الرئيسية

التسجيل المدرك للهندسة: مخطط تسجيل مبتكر وخالٍ من التدريب يستخدم مخرجات النموذج ثلاثية الأبعاد (العمق، النقاط، الوضع) لتحديد الرموز ذات القيمة الهندسية، مما يعالج الانفصال بين درجات الانتباه والهيكل ثلاثي الأبعاد.
حماية الرموز الخاصة: آلية حتمية تضمن الاحتفاظ برموز الكاميرا والسجل، مما يحمي ترميزات الوضع والهيكل العالمي من الاستبعاد.
تخصيص ميزانية الطبقات التكيفي: استراتيجية توصيف خارج الإنترنت تخصص ميزانيات ذاكرة التخزين المؤقت لـ KV بناءً على قوة التحويل لكل طبقة، مما يحسن المقايضة بين استخدام الذايكرة ودقة إعادة البناء.
تقييم شامل: تجارب واسعة النطاق تثبت تفوق GHOST على النماذج المرجعية (SOTA) عبر عدة معايير وأطوال مدخلات مختلفة مع تقليل بصمة الذاكرة بشكل كبير.

النتائج التجريبية

قيم المؤلفون GHOST على أربعة معايير: Bonn، 7-Scenes، NRGBD، و Long3D، عبر أطوال مدخلات متنوعة (تصل إلى 9,545 إطاراً).

الأداء: يحقق GHOST باستمرار أفضل أداء عبر معظم المقاييس (الدقة، الاكتمال، اتساق الطبيعي، والخطأ النسبي للعمق) مقارنة بالنماذج المرجعية مثل VGGT، StreamVGGT، CUT3R، Point3R، TTT3R، وInfiniteVGGT.
- في 7-Scenes (300 إطار)، قلل GHOST متوسط خطأ الدقة بنسبة 42.5% مقارنة بـ InfiniteVGGT.
- في Long3D (حتى 9,545 إطاراً)، أظهر GHOST مكاسب كبيرة، حيث تتوسع تحسينات الدقة مع طول التسلسل (على سبيل المثال، تحسن بنسبة 33.5% في مشهد Library).
الكفاءة:
- تقليل الذاكرة: يقلص GHOST حجم ذاكرة التخ demikian لـ KV بنحو النصف (على سبيل المثال، 3.51 جيجابايت مقابل 6.94 جيجابايت عند ميزانية 600 ألف) مع الحفاظ على دقة تنافسية.
- سرعة الاستنتاج: توفر الطريقة سرعة استنتاج تصل إلى 1.75 ضعف مقارنة بالطرق الرائدة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة تعزيز الرموز الخاصة إلى تدهور الدقة واتساق الطبيعي، مما يؤكد الطبيعة الحرجة لحماية الرموز الهيكلية العالمية.
- تفوق تخصيص الميزونة الموجه بتشابه جيب التمام على التخصيص الموحد واستراتيجيات التوصيف الأخرى (معلومات فيشر، مقدار التدرج).
- أظهر النظام متانة تجاه الاضطرابات في أوزان الأهمية.

الأهمية

تدعي الورقة أن GHOST يعالج قصوراً جوهرياً في إعادة البناء ثلاثي الأبعاد بالبث الحالي: عدم قدرة القواعد المعتمدة على الانتباه على التمييز بين الرموز الزائدة تاريخياً والرموز ذات القيمة الهندسية. من خلال نقل معيار الاستبعاد من أنماط الانتباه إلى إشارات الهندسة ثلاثية الأبعاد، يوفر GHOST نهجاً أكثر انضباطاً لإدارة الرموز. يتيح إطار العمل إعادة بناء ثلاثية الأبعاد عالية الجودة لتسلسلات طويلة مع تقليل كبير في عبء الذاكرة وتحسين سرعة الاستنتاج، مما يجعله حلاً قابلاً للتطبيق لتطبيقات العالم الحقيقي التي تتطلب معالجة فيديو مستمرة وغير محدودة. ويؤكد المؤلفون أن هذا الاتجاه — استغلال مخرجات النموذج لضغط ذاكرة التخزين المؤقت لـ KV في المهام ثلاثية الأبعاد — لم يتم استكشافه في الأعمال السابقة.