💻 computer science

COCOTree: A Dataset and Benchmark for Open Tree-Structured Visual Decomposition

تقدم هذه الورقة COCOTree، وهي مجموعة بيانات ومعيار ضخم للتفكيك البصري مفتوح الهيكل الشجري الذي يستفيد من خط معالجة مؤتمت يجمع بين نماذج اللغة والرؤية الكبيرة (LVLM) ونموذج SAM 3 لتوليد 1.8 مليون عقدة هرمية عبر 21 ألف صورة، مصحوبة بمقياس تقييم جديد (OTQ) لتقييم دقة القناع، ودقة التسمية، والاتساق الهيكلي.

المؤلفون الأصليون: Junhyub Lee, Seunghun Chae, Hyosu Kim

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junhyub Lee, Seunghun Chae, Hyosu Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى صورة لمطبخ مزدحم.

الطريقة القديمة:
تبحث أدوات الرؤية الحاسوبية التقليدية في تلك الصورة وتقول: "أرى شخصاً، وطاولة، وكرسياً". قد يقومون حتى بتفكيك الشخص قليلاً: "رأس، وجذع، وذراعين". لكنهم يتوقفون عند هذا الحد. إنهم يعاملون الصورة كقائمة مسطحة من العناصر. إذا سألت الكمبيوتر: "ما هي تلك المقبض المتصل بالخزانة؟"، فقد يراه مجرد "مقبض" عائم في الفضاء. هو لا يعرف أن المقبض ينتمي إلى الخزانة، والتي تنتمي بدورها إلى المطبخ، أو أن المقبض مكون من مقبض برغي ومسمار محدد. إنه يفتقر إلى "شجرة العائلة" للأشياء.

الطريقة الجديدة (COCOTREE):
تقدم هذه الورقة البحثية COCOTREE، وهي طريقة جديدة لتعليم الحواسيب رؤية العالم ليس كقائمة مسطحة، بل كـ شجرة عائلة ضخمة ومتفرعة.

فكر في الأمر مثل دمية روسية متداخلة (ماتريوشكا) أو شجرة ذات جذور وفروع:

الجذر: الصورة بأكملة هي الجذع.
الأغصان: ينقسم الجذع إلى أشياء كبيرة (شخص، خزانة).
الأغصان الصغيرة (Twigs): تنقسم تلك الأشياء إلى أجزاء (الخزانة تنقسم إلى باب، ورف، ومقبض).
الأوراق: تنقسم الأجزاء أكثر فأكثر (المقبض ينقسم إلى مقبض دائري ومسمار).

الهدف هو رسم خريطة لكل قطعة مرئية من الشيء، وصولاً إلى أدق التفاصيل، وربطها جميعاً في تسلسل هرمي منطقي.

كيف بنوا هذا؟ (الشيف الآلي)

بناء خريطة كهذه لآلاف الصور يدوياً سيكون أمراً مستحيلاً. سيتطلب الأمر سنوات من البشر لتسمية كل مسمار ومفصلة.

بدلاً من ذلك، بنى المؤلفون "شيفاً آلياً" يعمل بشكل كامل وتلقائي للقيام بالعمل نيابة عنهم. يستخدم هذا الروبوت أداتين قويتين من الذكاء الاصطناعي تعملان معاً:

العقل (LVLM): يعمل نموذج لغوي بصري كبير كطاهٍ فضولي. ينظر إلى الصورة ويقول: "أرى خزانة. ماذا يوجد بداخلها؟ آه، رف ومقبض!". إنه يستخدم "منطقه العام" لتخمين الأجزاء الموجودة.
اليدان (SAM 3): يعمل نموذج تقسيم دقيق كزوج من الأيدي الثابتة. بمجرد أن يخمن العقل وجود "مقبض"، تقوم اليدان برسم تحديد مثالي حول ذلك المقبض المحدد في الصورة.

العملية:
يبدأ الروبوت بالصورة بأكملها. يسأل العقل عن الأجزاء الرئيسية. ترسم اليدان خطوطاً حولها. ثم يأخذ الروبوت جزء "الخزانة" فقط، ويكبر الصورة، ويسأل العقل مرة أخرى: "الآن بعد أن أنظر فقط إلى الخزانة، ماذا أرى؟". يقول العقل: "باب ومقبض". ترسم اليدان ذلك. يتكرر هذا الأمر بشكل متكرلي (Recursive)، حتى لا يستطيع الروبوت العثور على أي قطع أصغر.

النتيجة: مكتبة ضخمة من الأشجار

النتيجة هي COCOTREE، وهي مجموعة بيانات تحتوي على أكثر من 21,000 صورة و 1.8 مليون عقدة هيكلية (قطع من الأشياء).

غير مقيدة: على عكس مجموعات البيانات القديمة التي تعرف فقط 80 أو 100 كلمة محددة (مثل "كلب" أو "سيارة")، تستخدم هذه المجموعة "مفردات مفتوحة". يمكنها تسمية كائن غريب وفريد بوصف طويل ومحدد إذا رأته.
عميقة: هي تذهب بعمق أكبر بكثير من الطرق السابقة. بينما قد تتوقف مجموعات البيانات القديمة عند "باب"، فإن هذه المجموعة تذهب إلى "باب -> مقبض -> مقبض دائري -> مسمار".
موثقة: لم يكتفِ المؤلفون بالوثوق بالروبوت. فقد جعلوا 20 مراجعاً بشرياً يفحصون العمل. وقد أكد البشر أن "أشجار عائلة" الروبوت كانت دقيقة وتتطابق مع كيفية رؤية البشر للعالم.

كيف نقيم الروبوت؟ (درجة OTQ)

كيف تقيم اختباراً تكون إجاباته عبارة عن أشجار معقدة؟ لا يمكنك فقط التحقق مما إذا كان قد أصاب في تحديد "السيارة". عليك التحقق من:

هل رسم تحديد العجلة بشكل صحيح؟ (دقة القناع - Mask Precision)
هل سماها "عجلة" وليس "إطار"؟ (دقة التسمية - Label Accuracy)
هل وضع العجلة تحت السيارة، والإطار تحت العجلة بشكل صحيح؟ (الاتساق الهيكلي - Structural Consistency)

للقيام بذلك، أنشأوا نظام تسجيل جديد يسمى OTQ (جودة الشجرة المفتوحة - Open Tree Quality). إنه يشبه تقرير الدرجات الذي يعطي درجة واحدة بناءً على مدى جودة رسم الروبوت للصورة، وتسمية الأجزاء، وتنظيم شجرة العائلة.

الملخص

باختختصار، COCOTREE هي مكتبة ضخمة تم إنشاؤها تلقائياً لتعليم الحواسيب رؤية العالم في طبقات. إنها تنتقل لما هو أبعد من مجرد "ماذا يوجد في الصورة" إلى "كيف بُنيت الأشياء الموجودة في الصورة وكيف ترتبط ببعضها"، باستخدام فريق من روبوتات الذكاء الاصطناعي لبناء الخريطة، ومراجعين بشريين للتأكد من دقة الخريطة.

ملخص تقني: COCOTREE

بيان المشكلة

نماذج تقسيم الصور الحالية، رغم قدرتها على التجزئة الدقيقة على مستوى البكسل، توفر عادةً مستوى واحداً فقط من التجريد للمكونات المرئية. تعاني مجموعات البيانات الهرمية الموجودة، التي تلتقط العلاقات التركيبية، من قيود شديدة في الدقة والمرونة: فهي غالباً ما تقتصر على أعماق ضحلة تتراوح بين مستويين أو ثلاثة مستويات، وتكون مقيدة بمعجم مغلق. هذا النقص في العمق الهيكلي والقدرة على التعامل مع المفردات المفتوحة يعيق الاستدلال التركيبي للأنظمة ذاتية القيادة (مثل وكلاء الذكاء الاصطناعي المتجسدين) التي تتطلب فهم التجميعات الفيزيائية العميقة وغير المقيدة للمشاهد في العالم الحقيقي. علاوة على ذلك، فإن التوسيم اليدوي لهذه الهياكل الشجرية عالية الدقة والمفتوحة أمر مكلف للغاية ويتطلب جهداً إدراكياً كبيراً على نطاق واسع.

المنهجية

يقترح البحث تفكيك الشجرة المفتوحة (Open Tree Decomposition)، وهي مهمة تقوم بتقسيم الصورة إلى أشجار هرمية من المكونات المرئية ذات دقة ومرونة غير مقيدتين. ولمعالجة عقبة التوسيم، طور المؤلفون خط أنابيب توسيم تكراري مؤتمت بالكامل يدمج نماذج الرؤية واللغة الكبيرة (LVLMs) مع قدرات التأسيس الهندسي لنموذج SAM 3.

يعمل خط الأنابيب من خلال المراحل التالية:

التفكيك الجذري (Root Decomposition): يقوم نموذج LVLM بتحليل الصورة المدخلة لاقتراح تسميات دلالية للعناصر المكونة الرئيسية بناءً على الأدلة المرئية فقط. يتم تأسيس هذه الاقتراحات في أقنعة (masks) دقيقة بواسطة SAM 3.
التفكيك التكراري (Recursive Decomposition): يقوم خط الأنابيب بوضع هذه العقد الدلالية في قائمة انتظار. لكل عقدة، يتم قص الصورة وفقاً لمدى الامتداد المكاني للعقدة وإعادة تغذيتها في نموذج LVLM لاقتراح المكونات الفرعية (الأبناء). تتكرر هذه الدورة حتى لا توجد عمليات تقسيم إضافية ذات معنى.
التصفية القائمة على الأدلة (Evidence-Based Filtering): لضمان الجودة، يستخدم خط الأنابيب تصفية متكيفة مع المقياس. يتم ضبط عتبات الثقة لاستخراج الأقنعة ديناميكياً بناءً على حجم العقدة الأم (تخفيف القيود للمناطق الصغيرة لالتقاط الأجزاء الدقيقة، وتشديدها للمناطق الكبيرة لتجنب الضوضاء). يتم دمج اقتراحات الأشقاء الفائضة إذا تجاوز تداخلهم الهندسي 90%.
التحويل إلى مستوى المثيل (Instance-Level Conversion): يتم تجسيد الشجرة الدلالية الوسيطة في تسلسل هرمي لمستوى المثيل حيث تصبح الأقنعة الفردية عقدًا متميزة، مرتبطة بآبائها عبر استدلالات الاحتواء المكاني.

المساهمات الرئيسية

يقدم البحث COCOTREE، وهو معيار ومجموعة بيانات ضخمة النطاق لتفكيك الشجرة المفتوحة، جنباً إلى جنب مع مقياس تقييم جديد:

مجموعة بيانات COCOTREE: مبنية على مجموعة بيانات COCO، وتضم أكثر من 21,000 صورة و 1.8 مليون عقدة هيكلية (أقنعة مثيلات). تحقق كثافة توسيم غير مسبوقة تصل إلى 85.7 قناع لكل صورة ومتوسط عمق شجري يبلغ 3.448. والأهم من ذلك، أنها تستخدم فضاء مفردات مفتوح يضم أكثر من 3,500 تسمية فريدة، مما يلتقط التوزيع طويل الذيل للتجميعات الفيزيائية المعقدة دون أن تكون مقيدة بتصنيفات محددة مسبقاً.
مقياس جودة الشجرة المفتوحة (OTQ): يقترح المؤلفون OTQ، وهو مقياس شبيه بمقياس الجودة البانوبتيكية (PQ)، مصمم خصيصاً للهياكل الشجرية المفتوحة. بخلاف المقاييس السابقة التي تفشل في التعامل مع التسلسلات الهرمية غير المقيدة، يقيم OTQ بشكل مشترك:
- دقة القناع (Mask Precision): التقاطع فوق الاتحاد (IoU) للعقد المتطابقة.
- دقة التسمية (Label Accuracy): التشابه الدلالي بين تسميات المفردات المفتوحة (باستخدام بروتوكولات مثل BERT، أو WordNet، أو المطابقة الصارمة).
- الاتساق الهيكلي (Structural Consistency): الحفاظ على العلاقات المرئية بين الأب والابن في الشجرة المستعادة.
التحقق من خط الأنابيب المؤتمت: يثبت البحث أن خط أنابيب مؤتمت بالكامل يمكنه توليد تسمات تتوافق بقوة مع الحكم الهيكلي البشري، متجاوزاً حدود القابلية للتوسع في التوسيم اليدوي.

النتائج والتحقق

النطاق والكثافة: يتفوق COCOTREE بشكل كبير على النماذج الهرمية الأساسية (مثل PartImageNet، وPACO، وCPP) من حيث كثافة الأقنعة والعمق الهيكلي. بينما تقتوى مجموعات البيانات الحالية على أعماق 2 أو 3، يدعم COCOTREE عمقاً غير مقيد، حيث تم تأسيس أكثر من 56% من الأقنعة متناهية الصغر (XS) عند أعماق 3 أو أكثر.
التوافق الهندسي: عند مقارنته بمجموعات البيانات ذات الهيكل المسطح (COCO-17، LVIS، COCO-ReM)، تظهر الأقنعة المولدة توافقاً عالياً، محققة درجات وسيطة لـ IoU تتراوح بين 0.73 و0.90. ينخفض الاستدعاء (Recall) للمناطق الصغيرة جداً (XS)، ويُعزى ذلك إلى صعوبة اقتراح وتأسيس الأدلة المرئية الضئيلة.
التقييم البشري: أكدت دراسة تحقق بشرية صارمة شملت 20 مراجع جودة التوسيمات.
- على مستوى العقدة: حقق خط الأنابيب تقييمات "جيدة" بنسبة $\ge$ 91% فيما يتعلق بمطابقة التسمية للقناع، وفصل المثيلات، وصحة الابن، وملاءمة الورقة (leaf).
- على مستوى الشجرة: بينما أظهر الاتساق الكامل للشجرة معدلات أعلى من المشكلات الطفيفة (وهو أمر متوقع بسبب طبيعة المفردات المفتوحة)، ظلت الإخفاقات الكبرى منخفضة للغاية (من 1.0% إلى 7.7%).
أداء المعيار المرجعي: أظهرت التجارب باستخدام OTQ على النماذج الأساسية (الإسقاطات المسطحة ومتغيرات SAM 3 التكرارية) أن المقياس يميز بفعالية بين جودة القناع، وجودة التسمية، والأخطاء الهيكلية. على سبيل المثال، أدى فساد "إعادة توصيل الأب" (parent rewiring) إلى خفض مكون جودة الشجرة (TQ) بشكل كبير مع بقاء درجات القناع والتسمية مرتفعة، مما يؤكد حساسية المقياس للسلامة الهيكلية.

الأهمية

يزعم البحث أن COCOTREE ومقياس OTQ يحددان معياراً جديداً للنماذج التي يجب أن تستعيد ليس فقط المناطق المرئية ولكن أيضاً تنظيمها التركيبي. ومن خلال تجاوز التنبؤ بالمناطق المسطحة وقوالب (الجزء-من-الشيء) الثابتة، يسهل هذا العمل تطوير خوارزميات للتحليل الهرمي ذي الدقة غير المقيدة. ويرى المؤلفون أن هذا الإعداد يفتح الطريق نحو أنظمة تقسيم تدعم بشكل أفضل الاستدلال الدقيق، والتفاعل، والفهم البصري المتجسد.

يحافظ البحث على نبرة متواضعة فيما يتعلق بحدوده، حيث يقر بما يلي:

تعدد المراجع: التفكيك الهرمي غير مقيد، مما يعني وجود عمليات تفكيك صالحة متعددة؛ يوفر COCOTREE مرجعاً واحداً عالي الدقة بناءً على الإجماع البشري.
تقييم المفردات المفتوحة: يعتمد تقييم التسمية على بروتوكولات التشابه التي قد تؤدي إلى غموض بالنسبة للمترادفات أو الكلمات النادرة.
الأخطاء المؤتمتة: يؤدي خط الأنابيب المؤتمت بالكامل حتماً إلى إدخال ضوضاء هيكلية وهندسية، خاصة في المناطق المحلية العميقة، مما يفتح آفاقاً لأبحاث مستقبلية حول أطر العمل ذاتية التحقق.