💻 computer science

FUSE: Active Functional Affordance Grounding through Adaptive Semantic-Geometric Evidence Acquisition

تقدم هذه الورقة البحثية FUSE، وهو إطار عمل مبتكر للتأصيل الوظيفي النشط للإمكانات (functional affordance grounding) يُمكّن الوكلاء المتجسدين من تحديد وتأصيل الأشياء مكانياً بناءً على وظيفتها بكفاءة، وذلك عبر الحصول التكيفي على الأدلة الدلالية-الهندسية من خلال استراتيجية استكشاف مدفوعة بعدم اليقين ومخطط مُدرك مُتكيّف، وهو ما تم التحقق من صحته عبر معيار مرجعي جديد قائم على Habitat.

المؤلفون الأصليون: Zhou Chen, Sathyanarayanan N. Aakur

نُشر 2026-08-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhou Chen, Sathyanarayanan N. Aakur

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك روبوت تسير داخل مطبخ فوضوي ولديك تعليمات واحدة من مديرك البشري: "ابحث عن شيء لغرف الحساء المسكوب". الآن، تخيل أنك لا تستطيع إلا رؤية جزء ضئيل من الغرفة من خلال ثقب صغير. قد ترى كرة حمراء لامعة، أو صندوقاً أزرق، أو صخرة غريبة الشكل. إذا خمنت فقط بناءً على هذا الجزء الضئيل، فقد تمسك بالكرة ظناً منك أنها وعاء، وتفشل فشلاً ذريعاً. هذا هو الصراع اليومي لـ "الوكلاء المتجسدين" (embodied agents)—وهي الروبوتات التي تعيش في العالم الحقيقي وعليها التفاعل معه. لفترة طويلة، علم العلماء الروبوتات كيفية التعرف على الأشياء (مثل "هذا كوب") أو تخمين كيفية الإمساك بها من صورة ثابتة واحدة. لكن الحياة الواقعية فوضوية؛ فالأشياء تختبئ، والضوء يتغير، وأحياناً تحتاج إلى تحريك رأسك لتعرف ما إذا كان ذلك "الكوب" يمتلك مقبضاً حقاً أم أنه مجرد صخرة ملونة. السؤال الكبير الذي يطرحه الباحثون هو: كيف نعلم الروبوت أن يعرف متى لا يملك معلومات كافية، ثم يحدد بالضبط أين ينظر تالياً لحل اللغز، دون إضاعة الوقت أو الطاقة؟

تقدم هذه الورقة البحثية طريقة جديدة للروبوتات للعب لعبة "أين يجب أن أنظر؟"، وتسمى التجذر الوظيفي النشط للملاءمة (Active Functional Affordance Grounding). فبدلاً من مجرد التحديق في صورة والتخمين، يتم تشجيع الروبوت على التحرك بنشاط، واستراق النظر خلف الأشياء، وجمع الأدلة حتى يتأكد تماماً من أنه وجد الأداة المناسبة للمهمة. يقترح المؤلفان، تشو تشن وساتيانارايانان إن. أكور من جامعة أوبرن، نظاماً جديداً يسمى FUSE (الفهم الوظيفي من خلال الاستكشاف الدلالي والهندسي) لحل هذه المشكلة. فكر في FUSE كأنه محقق روبوت يستخدم "عقلين" مختلفين لحل اللغز. العقل الأول هو "المخمن السريع" (مخطط تقريبي) ينظر بسرعة إلى المشهد ويقول: "أراهن أن الملعقة هناك!". العقل الثاني هو "المحقق المتأني والحذر" (استكشاف صريح) يقوم فعلياً ببناء خريطة ثلاثية الأبعاد مفصلة للغرفة للتحقق مما إذا كان المخمن السريع محقاً.

سحر FUSE يكمن في معرفته متى يستخدم أي عقل. إذا كان المخمن السريع واثقاً جداً، يكتفي الروبوت بتنفيذ تلك الخطة، مما يوفر الوقت والبطارية. ولكن إذا كان المخمن السريع مرتبكاً أو بدا المشهد غريباً، ينتقل FUSE إلى الوضع البطيء والمتأني؛ حيث يبني نموذجاً ثلاثي الأبعاد للغرفة (باستخدام ما يسمى بـ 3D Gaussian Splatting) لقياس مدى عدم معرفته بدقة بشكل وموقع الأشياء. بعد ذلك، يحرك الكاميرا إلى النقطة التي ستعطيه أكبر قدر من المعلومات الجديدة. تُظهر الورقة أن هذا النهج "التكيفي" هو الفائز؛ ففي اختباراتهم، وجد FUSE الشيء الصحيح بنسبة 72% من الوقت، وهو أفضل من التخمين العشوائي (56%) أو استخدام نموذج لغوي متطور لتوجيه البحث (65%). كما تفوق على الطريقة "البطيئة والمتأنية" من حيث السرعة، حيث كان أسرع بمقدار 1.33 مرة لأنه لم يهدر وقتاً في بناء خرائط ثلاثية الأبعاد عندما لم يكن بحاجة إليها.

اختبر الباحثون أيضاً FHE باستخدام "مصادر معرفة" مختلفة—بمعنى طرق مختلفة لإخبار الروبوت بما قد يبدو عليه "أداة الغرف". ووجدوا أن FUSE يعمل بشكل جيد بغض النظر عن "العقل" الذي قدم قائمة المرشحين، سواء كان نموذجاً روبوتياً متخصصاً، أو نموذجاً لغوياً ضخماً مثل Llama، أو حتى "عرافاً" (oracle) مثالياً يعرف الإجابة مسبقاً. ومع ذلك، فقد وجدوا حداً صعباً: إذا كانت قائمة المرشحين لدى الروبوت خاطئة تماماً (مثل الاعتقاد بأن صخرة هي ملعقة)، فلن يساعد أي قدر من التحديق في العثور على الشيء الصحيح. يمكن للروبوت فقط تجذير الشيء الذي يبحث عنه إذا كان هذا الشيء موجوداً بالفعل في قائمة الاحتمالات الخاصة به.

في النهاية، يشير FUSE إلى أن أفضل طريقة ليفهم الروبوتات العالم ليست فقط من خلال رؤية المزيد، بل من خلال الرؤية بذكاء أكبر. فمن خلال دمج الحدس السريع مع الفحص الدقيق القائم على الأدلة، يمكن للروبوتات التوقف عن التخمين والبدء في المعرفة، وإيجاد الأدوات المناسبة للمهام حتى عندما تكون الرؤية محجوبة أو المشهد مربكاً. هذا ليس مجرد فوز نظري؛ إذ يوضح المؤلفون أنه باستخدام هذه الطريقة، يمكن للروبوتات تقليل الوقت الذي تقضيه في التفكير والتحرك بفارق كبير مع الاستمرار في إنجاز المهمة بشكل صحيح.

ملخص تقني: FUSE – التأسيس الوظيفي النشط للملاءمة (Affordance)

تعريف المشكلة: التأسيس الوظيفي النشط للملاءمة

تعالج الورقة البحثية فجوة حرجة في الذكاء الاصطناعي المتجسد (Embodied AI): وهي القدرة على تحديد الأشياء والتفاعل معها بناءً على وظيفتها بدلاً من هويتها المحددة مسبقاً. تعمل الطرق الحالية عادةً من زوايا رؤية ثابتة أو تفترض توفر أدلة بصرية كافية بالفعل. ومع ذلك، فإن الاستعلامات الوظيفية (مثل "اقطع قطعة من الحبل" أو "اغرف الطعام") غالباً ما تولد فرضيات متعددة محتملة حيث تكون الأدلة التمييزية اللازمة محجوبة، أو غير مكتملة، أو غير متاحة من الرؤية الأولية.

يعرف المؤلفون التأسيس الوظيفي النشط للملاءمة (Active Functional Affordance Grounding) بأنه مهمة إدراك تسلسلية يجب على الوكيل فيها:

استنتاج فرضيات الكائنات المرشحة من استعلام لغوي وظيفي (بدون فئة هدف محددة مسبقاً).
اختيار إجراءات الاستشعار (زوايا الرؤية) بنشاط لحل الغموض الدلالي والهندسي.
التأسيس المكاني للكائن الذي يلبي النية الوظيفية بشكل أفضل قبل التنفيذ الفيزيائي.

يختلف هذا عن التأسيس السلبي (الذي قد يلتزم بقرار مبكر)، والبحث النشط عن الأشياء (الذي يبحث عن فئة محددة مسبقاً)، وتخطيط أفضل رؤية تالية (الذي يفترض وجود هدف معروف).

المنهجية: إطار عمل FUSE

يقترح المؤلفون إطار عمل FUSE (الفهم الوظيفي من خلال الاستكشاف الدلالي-الهندسي)، وهو إطار عمل تكيفي مصمم للحصول على ملاحظات غنية بالمعلومات بكفاءة. يعمل FUSE عن طريق تقليل عدم اليقين الوظيفي، المعرّف بأنه الأدلة الدلالية والهندسية غير المحسومة المطلوبة لتأسيس هدف وظيفي.

المكونات الأساسية

تمثيل عدم اليقين الوظيفي:
- عدم اليقين الدلالي ( $U_{sem}$ ): مشتق من SAM3، الذي يولد أقنعة (masks) ودرجات على مستوى البكسل لفرضيات الكائنات المرشحة. يتم تقدير عدم اليقين كـ $1 - \text{score}$ .
- عدم اليقين الهندسي ( $U_{geo}$ ): مشتق من SSNR (نسبة الإشارة إلى الضجيض الهيكلي)، ويُحسب عن طريق مقارنة التدرجات بين الصورة المرصودة وصورة مُصيرة (rendered) من تمثيل مشهد ثلاثي الأبعاد. يشير انخفاض SSNR إلى نمذجة هيكلية غير مكتملة أو غير دقيقة.
- خريطة الأدلة: يتم دمج هذه المكونات في خريطة اكتساب الأدلة الوظيفية ( $E_t$ ) التي توازن بين صلة المرشح وبين نقص الملاحظة الهندسية.
تمثيل الأدلة المكانية:
- يحافظ الوكيل على نموذج تشتت غاوسي ثلاثي الأبعاد (3D Gaussian Splatting - 3DGS) مستمر ومُحسّن تدريجياً. يسمح هذا للوكيل بالتفكير في الرؤية، والحجب، والهيكل الهندسي عبر زوايا الرؤية المختلفة، بدلاً من معاملة الملاحظات كسلسلة منفصلة.
استراتيجية التخطيط التكيفي:
يستخدم FUSE آلية محكومة بالثقة للتبديل بين وضعين للتخطيط:
- المخطط المستهلك (Amortized Planner): سياسة متعلمة (خلفية CLIP + MLP) تتنبأ بقيمة إجراءات الاستشعار في تمريرة أمامية واحدة. هي سريعة ولكنها قد تكون غامضة في الحالات غير المألوفة.
- الاستكشاف الصريح (Explicit Exploration): عملية تداولية تقوم بتحديث تمثيل 3DGS، وتصيير زوايا الرؤية المرشحة، وحساب خريطة الأدلة الدلالية-الهندسية الكاملة لاختيار الإجراء الأمثل.
- منطق التبديل: يحسب النظام "الإنتروبيا" (entropy) لتوزيع إجراءات المخطط المستهلك. إذا كانت الإنتروبيا منخفضة (ثقة عالية)، يتم اختيار الإجراء المستهلك. إذا كانت الإنتروبيا عالية (عدم يقين)، يقوم النظام بتفعيل الاستكشاف الصريح لتنقية تمثيل المشهد وإعادة تقييم التأسيس.
الإنهاء:
يتوقف الاستكشاف عندما لا يتحسن درجة الهدف المدمجة (درجة SAM3 + درجة القرب من العمق) لـ $K$ من الخطوات المتتالية أو عند استنفاد ميزانية الاستشعار.

المساهمات الرئيسية

تحدد الورقة أربع مساهمات رئيسية:

صياغة المهمة: تعريف التأسيد الوظيفي النشط للملاءمة كمهمة إدراك تسلسلية جديدة تتطلب اكتشاف الهدف والتأسيس المكاني تحت ظروف الرؤية الجزئية.
المعيار المرجعي (Benchmark): تقديم معيار مرجعي قائم على Habitat يحتوي على 100 حالة مشهد عشوائية، ومعايير توقف موحدة، ومسارات تقييم تقارن بين الطرق الساكنة، والكانونية، والعشوائية، والمبنية على VLM، والطرق التكيفية.
الخوارزمية: تطوير FUSE، وهو إطار عمل يتنقل تكيفياً بين التخطيط المستهلك السريع والبحث الدلالي-الهندسي الصريح لموازنة التكلفة الحسابية وموثوقية التأسيس.
التحقق التجريبي: تقييمات مضبوطة تُظهر أن اكتساب الأدلة الدلالية-الهندسية المشروطة بالمهمة يحسن التأسيس النشط عبر مصادر معرفة متنوعة.

النتائج التجريبية

أُجريت التجارب على معيار Habitat المقترح باستخدام CRAFT-E كمصدر أساسي لمعرفة الملاءمة، مع مقارنات ضد نماذج LLM و VLM أخرى.

الأداء مقابل النماذج المرجعية:
- السلبي/الساكن: حقق معدل نجاح قدره 42% فقط.
- النشط العشوائي: تحسن إلى 56% نجاح ولكن تطلب خطوات أكثر بكثير (12.20) وافتقر إلى التوجيه نحو المهمة.
- النشط القائم على VLM: وصل إلى 65% نجاح باستخدام تسمية "أوراكل" (oracle label) وتوجيه من النماذج التأسيسية، لكنه ظل متأخراً عن FUSE في جودة التأسيس النهائي (درجة SAM3).
- FUSE: حقق أعلى معدل نجاح غير مرتبط بالأوراكل (72%) وأعلى متوسط IoU (70.91%).
الكفاءة:
- قلل FUSE التكلفة الحسابية بمقدار 1.33× مقارنة بـ الاستكشاف الصريح الكامل مع الحفاظ على أداء مماثل (72% مقابل 70% نجاح).
- استدعى الاستكشاف الصريح لـ 33.41% فقط من القرارات، معتمداً على المخطط المستهلك للخطوات الروتينية.
المتانة:
- ظل FUSE فعالاً عبر مختلف مصادر المعرفة (CRAFT, GPT, Llama, Qwen, Sonnet, Gemini)، مما يشير إلى أن استراتيجيته منفصلة عن آلية الاستدلال العلوي المحددة.
- حقق متغير "Oracle-Label" نجاحاً بنسبة 77%، مما يشير إلى أنه بينما يعد FUSE متيناً، فإن جودة توليد الفرضية الوظيفية الأولية تظل عاملاً محدداً.
دراسات الاستئصال (Ablation Studies):
- الدلالي مقابل الهندسي: كان التأسيس المعتمد على الجانب الدلالي فقط (53%) غير كافٍ. أما التأسيس الهندسي فقط (65%) فكان أفضل ولكنه ظل أدنى من النهج المدمج (72%).
- الدقة (Granularity): كانت الأدلة الدلالية على مستوى البكسل (SAM3) حاسمة؛ حيث أدى الانتقال إلى مستوى الرقعة (patch-level) في CLIP إلى انخفاض النجاح إلى 34%.
- الإنهاء: أدى دمج "القرب من العمق" (depth-proximity) في معيار التوقف إلى تحسين النجاح بنسبة ~5% مقارنة بـ SAM3 وحده.

الأهمية والادعاءات

يزعم المؤلفون أن FUSE يمثل خطوة كبيرة للأمام في الإدراك المتجسد من خلال معالجة مشكلتي "ما الذي يجب البحث عنه" و"أين يجب البحث" في آن واحد دون أهداف محددة مسبقاً.

ما وراء التأسيس السلبي: تجادل الورقة بأن الفهم الوظيفي يتطلب اكتساب أدلة نشطة؛ فالاعتماد على رؤى ثابتة أو ملاحظات مفردة يؤدي إلى الالتزام المبكر بالفشل في السيناريوهات المحجوبة.
الكفاءة في الإدراك النشط: من خلال التبديل التكيفي بين التخطيط المتعلم (المستهلك) والتخطيط الصريح، يثبت FUSE أن الوكلاء يمكنهم تحقيق تأسيس عالي الدقة دون التكلفة الحسابية الباهظة لإعادة بناء المشهد الصريح المستمر.
القدرة على التعميم: أظهرت الورقة أن إطار العمل متين عبر خلفيات الاستدلال الوظيفي المختلفة، مما يشير إلى أن آلية اكتساب الأدلة التكيفية هي حل قابل للتعميم لمهام التأسيس الوظيفي.

تخلص الورقة إلى أنه بينما حسنت الطرق الحالية الاستدلال الوظيفي من الملاحظات المتاحة، فإن FUSE يحل صراحةً مشكلة الإدراك السابقة: تحديد الملاحظات الإضافية الضرورية لتأسيس نية وظيفية بشكل موثوق. وقد اقتُرح عمل مستقبلي للتحقق من FUSE على منصات روبوتية حقيقية وتوسيع نطاقه ليشمل البيئات الديناميكية والمهام طويلة الأمد.