💻 computer science

VULCAN: Vision-Language-Model Enhanced Multi-Agent Cooperative Navigation for Indoor Fire-Disaster Response

تقدم هذه الورقة البحثية VULCAN، وهو إطار عمل للملاحة التعاونية متعددة الوكلاء معزز بنماذج الرؤية واللغة، مصمم للاستجابة لحرائق الكوارث داخل المباني، والذي يعالج أوجه القصور في الأنظمة الحالية القائمة على الرؤية في البيئات الخطرة والديناميكية من خلال محاكاة حريق واقعية فيزيائياً وتخطيط قوي مدرك للمخاطر.

المؤلفون الأصليون: Shengding Liu, Qiben Yan

نُشر 2026-04-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shengding Liu, Qiben Yan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مبنى يحترق. الأمر ليس مجرد حرارة شديدة؛ بل هو مليء بدخان كثيف وخانق يجعل الرؤية مستحيلة، ودرجة الحرارة ترتفع بسرعة. إرسال رجال إطفاء بشريين فوراً يعد أمراً في غاية الخطورة. لذا، نرسل فريقاً من الروبوتات.

لكن إليكم المشكلة: معظم فرق الروبوتات مدربة في منازل نظيفة وهادئة وجيدة الإضاءة. إذا ألقيت بها في مبنى محترق مليء بالدخان، فستصاب بالارتباك والضياع، وقد تمشي حتى مباشرة نحو جدار من اللهب لأن "عيونها" (الكاميرات) لا تستطيع الرؤية عبر الدخان.

تقدم هذه الورقة البحثية VULCAN، وهي طريقة جديدة لتوجيه فريق من الروبوتات عبر حريق. فكر في VULCAN ليس فقط كمجموعة من التعليمات، بل كـ منسق إنقاذ ذكي للغاية ومتعدد الحواس.

إليك كيف يعمل، مقسماً إلى تشبيهات بسيطة:

1. المشكلة: روبوتات "عمياء" في غرفة مليئة بالدخان

تخيل أنك تحاول العث// طفل مفقود في غرفة مظلمة تماماً وأنت ترتدي نظارات شمسية. هذا هو حال الروبوتات القياسية في الحريق.

الدخان: يحجب الكاميرات العادية (RGB) وحساسات العمق.
الحرارة: تعبث بالحساسات الحرارية.
الفوضى: البيئة تتغير كل ثانية مع انتشار الحريق.

تحاول فرق الروبوتات الحالية التواصل مع بعضها البعض، لكنها جميعاً "عمياء" وتصاب بالذعر، وغالباً ما تسير في دوائر أو تتجه نحو الخطر لأنها لا تستطيع رؤية المخاطر.

2. الحل: "الحواس الفائقة" لـ VULCAN

يمنح VULCAN الروبوتات مجموعة جديدة من العيون والآذان. فبدلاً من الاعتماد على كاميرا واحدة فقط، يقوم بدمج بيانات من أربعة مصادر مختلفة، مثل بطل خارق يجمع قوى مختلفة:

كاميرا RGB: هي "العيون" (لكنها تُحجب بالدخان).
كاميرا العمق: هي "اللمس" (الشعور بمدى البعد).
الكاميرا الحرارية: هي "رؤية الحرارة" (رؤية مكان الحريق).
رادار الموجات المليمترية (mmWave Radar): هو "رؤية الأشعة السينية" (هذا هو السلاح السري! يمكنه الرؤية عبر الدخان الكثيف والبخار، تماماً كما يرى الرادار عبر السحب).

التشبيه: تخيل أنك في غابة ضبابية. لا يمكنك الرؤية بعيداً، ولكن لديك كاميرا حرارية لرصد حيوان دافئ، ورادار للشعور بالأشجار عبر الضباب. يقوم VULCAN بدمج كل هذه الإشارات لإنشاء صورة واضحة للغرفة، حتى عندما يكون الدخان كثيفاً.

3. الدماغ: "القائد الذكي" (VLM)

بمجرد أن تحصل الروبوتات على صورة واضحة، فإنها تحتاج إلى قائد يملي عليها أين تذهب. يستخدم VULCAN نموذج رؤية ولغة (VLM).

التشبيه: فكر في الـ VLM كـ رئيس إطفاء خبير ينظر إلى خريطة على جهاز لوحي.

ترسل الروبوتات إلى الرئيس صورة للغرفة (الخريطة) وتقريرًا يقول: "هناك بقعة ساخنة هنا، والدخان كثيف هناك".
الرئيس لا ينظر إلى الخريطة فحسب؛ بل يفهمها. يمكنه التفكير والاستنتاج: "الروبوت (أ)، لا تذهب إلى هناك، الجو حار جداً. الروبوت (ب)، التفت حول الجانب الأيسر؛ إنه أكثر أماناً".
يقوم الرئيس بتعيين أهداف لكل روبوت حتى لا يركضوا جميعاً إلى نفس الزاوية (مما يهدر الوقت) وحتى يتجنبوا النار.

4. الأرجل: "المسار الآمن" (المخطط المحلي)

بمجرد أن يعطي الرئيس الأمر، تحتاج الروبوتات إلى المشي دون التعثر أو الاحتراق. يستخدم VULCAN خوارزمية خاصة تسمى طريقة المرور السريع (FMM) مع "مرشح المخاطر".

التشبيه: تخيل المشي على أرضية تحتوي على "بقع ساخنة" غير مرئية.

الروبوت العادي قد يخطو فوق بقعة ساخنة لأنه يرى فقط أن الأرض مسطحة.
روبوت VULCAN يرى طبقة "خريطة حرارية" فوق الطريق. إنه يعامل البقع الساخنة مثل الطين العميق أو المنحدر. حتى لو كان المسار خالياً مادياً، فإن الروبوت يبطئ سرعته أو يتجنبه لأن "الطين" (الحرارة) خطير. إنه يجد المسار الأكثر سلاسة وبرودة للوصول إلى الهدف.

5. النتائج: لماذا هذا مهم؟

اختبر الباحثون ذلك في محاكاة حاسوبية لمبنى يحترق.

الروبوتات القديمة: تاهت، أو مشت داخل النار، أو استغرقت وقتاً طويلاً جداً للعثور على الهدف لأنها لم تستطع الرؤية عبر الدخان.
روبوتات VULCAN: عملت معاً كآلة متناغمة. لقد شاركت ما رأته، وتجنبت المناطق الأكثر سخونة، ووجدت الهدف بشكل أسرع وأكثر أماناً.

الخلاصة الكبرى

VULCAN هو أدوات عمل جماعي للروبوتات. فهو يجمع بين:

حواس أفضل (للرؤية عبر الدخان).
دماغ ذكي (لفهم الخطر وتخطيط المسار).
أرجل آمنة (للمشي بحذر حول النار).

إنه يحول مجموعة من الروبوتات المرتبكة والعمياء إلى فرقة إنقاذ منسقة ومدركة للمخاطر، مما يمنحهم أفضل فرصة لإنقاذ الأرواح عندما لا يستطيع البشر الدخول.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "VULCAN: نموذج تعزيز الملاحة التعاونية متعددة الوكلاء لتعزيز الاستجابة لحرائق المنازل باستخدام نماذج الرؤية واللغة."

1. بيان المشكلة

تفرض حرائق المنازل تحديات جسيمة لعمليات البحث والإنقاذ (SAR) ذاتية القيادة بسبب الدخان الكثيف، ودرجات الحرارة المرتفعة، والبيئات سريعة التطور.

قصور الأنظمة الحالية: تعتمد أطر الملاحة التعاونية متعددة الوكلاء الحالية بشكل أساسي على بيئات داخلية مستقرة وغير ضارة. وهي تعتمد بشدة على البيانات البصرية (RGB-D) وتفشل بشكل كبير عندما يؤدي الدخان إلى تدهور الرؤية، وتؤدي المخاطر الحرارية إلى تشويه قراءات المستشعرات، وتتغير الظروف البيئية ديناميكيًا.
الفجوات الحرجة:
1. تدهور الإدراك: يتسبب الدخان في فقدان عمليات الكشف وزيادة النتائج الإيجابية الخاطئة في الأنظمة القائمة على الرؤية القياسية.
2. مخاطر السلامة: غالبًا ما تولد المخططات القياسية مسارات تمر عبر مناطق عالية الحرارة أو مليئة بالدخان لأنها تفتقر إلى الوعي بالمخاطر.
3. عدم الكفاءة: بدون تنسيق قوي وفهم دلالي، تظهر الوكلاء استكشافًا مكررًا وتفشل في تحديد الأهداف بسرعة في السيناريوهات الحرجة زمنياً.

2. المنهجية: إطار عمل VULCAN

يقترح المؤلفون VULCAN، وهو إطار عمل للملاحة التعاونية متعددة الوكلاء والمدركة للمخاطر، مصمم خصيصًا للاستجابة لحرائق المنازل. يعمل بنية النظام (الشكل 3) بطريقة هرمية:

أ. الإدراك والدمج متعدد الوسائط

للتغلب على تدهور الرؤية والحرارة، يقوم VULCAN بدمج أربع وسائط استشعار:

المدخلات: RGB، العمق (Depth)، التصوير الحراري، ورادار الموجات المليمترية (mmWave Radar).
عملية الدمج:
- يتم محاذاة البيانات البصرية (RGB، العمق، الحراري) ومعالجتها بواسطة مشغل دمج قائم على نموذج الرؤية واللغة (VLM) لإنشاء تمثيل بصري معزز "شفاف للدخان".
- يقوم كاشف ونموذج تجزئة مفتوح المفردات بتحديد الأشياء والمناطق المرتبطة بالحريق.
- تعزيز سمات المخاطر: يتم تعزيز كل نقطة ثلاثية الأبعاد في الخريطة المحلية بمتجه مخاطر $h = [T(u), S(u), \sigma(u)]$ ، والذي يمثل درجة الحرارة، وكثافة الدخان، وعدم اليقين في الاستشعار.
- تكامل mmWave: يتم دمج بيانات الرادار لاختراق الدخان حيث تفشل المستشعرات البصرية، مما يخلق سحابة نقاط ثلاثية الأبعاد قوية ومحلية.

ب. بناء الخريطة العالمية وتقييم مخاطر الحدود (Frontier)

إسقاط الخريطة: يتم دمج السحب النقطية المحلية ثلاثية الأبعاد المدركة للمخاطر من جميع الوكلاء وإسقاطها في خريطة شبكية ثنائية الأبعاد مدمجة تحتوي على قناتين:
1. خريطة العوائق (O): القيود الهيكلية.
2. خريطة المخاطر (H): درجات المخاطر المجمعة بناءً على الحرارة والدخان وعدم اليقين.
استخراج الحدود (Frontier Extraction): يتم تحديد الحدود بين المناطق المستكشفة وغير المستكشفة. ويتم تخصيص درجة خطر ( $R_k$ ) لكل حد بناءً على متوسط شدة المخاطر في خلاياه. تُصنف الحدود (على سبيل المثال: آمنة، متوسطة، خطيرة).

ج. التخطيط العالمي القائم على VLM

الدور: يعمل نموذج الرؤية واللغة (VLM) كمخطط استراتيجي رفيع المستوى.
المدخلات: يتلقى مطالبة (Prompt) متعددة الوسائط تتكون من:
- بصرياً: عرض علوي للخريطة العالمية مع توضيح مواقع الروبوتات والحدود المرشحة.
  est نصياً: مطالبة نظام تحدد المهمة وتقرير مخاطر بتنسيق JSON (الدخان، الحرارة، الشدة) لكل حد.
المخرجات: يقوم الـ VLM بتعيين أهداف حدودية محددة لكل روبوت، مع موازنة كفاءة الاستكشاف (تقليل التكرار) مع السلامة (إعطاء الأولوية للحدود منخفضة المخاطر).

د. التخطيط المحلي المدرك للمخاطر

الخوارزمية: يتم استخدام طريقة الانتشار السريع (Fast Marching Method - FMM) المعدلة لتوليد المسارات المحلية.
الآلية: يتم تعديل سرعة الانتشار في FMM بواسطة خريطة المخاطر: $F(x) = \frac{1}{1 + \alpha H(x)}$ .
النتيجة: يخلق هذا مجال وصول ينحاز طبيعيًا نحو الممرات منخفضة المخاطر، مما يعاقب المرور عبر المناطق عالية المخاطر حتى لو كانت خالية هندسيًا.

3. المساهمات الرئيسية

إطار عمل VULCAN: نظام ملاحة متعدد الوكلاء مبتكر مصمم لسيناريوهات الحريق، يدمج الإدراك متعدد الوسائط (بما في ذلك mmWave والحراري) مع التفكير القائم على VLM للتخطيط المدرك للمخاطر.
معيار اختبار معزز: قام المؤلفون بتوسيع معيار Habitat-Matterport3D من خلال محاكاة سيناريوهات حريق واقعية فيزيائيًا، بما في ذلك انتشار الدخان، والمخاطر الحرارية، وتدهور المستشعرات، لاختبار المتانة.
التحليل المنهجي: تقدم الورقة تقييمًا شاملاً لنماذج الملاحة الحالية تحت ظروف الحريق، مع تحديد أوجه القصور المحددة (فقدان الإدراك، الاستكشاف غير الفعال، التوجيه غير الآمن) التي تظهرها الطرق الحالية.

4. النتائج والتقييم

قيم المؤلفون النماذج المرجعية التمثيلية (Greedy, Cost-Utility, Random Sample, Co-NavGPT) في كل من الظروف العادية وظروف الحريق.

تدهور الأداء في الحريق: أظهرت جميع الطرق الحالية انخفاضًا كبيرًا في الأداء في سيناريوهات الحريق.
- فشل الإدراك: تسبب الدخان في انخفاض ثقة اكتشاف الأهداف (على سبيل المثال، من 0.87 إلى 0.15) وأدى إلى نتائج إيجابية خاطئة (هلوسة).
- فشل السلامة: قامت المخططات القياسية بتوجيه الوكلاء مباشرة عبر مناطق عالية الحرارة، مما أدى إلى ارتفاع التعرض التراكمي للمخاطر (CHE).
مزايا VULCAN:
- الكفاءة: حقق المخطط القائم على VLM معدلات نجاح (SR) ونجاح مرجح بطول المسار (SPL) أعلى مع خطوات أقل.
- السلامة: من خلال دمج خرائط المخاطر في حلقة التخطيط، قلل VULCAN بشكل كبير من الـ CHE مقارنة بالنماذج المرجعية.
- المتانة: سمح الدمج متعدد الوسائط للنظام بالحفاظ على الوعي بالموقف في الأماكن التي فشلت فيها أنظمة الرؤية أحادية الوسائط.

5. الأهمية

تعالج هذه الدراسة فجوة حرجة في الروبوتات ذاتية القيادة للاستجابة للكوارث. وهي تثبت أن:

الدمج متعدد الوسائط أمر لا غنى عنه في بيئات الحريق؛ فالاعتماد فقط على RGB-D غير كافٍ.
التفكير الدلالي عبر نماذج VLM ضروري لتنسيق الوكلاء وتفسير بيانات المخاطر المعقدة والديناميكية.
التخطيط المدرك للمخاطر يجب أن يكون منفصلاً عن التخطيط الهندسي البحت لضمان بقاء الوكيل ونجاح المهمة.

يمثل VULCAN خطوة مهمة نحو نشر فرق روبوتية موثوقة وذاتية القيادة لعمليات إنقاذ الحرائق الداخلية في العالم الحقيقي، متجاوزًا بيئات المحاكاة "المستقرة" إلى سيناريوهات الكوارث الواقعية وعالية الخطورة.