💻 computer science

Neurosymbolic Object-Centric Learning with Distant Supervision

تقدم الورقة البحثية DeepObjectLog، وهو نموذج عصبي رمزي احتمالي يتعلم تمثيلات متمحورة حول الأشياء مباشرة من تسميات المهام العالمية عبر الإشراف البعيد، مما يتيح تعميماً فائقاً خارج نطاق التوزيع في مهام الاستدلال البصري دون الحاجة إلى تعليقات توضيحية لكل كائن على حدة.

المؤلفون الأصليون: Stefano Colamonaco, David Debot, Giuseppe Marra

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Stefano Colamonaco, David Debot, Giuseppe Marra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت حل مسألة رياضية، لكنك لا تكتفي بإظهار النتيجة النهائية له فحسب، بل لا تظهر له الخطوات أو الأرقام الفردية أيضًا.

على سبيل المثال، تعرض على الروبوت صورة بها الرقم "3" والرقم "4" مكتوبان بخط يدوي، وتقول له: "الإجابة هي 7". أنت لا تخبر الروبوت أين يوجد الرقم 3، أو أين يوجد الرقم 4، أو حتى كم عدد الأرقام الموجودة في الصورة. أنت فقط تعطيه الصورة والمجموع النهائي.

هذا هو التحدي الذي تعالجه هذه الورقة البحثية. معظم نماذج الذكاء الاصطعي تشبه الطلاب الذين يحفظون نموذج الإجابة لكنهم لا يستطيعون إجراء العملية الحسابية فعليًا إذا تغيرت الأرقام. إنهم يواجهون صعوبة عندما تحتوي الصورة على عدد مختلف من العناصر أو مزيج جديد من الأشياء.

المشكلة: "الصندوق الأسود" مقابل "لغز المنطق"

ينقسم الذكاء الاصطناعي الحالي إلى معسكرين، كلاهما يعاني من عيوب:

الشبكات العصبية البحتة (الصندوق الأسود): هي بارعة في التعرف على الأنماط ولكنها سيئة في التفكير المنطقي. إذا دربتها على جمع رقمين، فقد تتعلم التعرف على شكل المجموع "7" بدلاً من عملية الجمع الفعلية لـ 3 + 4. إذا أظهرت لها 4 + 3، فقد ترتبك لأن النمط يبدو مختلفًا قليلاً.
الذكاء الاصطناعي العصبي الرمزي (لغز المنطق): تستخدم هذه النماذج قواعد منطقية صارمة (مثل "إذا كان أ + ب = ج"). هي بارعة في التفكير المنطقي، لكنها عادة ما تحتاج إلى إنسان ليخبرها أولاً بمكان الأشياء بالضبط. لا يمكنها النظر إلى صورة فوضوية والقول: "آه، هناك 3 هنا وهناك 4". إنها تحتاج إلى تقسيم الأشياء مسبقًا وتقديمها لها جاهزة.

الحل: DeepObjectLog (المحقق)

ابتكر المؤلفون نظامًا جديدًا يسمى DeepObjectLog. فكر فيه كمحقق يتعلم حل لغز من خلال النظر إلى مسرح الجريمة والنتيجة النهائية، دون أن يُخبر من هم المشتبه بهم.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. نظام "الفتحات" (عدسة المحقق المكبرة)
تخيل أن لدى الذكاء الاصطناعي مجموعة من "الفتحات" غير المرئية أو العدسات المكبرة التي يمكنه وضعها في أي مكان على الصورة. هو لا يعرف عدد الأشياء الموجودة، لذا يوزع، لنقل، 5 عدسات مكبرة.

بعض العدسات تقع على الرقم "3".
بعضها يقع على الرقم "4".
بعضها يقع على مساحة فارغة من الخلفية.

2. سؤال "ماهية الشيء" (هل هو مشتبه به؟)
لكل عدسة مكبرة، يسأل الذكاء الاصطناعي: "هل هذا حقًا جسم (شيء)، أم مجرد ضجيج في الخلفية؟"

إذا كانت خلفية، يقول الذكاء الاصطناعي: "تجاهل هذه".
إذا كان جسمًا، يقول: "هذا مشتبه به!" ويحاول تخمين ماهيته (مثل: "هذا يبدو كأنه رقم 3").

3. "طبقة المنطق" (القاضي)
هذا هو الجزء السحري. يأخذ الذكاء الاصطناعي كل تخميناته ("المشتبه به أ هو 3، المشتبه به ب هو 4، المشتبه به ج ليس شيئًا") ويمررها عبر برنامج منطقي صارم (مثل كتاب قواعد الرياضيات).

يقول كتاب القواعد: "إذا جمعت أرقام المشتبه بهم الحقيقيين، يجب أن تتطابق النتيجة مع الإجابة النهائية التي أعطيناها لك (7)".
إذا أخطأ الذكاء الاصطناعي في تخمينه (على سبيل المثال، لو اعتقد أن الخلفية هي الرقم 5)، فلن يتطابق الحساب مع الرقم 7. طبقة المنطق تقول: "هذا غير منطقي"، وترسل إشارة عائدة إلى المحقق لتغيير رأيه.

4. التعلم من الخطأ
مرة تلو الأخرى، يعدل الذكاء الاصطناعي عدساته المكبرة. يتعلم أنه عندما تكون الإجابة النهائية هي 7، يجب عليه العث Ord 3 و 4. يتعلم تجاهل ضجيج الخلفية لأن تضمينه يكسر عملية الحساب.

لماذا يعد هذا أمرًا هامًا

تدعي الورقة البحثية أن هذا النهج متفوق لأنه يتعلم البنية وليس مجرد الحفظ.

التعميم (اختبار "اللغز الجديد"): إذا دربت الذكاء الاصطناعي على صور تحتوي على رقمين أو ثلاثة، ثم عرضت عليه صورة تحتوي على 5 أرقام، فلا يزال بإمكانه حلها. لماذا؟ لأنه تعلم قاعدة الجمع، وليس فقط نمط "رقمين". يمكنه تفعيل المزيد من "العدسات المكبرة" للتعامل مع الأرقام الإضافية.
لا حاجة للتسميات (Labels): لم يحتاج الذكاء الاصطناعي إلى إنسان ليرسم مربعات حول الأرقام. لقد اكتشف مكان الأشياء بمجرد محاولة استيفاء الإجابة النهائية.
أفضل من نماذج "العقل الكبير": اختبر المؤلفون نظامهم مقابل نماذج ذكاء اصطناعي ضخمة ومدربة مسبقًا (مثل تلك التي تدردش معك). حتى تلك النماذج الضخمة واجهت صعوبة في هذا اللغز المنطقي المحدد. أما DeepObjectLog، الأصغر حجمًا والمتخصص، فقد أصاب الإجابة بنسبة 90% من المرات.

الخلا الخلاصة

DeepObjectLog يشبه تعليم طفل الرياضيات من خلال إظهار نموذج الإجابة له وتركه يكتشف الأرقام بنفسه. من خلال الجمع بين القدرة على "رؤية" الأشياء (الإدراك) والقدرة على "التحقق من الحساب" (المنطق)، يتعلم الذكاء الاصطناعي فهم العالم بطريقة مرنة ومنطقية ولا تنهار عندما يتغير الموقف.

تظهر الورقة البحثية أن هذا يعمل في مهام مثل جمع الأرقام، والتعرف على أيدي اللعب في البوكر، وعد الأجسام في مشاهد معقدة، مما يثبت أن الذكاء الاصطناعي يمكنه تعلم "التفكير" في الأشياء حتى عندما لا يتم إخباره بالضبط ما هي تلك الأشياء.

ملخص تقني: التعلم العصبي الرمزي المرتكز على الأشياء تحت الإشراف البعيد

بيان المشكلة

تواجه أنظمة الذكاء الاصطناൾ العصبي الرمزي الحالية عقبة حرجة: فبينما يمكنها استخدام القواعد الرمزية بفعالية للإشراف على المفاهيم الكامنة من خلال التسميات الضعيفة، إلا أنها تفترض عادةً أن الكيانات (الأشياء) المشار إليها بواسطة هذه القواعد محددة مسبقاً. ومن ناحية أخرى، يمكن لنماذج التعلم المرتكز على الأشياء تفكيك الصور إلى تمثيلات تشبه "الفتحات" (slots)، لكنها غالباً ما تفشل في مواءمة هذه الفتحات مع المحمولات (predicates) المحددة المطلوبة للاستدلال الرمزي، خاصة عندما لا تتوفر إشرافات على مستوى الكائن (مثل الأقنعة، أو صناديق الإحاطة، أو التسميات لكل كائن).

تعالج هذه الورقة تحدي التعلم العصبي الرمزي المرتكز على الأشياء تحت الإشراف البعيد. تُعرف المشكلة الجوهرية بأنها تعلم نموذج حيث:

المدخلات: مجموعة بيانات من أزواج (صورة-تسمية) $(x, y)$ حيث قد تحتوي الصور على عدد غير معروف من الأشياء، ولكن لا توجد تعليقات توضيحية لهوية الكائن، أو موقعه، أو فئته.
القيد: يتم توفير برنامج منطقي احتمالي $L$ يحدد كيف تحدد المحمولات الكامنة على مستوى الكائن (مثل وجود الكائن وفئته) التسمية العالمية $y$ .
الهدف: تعلم نموذج عصبي رمزي يستنتج البنية المرتكزة على الأشياء (أي أي أجزاء من الصورة هي أشياء وما هي ماهيتها) مباشرة من تسمية المهمة العالمية، مما يسمح للطبقة الرمزية بتقييد الطبقة الإدراكية دون إشراف صريح على مستوى الكائن.

المنهجية: DeepObjectLog

يقترح المؤلفون DeepObjectLog، وهو بنية عصبية رمزية احتمالية تدمج مشفراً إدراكياً قائماً على الفتحات (slots) مع طبقة منطقية احتمالية. يتم تدريب النموذج من الطرف إلى الطرف باستخدام هدف "الاحتمال الأقصى اللاحق" (MAP) مع الاستدلال الموزع (amortized inference).

1. النموذج الرسومي الاحتمالي

يحدد النموذج توزيعاً مشتركاً على الصورة $x$ ، وتسمية المهمة $y$ ، والمتغيرات الكامنة بما في ذلك تمثيل المشهد $z$ ، وتمثيلات الفتحات $s$ ، واحتمالات وجود الكائن $\beta$ ، وعلامات وجود الكائن $o$ ، وتسميات الفئات $c$ .

المشفر: تستخرج آلية "انتباه الفتحة" (Slot Attention) ما يصل إلى $N$ من تمثيلات الفتحات الكامنة $s_i$ من الصورة.
كاشف ومصنف الكائنات: لكل فتحة، يتنبأ النموذج بـ:
- احتمال وجود الكائن $\beta_i \in [0, 1]$ ، والذي يمثل عدم اليقين بشأن ما إذا كانت الفتحة تقابل كائناً ذا معنى.
- توزيع الفئة $p(c_i | s_i, \beta_i)$ ، مشروطاً بوجود الكائن.
- يتم نمذجة علامة وجود الكائن $o_i$ كمتغير برنولي بمعلمة $\beta_i$ .
القناع الناعم (Soft Masking): لتقليل تأثير الخلفية أو الفتحات الزائفة، يتم ضرب تمثيل الفتحة عنصر بعنصر في درجة وجود الكائن $\beta_i$ قبل تمريرها إلى المصنف والمفكك.

2. الاستدلال المنطقي الاحتمالي

يستخدم المكون الرمزي إطار ProbLog، وهو إطار برمجة منطقية احتمالية.

الحقائق الاحتمالية: يتم التعامل مع علامات وجود الكائنات $o_i$ وتعيينات الفئات $c_i$ كحقائق احتمالية (مثلاً $p::object(i)$).
القواعد: تحدد القواعد المنطقية كيف تجتمع هذه الحقائق لتحديد تسمية المهمة $y$ (مثلاً $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ is } Y1 + Y2$ ).
التهميش (Marginalization): يتم حساب احتمالية التسمية المرصودة $y$ عن طريق تهميش جميع التعيينات الممكنة لوجود الكائن والفئات. يسمح هذا للنظام بحساب إشارة تعلم قابلة للاشتقاق على مستوى المهمة دون الحاجة إلى أخذ عينات منفصلة أو خسائر مطابقة المجموعات التجريبية (مثل خسارة هانغار actually/Hungarian loss).

3. هدف التعلم

يعظم هدف التدريب الاحتمالية المشتركة للبيانات المرصودة والتفسير الكامن $z$ :
$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$
حيث أن:

الحد الأول يشجع التمثيل المرتكز على الأشياء المستنتج على تفسير تسمية المهمة الرمزية.
الحد الثاني (خسارة إعادة البناء) يضمن قدرة التمثيل على إعادة بناء الصورة المدخلة.
الحد الثالث هو مسبق (prior) على التفسير الكامن الموزع.
$q_\phi$ هو مشفر عصبي يقرب التفسير الكامن $z$ ، متجنباً الحاجة إلى حلقة تحسين داخلية لكل مثال تدريبي.

المساهمات الرئيسية

الصياغة: تصيغ الورقة مشكلة التعلم العصبي الرمزي المرتكز على الأشياء من الإشراف البعيد، حيث يجب استنتاج الأشياء من الإدراك بدلاً من توفيرها كمدخلات مهيكلة.
الواجهة الاحتمالية: تقدم واجهة قابلة للاشتقاق بين الفتحات والمنطق حيث يتم تهميش متغيرات وجود الكائن والفئات عبر الاستدلال الاحتمالي. هذا يلغي الحاجة إلى تعليقات توضيحية للأشياء، أو أخذ عينات منفصلة، أو خسائر مطابقة المجموعات.
بنية DeepObjectLog: يجسد المؤلفون هذه الصياغة في DeepObjectLog ويثبتون أن التغذية الراجعة المنطقية تحسن الاستخدام ذي الصلة بالمهمة للتمثيلات المرتكزة على الأشياء، مما يدعم تعميماً علاقاتياً أقوى.

النتائج التجريبية

تم تقييم النموذج على أربع معايير مرجعية: MultiMNIST-Addition، وPokerRules، وCLEVR-Addition، وCOCOLogic.

التعميم التركيبي: في مهمة MultiMNIST-Addition، حقق DeepObjectLog دقة بلغت 90.00% في التراكيب خارج التوزيع (OOD) (مجموعات الأرقام غير المرئية)، متفوقاً بشكل كبير على النماذج العصبية الأساسية (مثل Slot Attention التي حققت 13.30%) والنموذج العصبي الرمزي القياسي بدون إدراك مرتكز على الأشياء (35.76%).
التعميم على المهام: في مهمة PokerRules، حقق النموذج دقة 72.23% في الفئات خارج التوزيع (OOD) (مثل "ثلاثة من نوع واحد" لم تُشاهد أثناء التدريب)، بينما فشل النموذج العصبي الرمزي الأساسي (0.46%). لم تستطع النماذج العصبية الأساسية التعميم على الفئات الجديدة لأن مساحات المخرجات الخاصة بها ثابتة بواسطة تسميات التدريب.
التعميم على عدد الأشياء: أظهر النموذج قدرة قوية على الاستقراء في الصور التي تحتوي على عدد أشياء أكثر مما شوهد أثناء التدريب (مثل 4-5 أرقام في MultiMNIST)، محافظاً على دقة عالية في حين تدهورت أداء المنافسين بشكل كبير.
قوة إشارة التعلم: في COCOLogic، حقق DeepObjectLog دقة مفاهيمية غير ضئيلة مع 0% إشراف على مستوى الكائن، مما أثبت قدرته على تعلم البنية المرتكزة على الأشياء من إشارة المهمة فقط. تم الحفاظ على هذا الأداء حتى مع زيادة مستويات الإشراف.
المقارنة مع نماذج الرؤية واللغة الضخمة (VLMs): في مهمة MultiMNIST-Addition (OOD)، تفوق DeepObjectLog (دقة 90%) بشكل كبير على نماذج الرؤية واللغة الضخمة (LLaVA-1.5 و Qwen2.5-VL)، التي واجهت صعوبة في حل المهمة بشكل موثوق تحت التلقين الصفري (zero-shot prompting).

الأهمية والادعاءات

تدعي الورقة أن DeepObjectLog يمثل خطوة هامة نحو أنظمة عصبية رمزية أكثر عمومية من خلال سد الفجوة بين اكتشاف الأشياء الإدراكي والاستدلال الرمزي. تكمن أهميته الأساسية في:

التعميم العلاقي: القدرة على دعم الاستدلال تحت تحولات التوزيع، بما في ذلك تركيبات الأشياء الجديدة، وأعداد الأشياء المختلفة، والاستعلامات الرمزية الجديدة على المفردات المتعلمة.
القوة بدون إشراف: القدرة على تعلم بنى ذات معنى مرتكزة على الأشياء والاستدلال عليها دون الحاجة إلى إشراف صريح على مستوى الكائن (أقنعة أو صناديق إحاطة)، بالاعتماد فقط على تسميات المهمة العالمية والقواعد الرمزية.
القابلية للتفسير: يوفر النموذج تنبؤات قابلة للتفسير على مستوى الكائن (وجود الكائن والفئة) والتي تتوافق مع عملية الاستدلال الرمزي، مما يوفر ضمانات تفتقر إليها النهج العصبية البحتة.

يقر المؤلفون بالقيود، بما في ذلك التكلفة الحسابية للاستدلال الدقيق في المنطق الاحتمالي (رغم التخفيف منها عبر أطر التحسين) وإمكانية وجود طرق مختصرة للاستدلال في البيئات ذات الإشراف الضعيف، والتي تهدف القيود الهيكلية إلى تثبيطها. ويخلصون إلى أنه بينما يعزز هذا النهج الذكاء الاصطوي القابل للتفسير والمتين، يجب أن تأخذ عمليات النشر المستقبلية في الاعتبار المخاطر المتعلقة بالتحيز والاستخدام المزدوج للمراقبة.