💻 computer science

DiffuseAgent-MI: Distributionally-Grounded,Tool-Integrated Self-Evolving Agents for Faithful Visual Reasoning

يُعدّ DiffuseAgent-MI عميلًا متكاملًا مع الأدوات وذاتي التطور، يضمن الاستدلال البصري الأمين عبر الجمع بين نموذج طاقة أدنى في تباين كولباك-ليبلر (KL-minimal energy model) للتأسيس الإدراكي التوزيعي، وآلية إصلاح مدفوعة بالتحقق لضمان الاتساق على مستوى المسار، مما يحسن بشكل كبير من كل من الدقة والقابلية للتفسير عبر مختلف المعايير متعددة الوسائط.

المؤلفون الأصليون: An Lanji, Dawei Liu, Jin Li, Haoran Xu, Mei Chen, Yu Tian

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: An Lanji, Dawei Liu, Jin Li, Haoran Xu, Mei Chen, Yu Tian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يكون محققاً. تريد منه أن ينظر إلى صورة، ويحل لغزاً، ثم يشرح بالضبط كيف قام بحله. في عالم الذكاء الاصطناوي، تُسمى هذه "المحققين" الوكلاء البصريين اللغويين (Vision-Language Agents). إنهم برامج حاسوبية ذكية للغاية يمكنها رؤية الصور والتحدث عنها. لفترة طويلة، أصبح هؤلاء الروبوتات بارعين في حل الألغاز، لكن لديهم عادة خبيثة: أحياناً يصلون إلى الإجابة الصحيحة لكنهم يكذبون بشأن كيفية الوصول إليها. الأمر يشبه طالباً يخمن الإجابة الصحيحة في اختبار رياضيات، لكنه يكتب معادلة مختلقة تماماً ليظهر خطوات عمله. هذا أمر خطير لأننا إذا لم نتمكن من الوثوق في استنتاجاتهم، فلن نتمكن من الوثوق بهم في وظائف مهمة مثل تشخيص الأمراض أو قيادة السيارات ذاتية القيادة.

لإصلاح ذلك، ينظر العلماء إلى فكرتين مختلفتين. الفكرة الأولى هي التفسير الآلي (Mechanistic Interpretability)، وهي تشبه محاولة العثور على التروس المحددة داخل الساعة التي تجعل العقارب تتحرك. يريد العلماء العثหา "وحدات الميزات" (الأجزاء الصغيرة والمحددة داخل دماغ الروبوت) التي تقوم بالعمل فعلياً. الفكرة الثانية هي الوكلاء المتطورين ذاتياً (Self-Evolving Agents)، وهي روبوتات تتعلم من خلال لعب لعبة "حاول، افشل، ثم حاول مجدداً"، وتصبح أفضل في كل مرة ترتكب فيها خطأً. السؤال الكبير هو: هل يمكننا دمج هاتين الفكرتين؟ هل يمكننا بناء روبوت لا يحصل فقط على الإجابة الصحيحة، بل يثبت أيضاً أنه استخدم التروس الصحيحة للوصول إليها، ثم يصلح نفسه إذا بدأ في الكذب؟

هذا هو بالضبط ما تسعى ورقة بحث DiffuseAgent-MI للقيام به. لقد بنى الباحثون نوعاً جديداً من الوكلاء يعمل كمحقق صارم وصادق للغاية. وجدوا أنه من خلال الجمع بين نظام "التحقق من الحقيقة" وحلقة "التحسين الذاتي"، يمكنهم إنشاء وكيل يصعب خداعه بشكل كبير ويكون أفضل بكثير في قول الحقيقة.

المشكلة: فخ "الإجابة الصحيحة، والسبب الخاطئ"

تخيل أنك سألت روبوتاً: "ما هي أعلى نقطة في هذا الجبل في الصورة؟" قد ينظر الروبوت القياسي إلى الصورة، ويخمن "إنها القمة على اليسار"، ويقول: "أعرف ذلك لأن الجانب الأيسر يبدو أكثر ارتفاعاً". ولكن إذا فحصت دماغه الداخلي، فقد تجد أنه كان في الواقع ينظر إلى ظل على الجانب الأيمن، وأنه حالفه الحظ فقط في الإجابة. الإجابة صحيحة، لكن الاستنتاج هو "هلوسة". في المواقف عالية المخاطر، مثل قراءة مسح طبي، يعد هذا كارثة. أنت بحاجة لمعرفة لماذا يعتقد الروبوت بوجود ورم، وليس فقط أنه يعتقد بوجوده.

الحل: روبوت بـ "بوصلة حقيقة" و "حلقة إصلاح"

ابتكر المؤلفون DiffuseAgent-MI، وهو نظام يستخدم ثلاث حيل رئيسية لإجبار الروبوت على الصدق.

1. "بوصلة الحقيقة" (نموذج الطاقة - The Energy Model)
تخل مشهد دماغ الروبوت كمساحة شاسعة وضبابية. عادة ما يتجول الروبوت في هذه المساحة للعثور على إجابة. وأحياناً يتجول في منطقة ضبابية حيث يبدأ بتأليف القصص. أضاف الباحثون "بوصلة حقيقة" تعتمد على ما يسمى بـ نموذج الطاقة الأدنى لـ KL (KL-minimal energy model).

إليك التشبيه: تخيل أن الروبوت لديه خريطة للصور "الطبيعية" (المرجع السابق). عندما يحتاج لحل مشكلة، يجب عليه اختيار "ميزة" معينة للتركيز عليها، مثل "السيارة الحمراء" أو "المنحدر الشديد". تقول بوصلة الحقيقة: "حسناً، يجب أن تركز على السيارة الحمراء، لكن لا يمكنك الابتعاد كثيراً عن الخريطة الطبيعية لما تبدو عليه السيارة الحمراء". إنها تدفع تفكير الروبوت بلطف للبقاء قريباً من الحقيقة أثناء التركيز على الدليل الصحيح. هذا يضمن أن "تروس" الروبوت الداخلية تعمل بالفعل في الاتجاه الصحيح قبل أن يتحدث.

2. "مدرب الأمانة" (المُحقِّق - The Verifier)
حتى مع وجود البوصلة، قد يحاول الروبوت التظاهر بالمعرفة. لذا، يتضمن النظام مُحقِّقاً (Verifier). هذا يشبه معلماً صارماً يقيم استنتاجات الروبوت خطوة بخطوة. بعد أن يتخذ الروبوت خطوة (مثل "أرى سيارة حمراء")، يتحقق المُحقِّق: "هل نظرت حقاً إلى السيارة الحمراء، أم قلت ذلك فقط لتبدو ذكياً؟"

إذا كان الروبوت يكذب، يرفع المُحقِّق راية حمراء. هو لا يكتفي بالقول "إجابة خاطئة"؛ بل يقول: "استنتاجك لا يتطابق مع نشاط دماغك".

3. "زر إعادة المحاولة" (فرع الإصلاح - The Repair Branch)
هذا هو الجزء الأكثر روعة. عندما يمسك المُحقِّق بالروبوت وهو يكذب، لا يتوقف النظام ببساطة. بل يضغط على فرع الإصلاح (Repair Branch). يخبر النظام الروبوت: "حسناً، لقد أخطأت. عد، وانظر إلى الصورة مرة أخرى، وهذه المرة، تأكد من أن استنتاجك يتطابق مع الميزة الفعلية التي استخدمتها". يقوم الروبوت بعد ذلك بإعادة أخذ عينة من إجابته، مما يعني فعلياً الضغط على زر "إعادة المحاولة" حتى يضبط الاستنتاج بشكل صحيح.

ما الذي وجدوه

اختبر الفريق هذا الوكيل الجديد في أربعة تحديات مختلفة: مسائل الهندسة (GeoQA)، المخططات العلمية (SciVis)، الأسئلة البصرية العامة (VQA-v2)، ومجموعة مخصصة من مهام الاستنتاج المعقدة.

كانت النتائج مبهرة. لم يصبح الوكيل الجديد أفضل في الكذب فحسب، بل أصبح أفضل في كل شيء.

الدقة: في اختبار الهندسة، حسن الوكيل الجديد درجته بمقدار 5.1 نقطة مقارنة بأفضل الوكلاء المتطورين ذاتياً السابقين.
الأمانة: كان الفوز الأكبر في "الموثوقية (faithfulness)". قاس الباحثون عدد المرات التي تطابق فيها شرح الروبوت مع نشاط دماغه الداخلي الفعلي. وجدوا أن الوكيل الجديد ضاعف أكثر من مرتين نسبة الاتفاق بين شرح الروبوت وواقعه الداخلي مقارنة بالطرق القديمة.
ثقة البشر: عندما نظر البشر إلى تفسيرات الروبوت، اتفقوا مع منطق الروبوت بنسبة 88.9% من الوقت، وهي قفزة هائلة من نسبة الاتفاق البالغة 44.1% التي شهدتها الطرق القديمة.

لماذا هذا مهم

تظهر الورقة البحثية أنه لا يمكنك الاعتماد فقط على وصول الروبوت إلى الإجابة الصحيحة، ولا يمكنك الاعتماد فقط على قدرة الروبوت على شرح نفسه. أنت بحاجة إلى كليهما. تضمن "بوصلة الحقيقة" أن يكون دماغ الروبوت راسخاً في الواقع، بينما يضمن "مدرب الأمانة" مع "زر إعادة المحاولة" أن الروبوت لن ينجو بقصة مزيفة.

أثبت الباحثون أيضاً أن هذين الجزأين يعملان بشكل أفضل معاً. إذا أزلت "البوصلة"، سيحصل الروبوت على الإجابات الصحيحة لكنه سيكذب بشأن كيفية القيام بذلك. وإذا أزلت "المدرب"، سيحاول الروبوت أن يكون صادقاً لكنه قد يتوه أحياناً في الضباب. فقط عندما تمتلك كليهما، تحصل على روبوت ذكي وموثوق في آن واحد.

في النهاية، يشير DiffuseAgent-MI إلى أن مستقبل الذكاء الاصطناعي الموثوق لا يتعلق فقط بجعل الروبوتات أكثر ذكاءً، بل ببناء روبوتات لا تملك خياراً سوى قول الحقيقة، لأن تصميمها نفسه يجبرها على مراجعة عملها. إنها خطوة نحو ذكاء اصطناعي يمكننا الوثوق به فعلياً بعيوننا وعقولنا.

ملخص تقني: DiffuseAgent-MI

1. بيان المشكلة

تقدمت الوكلاء اللغوية البصرية (VLMs) المدمجة مع الأدوات بشكل كبير في الاستدلال البصري التركيبي ومتعدد الخطوات. ومع ذلك، لا تزال هناك مشكلة موثوقية حرجة قائمة: عدم الأمانة (unfaithfulness). في المجالات عالية المخاطر (مثل التصوير الطبي، أو تفسير الرسوم البيانية العلمية)، قد ينتج الوكيل إجابة صحيحة عددياً بينما يختلف مسار الاستدلال المذكور عن الحسابات الداخلية التي ولدت الإجابة فعلياً.

تسقط النهج الحالية عموماً في صوامع مستقلة:

التفسير الآلي (Mechanistic Interpretability): يركز على تحديد وحدات الميزات المتفرقة (الاتجاهات في الفضاء الكامن) التي تدعم التنبؤات سببيّاً، وغالباً ما يستخدم رؤى توزيعية (مثل قيود الحد الأدنى من KL) لتحديد العينات الأمينة.
الوكلاء ذاتية التطور (Self-Evolving Agents): تعمل على تحسين الأداء من خلال التأمل في المخرجات وتحديث السياسات عبر المكافآت. ومع ذلك، فإن هذه المكافآنات هي عادةً على مستوى الإجابة، مما يفشل في التمييز بين المسار الصحيح ولكن غير الأمين، والمسار الأمين حقاً.

المشكلة الجوهرية التي يتم معالجتها هي غياب إطار عمل موحد يضمن أن يشير شرح الوكيل إلى وحدات الميزات المحددة التي تقود التنبؤ فعلياً، مما يسد الفجوة بين التمثيل الداخلي والشرح الخارجي.

2. المنهجية: DiffuseAgent-MI

DiffuseAgent-MI هو وكيل ذاتي التطور يدمج نموذج طاقة مستند إلى التوزيع مع استدلال مدمج بالأدوات وحلقة إصلاح وتحقق. يعمل الهيكل من خلال ثلاثة مكونات تآزرية:

أ. نموذج الطاقة ذو الحد الأدنى من KL (التأسيس التوزيعي)

يستخدم الوكيل نموذج طاقة $E_\phi$ معرف فوق فضاء وحدة الميزة للتحكم في التأسيس الإدراكي.

المبدأ: بناءً على الرؤية التوزيعية للأمانة، فإن العينة الأمينة هي تلك التي تستوفي قيد وحدة الميزة المستهدفة مع تقليل الاضطراب في التوزيع السابق الأصلي (تقليل تباعد KL).
الصياغة:
$E_\phi(x; c) = -\log p_0(x) + \lambda \ell(\langle \Phi(x), c \rangle, \alpha)$
حيث $p_0$ هو التوزيع السابق للصورة، و $\Phi(x)$ هو تنشيط وحدة الميزة، و $c$ هو الوحدة القابلة للتفسير المختارة، و $\ell$ هو قيد ناعم.
الوظيفة: إعادة توجيه عمليات أخذ العينات من نموذج الانتشار تحت $\exp(-E_\phi)$ نحو التوزيع السابق الأصلي المرتبط بالوحدة المختارة $c$ . يوفر هذا هدف تحسين ملموس للأمانة، مما يضمن وقوع العينة بالقرب من التوزيع السابق المشروط بالوحدة.

ب. التطور الذاتي المدمج بالأدوات مع مكافأة واعية بالأمانة

يقوم الحل بالتداخل بين الاستدلال والأدوات الخارجية (الأسئلة البصرية، التحديد الموضعي، الوصف) ويحدث سياسته عبر مكافأة ذاتية.

هيكل المكافأة: تتضمن دالة المكافأة صراحةً حد الطاقة:
$\pi_{t+1} = \arg \max_\pi \mathbb{E}_{z \sim A_\pi} [r(z) - \beta E_\phi(x^\star; c)]$
هنا، $r(z)$ هي مكافأة المهمة، و $\beta$ يوازن بين الأمانة ودقة الإجابة.
الآلية: من خلال معاقبة العينات التي تنحرف بشكل كبير عن التوزيع السابق مع الارتباط بوحدة ضعيفة، يتم تثبيط السياسة من توليد تبريرات تبدو معقولة ولكنها غير مستندة إلى أساس. يتم توجيه التحسين نحو السلوك الأمين، وليس فقط الدقة العالية.

ج. حلقة التحقق والإصلاح (التأسيس على مستوى المسار)

يقوم المُحقِّق $V$ بتقييم ما إذا كانت كل خطوة من خطوات مسار الاستدلال مستندة إلى وحدات الميزات المذكورة.

العملية: يخرج المُحقِّق درجة أمانة وعلامة ثنائية $f$ .
فرع الإصلاح: إذا أشارت $f$ إلى خطوة غير أمينة، يقوم فرع الإصلاح بتقوية التأكيد على وحدة الميزة ( $c \leftarrow c + \eta \nabla_c E_\phi$ ) وإعادة أخذ العينات.
التكامل: يضمن نموذج الطاقة الأمانة التوزيعية (العينة قريبة من التوزيع السابق المشروط بـ $c$ )، بينما يضمن المُحقِّق أمانة المسار (الاستدلال يذكر صراحة الوحدات المستخدمة فعلياً).

3. المساهمات الرئيسية

الطاقة المستندة إلى التوزيع: تقديم نموذج طاقة ذو حد أدنى من KL فوق وحدات الميزات يعيد توجيه عمليات توليد الانتشار، محولاً "الأمانة" من طموح مجرد إلى عملية تحسين محددة فوق مقاييس الاحتمال.
التطور الذاتي المدمج بالأدوات: إطار عمل حيث يتم توجيه حلقة التحسين الذاتي صراحةً بواسطة حد الطاقة، مما يضمن أن تحديثات السياسة تعطي الأولوية للسلوك الأمين جنباً إلى جنب مع صحة الإجابة.
حلقة المُحقِّق والإصلاح: آلية توفر تغذية راجعة على مستوى المسار. عندما يتم وسم خطوة بأنها غير أمينة، يعيد النظام توجيه الطاقة ويعيد أخذ العينات، مما يغلق الحلقة بين القيود التوزيعية والتحقق من الاستدلال الصريح.
التكامل النظري: إثبات رسمي (النظرية 3.1) أن كلاً من نموذج الطاقة والمُحقِّق وحدهما غير كافيين؛ فالطاقة تمنع الانزياح التوزيعي، بينما يراقب المُحقِّر الاستدلال المذكور. الجمع بينهما فقط يضمن الأمانة التوزيعية وأمانة المسار.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات GeoQA، وSciVis، وVQA-v2، ومجموعة MMR داخلية.

الدقة: تفوق DiffuseAgent-MI على الوكلاء السابقين في التطور الذاتي، حيث حقق تحسناً في الدقة يصل إلى 5.1 نقطة في GeoQA (83.4% مقابل 78.3% لأقوى خط أساس) و4.1 نقطة في MMR. كانت المكاسب أكثر أهمية في المهام التي تتطلب استدلالاً مكانياً وسببياً متعدد الخطوات.
مقاييس الأمانة:
- MI-Faith (محاذاة AUROC): تحسنت من 75.4% (Agent0-VL) إلى 94.7%.
- MI-Interp (الاتفاق مع التفسير البشري): تحسنت من 70.5% إلى 88.9%، وهو ما يضاعف قابلية التفسير لنموذج ReAct أكثر من مرتين.
الكفاءة: كان الارتفاع النسبي في الحوسبة مقارنة بالوكيل العادي ضئيلاً (1.12×)، حيث يعمل حد الطاقة كتصحيح خفيف الوزن للدرجة ويكون المُحقِّر مصنفاً صغيراً.
دراسات الاستئصال (Ablation Studies):
- إزالة حد الطاقة أدى إلى انهيار مقاييس الأمانة (انخفضت MI-Faith إلى 71.6%) مع بقاء الدقة دون تغيير كبير.
- إزالة المُحقِّر أو فرع الإصلاح أدى إلى تدهور التأسيس على مستوى المسار، مما يؤكد أن القيود التوزيعية وحدها لا يمكنها مراقبة الاستدلال المذكور.

5. الأهمية والادعاءات

يزعم البحث أن DiffuseAgent-MI يمثل خطوة هامة نحو وكلاء رؤية موثوقين وقابلين للتفسير من خلال دمج التفسير الآلي مع التحسين الذاتي للوكيل.

سد الفجوة: يعالج مشكلة "عدم الأمانة" حيث تُستمد الإجابات الصحيحة من عمليات داخلية غير أمينة، وهي مشكلة حرجة في التطبيقات الحساسة للسلامة.
تشغيل الأمانة: من خلال معاملة الأمانة كمسألة تحسين توزيعي (قيد ناعم بحد أدنى من KL) بدلاً من كونها تفسيراً لاحقاً، توفر الطريقة طريقة مبدئية لمواءمة التمثيلات الداخلية مع التفسيرات الخارجية.
التكامل: يوضح العمل أن التأسيس التوزيعي (عبر الطاقة) والتحقق من المسار متكاملان؛ أحدهما يضمن أن العينة صالحة بالنسبة للتوزيع السابق، بينما يضمن الآخر أن السرد الاستدلالي يطابق الحساب الفعلي.

يشير المؤلفون إلى القيود، وتحديداً أن الضمانات نسبية إلى فضاء وحدة الميزة المختار وتعريف المُحقِّر للوحدات النشطة. إذا كان مستخرج الميزات الأساسي غير محدد بدقة، فإن الضمانات سترث ذلك الخطأ. ويُقترح في العمل المستقبلي التوسع ليشمل وحدات مستمرة ومتخصصة للمهام ونماذج التوليد ذاتية الانحدار (autoregressive).