Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents
تقدم الورقة البحثية إطار عمل SPARE، وهو إطار عمل موجه بـ KL يعمل على تقليم النصوص الاستدلالية الزائدة بفعالية في وكلاء النماذج اللغوية الكبيرة متعددة الوسائط مع الحفاظ على الأدلة البصرية الجوهرية، مما يؤدي إلى تحسين دقة المهام والتخفيف من مشكلة "الدين النصي" في سيناريوهات استخدام الأدوات متعددة الوسائط طويلة المدى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال الذكاء الاصطناعي سريع التطور، ظهر نوع محدد من برامج الكمبيوتر يعمل كمساعد رقمي قادر على الرؤية والتفكير. هذه الأنظمة، المعروفة باسم النماذج اللغوية الكبيرة متعددة الوسائط، مصممة للنظر في الصور، وفهم الأسئلة المتعلقة بها، واستخدام أدوات خارجية لإيجاد الإجابات. ولحل المشكلات المعقدة، هي لا تكتفي بالتخمين فحسب؛ بل تقوم بتفكيك المهمة إلى سلسلة من الخطوات، وتكتب أفكارها وخططها الخاصة أثناء العمل. تساعد عملية كتابة هذا الاستنتاج النظام على البقاء منظماً وتنسيق الإجراءات المختلفة، تماماً كما قد يفعل الإنسان عند تدوين ملاحظات أثناء حل لغز ما. ومع ذلك، بينما تعمل هذه المساعدات الرقمية عبر مهام طويلة وصعبة، يبدأ النص الذي تولده في التراكم. وهذا التراكم للملاحظات المكتوبة ذاتياً يصبح في النهاية كبيراً جداً لدرجة أنه يطغى على الصورة الأصلية والقرائن البصرية الجديدة التي توفرها الأدوات، مما يتسبب في اعتماد النظام بشكل مفرط على كلماته السابقة بدلاً من الأدلة الجديدة الموجودة أمامه.
لقد حدد الباحثون في جامعة هونج كونج للعلوم والتكنولوجيا هذه الظاهرة باسم "الدين النصي" (textual debt)، وهي حالة يغرق فيها تاريخ المحادثة الواقع البصري الذي يُفترض بالوكيل تحليله. عندما يعلق الوكيل في فكرة مبكرة خاطئة، فإن الحجم الهائل للنص الذي يعزز تلك الفكرة يمكن أن يعميه عن المعلومات الجديدة، مما يؤدي إلى الأخطاء. ولحل هذه المشكلة، طور الفريق طريقة تسمى SPARE، والتي تعمل كمحرر انتقائي لذاكرة الوكيل. فبدلاً من مجرد حذف النص القديم أو ضغط الصور، تقوم SPARE بمراجعة استنتاجات الوكيل الماضية بعناوة لتقرر ما لا يزال مفيداً وما أصبح فائضاً عن الحاجة. وهي تعمل من خلال طرح سؤال بسيط: إذا قام الوكيل بتلخيص وضعه الحالي في بضع جمل، هل سيظل بحاجة إلى قراءة فقرة الاستنتاج المحددة التي كتبها سابقاً لفهم الخطوة التالية؟
تتضمن العملية فحصاً تشخيصياً ذكياً حيث يقارن النظام بين نسختين من تفكيره الخاص. في نسخة واحدة، يقرأ الوكيل تاريخ أفكاره وأفعاله الكامل. وفي النسخة الأخرى، يقرأ نفس التاريخ ولكن مع إضافة ملخص موجز لحالة المهمة الحالية. ثم يقيس النظام مدى تأثير وجود ذلك الملخص على توقعات الوكيل للكلمة التالية. إذا جعل الملخص تفكير الوكيل يتغير بشكل كبير، فهذا يعني أن الفقرة القديمة تحتوي على تفاصيل فريدة وحرجة فاتتها الخلاصة، وبالتالي يتم الاحتفاظ بالفقرة. أما إذا تسبب الملخص في تغيير طفيف جداً، فهذا يعني أن الفقرة القديمة ليست سوى تكرار للمعلومات التي تم استيعابها بالفعل في الملخص، مما يجعل إزالتها أمراً آمناً. يسمح هذا للنظام بتقليم النص "الراكد" الذي يزحم السياق مع الحفاظ على التفاصيل البصرية المحددة، مثل الإحداثيات أو النصوص الموجودة في صورة، والتي تعد ضرورية للمهمة.
ولجعل عملية التقليم هذه أكثر فعالية، قام الباحثون أيضاً بتدريب النظام على كتابة ملخصات أفضل وأكثر شمولاً. ومن خلال تعليم الوكيل كيفية تكثيف حالة مهمته بكفاءة أكبر، مكنوا أداة التقليم من إزالة المزيد من النصوص الفائضة دون فقدان المعلومات المهمة. وعند اختبار هذا النهج عبر عدة اختبارات معيارية صعبة تتضمن تحرير الصور، واستخدام الأدوات، والبحث البصري، أثبت هذا الأسلوب نجاحاً كبيراً. فقد تمكن النظام من إزالة ما بين 37.89% و64.58% من رموز الاستنتاج (reasoning tokens) — وهي الكلمات التي كتبها الوكيل لنفسه — مع تحسين دقته في المهام بالفعل. وفي كثير من الحالات، كان أداء الوكلاء الذين تم تقليم نصوصهم أفضل من أولئك الذين احتفظوا بتاريخهم الكامل، مما يشير إلى أن تقليل الضجيج النصي ساعدهم على التركيز بشكل أكثر حدة على الأدلة البصرية.
تتحدى هذه النتائج الافتراض الشائع بأن الوكيل يحتاج إلى تذكر كل خطوة من خطوات استنتاجه للنجاح. بدلاً من ذلك، تشير الدراسة إلى أنه بالنسبة للمهام الطويلة والمعقدة، فإن القدرة على نسيان الأجزاء غير ذات الصلة من المحادثة لا تقل أهمية عن القدرة على الاستنتاج. فمن خلال إزالة "الدين النصي"، يستعيد النظام قدرته على الانتباه إلى الصورة والبيانات الجديدة التي توفرها أدواته، بدلاً من الوقوع في حلقة مفرغة من افتراضاته الماضية. ويشير هذا العمل إلى أنه لكي يصبح الذكاء الاصطناعي شريكاً فعالاً حقاً في المهام البصرية طويلة الأمد، يجب أن يتعلم ليس فقط كيفية التفكير، بل أيضاً كيفية التخلي عن الأفكار التي لم تعد تخدم الهدف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.