Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions
تقدم هذه الورقة POLAR، وهو إطار عمل متعدد الوسائط معزز بالذاكرة ينظم تفاعلات المستخدم طويلة الأمد في رسم بياني معرفي لتمكين الوكلاء المجسدين من استرجاع السياق الشخصي بفعالية لتحسين تنفيذ المهام والاستدلال بمرور الوقت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك خادمًا آليًا (روبوت) ذكيًا جدًا. هذا الروبوت بارع في اتباع التعليمات مثل "اذهب وأحضر الكوب الأحمر" أو "ابحث عن الأحذية". يمكنه رؤية العالم وفهم اللغة. لكن المشكلة تكمن في أن الناس في العالم الحقيقي لا يتحدثون دائمًا بمصطلحات تقنية واضحة.
إذا طلبت من الروبوت: "أحضر لي حذائي"، وكان لديك ثلاثة أزواج مختلفة من الأحذية في المنزل، فسوف يتعثر الروبوت. هو يعرف ما هو "الحذاء"، لكنه لا يعرف أي زوج تقصد بالضبط. ربما ترتدي الحذاء الرياضي الأزرق دائمًا عندما تمطر، أو الكعب العالي في اجتماعات أيام الثلاثاء. وبدون معرفة عاداتك الشخصية، سيكون الروبوت مجرد مُخمّن.
تقدم هذه الورقة نظامًا جديدًا يسمى POLAR لحل هذه المشكلة. فكر في POLAR كأنه يعطي الروبوت مذكرات خاصة ومنظمة تساعده على تذكر عاداتك وتفضيلاتك المحددة على مدى فترة زمنية طويلة.
إليك كيف يعمل POLAR، مقسمًا إلى أجزاء بسيطة:
١. المشكلة: الذاكرة القصيرة للروبوت
الروبوتات الحالية تشبه الأشخاص الذين لديهم مدى انتباه قصير جدًا. إذا سألتهم سؤالاً بناءً على شيء قلته قبل أسابيع، فغالبًا ما ينسون التفاصيل. قد يتذكرون الفكرة العامة ("أوه، أنت تحب الأحذية")، لكنهم لا يستطيعون تذكر القصة المحددة ("لقد اشتريت ذلك الحذاء الرياضي الأزرق في يوم ثلجي الشتاء الماضي"). ولأنهم لا يستطيعون ربط النقاط ببعضها، فإنهم غالبًا ما يحضرون الغرض الخاطئ.
٢. الحل: "المذكرات الذكية" لـ POLAR
لا يقوم POLAR بمجرد حفظ تسجيل فيديو لكل مرة تحرك فيها الروبوت (لأن ذلك سيكون عبارة عن كومة غير منظمة من البيانات)، بل ينظم تاريخك في رسم بياني للذاكرة المنظمة مع نوعين محددين من الملاحظات:
- ملاحظات "من وماذا" (الذاكرة الدلالية):
تخيل بطاقة لكل غرض في منزلك. على البطاقة الخاصة بـ "حذائك الرياضي الأزرق"، يكتب الروبوت حقائق محددة: "اشتُري في الشتاء الماضي"، "استُخدم في الأيام المثلجة"، "لارتدائه في الجري الصباحي". هذه حقائق قصيرة وواضحة عنك وعن علاقتك بهذا الغرض. - ملاحظات "كيف وجدته" (الذاكرة العرضية):
هذا يشبه سجل السفر. فهو يتذكر رحلات الروبوت الماضية. على سبيل المثال: "في المرة الأخيرة التي بحثت فيها عن هذا الحذاء الرياضي، فحصت غرفة المعيشة أولاً، لكنه لم يكن هناك. وجدته في المرآب". هذا يساعد الروبوت على معرفة أين يبحث في المرة القادمة، مما يوفر عليه الوقت في الغرف الخاطئة.
٣. كيف يعمل في الحياة الواقعية
عندما تعطيه أمرًا غامضًا مثل، "أحضر لي أحذية الأيام المثلجة"، إليك ما يفعله POLAR:
١. يقرأ القرائن: ينظر إلى طلبك الجديد ويبحث في مذكراته المنظمة.
٢. يجد المطابقة: يرى الملاحظة الموجودة على بطاقة "الحذاء الرياضي الأزرق" التي تقول "استُخدم في الأيام المثلجة". فيدرك: "آه، المستخدم يقصد هذا الحذاء، وليس الحذاء الأحمر!".
٣. يخطط للمسار: يتحقق من سجل سفره ويتذكر: "في المرة الأخيرة، وجدته في المرآب، وليس في غرفة النوم". لذا، يتخطى غرفة النوم ويتوجه مباشرة إلى المرآب.
٤. ماذا أظهرت التجارب
اختبر الباحثون هذا النظام مع "أدمغة" روبوتية مختلفة (نماذج ذكاء اصطناعي) في منزل محاكى. وقارنوا بين ثلاثة مناهج:
- روبوت "بلا ذاكرة": ينظر فقط إلى ما يراه الآن. (يفشل كثيرًا لأنه لا يعرف أي حذاء تقصد).
- روبوت "البيانات الخام": يحاول القراءة من خلال جميع سجلات الفيديو والمحادثات الماضية دفعة واحدة. (يصاب بالارتباك بسبب كثرة المعلومات الفوضوية).
- روبوت POLAR: يستخدم المذكرات المنظمة.
النتائج:
كان روبوت POLAR أفضل بكثير في العث de على الغرض بالضبط الذي تريده، خاصة عندما كانت هناك العديد من العناصر المتشابهة (مثل ثلاثة أزواج من الأحذية) أو عندما كان طلبك غامضًا جدًا. كما استطاع تحديد أسرع مسار للوصه لأنه تذكر أين بحث من قبل.
الخلاصة الكبرى
تخلص الورقة إلى أنه لكي يكون الروبوت مفيدًا حقًا على المدى الطويل، لا يمكنه الاكتفاء بامتلاك "ذاكرة طويلة" (تخزين كل شيء)، بل يحتاج إلى ذاكرة ذكية (تنظيم المعلومات في حقائق وتجارب مفيدة). يحول POLAR التفاعلات الماضية الفوضوية إلى دليل واضح، مما يسمح للروبوت بفهم ليس فقط ماذا تطلب، بل من أنت الذي تطلب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.