Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
تقدم هذه الورقة البحثية OAKS، وهو معيار مصمم لتقييم قدرة النماذج اللغوية الكبيرة على التكيف مع تدفقات المعرفة المتطورة باستمرار، كاشفةً أن النماذج الحالية المتطورة وأنظمة الذاكرة الوكيلية تعاني من صعوبة في تتبع الحالة بدقة وهي عرضة بشدة للتشتت في البيئات الديناميكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً شخصياً لمساعدتك في إدارة حياة فوضوية للغاية وسريعة الإيقاع. كل يوم، تصل معلومات جديدة: مديرك يغير موعد الاجتماع، صديقك ينتقل إلى منزل جديد، وتوقعات الطقس تتحدث كل ساعة.
هدفك هو اختبار ما إذا كان بإمكان هذا المساعد مواكبة ذلك. هل يمكنه نسيان المعلومات القديمة فوراً وتذكر المعلومات الجديدة دون ارتباك؟ هل يمكنه الإجابة على الأسئلة بشكل صحيح الآن، حتى لو كانت الإجابة مختلفة قبل خمس دقائق؟
تقدم هذه الورقة اختباراً جديداً يسمى OAKS (التكيف عبر الإنترنت مع تدفقات المعرفة المستمرة) لمعرفة ما إذا كانت نماذج الذكاء الاصطناعي الحديثة (النماذج اللغوية الكبيرة) قادرة على فعل ذلك حقاً.
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. الاختبار: قصة تستمر في التغير
قام الباحثون بإنشاء "كتابي قصص" ليقرأهما الذكاء الاصطناعي، ولكن مع لمسة مختلفة:
- الكتاب الاصطناعي (OAKS-B): تخيل قصة حيث ينتقل شخص يدعى "بوب" من المطبخ إلى غرفة المعيشة، ثم إلى المرآب، ثم يعود إلى المطبخ، ثم إلى القبو. كل بضع جمل، ينتقل بوب مرة أخرى. يُطلب من الذكاء الاصطناعي الإجابة على سؤال: "أين بوب؟" بعد كل جملة.
- الكتاب الحقيقي (OAKS-N): أخذوا روايات حقيقية (مثل كبرياء وتحامل أو فرانكنشتاين) وقسموها إلى أجزاء صغيرة. في هذه القصات، تتغير مشاعر الشخصيات وعلاقاتهم وأماكن تواجدهم باستمرار.
التحدي: يجب على الذكاء الاصطناعي قراءة القصة أثناء تدفقها، جزءاً تلو الآخر. لا يمكنه العودة وإعادة قراءة الكتاب بأكمله. عليه أن يجيب على السؤال بناءً فقط على ما قرأه حتى الآن، ويقوم بتحديث إجابته في كل مرة تتغير فيها القصة.
2. النتائج: الذكاء الاصطناعي يضيع في الضجيج
اختبر الباحثون 14 نموذجاً مختلفاً للذكاء الاصطناعي، بما في ذلك أذكى النماذج المتاحة اليوم (مثل Gemini 3 و Qwen). كانت النتائج مفاجئة ومخيبة للآمال نوعاً ما:
- مشكلة "النسيان": حتى أذكى النماذج واجهت صعوبات. غالباً ما كانت تعطي الإجابة الصحيحة في البداية، ولكن عندما تتغير القصة، إما أنها لم تُحدّث (تمسكت بالإجابة القديمة) أو حدّثت أكثر من اللازم (غيرت إجابتها عندما لم يكن ينبغي لها ذلك).
- مشكلة "التشتت": مع طول القصة، بدأ الذكاء الاصطناعي يشعر بالارتباك بسبب كل النص الذي قرأه سابقاً. الأمر يشبه محاولة الاستماع إلى صديق يتحدث عن وظيفة جديدة بينما هو أيضاً يصرخ بشأن وظيفته القديمة، والطقس، وما تناوله على الغداء. غالباً ما يفقد الذكاء الاصطناعي تتبع الحقيقة الحالية.
- الأرقام: حصلت أفضل النماذج على حوالي 66% من الإجابات الصحيحة في الاختبار الاصطناعي و 75% في الروايات الحقيقية. قد يبدو هذا جيداً، لكن بالنسبة لذكاء اصطناعي "فائق الذكاء"، فهذا يعني أنهم يفشلون في حالة واحدة من كل 3 أو 4 حالات في المواقف الديناميكية.
3. لماذا فشلوا؟ ("المفرط في التفكير" مقابل "الروبوت العنيد")
حلل الباحثون كيفية فشل الذكاء الاصطناعي ووجدوا نوعين من الأخطاء في الشخصية:
- "المفرط في التفكير" (التقلب): كانت بعض النماذج متقلبة للغاية. إذا ذكرت القصة انتقال شخصية ما، فإنهم يغيرون إجابتهم فوراً، حتى لو قالت القصة لاحقاً: "بالمناسبة، لقد بقي في مكانه". لم يستطيعوا التمييز بين مجرد ذكر عابر وتغيير دائم.
- "الروبوت العنيد" (الجمود): كانت بعض النماذج بطيئة للغاية. كانوا يستمرون في قول "بوب في المطبخ" حتى بعد أن أوضحت القصة بوضوح: "بوب الآن في القبو". لقد رفضوا التخلي عن المعلومات القديمة.
4. هل ساعد "التفكير بعمق"؟
حاول الباحثون تفعيل "وضع التفكير" (حيث يتوقف الذكاء الاصطناعي ليفكر قبل الإجابة).
- أخبار جيدة: ساعد ذلك الذكاء الاصطناعي في حل الألغاز المنطقية المعقدة (مثل مقارنة شخصيتين).
- أخبار سيئة: لم يحل ذلك المشكلة الجوهرية. لا يزال الذكاء الاصطناعي يتشتت بسبب تدفق النص الطويل. التفكير بعمق لم يمنعهم من نسيان آخر تحديث.
5. "طريقة الاسترجاع" المختصرة لم تنجح أيضاً
حاول الباحثون تزويد الذكاء الاصطناعي بـ "محرك بحث" (RAG) لكي يتمكن من العودة إلى القصة للعثور على الإجابة، بدلاً من مجرد تذكرها.
- النتيجة: لم يساعد ذلك كثيراً. عندما تتغير القصة باستمرار، فإن البحث عن المعلومة "الصحيحة" يشبه محاولة العثور على صفحة محددة في كتاب يتم إعادة كتابته أثناء قراءتك له. غالباً ما يختار الذكاء الاصطناعي الصفحة الخطأ أو يرتبك بسبب نتائج البحث.
الخلاصة الكبرى
الذكاء الاصطناعي الحالي بارع في قراءة كتاب ثابت والإجابة على أسئلة حوله. ولكن إذا وضعت هذا الذكاء الاصطناعي نفسه في سيناريو واقعي حيث تتغير الحقائق كل ثانية (مثل سوق الأسهم، أو موجز أخبار مباشر، أو محادثة في الوقت الفعلي)، فإنه ينهار.
الأمر يشبه امتلاك أمين مكتبة قرأ كل الكتب في العالم، ولكنه يرتبك إذا سألته: "ما هي حالة الطقس الآن؟" لأنه لا يزال يتلو تقرير الطقس من الأسبوع الماضي.
الاستنتاج: نحن بحاجة إلى جيل جديد من الذكاء الاصطناعي لا يكتفي فقط بـ "معرفة" الأشياء، بل يمكنه "العيش" في عالم متغير، وتحديث ذاكرته في الوقت الفعلي دون أن يتشتت أو يصبح عنيداً. نحن لم نصل إلى ذلك بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.