RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة (LLMs) تعاني من "انهيار استرجاع المعزز بالاسترجاع" (RAG collapse)، وهي ظاهرة تتدهور فيها استجاباتها وتفقد تنوعها عندما تسترجع وتعتمد على محتواها الذي تم إنشاؤه سابقاً، حيث تُظهر التجارب أن 79.6% من عمليات المحاكاة هذه تنتهي بالانهيار بسبب انحياز مفرط في الاستشهاد الذاتي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما كان الإنترنت مكتبة شاسعة للفكر البشري، حيث تساهم ملايين الأصوات في نسيج غني ولكنه فوضوي من المعلومات. وفي السنوات الأخيرة، انضم نوع جديد من الأصوات إلى هذا الكورال: الذكاء الاصطناعي. إن النماذج اللغوية الكبيرة، وهي المحركات التي تقف وراء روبوتات الدردشة الحديثة، مدربة على هذه المكتبة الرقمية ويمكنها الآن توليد نصوص تحاكي الكتابة البشرية. وتُستخدم هذه الأنظمة بشكل متزايد أيضاً لكتابة المقالات والمراجعات والقوائم التي تملأ الشبكة. وهذا يخلق وضعاً فريداً حيث تبدأ الأدوات التي نستخدمها للعثور على المعلومات في قراءة الأشياء التي ساعدت هي نفسها في إنشائها. وقد لاحظ العلماء سابقاً أنه إذا تم تدريب نموذج ما بشكل متكرر على مخرجاته الخاصة، فقد يدخل في حالة من "انهيار النموذج"، حيث تصبح استجاباته تكرارية وتفقد الثراء الموجود في البيانات الأصلية. لكن دراسة جديدة تطرح سؤالاً أكثر إلحاحاً: ماذا يحدث عندما تستخدم هذه الأنظمة أدوات البحث الخاصة بها للعثور على إجابات، وتكون نتائج البحث تلك هي في الواقع مقالات كتبتها هي نفسها؟
وضع الباحثون في "غرافيت غروث" (Graphite Growth) هدفهم لاختبار هذا السيناريو من خلال سلسلة من عمليات المحاكاة الحاسوبية المكثفة. لقد عاملوا الإنترنت كنظام بيئي حي حيث يتم نشر محتوى مولد بواسطة الذكاء الاصطناعي باستمرار ثم استرجاعه فوراً بواسطة نفس نوع الذكاء الاصطناعي الذي كتبه. وللقيام بذلك، أخذوا أكثر من ألف سؤال مختلف، تتراوح من "من هم أفضل صانعي محتوى تويتش؟" إلى "كيف يمكنني تحسين علامتي التجارية الشخصية؟". بدأوا بجمع نتائج بحث حقيقية لهذه الأسئلة، والتي كانت بمثำبة مجموعة المعلومات الأولية. ثم طلبوا من ذكاء اصطناعي الإجابة على الأسئلة بناءً على تلك النتائج. بعد ذلك، أخذوا تلك الإجابات الناتجة عن الذكاء الاصطناعي، ووسعوها لتصبح مقالات كاملة، وأضافوها مرة أخرى إلى مجموعة نتائج البحث المتاحة، مستبدلين المصادر البشرية الأصلية. كرروا هذه العملية مراراً وتكراراً، محاكيين دورة حيث يقرأ الذكاء الاصطناعي عمله السابق لتوليد إجابات جديدة.
كانت النتائج مذهلة ومثيرة للقلق. ففي ما يقرب من ثمانين بالمائة من عمليات المحاكاة، انهار النظام في حالة من التجانس الشديد. فبدلاً من تقديم مجموعة متنوعة من وجهات النظر أو قوائم مختلفة من الأسماء، بدأ الذكاء الاصطناعي في إنتاج الإجابة نفسها تماماً في كل مرة. حدث هذا حتى عندما استبدل الباحثون واحداً فقط من نتائج البحث الأصلية بمقال من صنع الذكاء الاصطناعي. ومن المثير للدهشة أن وجود مرجع واحد من تأليف الذكاء الاصطناعي كان كافياً لإحداث هذا التحول. لم يعامل الذكاء الاصطناعي كتابته الخاصة كمجرد خيار آخر؛ بل فضل محتواه بشكل غير متناسب، واستشهد به أكثر بكثير من المصادر الأصلية، حتى عندما كانت المصادر الأصلية ذات جودة مساوية أو أعلى. تسبب هذا الانحياز في تلاشي تنوع الإجابات بسرعة. في إحدى التجارب المتعلقة بقائمة لأفضل صانعي ألعاب الفيديو، كانت الإجابات الأولية تتنوع بشكل واسع، وتذكر أشخاصاً مختلفين بترتيب مختلف. ولكن بعد خمس جولات فقط من هذه الحلقة المرجعية الذاتية، أدرجت كل إجابة نفس صانعي المحتوى بالضبط وبنفس الترتيب، مع تحول النص ليكون متطابقاً تقريباً كلمة بكلمة.
استبعدت الدراسة فكرة أن هذا الانهيار كان ببساطة بسبب قراءة الذكاء الاصطناعي لمحتوى منخفض الجودة أو سيء الكتابة. فقد تحقق الباحثون من جودة المقالات ووجدوا أن المقالات المولدة بواسطة الذكاء الاصطناعي كانت غالباً بنفس جودة المقالات المكتوبة بشرياً أو حتى أفضل منها من حيث التنظيم والصلة بالموضوع. ومع ذلك، ظل الذكاء الاصطناعي يفضل عمله الخاص. وهذا يشير إلى ظاهرة يسميها المؤلفون "الانحياز الذاتي"، حيث يمتلك النموذج تفضيلاً متأصلاً لأسلوب وهيكل أجياله السابقة. المسألة ليست أن الذكاء الاصطناعي غير قادر على العثور على معلومات أخرى؛ بل يبدو أنه يركز على مخرجاته الخاصة ويضخمها، متجاهلاً التنوع الأوسع للإنترنت. لوحظ هذا التأثير عبر أنواع مختلفة من نماذج الذكاء الاصطناعي، بما في ذلك تلك التابعة لشركات تكنولوجية كبرى، وحدث بغض النظر عما إذا كانت الأسئلة تتعلق بقوائم حقائق أو نصائح مفتوحة.
وجد الباحثون أن هذا الانهيار ليس انحرافاً بطيئاً وتدريجياً، بل يمكن أن يحدث بشكل شبه فوري. ففي عمليات المحاكاة التي استبدلوا فيها مرجعاً واحداً فقط بمقال مولد بواسطة الذكاء الاصطناعي، بدأت الإجابات في التقارب خلال الجولات القليلة الأولى. وبحلول نهاية العملية، فقد النظام القدرة على عكس التنوع الحقيقي للرأي البشري. وبالنسبة للأسئلة المتعلقة بقوائم "الأفضل"، مثل أفضل المطاعم أو الأفلام، توقف الذكاء الاصطناعي عن تقديم مجموعة من الخيارات، وبدلاً من ذلك تقارب نحو منظور واحد ضيق. بعض الكيانات التي ذُكرت بشكل متكرر في البداية اختفت تماماً من الإجابات، بينما بدأت كيانات أخرى كانت تُذكر نادراً في البداية بالظهور في كل استجابة. وهذا يشير إلى أنه مع تدفق المزيد من المحتوى المولد بواسطة الذكاء الاصطناعي إلى الإنترنت، فإن أدوات البحث التي نعتمد عليها قد تتوقف في النهاية عن إظهار الصورة الكاملة للفكر البشري، وتعكس بدلاً من ذلك حلقة ضيقة من الإجماع المولد آلياً والمعزز ذاتياً.
تمتد تداعيات هذه النتيجة إلى ما هو أبعد من مجرد روبوتات الدردشة. تسلط الدراسة الضوء على خطر محتمل لمستقبل المعلومات على الويب. فإذا استُخدمت أنظمة الذكاء الاصطناعي بشكل متزايد لتوليد المحتوى الذي تسترجعه أنظمة الذكاء الاصطناعي الأخرى، فقد يفقد الإنترنت تدريجياً تنوع الفكر. وأشار الباحثون إلى أن حتى العدد الصغير من المقالات المولدة بواسطة الذكاء الاصطناعي يمكن أن يكون له تأثير هائل، مما يؤدي إلى انهيار يلغي وجهات النظر البديلة. لقد اختبروا طرقاً مختلفة لوقف ذلك، مثل محاولة تصفية المحتوى المولد بواسطة الذكاء الاصطناعي أو تشجيع النماذج على أن تكون أكثر تنوعاً، لكن هذه الحلول تظل غير مثبتة في العالم الحقيقي. وتخلص الدراسة إلى أنه بينما لا نعرف على وجه اليقين ما إذا كان هذا الانهيار يحدث بالفعل على نطاق عالمي، فإن عمليات المحاكاة تظهر أن الآلية حقيقية وقوية. إن الإنترنت، الذي كان يوماً مرآة للتنوع البشري، يواجه خطر التحول إلى قاعة مرايا لا يرى فيها الذكاء الاصطناعي سوى نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.