InfiniRetri: Attention-Guided Retrieval for Enhancing LLMs' Long-Context Processing
تُعد InfiniRetri طريقةً لا تتطلب تدريباً، حيث تستفيد من آليات الانتباه الجوهرية في النماذج اللغوية الكبيرة (LLM) المُدربة مسبقاً لاستخلاص السياق ذي الصلة بشكل تكراري من مدخلات طويلة للغاية، مما يتيح استرجاعاً واستنتاجاً فعالاً وعالي الدقة للسياقات الطويلة دون الحاجة إلى نماذج تضمين خارجية أو إعادة تدريب مكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت أنظمة الذكاء الاصطناعي الحديثة، المعروفة باسم النماذج اللغوية الكبيرة، قادرة بشكل ملحوظ على فهم وتوليد اللغة البشرية؛ إذ يمكنها كتابة القصص، وحل المسائل الرياضية، والإجابة على الأسئلة المعقدة. ومع ذلك، تواجه هذه الأنظمة قيدًا فيزيائيًا يتمثل في أنها لا تستطيع إلا استيعاب كمية معينة من المعلومات في "ذاكرتها العاملة" في وقت واحد. فعندما يطلب مستخدم من النموذج قراءة مستند طويل جدًا، مثل رواية كاملة أو مجموعة من السجلات القانونية، غالبًا ما يعاني النظام. فهو يميل إلى نسيان التفاصيل من بداية النص أو يفقد تتبع النقطة الرئيسية مع ازدياد طول المدخلات. يحدث هذا لأن العملية الرياضية التي يستخدمها النموذج لربط الكلمات ببعضها البعض تصبح مكلفة وبطيئة للغاية مع كبر حجم النص. ولإصلاح ذلك، حاول الباحثون نهجين رئيسيين: أحدهما هو إجبار النموذج على تعلم كيفية التعامل مع النصوص الطويلة من خلال إعادة تدريب مكلفة وتستغرق وقتًا طويلاً، والآخر هو استخدام نظام مساعد يبحث عن الأجزاء ذات الصلة من النص قبل أن يقرأه النموذج، لكن هذا المساعد غالبًا ما يعتمد على مطابقة الكلمات البسيطة مما يجعله يفتقر إلى المعنى العميق.
وقد اقترح فريق من الباحثين من كلية "ونهوا" (WenHua) في الصين حلاً مختلفًا لا يتطلب إعادة تدريب ولا أدوات بحث خارجية. فقد اكتشفوا أن النموذج يمتلك بالفعل القدرة على إيجاد المعلومات الصحيحة ضمن نص طويل؛ إنه يحتاج فقط إلى التوجيه لاستخدامها. ومن خلال مراقبة كيفية عمل آلية "الانتباه" (attention mechanism) الداخلية للنموذج، وجدوا أن النموذج يركز طبيعيًا انتباهه على الجمل المحددة التي تحتوي على الإجابات على سؤال ما، حتى عندما تكون تلك الجمل مدفونة في أعماق وثيقة ضخمة. وتكون هذه الأنماط أكثر وضوحًا في الطبقة النهائية من شبكة معالجة النموذج. وقد بنى الباحثون طريقة تسمى "إنفيني ريتري" (InfiniRetri) تستغل هذا السلوك الطبيعي. فبدلاً من محاولة ضغط النص إلى أجزاء أصغر غير قابلة للقراءة أو الاعتماد على محرك بحث منفصل، تقوم طريقتهم بقراءة أجزاء (chunks) من المستند الطويل بشكل تكراري، وتطلب من النموذج تحديد الجمل الأكثر صلة بناءً على تركيزه الداخلي، ثم تحفظ فقط تلك الجمل الكاملة في ذاكرة تخزين مؤقتة (cache) صغيرة وفعالة.
تعمل العملية مثل قارئ دقيق يتصفح كتابًا سميكًا صفحة بصفحة. يقوم الباحثون بتقسيم النص الطويل إلى أقسام يمكن إدارتها. وفي كل قسم، يقومون بتغذية النص مع سؤال المستخدم في النموذج. ثم ينظر النموذج في مقدار الانتباه الذي توليه آلياته الداخلية لأجزاء مختلفة من ذلك القسم. يستخرج الباحثون خريطة لهذا الانتباه، وبالتحديد كيف ترتبط كلمات السؤال بالكلمات الموجودة في النص. وقد وجدوا أن درجات انتباه النموذج تعمل كإشارة دقيقة، حيث تسلط الضوء على الجمل التي تحمل الإجابة بالضبط. ثم يختار النظام الجمل الأعلى درجة ويحفظها في ذاكرة تخزين مؤقتة خفيفة الوزن. وتتكرر هذه الدورة لكل جزء من المستند. وبحلول الوقت الذي تتم فيه معالجة النص بأكمله، تحتوي الذاكرة المؤقتة على الجمل الأكثر أهمية اللازمة للإجابة على السؤال فقط، مما يؤدي فعليًا إلى تصفية بقية الضجيج. وأخيرًا، يقرأ النموذج هذه المجموعة المختارة بعناية من الجمل ويولد الإجابة النهائية.
إن نتائج هذا النهج مذهلة. ففي الاختبارات التي كان على النموذج فيها العثور على حقيقة مخفية داخل مستند ضخم، حقق إصدار صغير جدًا من النموذج باستخدام هذه الطريقة دقة مثالية حتى عندما احتوى النص على أكثر من مليون كلمة. ويمثل هذا تحسنًا كبيرًا مقارنة بالطرق السابقة، التي كانت تفشل غالبًا عندما يتجاوز النص 32,000 كلمة. كما أثبتت الطريقة فعاليتها العالية في الإجابة على الأسئلة التي تتطلب العثور على معلومات عبر مستندات متعددة، متفوقة على التقنيات المتقدمة الأخرى التي تعتمد على تدريب معقد أو قواعد بيانات خارجية. ومن المثير للاهتمام أن هذا المستوى العالي من الأداء تم تحقيقه باستخدام اثنين جيجابايت فقط من ذاكرة الكمبيوتر، وهو حجم صغير بما يكفي للتشغيل على أجهزة المستهلكين القياسية. وقد لاحظ الباحثون أن الطريقة تعمل بشكل أفضل عندما يكون هناك سؤال واضح لطرحه، حيث يعتمد النظام على السؤال لتوجيه انتباهه. وبينما أظهرت الطقة تحسنًا أقل في مهام مثل تلخيص كتاب كامل، حيث يكون الهدف هو تكثيف كل شيء بدلاً من البحث عن حقيقة محددة، فإن القدرة على استرجاع معلومات دقيقة من نصوص ذات أطوال غير محدودة تقريبًا دون تدريب مكلف تمثل خطوة كبيرة للأمام. وتشير الدراسة إلى أنه من خلال الثقة في الإشارات الداخلية للنموذج، يمكننا إطلاق قدرته على القراءة والاستنتاج عبر نصوص بأي حجم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.