Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models
تقترح هذه الورقة ثلاث استراتيجيات لاختيار الطبقات بتوجيه من الانتباه (Attention-JSD، وAttention-Entropy-Max، وAttention-Entropy-Min) تستفيد من آليات الانتباه الذاتي الداخلية لتحسين واقعية النماذج اللغوية الكبيرة، مما يظهر مكاسب أداء ثابتة مقارنة بطريقة DoLa الأصلية في اختبارات TruthfulQA.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى روبوت فائق الذكاء، قرأ كل الكتب تقريبًا الموجودة على الإنترنت. يمكنه كتابة القصائد، وحل المسائل الرياضية، وإلقاء النكات. ولكن في بعض الأحيان، قد يصبح هذا الروبوت واثقًا من نفسه أكثر من اللازم ويبدأ في اختلاق الأمور؛ فقد يخبرك أن القمر مصنوع من الجبن الأخضر، أو أن شخصية تاريخية مشهورة هي من اخترعت الهاتف الذكي. في عالم الذكاء الاصطائي، يُسمى هذا "الهلوسة". وهذه مشكلة كبيرة لأنه إذا أردنا استخدام هذه الروبات في مهام واقعية مثل الإجابة على الأسئلة الطبية أو كتابة الأخبار، فنحن بحاجة إليها لتكون صادقة، لا مجرد مبدعة.
ولإصلاح ذلك، حاول العلماء تعليم هذه الروبوتات كيفية مراجعة عملها أثناء التفكير. إحدى الطرق الشائعة تسمى "فك التشفير التبايني" (Contrastive Decoding). فكر في الأمر كأنه نقاش داخلي لدى الروبوت. يمتلك الروبوت العديد من طبقات "التفكير" بداخله، تشبه إلى حد ما كومة من الفطائر (البانكيك). بعض هذه الطبقات "غير ناضجة" (تفكر بسرعة وسطحية)، وبعضها "ناضج" (يفكر بعمق وعناية). كانت الطريقة القديمة لمراجعة عملهم هي مقارنة ما تقوله الطبقات الضحلة بما تقوله الطبقات العميقة. إذا كانت الطبقة الضحلة واثقة جدًا من إجابة خاطئة، فإن الروبوت يتجاهلها. لكن هذه الورقة البحثية تطرح سؤالًا جديدًا: هل النظر إلى الكلمات التي يفكر فيها الروبوت هو الطريقة الوحيدة لمعرفة ما إذا كان يقول الحقيقة؟ أم يمكننا النظر إلى كيفية انتباه الروبوت لأفكاره الخاصة للعثين على الحقيقة؟
تقترح هذه الورقة، التي تحمل عنوان "اختيار الطبقة الموجه بالانتباه لفك التشفير التبايني في النماذج اللغوية الكبيرة"، طريقة ذكية لمساعدة هذه الروبوتات على قول الحقيقة. يقترح المؤلفون، من معهد اليابان للعلوم والتكنولوجيا المتقدمة، أنه بدلًا من مجرد مقارنة الكلمات النهائية التي يريد الروبوت قولها، يجب أن ننظر إلى "انتباه" الروبوت. تخيل الانتباه كأنه كشاف ضوئي يسلطه الروبوت على أجزاء مختلفة من ذاكرته. وجد الباحثون أنه من خلال مراقبة حركة هذا الكشاف الضوئي، يمكنهم اختيار أفضل "طبقة تفكير" لاستخدامها للتحقق من الحقائق.
لقد اختبروا ثلاث استراتيجيات جديدة:
- Attention-JSD: يبحث هذا عن الطبقة التي يكون فيها "كشاف" الروبوت مختلفًا تمامًا عن فكرته الناضجة والنهائية. إنه يشبه العثور على الطبقة التي تنظر إلى المشكلة من زاوية مختلفة تمامًا.
- Attention-Entropy-Max: يختار الطبقة التي يكون فيها الكشاف منتشرًا بشكل واسع جدًا، حيث ينظر إلى أشياء كثيرة في وقت واحد.
- Attention-Entropy-Min: يختار الطبقة التي يكون فيها الكشاف مركزًا للغاية، حيث يركز بدقة شديدة على قطع محددة من الأدلة.
وعندما اختبروا هذه الأفكار على اختبار شهير يسمى TruthfulQA، وهو مصمم لخداع الروبوتات بالأساطير والمفاهيم الخاطئة الشائعة، كانت النتائج مثيرة. لقد أدت الطرق الجديدة، وخاصة تلك التي نظرت إلى مدى تركيز أو انتشار الانتباه، أداءً أفضل من الطريقة القديمة. لقد كانوا جيدين بشكل خاص في إيجاد إجابات صحيحة متعددة، وليس مجرد إجابة واحدة. على سبيل المثال، في نموذج LLaMA-7B، حصلت استراتيجية "Attention-Entropy-Min" (الكشاف فائق التركيز) على درجة 62.8% في اختبار الإجابات المتعددة، متفوقة على أفضل نتيجة سابقة وهي 56.5%.
كما نظر المؤلفون داخل دماغ الروبوت ليعرفوا لماذا نجح هذا الأمر. اكتشفوا أن ليس كل أجزاء انتباه الروبوت متساوية؛ فبعض "رؤوس الانتباه" المحددة (وهي معالجات فرعية صغيرة داخل الروبوت) تبدو وكأنها تحمل إشارة أقوى للصدق. في الواقع، وجدوا أن استخدام رأس انتباه واحد محدد (Head 6) يمكن أن يجعل الروبوت أحيانًا أكثر ذكاءً مما لو استخدموا جميع الرؤوس معًا. وهذا يشيو إلى أن أنماط "الكشاف الضوئي" الداخلية للروبوت هي إشارة حساسة للغاية للتحقق من الحقائق، وربما تكون أكثر حساسية حتى من مجرد النظر إلى قائمة الكلمات التي قد يقولها بعد ذلك.
ومع ذلك، فإن الورقة البحثية حريصة على ملاحظة أن هذا ليس عصا سحرية تحل كل شيء. يشير الباحثون إلى أنه بينما تعمل هذه الطرق جيدًا للأسئلة متعددة الخيارات، فإننا لا نزال بحاجة لرؤية كيف ستتعامل مع الكتابة الحرة، حيث يتعين على الروبوت إنشاء قصص طويلة أو مقالات من الصفر. كما يشيرون إلى أنهم لا يزالون بحاجة إلى إجراء المزيد من الاختبارات لتحديد أي الطبقات يجب استخدامها لأحجام الروبوتات المختلفة، وهم لا يفهمون تمامًا لماذا تعتبر بعض رؤوس الانتباه جيدة جدًا في اكتشاف الحقائق بعد. ولكن في الوقت الحالي، يشير هذا العمل إلى أنه إذا أردنا أن يكون ذكاؤنا الاصطناعي أكثر صدقًا، فعلينا التوقف عن مجرد الاستماع إلى ما يقوله، والبدء في مراقبة كيفية انتباهه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.