How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
تتقصى هذه الورقة كيفية تأثير استراتيجيات قناع الانتباه المختلفة على جودة تضمينات المستخدم في النماذج اللغوية الكبيرة ذات فك التشفير فقط، وتقترح "القناع الناعم الموجه بالتدرج" لتسهيل الانتقال المستقر من الانتباه السببي إلى الانتباه ثنائي الاتجاه أثناء تعلم تمثيل المستخدم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول فهم شخصية إنسان بمجرد مراقبته وهو يسير عبر مركز تسوق ضخم.
إذا نظرت إليه فقط من خلال مرآة الرؤية الخلفية (أي رؤية ما فعله بالفعل)، فقد تغفل عن "السبب" وراء أفعاله. وإذا حاولت النظر إلى قصة حياته بأكملها دفعة واحدة (رؤية الماضي والحاضل والمستقبل في آن واحد)، فقد يصاب عقلك بالإرهاق والارتباك بسبب كثرة المعلومات.
هذه الورقة البحثية، التي كتبها باحثون في "Ant Group"، تحل هذه المشكلة تماماً بالنسبة للذكاء الاصطناعي.
المشكلة: معضلة "الشارع ذي الاتجاه الواحد"
معظم نماذج الذكاء الاصطالي الحديثة (مثل تلك التي تقف وراء ChatGPT) هي نماذج "مبنية على فك التشفير فقط" (Decoder-only). لقد صُممت لتكون رواة قصص. ولأنها تتنبأ بالكلمة التالية في الجملة، فقد تم تدريبها للنظر إلى الماضي فقط. إنها تقرأ من اليسار إلى اليمين، تماماً مثل الشخص الذي يقرأ كتاباً. وهذا ما يسمى الانتباه السببي (Causal Attention).
ومع ذلك، لكي تفهم "مستخدماً" حقاً (مثل متسوق على تطبيق Alipay)، فأنت لا تحتاج فقط إلى راوٍ للقصص؛ بل تحتاج إلى محقق. المحقق يحتاج إلى النظر إلى سلوك الشخص بشكل شمولي — ليرى كيف ترتبط عملية شراء تمت يوم الإثنين بعملية بحث تمت يوم الجمعة — لفهم نيته الحقيقية.
وجد الباحثون صراعاً بين:
- راوي القصص (السببي): بارع في التنبؤ بالخطوة التالية، لكنه "أعمى" عن سياق المستقبل.
- المحقق (ثنائي الاتجاه): بارع في رؤية الصورة الكاملة، لكن تدريبه صعب لأنه يكسر الطريقة التي "وُلد" بها الذكاء الاصطناعي أصلاً (مرحلة ما قبل التدريب).
الحل: "البقعة الضوئية المتدرجة" (GG-SM)
ابتكر الباحثون طريقة جديدة تسمى "القناع الناعم الموجه بالتدرج" (Gradient-Guided Soft Masking - GG-SM).
فكر في الأمر كتدريب طالب ليصبح محققاً. لن تلقي بطالب مبتدئ في مسرح جريمة معقد وتقول له: "انظر إلى كل شيء في وقت واحد!"، بل سيتجمد مكانه. بدلاً من ذلك، ستستخدم "بقعة ضوئية متدرجة":
- المرحلة الأولى (راوي القصص): في البداية، تسمح للذكاء الاصطناعي بالنظر إلى الماضي فقط، تماماً كما تدرب على القيام به.
- المرحلة الثانية (البقعة الضوئية الذكية): بدلاً من فتح عينيه فجأة على كل شيء، يستخدم الذكاء الاصطناعي "التدرجات" (والتي يمكنك اعتبارها بمثابة الحدس الداخلي) ليقرر أي الأدلة المستقبلية هي المهمة حقاً. الأمر يشبه محققاً يقول: "أنا لا أنظر إلى كل شيء بعد، لكنني سألقي نظرة خاطفة على تلك الحقيبة المشبوهة هناك".
- المرحلة الثالثة (المحقق الكامل): ببطء، تتسع البقعة الضوئية حتى يتمكن الذكاء الاصطناعي من رؤية المشهد بأكمله في وقت واحد، بعد أن تعلم بالفعل أي أجزاء من المشهد هي الأكثر أهمية.
لماذا يهم هذا؟
من خلال استخدام هذا "الانتقال الذكي" بدلاً من مجرد قلب مفتاح التشغيل، يصبح الذكاء الاصطناعي أفضل بكثير في "تمثيل المستخدم" (User Representation)، وهو مجرد تعبير تقني يعني "فهم ما يريده الشخص حقاً".
النتائج:
عندما اختبروا هذا على بيانات واقعية من Alipay (بالنظر إلى أشياء مثل الأفلام التي يحبها الناس، وكيف ينفقون أموالهم، وكيف يستخدمون التطبيقات)، تفوق "ذكاؤهم الاصطناعي المحقق" على نماذج أكبر بكثير وأكثر تكلفة.
باختصار: لقد أثبتوا أن الأمر لا يتعلق فقط بمدى ضخامة الذكاء الاصطناعي، بل بـ كيفية تعليمك إياه كيف ينظر إلى العالم. فمن خلال تعليمه الانتقال بسلاسة من راوٍ للقصص إلى محقق، نجحوا في ابتكار ذكاء اصطناعي يفهم السلوك البشري بعمق واستقرار أكبر بكثير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.