Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models
تقدم هذه الورقة البحثية "الكمّنة الحافظة للشك" (DPQ)، وهي إطار عمل يختار بيانات المعايرة بناءً على أهداف نشر محددة للحفاظ بشكل أفضل على سلوكيات عدم اليقين مثل الثقة والامتناع في النماذج اللغوية المكمّنة، مما يثبت أن الاختيار الأمثل للبيانات يختلف اعتمادًا على هدف الحفظ المنشود بدلاً من اتباع وصفة ثابتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء العديد من أدوات الذكاء الاصطنيعي الحديثة، وهي قادرة على توليد النصوص، والإجابة على الأسئلة، وحل المشكلات التي كانت تبدو ذات يوم خارج نطاق قدرات الآلات. ولتشغيل هذه الأنظمة الضخمة على الأجهزة اليومية مثل الهواتف الذكية أو أجهزة الكمبيوتر المحمول، يستخدم المهندسون غالبًا تقنية تسمى "الكمّنة" (quantization). تعمل هذه العملية على تقليص البصمة الذاكرية للنموذج من خلال تبسيط الأرقام التي يستخدمها في التفكير، تمامًا مثل ضغط صورة عالية الدقة إلى حجم ملف أصغر لكي يتم تحميلها بشكل أسرع. لسنوات طويلة، كان نجاح هذا الضغط يُقاس بالكامل تقريبًا بما إذا كان النموذج لا يزال يعطي الإجابة الصحيحة. فإذا كان النموذج الذي كان يعرف سابقًا أن عاصمة أستراليا هي كانبرا، لا يزال يقول "كانبرا" بعد تقليصه، فقد كان ذلك يُعتبر نجاحًا. ومع ذلك، فإن هذا التركيز الضيق يتجاهل طبقة حاسمة لكيفية عمل هذه النماذج: وهي ثقتها. فالنموذج لا يخرج إجابة فحسب، بل يحسب أيضًا مدى تأكده من تلك الإجابة. وهذا الشعور الداخلي باليقين أمر حيوي للسلامة والموثوقية، خاصة عندما يحتاج النموذج إلى اتخاذ قرار بشأن ما إذا كان سيجيب على سؤال ما أم لا.
اكتشف فريق من الباحثين من مؤسسات تشمل جامعة ييل وجامعة أكسفورد أن الطريقة القياسية لتقليص هذه النماذج غالبًا ما تكسر هذا الشعور الداخلي بالثقة، حتى عندما تظل الإجابات النهائية صحيحة. ووجدوا أنه بينما قد يختار النموذج المضغوط المدينة الصحيحة، إلا أنه قد يصبح واثقًا بشكل مفرط أو غير متأكد بشكل غريب من خياره، وهو تحول يمكن أن يتسبب في وقوع أنظمة لاحقة في أخطاء خطيرة. ولإصلاح ذلك، طور الباحثون طريقة جديدة لاختيار البيانات المحددة المستخدمة لإعداد النموذج لعملية الضغط. وتظهر أعمالهم أنه لا توجد مجموعة بيانات واحدة "مثالية" للاستخدام في كل موقف؛ بل يجب اختيار البيانات بعناقة بناءً على نوع السلوك الذي يحتاج المستخدم إلى الحفاظ عليه بالضبط، سواء كان ذلك القدرة على رصد الأسئلة غير القابلة للإجابة أو الموثوقية العامة للإجابات عبر مجموعة واسعة من المواضيع.
يكمن جوهر المشكلة في كيفية تعامل هذه النماذج مع عدم اليقين. في العالم الحقيقي، يجب على المساعد النافع أن يعرف متى يلتزم الصمت. فإذا طرح مستخدم سؤالًا ليس له إجابة واقعية، يجب على النموذج إدراك الغموض والامتناع عن التخمين، بدلًا من الهلوسة بثقة بمعلومة خاطئة. وتُعرف هذه القدرة على التمييز بين السؤال الذي يمكنه الإجابة عليه والسؤال الذي لا يمكنه ذلك بـ "قابلية الإجابة" (answerability). لاحظ الباحثون أن تقنيات الضغط القياسية غالبًا ما تخلخل هذا الحد الدقيق؛ فقد يرى النموذج سؤالًا لا يستطيع الإجابة عليه، وبينما كان الإصدار الكامل من النموذج سيتردد، قد يصبح النسخة المضغوطة فجأة واثقة للغاية في إجابة خاطئة. يحدث هذا لأن عملية الضغط تُدخل أخطاء صغيرة تتراكم، مما يدفع درجات النموذج الداخلية لتتجاوز العتبة التي تقرر من خلالها التحدث.
ولحل هذه المشكلة، عامل الباحثون اختيار بيانات التدريب ليس كخطوة عامة، بل كمهمة معايرة مستهدفة. فقد أدركوا أن الأهداف المختلفة تتطلب بيانات مختلفة. فإذا كان الهدف هو الحفاظ على قدرة النموذج على اكتشاف الأسئلة غير القابلة للإجابة، يجب أن تكون البيانات المستخدمة لإعداد النموذج مليئة بالأمثلة التي تقع تمامًا على حافة عدم اليقين — أي الأسئلة الصعبة أو التي يكون النموذج فيها غير متأكد بطبيعته. أما إذا كان الهدف هو الحفاظ على الموثوقية العامة عبر أنواع مختلفة من الأسئلة، فيجب أن تكون البيانات أكثر توازنًا، بحيث تمزج بين تلك الحالات الحدية الصعبة والأمثلة القياسية المباشرة. اختبر الباحثون هذه الفكرة عبر ثمانية نماذج لغوية مختلفة وتسعة معايير مختلفة، وقارنوا نهجهم بـ اثنين وعشرين طريقة أخرى. ووجدوا أنه عندما اختاروا تحديدًا بيانات تحتوي على مستويات عالية من الشك وعدم اليقين، كانت النماذج المضغوطة أفضل بكثير في الحفاظ على قدرتها على قول "لا أعرف" عند الاقتضاء.
كما كشفت الدراسة عن مقايضة مفاجئة. فالوصفة المحددة التي حققت أفضل النتائج في الحفاظ على القدرة على رصد الأسئلة غير القابلة للإجابة لم تكن هي نفسها التي حققت أفضل النتائج في الحفاظ على الدقة العامة في الاختبارات القياسية متعددة الخيارات. فالطريقة التي ركزت بشدة على الأمثلة الصعبة وغير المؤكدة تفوقت في حماية حدود قرار النموذج، مما يضمن عدم إجابته بثقة على أسئلة لا ينبغي له الإجابة عليها. ومع ذلك، بالنسبة للمهام الأوسع حيث يُتوقع من النموذج الإجابة على معظم الأسئلة، كان المزيج الأخف من البيانات، أو حتى البيانات المختارة لمستويات الثقة العامة، يؤدي بشكل أفضل. ويتحدى هذا الاكتشاف الافتراض السائد منذ فترة طويلة بأنه لا يوجد طريقة واحدة مثالية عالميًا لإعداد النموذج للضغط. بدلاً من ذلك، أظهر الباحثون أن "أفضل" بيانات تعتمد كليًا على الغرض الذي سيُستخدم النموذج من أجله في العالم الحقيقي.
قدم الباحثون إطار عمل جديدًا أطلقوا عليه اسم "الكمّنة الحافظة للشك" (Doubt-Preserving Quantization) لوضع هذه الفكرة موضع التنفيذ. تعمل هذه الطريقة من خلال مطالبة النموذج الأصلي كامل الحجم أولاً بتقييم مجموعة كبيرة من الأسئلة المحتملة. ثم تحدد الأسئلة المحددة التي يكون فيها النموذج أكثر شكًا أو حيث يكون الفرق بين الإجابتين الأوليين صغيرًا جدًا. بعد ذلك، يتم خلط هذه الأمثلة "عالية الشك" مع أمثلة قياسية عامة لإنشاء مجموعة بيانات مخصصة لعملية الضغط. ومن خلال تغذية هذا المزيج المصمم خصيصًا في خوارزمية الضغط، يحتفظ النموذج الأصغر بالحس الدقيق للثقة الذي كان يمتلكه النموذج الأصلي. وقد أظهرت الدراسة أن هذا النهج قلل بشكل كبير من أخطاء الثقة التي تصيب النماذج المضغوطة عادةً، لا سيما في السيناريوهات التي يكون فيها معرفة متى يجب الامتناع عن الإجابة أمرًا بالغ الأهمية.
يشير هذا العمل إلى تحول جذري في كيفية تفكيرنا في جعل الذكاء الاصطناعي أصغر وأسرع. فلا يكفي مجرد التحقق مما إذا كان النموذج لا يزال يحصل على الإجابة الصحيحة؛ بل يجب علينا أيضًا التأكد من أنه لا يزال يعرف مدى تأكده من تلك الإجابة. لقد أظهر الباحثون أنه من خلال التقييم الدقيق للبيانات المستخدمة لتقليص هذه النماذج، يمكننا الحفاظ على السلوكيات التي تجعلها آمنة وموثوقة. وسواء كان النموذج يحتاج إلى أن يكون مساعدًا طبيًا حذرًا يرفض التخمين في التشخيص، أو روبوت دردشة عامًا يجيب على مجموعة واسعة من الأسئلة، فإن البيانات المستخدمة لإعداد النموذج يجب أن تُختار مع وضع ذلك الغرض المحدد في الاعتبار. لقد انتهى عصر الضغط الذي يناسب الجميع؛ والمستقبل يكمن في المعايرة المستهدفة التي تحترم حالات عدم اليقين المحددة للمهمة المعنية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.