Choosing Calibration Procedures for Reuse Across LLM Confidence Interfaces
تُظهر هذه الورقة أن إجراء المعايرة الذي يؤدي أفضل أداء على واجهة نموذج لغوي كبير (LLM) مصدر لا ينتج بالضرورة خريطة المعايرة المثلى عند إعادة استخدامه على واجهة مستهدفة، مما يكشف عن مشكلة متميزة في اختيار الإجراء حيث تتباعد القيم المثلى للمصدر وإعادة الاستخدام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة المحركات التي تقف وراء العديد من أدوات الذكاء الاصطناعي الأكثر تقدمًا اليوم، وهي قادرة على توليد نصوص تحاكي المحادثة البشرية، وحل المشكلات المعقدة، والإجابة على الأسئلة بطلاقة مذهلة. ومع ذلك، ورغم كل هذه القوة، فإن هذه الأنظمة غالبًا ما تعاني من سمة بشرية أساسية: معرفة متى تكون غير متأكدة. فعندما يجيب النموذج على سؤال ما، فإنه عادةً ما يخصص درجة رقمية لتمثيل ثقته في تلك الإجابة. فإذا كانت تلك الدرجة مرتفعة، نفترض أن الإجابة صحيحة على الأرجم؛ وإذا كانت منخفضة، فقد نتردد أو نبحث عن مصدر آخر. ومع ذلك، فإن درجات الثقة الداخلية هذه ليست موثوقة دائمًا. فقد يكون النموذج واثقًا جدًا من إجابة خاطئة، أو مترددًا بشأن إجابة صحيحة. ولإصلاح ذلك، يستخدم الباحثون عملية تسمى "المعايرة" (calibration)، والتي تعمل مثل المترجم؛ فهي تأخذ درجات الثقة الخام للنموذج وتعدلها بحيث تعني درجة 90 في المائة أن النموذج يصيب فعليًا بنسبة 90 في المائة من المرات. وهذا التعديل ليس إعدادًا يتم لمرة واحدة، بل هو خريطة رياضية يتم إنشاؤها من خلال دراسة كيفية أداء النموذج على مجموعة محددة من الأسئلة.
ينشأ التحدي عندما تتغير الطريقة التي يُطلب بها من النموذج الإجابة. تخيل نموذجًا تمت معايرته لإعطاء درجات ثقة عند تقديمه لأربعة خيارات محتملة في آن واحد. إذا تم تحويل هذا النظام بعد ذلك إلى وضع مختلف حيث يتعين عليه ببساطة التحقق مما إذا كانت إجابة واحدة صحيحة أم لا، فإن خريطة المعايرة القديمة قد لا تعود مناسبة. فالدرجات التي ينتجها الوضع الجديد تعيش في مشهد مختلف، وقد لا يفهمها المترجم القديم. والدافع الطبيعي للمهندسين هو افتراض أن أفضل طريقة معايرة للوضع الأول ستكون هي الأفضل أيضًا لاستخدامها في الوضع الثاني. يبدو المنطق سليمًا: إذا نجحت طريقة ما بشكل مثالي في الماضي، فينبغي أن تعمل بشكل جيد في المستقبل. لكن دراسة جديدة أجراها "ليهان وانغ" في معهد هندسة المعلومات في الصين تشير إلى أن هذا الحدس خاطئ بشكل خطير. إذ تكشف الأبحاث أن إجراء المعايرة الذي يحقق أفضل أداء في الإعداد الأصلي غالبًا ما يفشل في أن يكون الخيار الأفضل عند نقله إلى إعداد جديد، مما يجبرنا على إعادة التفكير في كيفية الوثوق بهذه الأنظمة.
ولاستقصاء ذلك، صمم الباحث تجربة محكومة باستخدام أربعة نماذج لغوية كبيرة مختلفة وثلاث مجموعات متميزة من الأسئلة تغطي المعرفة العامة، والمنطق العام، والمواضيع الطبية. ركزت الدراسة على طريقتين مختلفتين تمامًا لطرق مطالبة النماذج بالإجابة. في الإعداد الأول، المعروف بتنسيق "الاختيار من متعدد"، يرى النموذج سؤالًا وأربعة إجابات محتملة، ويجب عليه اختيار واحدة منها. وفي الإعداد الثاني، وهو تنسيق "التحقق الثنائي"، يُعرض على النموذج نفس السؤال وإجابة واحدة محددة فقط، ويجب عليه أن يقرر ما إذا كانت تلك الإجابة الواحدة صحيحة أم خاطئة. ومن الأهمية بمكان أن الباحث ضمن بقاء السؤال الأساسي والإجابة الصحيحة متطابقين تمامًا في كلا الإعدادين؛ تغير فقط الواجهة — أي الطريقة التي عُرض بها السؤال وكيف طُلب من النموذج الاستجابة — مما سمح بمقارنة نظيفة لكيفية تغير درجات ثقة النماذج عندما تتغير قواعد اللعبة، دون ارتباك ناتج عن تغيير المحتوى الفعلي.
قام الفريق بملاءمة عدة خرائط معايرة مختلفة للنماذج باستخدام الواجهة الأولى، ثم أخذوا هذه الخرائط وطبقوها دون تغيير على الواجهة الثانية ليروا مدى جودة عملها. وقارنوا أداء هذه الخرائط "المعاد استخدامها" مقابل معيارين مرجعيين: الدرجات الخام غير المعايرة التي قدمتها النماذج في الإعداد الجديد، وخرائط جديدة تم تدريبها خصيصًا من الصفر للإعداد الجديد. كانت النتائج واضحة ومتسقة عبر جميع النماذج ومجموعات الأسئلة التي تم اختبارها. ففي كلا الاتجاهين من عملية التبديل — سواء بالانتقال من الاختيار من متعدد إلى التحقق أو العكس — لم تكن طريقة المعايرة التي حققت أفضل أداء في الإعداد الأصلي هي تلك التي حققت أفضل أداء في الإعداد الجديد. وفي الواقع، أدى التمسك بأفضل طريقة أصلية إلى خسارة ملموسة في الدقة. وعندما حسب الباحثون الخطأ، وجدوا أن استخدام أفضل طريقة أصلية أدى إلى معدل خطأ زائد يتراوح بين 0.003 و0.013 في الإعداد الجديد، وهي فجوة، رغم صغرها من الناحية المطلقة، إلا أنها تمثل تدهورًا كبيرًا في الموثوقية لاتخاذ القرارات عالية المخاطر.
ويظل هذا الاكتشاف صحيحًا حتى عندما يُسمح للنموذج باختيار إجابته الخاصة بدلاً من أن تكون هناك إجابة محددة مثبتة له. تضمنت الدراسة تحليلًا ثانويًا حيث اختار النموذج الإجابة التي يعتقد أنها الأفضل، ثم تم التحقق من تلك الإجابة نفسها. وظل النمط كما هو: الإجراء الذي بدا الأفضل في البيئة المصدر لم يكن الخيار الأفضل في بيئة الهدف. اكتشف الباحثون أن العلاقة بين طريقة المعايرة والواجهة هي علاقة اتجاهية بعمق. فالطريقة التي تعتمد على سمات رياضية معينة قد تزدهر عند الانتقال من تنسيق الاختيار من متعدد إلى تنسيق التحقق، ولكن تلك السمات نفسها قد تصبح عبئًا عند الانتقال في الاتجاه المعاكس. أظهرت الدراسة أن آثار تغيير إجراء المعايرة تعتمد بشدة على الاتجاه الذي يتم فيه التبديل، مما يعني عدم وجود طريقة "عالمية" واحدة هي الأفضل بغض النظر عن السياق.
إن الآثار المترتبة على هذا الاكتشاف عملية وفورية لكل من يبني أنظمة تعتمد على ثقة الذكاء الاصطناعي. وهذا يعني أن تاريخ خريطة المعايرة أمر بالغ الأهمية؛ فالخريطة التي تم ضبطها بدقة لواجهة واحدة تحمل سياق تلك الواجهة معها، وقد لا يترجم هذا السياق إلى واجهة أخرى. وتجادل الدراسة بأننا لا يمكننا ببساطة افتراض أن أفضل أداء للمعايرة في الماضي هو الأفضل لإعادة استخدامه في المستقبل. بدلاً من ذلك، عندما يغير النظام طريقة طرح الأسئلة أو كيفية تلقي الإجابات، يجب إعادة تقييم اختيار إجراء المعايرة. إذا كانت البيئة المستهدفة توفر تسميات (labels) متاحة، فإن أفضل نهج هو ملاءمة خريطة جديدة مخصصة لتلك البيئة. وإذا لم يكن ذلك ممكنًا، فإن مجرد حمل الخريطة "الأفضل" القديمة هو مقامرة ستؤدي على الأرجح إلى درجات ثقة أقل موثوقية. وتخلص الأبحاث إلى أن جودة خريطة المعايرة ليست خاصية متأصلة في الطريقة نفسها، بل هي علاقة بين الطريقة، والبيانات التي تدربت عليها، والواجهة المحددة التي تُستخدم فيها. وفي النهاية، فإن أكثر درجات الثقة موثوقية لا تأتي من إعادة استخدام الماضي بشكل أعمى، بل من فهم أن كل واجهة جديدة هي مشهد جديد قد يتطلب خريطة جديدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.