DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models
تقترح الورقة البحثية إطار عمل DIRECT، الذي يعزز أداء وكفاءة النماذج اللغوية الكبيرة في وسم التسلسل من خلال الجمع بين تحسين التفضيل المباشر (Direct Preference Optimization) لتحقيق محاذاة أفضل، وآلية فك ترميز تعتمد على ملء القوالب محكومة تقلل من الحوسبة الزائدة.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا فائق الذكاء قد قرأ كل كتاب تقريبًا على الإنترنت. يمكنه كتابة القصائد، وحل المسائل الرياضية، والدردشة كالبشر. هذا ما يسميه العلماء "النموذج اللغوي الكبير" (LLM). ولكن هناك عقبة: بينما يعد هذا الروبوت عبقريًا في المحادثات العامة، إلا أنه قد يكون فوضويًا بعض الشيء عندما تطلب منه القيام بمهام محددة للغاية وتعتمد على قواعد صارمة. إحدى هذه المهام هي "توسيم المتواليات" (sequence labeling). فكر في الأمر كأنها لعبة "اللمس" حيث يتعين عليك المرور عبر جملة ووضع ملصق محدد على كل كلمة. هل "Apple" هي شركة؟ هل "Tim" هو شخص؟ هل "March" هو تاريخ؟ يحتاج الروبوت إلى وضع كل ملصق بدقة، وبالترتيب الصحيح تمامًا، دون أي كلمات زائدة أو وسوم مفقودة.
المشكلة هي أن هذه الروبوتات معتادة على أن تكون مبدعة ومنطلقة بحرية. وعندما تطلب منها اتباع قواعد صارمة، فإنها تصبح مشتتة أحيانًا، أو تنسى التنسيق، أو ببساطة تخترع أشياء من عندها. وأيضًا، نظرًا لأنها ثرثاجة، فهي تستغرق وقتًا طويلاً للتفكير في كل كلمة، مما يجعل تشغيلها بطيئًا ومكلفًا. لقد حاول العلماء تعليم هذه الروبوتات لتكون أفضل في اتباع القواعد وأسرع في أداء عملها، لكن الأمر كان يشبه محاولة تعليم كلب من فصيلة "جولدن ريتريفر" إجراء جراحة دقيقة.
هنا يأتي دور طريقة جديدة تسمى DIRECT. أراد الباحثون وراء هذه الورقة البحثية إصلاح صداعين كبيرين: عدم استماع الروبوت للتعليمات بشكل جيد بما يكفي، وكون الروبوت بطيئًا جدًا. لم يكتفوا فقط بمحاولة تعليم الروبوت بشكل أقوى؛ بل غيروا كيفية تعلم الروبوت وكيفية تفكيره.
أولاً، قدموا للروبوت نوعًا خاصًا من التدريب يسمى تحسين التفضيل المباشر (DPO). تخيل أنك تعلم كلبًا كيف يجلب الكرة. بدلًا من قول "اذهب وأحضر الكرة"، تعرض عليه طريقتين مختلفتين لجلبها: واحدة يجلب فيها الكرة بشكل مثالي، وأخرى يسقطها في منتصف الطريق. ثم تقول للكلب: "أنا أفضل الأولى بكثير". من خلال عرض آلاف الأمثلة من نوع "جيد مقابل سيء" على الروبوت، فإنه يتعلم فهم ما يفضله البشر بدقة، مما يجعله أكثر عرضة للقيام بالمهمة بشكل صحيح من المرة الأولى.
ثانًا، وهذا هو الجزء الذكي حقًا، قاموا بتغيير كيفية كتابة الروبوت لإجابته أثناء الاختبار الفعلي. عادةً، يتعين على الروبوت إعادة كتابة الجملة بأكملها مرة أخرى، كلمة بكلمة، بما في ذلك الكلمات التي يعرفها بالفعل. الأمر يشبه أن تطلب من طالب إعادة كتابة قصة "سندريلا" بأكملها فقط لتغيير لون الفستان في النهاية. طريقة DIRECT توقف هذا الهدر. بدلًا من إعادة كتابة القصة بأكملها، يتم إعطاء الروبوت قالب "ملء الفراغات". عليه فقط كتابة الملصقات المحددة (الوسوم) ويتخطى الباقي. يتذكر الكمبيوتر بقية القصة فورًا، مما يوفر كمية هائلة من الوقت والطاقة.
النتائج التي حققها هذا النهج الجديد مثيرة للإعجاب حقًا. اختبر الباحثون DIRECT على ثماني مجموعات بيانات مختلفة، وهي مثل مجموعات مختلفة من مسائل التدريب التي تتضمن أشياء مثل إيجاد أسماء الأشخاص، والأماكن، والمؤسسات. وجدوا أن DIRECT لم يكن أكثر دقة من الطرق الرائدة الأخرى فحسب، بل كان أيضًا أسرع بشكل ملحوظ. في الواقع، في بعض الاختبارات، كان أسرع بمقدار يصل إلى 9 مرات من أفضل الطرق الموجودة.
وعندما نظروا عن كثب إلى سبب نجاحه بهذا الشكل، وجدوا أن كلا الجزأين من خطتهم كانا ضروريين. إذا أزالوا التدريب الخاص (DPO)، فإن الروبوت يرتكب المزيد من الأخطاء. وإذا أزالوا خدعة السرعة "ملء الفراغات"، فإن الروبوت يحصل على الإجابات الصحيحة ولكنه يستغرق وقتًا طويلاً جدًا للقيام بذلك. من خلال الجمع بين التدريب الصارم على اتباع القواعد وطريقة ذكية لتخطي العمل غير الضروري، تمكن DIRECT من الحصول على أفضل ما في العالمين: روبوت هو "مثالي دقيق" و"سريع كالبرق" في آن واحد.
تظهر الورقة البحثية أنه مع التدريب الصحيح وقليل من الحيل الهندسية، يمكننا جعل أدوات الذكاء الاصطناعي القوية هذه أكثر فائدة للمهام التي تتطلب الدقة. الأمر لا يتعلق فقط بجعل الروبوت أكثر ذكاءً؛ بل يتعلق بتعليمه كيفية التركيز وكيفية العمل بكفاءة، وتحويل العبقري الثرثار إلى عامل موثوق وسريع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.