💬 NLP

Refining and Reusing Annotation Guidelines for LLM Annotation

تقترح هذه الورقة وتثبت تجريبياً إطار عمل تعديل تكراري يعمل على تنقيح وإعادة استخدام إرشادات التوسيم بشكل منهجي لمواءمة النماذج اللغوية الكبيرة مع المعايير المرجعية الذهبية عبر مهام التعرف على الكيانات المسماة في المجال الحيوي الطبي، مما يؤكد فعالية دمج الإرشادات، والنماذج المحسنة للاستدلال، والتعديل تحت حد أدنى من الإشراف.

المؤلفون الأصليون: Kon Woo Kim, Jin-Dong Kim, Akiko Aizawa

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kon Woo Kim, Jin-Dong Kim, Akiko Aizawa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مساعد روبوت ذكي وسريع للغاية كيفية قراءة النصوص الطبية وتظليل أمراض معينة. الروبوت ذكي للغاية؛ فهو يعرف ما هي "النوبة القلبية" أو "السكري". ومع ذلك، عندما تطلب منه القيام بمهمة محددة، فإنه يرتكب أخطاءً صغيرة لأنه لا يعرف القواعد الدقيقة والصارمة التي يستخدمها فريقك.

في عالم المنسقين البشريين (الأشخاص الذين يصنفون البيانات)، نقوم بحل هذه المشكلة عن طريق كتابة "كتيب قواعد" (دليل التوسيم). إذا أخطأ الإنسان، يقوم المشرف بمراجعة عمله، ويشير إلى الخطأ، ثم يحدّث "كتيب القواعد" حتى يتعلم الجميع.

هذه الورقة البحثية تسأل: هل يمكننا فعل الشيء نفسه مع الذكاء الاصطناعي؟ هل يمكننا أخذ "كتيب قواعد" موجود، وترك الذكاء الاصطناعي يجربه، ثم يكتشف أخطاءه، ومن ثم استخدام الذكاء الاصطناعي نفسه لإعادة كتابة الكتيب ليكون أكثر وضوحاً؟

إليك كيف اختبر المؤلفون ذلك، مشروحاً من خلال تشبيه بسيط.

الإعداد: "المتدرب الروبوت" و"كتيب القواعد"

عامل الباحثون النموذج اللغوي الكبير (LLM) كأنه متدرب روبوت جديد.

المهمة: على المتدرب قراءة الملخصات الطبية وتظليل أسماء الأمراض.
المشكلة: إذا قلت له فقط "ابحث عن الأمراض"، فسيقوم بالتخمين. قد يظلل عرضاً (Symptom) بدلاً من مرض، أو يفوت مرضاً مختبئاً داخل قائمة.
الحل: أنت تعطي المتدرب كتيب قواعد (إرشادات التوسيم).

الأسئلة الثلاثة الكبرى (الفرضيات)

أراد الفريق إثبات ثلاثة أشياء:

هل يساعد كتيب القواعد؟ (الفرضية 1)
- التشبيه: هل جعل المتدرب أفضل من مجرد التخمين عبر إعطائه دليلاً؟
- النتيجة: نعم. أصبح الروبوت أفضل بكثير عندما امتلك قواعد محددة ليتبعها.
هل الروبوتات "المفكرة" تعمل بشكل أفضل؟ (الفرضية 2)
- التشبيه: بعض الروبوتات تخرج الإجابات بسرعة فقط (غير استنتاجية). أما البعض الآخر فيتوقف، ويفكر خطوة بخطوة، ويحلل المنطق (استنتاجية). أيهما يتبع كتيب القواعد المعقد بشكل أفضل؟
- النتيجة: نعم. كانت الروبوتات "المفكرة" أفضل بكثير في فهم تفاصيل القواعد.
هل يمكن للروبوت إصلاح دليله الخاص؟ (الفرضية 3)
- التشبيه: تخيل أن المتدرب ارتكب خطأً. بدلاً من أن يقوم مدير بشري بإصلاح الدليل، ينظر المتدرب إلى الخطأ، ويكتشف لماذا حدث، ويكتب قاعدة جديدة أكثر وضوحاً لمنع حدوث ذلك في المرة القادنة.
- النتيجة: نعم. استطاع الروبوت تحسين القواعد بنجاح، رغم أن التحسينات كانت صغيرة ولكنها مستمرة.

العملية: "حلقة التصحيح الذاتي"

بنى المؤلفون نظاماً يعمل مثل حلقة تجريبية قبل بدء العمل الحقيقي. إليك كيف يعمل:

التجربة الأولية: يقرأ "المتدرب الروبوت" مجموعة صغيرة مكونة من 10 وثائق طبية باستخدام كتيب القواعد الحالي.
التقييم: يقارن النظام التظليلات التي قام بها الروبوت مقابل "المعيار الذهبي" (الإجابات البشرية المثالية).
العمل الاستقصائي: إذا فات الروبوت شيء ما أو ظلل شيئاً خاطئاً، يقوم النظام بتجميع هذه الأخطاء.
- مثال: "أوه، الروبوت يستمر في تفويت الأمراض المذكورة في بنية جملة 'مع/من' (with/of)."
إعادة الكتابة (الإشراف): يعمل الروبوت هنا كـ مشرف. ينظر إلى الخطأ، ويشرح لماذا حدث، ويكتب قاعدة جديدة لإصلاحه.
- القاعدة الجديدة: "إذا كان المرض مذكوراً في عبارة تحتوي على 'مع' (with) أو 'من' (of)، فلا تتجاهله! قم بتظليله."
التكرار: يقرأ الروبوت الوثائق العشر مرة أخرى مع كتيب القواعد الجديد. إذا تحسن، فهذا جيد. إذا لم يتحسن، يتوقف.

النتائج: ماذا حدث بالفعل؟

كتيب القواعد مهم: بدون القواعد، كان الروبوت جيداً ولكن ليس رائعاً. مع القواعد، أصبح جيداً جداً.
التفكير يساعد: النماذج "المفكرة" (مثل تلك التي تتوقف للتفكير والاستنتاج) اتبعت القواعد بشكل أفضل بكثير من النماذج السريعة والآلية.
"التصحيح الذاتي" حقيقي ولكنه صغير: عملية إعادة كتابة الروبوت لدليله الخاص نجحت. لقد أصلحت أخطاءً محددة (مثل تفويت الأمراض في القوائم). ومع ذلك، لم يكن التحسن قفزة هائلة؛ بل كان دفعة صغيرة وثابتة في الاتجاه الصحيح (حوالي 1-3% أفضل).

العقبات (القيود)

كان المؤلفون حذرين في الإشارة إلى بعض النقاط:

حجم العينة: استخدموا فقط 10 وثائق لتعليم الروبوت كيفية إعادة كتابة القواعد. هذا يشبه محاولة تعلم لغة كاملة عبر دراسة 10 جمل فقط. هذا يعمل كاختبار سريع، لكنه قد يغفل الأنماط الأكبر التي لا تظهر إلا في 1,000 وثيقة.
التكلفة مقابل السرعة: بعض الروبوتات (مثل "المفكرة") مكلفة وبطيئة. وأخرى رخيصة وسريعة ولكنها ترتكب المزيد من الأخطاء. هناك مقايضة بينهما.
متطلبات "المعيار الذهبي": هذا النظام بأكمله يحتاج إلى "معيار ذهبي" مثالي (مفتاح إجابة) للمقارنة به. إذا لم يكن لديك كتيب قواعد مكتوب بواسطة بشر للبدء به، فإن هذه الطريقة المحددة لن تعمل.

الخلاصة

تظهر هذه الورقة البحثية أنه يمكننا معاملة "توسيم البيانات بالذكاء الاصطناعي" كبرنامج تدريبي. بدلاً من مجرد الأمل في أن يصيب الذكاء الاصطناعي الهدف، يمكننا إعطاؤه كتيب قواعد، وترك مجال للممارسة، وتركه يحلل أخطاءه، وجعله يعيد كتابة كتيب القواعد ليكون أكثر وضوحاً.

إنها ليست عصا سحرية تجعل الذكاء الاصطناعي مثالياً في لحظة، لكنها طريقة مثبتة لـ المواءمة المنهجية لروبوت فائق الذكاء مع القواعد التفصيلية المملة والمحددة التي يحتاج البشر منه اتباعها.

ملخص تقني: تحسين وإعادة استخدام إرشادات التوسيم للنماذج اللغوية الكبيرة (LLM)

بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة قدرات قوية في التعرف على النصوص العامة دون الحاجة لتدريب مسبق (zero-shot)، إلا أنها غالباً ما تواجه صعوبة في الالتزام بالاصطلاحات المتخصصة والدقيقة المطلوبة في المعايير المرجعية الذهبية (gold-standard benchmarks). في عملية توسيم المتون التقليدية، يعتمد الموسمون البشريون على إرشادات تفصيلية لحل حالات الغموض، وتحديد حدود الكيانات، والتعامل مع "المناطق الرمادية". ومع ذلك، فإن ترجمة هذه القواعد المعقدة والمحددة بمجال معين إلى مطالبات (prompts) فعالة للنماذج اللغوية الكبيرة أمر غير يسير. فغالباً ما تفشل الأساليب الحالية في التقاط الدقة المطلوبة لضمان اتساق وتجويد عمليات التوسيم، مما يؤدي إلى مخرجات عشوائية لا تتوافق مع متطلبات التطبيقات النهائية.

المنهجية

يقترح المؤلفون إطار عمل للوساطة التكرارية يحاكي المراحل الأولى لمشاريع التوسيم البشري لتنقيح وإعادة استخدام إرشادات التوسيم الحالية للنماذج اللغوية الكبيرة بشكل منهجي. تعامل العملية النموذج اللغوي الكبير كـ "موسم جديد" يخضع لمرحلة تدريب، حيث يتم تحسين الإرشادات تكرارياً بناءً على فجوات الأداء.

حلقة الوساطة التكرارية

يعمل إطار العمل عبر ثلاث مراحل رئيسية لكل دورة ( $k$ ):

التوسيم (Annotation): يقوم نموذج لغوي كبير (الموسم) بتوليد تنبؤات ( $A_k$ ) على مجموعة تطوير باستخدام الإرشادات الحالية ( $G_k$ ).
التقييم (Evaluation): تُقارن التنبؤات بالتوسيمات الذهبية ( $A_g$ ) باستخدام مطابقة صارمة للنطاق والنوع لحساب درجة F1 (كوكيل لاتفاق الموسمين). إذا استوفى الأداء عتبة معينة أو فشل في التحسن، تنتهي الحلقة.
الوساطة/التنقيح (Moderation): إذا كان الأداء غير كافٍ، يقوم تحليل التباين بتحديد نمط الخطأ السائد. هذا يحفز عملية تنقيح من ثلاث خطوات:
- تفسير النمط: يحلل النموذج الأدلة التباينية بين حالات الخطأ وحالات "الإيجاب الحقيقي" (true positives) التي تم التحقق منها لتحديد الإشارات اللغوية أو الهيكلية المحددة التي تسببت في التباين.
- توليد المبدأ: يقوم النموذج بصياغة قاعدة عامة قابلة للتطبيق بصيغة IF/THEN/EXCEPT (إذا/إذن/إلا) صارمة، مع ضمان تضمين قيود سلبية لمنع التصحيح المفرط.
- تنقيح الإرشادات: يتم دمج المبدأ الجديد في وثيقة الإرشادات الحالية ( $G_{k+1}$ )، مع الحفاظ على هيكل الوثيقة الأصلية وتنسيقها دون تلخيص.

الإعداد التجريبي

المهام: التعرف على الكيانات المسماة (NER) في المجال الحيوي الطبي على ثلاث مجموعات بيانات: NCBI Disease، وBC5CDR (الكيميائيات والأمراض)، وBioRED.
النماذح: ثلاث عائلات من النماذج اللغوية الكبيرة (GPT، Gemini، DeepSeek)، مع مقارنة النسخ غير المخصصة للاستدلال (non-reasoning) والنسخ المخصصة للاستدلال (reasoning).
استراتيجية البيانات: تم اعتماد نهج "الموارد المنخفضة" لمحاكاة المراحل المبكرة من التوسيم. تم إجراء تنقيح الإرشادات على مجموعة صغيرة مكونة من 10 وثائق، بينما تم تقييم الأداء على مجموعة منفصلة مكونة من 100 وثيقة.
المقارنات المرجعية (Baselines): المطالبة البسيطة (S)، الإرشادات البشرية الأصلية (G)، والتحسين المقترح للإرشادات عبر الوساطة (M).

المساهمات الرئيسية

التحقق التجريبي من الفرضيات: تقدم الدراسة أدلة على ثلاث فرضيات أساسية:
- H1: إن دمج إرشادات التوسيم الصريحة يحسن بشكل كبير أداء التوسيم للنماذج اللغوية الكبيرة مقارنة بالمطالبة البسيطة.
- H2: تتفوق النماذج المحسنة للاستدلال باستمرار على نظيراتها غير المخصصة للاستدلاء في المهام القائمة على الإرشادات، ويرجع ذلك على الأرجح إلى الحاجة لكل من الاستدلال الاستنباطي (تطبيق القواعد) والاستقرائي (اشتقاق القواعد).
- H3: يمكن تحسين إرشادات التوسيم بفعالية من خلال عملية وساطة تكرارية حتى في ظل حد أدنى من الإشراف (مجموعات تطوير صغيرة).
إطار عمل الوساطة التكراري: تقديم حلقة مهيكلة تعمل على أتمتة تنقيح الإرشادات المكتوبة بشرياً، مما يثبت فعاليتها في مواءمة مخرجات النماذج اللغوية الكبيرة مع الاصطلاحات الذهبية.
التحليل النوعي: فحص مفصل لعملية التنقيح، يقدم رؤى حول كيفية حل التباينات اللغوية المحددة (مثل التعامل مع سياقات قوائم السمات) وكيف يمكن للتنقيحات أن تنتشر إلى حالات ذات صلة أو تؤدي إلى إيجابيات كاذبة جديدة.

النتائج

تكامل الإرشادات: أدى توفير الإرشادات الأصلية إلى تحسين درجات F1 بشكل كبير عبر جميع مجموعات البيانات والنماذج (على سبيل المثال، تحسن نموذج GPT-5 في NCBI Disease من 0.46 إلى 0.73).
نماذج الاستدلال: حققت النسخ المخصصة للاستدلال أداءً أعلى باستمرار من النسخ غير المخصصة للاستدلال عند استخدام الإرشادات (على سبيل المثال، تحسن DeepSeek من 0.29 إلى 0.55 في NCBI).
فعالية الوساطة: حققت عملية التنقيح التكرارية مكاسب إضافية، وإن كانت متواضعة (عادةً ما بين +0.01 إلى +0.03 في F1). كانت هذه المكاسب متسقة عبر مجموعات البيانات ولكنها تفاوتت في دلالتها الإحصائية اعتماداً على النموذج (مثلاً، كانت ذات دلالة إحصائية لـ Gemini، وكانت حدية لـ GPT).
ديناميكيات الخطأ: كشف التحليل أن الوساطة غالباً ما تتضمن إعادة توازن بين الدقة والاستدعاء (precision-recall). وبينما تمت معالجة أنواع محددة من الأخطاء (مثل تجاهل ذكر DiseaseClass)، أدت العملية أحياناً إلى إيجابيات كاذبة جديدة، مما يشير إلى أن التنقيح ليس تحسناً رتيباً بل هو تصحيح مستهدف.

الأهمية والادعاءات

يزعم البحث أن الاستخدام المنهجي وإعادة صياغة إرشادات التوسيم يعمل كآلية مواءمة فعالة للنماذج اللغوية الكبيرة. ويجادل المؤلفون بأن نهجهم يسد الفجوة بين المعرفة الداخلية للنموذج اللغوي الكبير والاصطلاحات الصارمة والمحددة للمعايير المرجعية الذهبية.

تكمن الأهمية في إثبات أن المبادئ الإرشادية عالية المستوى يمكن استقاؤها من حد أدنى من الإشراف (10 وثائق) من خلال عملية تكرارية قائمة على الاستدلال. وهذا يقدم بديلاً محتملاً للتعلم الإحصائي واسع النطاق لتكييف النماذج اللغوية الكبيرة مع المجالات المتخصصة. ومع ذلك، يظل المؤلفون متواضعين بشأن حجم المكاسب، معترفين بأنه بينما يظهر إطار العمل إمكانات واعدة، إلا أن هناك "مساحة كبيرة للتحسين" فيما يتعلق بمتانة إجراء الوساطة واستقرار النتائج المستمدة من أحجام عينات صغيرة. يضع العمل نفسه ليس كمحفز لأداء الحالة الراهنة (SOTA)، بل كإثبات لمفهوم نهج عقلاني لتطور الإرشادات في عصر النماذج اللغوية الكبيرة.