Naming the deliverable raises convention coverage in large language model outputs
تُظهر هذه الدراسة أن الاستخدام الصريح لأسماء المخرجات الخاصة بالممارسين (على سبيل المثال، "مصفوفة RACI" بدلاً من عبارة وصفية) يحسن بشكل كبير من التزام مخرجات النماذج اللغوية الكبيرة بالاتفاقيات المهنية عبر مختلف النماذج ومجموعات البيانات.
في عالم العمل الاحترافي، توجد لغة هادئة يستخدمها الخبراء لحشد مجموعة معقدة من القواعد في كلمة واحدة. قد يطلب مدير المشروع "مصفوفة راسي" (RACI matrix)، أو يطلب محلل مالي "ورقة شروط" (term sheet)، أو يطلب طبيب "ملخص خروج" (discharge summary). بالنسبة لشخص غريب عن هذا المجال، ليست هذه الأسماء سوى مجرد تسميات، ولكن بالنسبة للممارس، يعمل كل اسم كملف مضغوط يحتوي على هيكل محدد، وقائمة مطلوبة من الأقسام، وتنسيق صارم يجب اتباعه. هذه هي مشكلة المفردات: الفجوة بين ما يحتاجه الشخص والكلمات المحددة التي يستخدمها الخبير لوصفه. لعقود من الزمن، عرف علماء المعلومات أنه عندما يبحث الناس عن المعلومات باستخدام كلماتهم الخاصة بدلاً من المصطلحات الرسمية للمجال، فإنهم غالباً ما يخطئون الهدف. والآن، مع تحول الذكاء الاصطناعي إلى أداة أساسية لصياغة هذه الوثائق المهنية، برز سؤال جديد: عندما يطلب شخص من الذكاء الاصطناعي إنشاء وثيقة ما، هل يساعد استخدام الاسم المهني المحدد لتلك الوثيقة الآلة على إنتاج نتيجة أفضل من مجرد وصف ما يفترض أن تفعله الوثيقة؟
قام باحث في مؤسسة تطويرية في اليابان باختبار هذه الفكرة من خلال سلسلة من التجارب المنضبطة التي شملت نماذج لغوية كبيرة، وهي أنظمة الذكاء الاصطناعي القوية التي يمكنها كتابة النصوص والبرمجيات والتقارير. ركزت الدراسة على تمييز بسيط ولكنه حاسم. في سيناريو واحد، سيطلب المستخدم من الذكاء الاصطناعي إنشاء وثيقة باستخدام الاسم المهني، مثل "أنشئ مخطط غانت" (Gantt chart). وفي سيناريو آخر، سيقوم نفس المستخدم بوصف غرض الوثيقة دون استخدام الاسم، مثل "أنشئ جدولاً زمنياً يوضح متى تحدث المهام". كلا الطلبين يطلبان الشيء نفسه، لكن الأول يحمل الثقل الخفي للتقاليد المهنية، بينما يترك الثاني الذكاء الاصطناعي للتخمين حول التنسيق. طلب الباحث من الذكاء الاصطناعي توليد عشرات الأنواع المختلفة من الوثائق، من خطط الاستثمار إلى الملاحظات الطبية، باستخدام كل من الاسم المهني والوصف العادي. ولرؤية أي النسختين كانت أفضل، تم قياس المخرجات مقابل قائمة مراجعة من القواعد التي تحدد ما تبدو عليه النسخة الصحيحة من تلك الوثيقة.
كانت النتائج واضحة ومتسقة عبر كل نموذج تم اختباره. عندما قدم المستخدم الاسم المهني، تضمن الذكاء الاصطناعي عدداً أكبر بكثير من التقاليد المطلوبة مقارنة بالحالة التي وصف فيها المستخدم المهمة فقط. كان التحسن كبيراً، حيث تراوح بين زيادة قدرها أحد عشر إلى تسعة وعشرين نقطة مئوية في عدد القواعد التي اتبعها الذكاء الاصطناعي. وهذا يعني أنه إذا نجح النموذج الذي يتبع وصفاً عادياً في تطبيق حوالي نصف القواعد بشكل صحيح، فإن إضافة الاسم المهني دفعته لتحقيق نسبة أكبر بكثير من النجاح، رغم أنه لم يصل إلى الكمال. كان التأثير أقوى بالنسبة للوثائق التي لها هيكل ثابت وصارم، مثل طرق تحليلية محددة أو نماذج أعمال رسمية. بالنسبة لهذه العناصر، عمل الاسم كمفتاح يفتح مجموعة من التعليمات التي تعلمها الذكاء الاصطناعي من النصوص البشرية ولكنه لم يكن يعرف كيفية تطبيقها ما لم يتم توجيهه. أما بالنسبة للوثائق الأكثر شيوعاً، مثل البيان الصحفي العام، فقد كان الفرق أصغر، ويرجع ذلك على الأرجح إلى أن وصف الغرض كان كافياً بالفعل لتوجيه الذكاء الاصطناعي.
استكشفت الدراسة أيضاً ما إذا كان بإمكان الذكاء الاصطناعي مساعدة المستخدمين الذين لا يعرفون الاسم الصحيح. في مرحلة ثانية، طلب الباحث من الذكاء الاصطناعي أولاً أن يخبر المستخدم بالاسم المهني للوثيقة، ثم طلب منه توليد الوثيقة باستخدام ذلك الاسم. استطاع الذكاء الاصطناعي تقديم الاسم الصحيح في حوالي ثلثي الحالات في المجموعة الصغيرة المختارة، لكن الدقة انخفضت إلى حوالي 46% في المجموعة الأكبر التي تم أخذ عينات من قواعدها. وعندما استخدم المستخدم ذلك الاسم لطلب الوثيقة مرة أخرى، تحسنت جودة المخرجات بشكل ملحوظ، مستردةً ما بين نصف إلى ثلاثة أرباع الفائدة الملحوظة عندما كان المستخدم يعرف الاسم منذ البداية، وإن كان الاسترداد أقل في المجموعة التي تم أخذ عينات منها. ومع ذلك، لم يكن الذكاء الاصطناعي مثالياً؛ فقد اقترح أحياناً اسماً مهنياً حقيقياً لنوع مختلف من الوثائق، مما يؤدي إلى نتيجة سيئة. تشير هذه النتيجة إلى أنه بينما يمكن للذكاء الاصطناعي أن يعمل كجسر إلى المفردات المهنية، إلا أن المستخدم لا يزال بحاجة إلى التحقق من صحة الاسم.
تتحدى هذه النتائج الفكرة القائلة بأن المستخدمين بحاجة إلى تعلم كامل مفردات مجال ما للحصول على نتائج جيدة من الذكاء الاصطناعي. بدلاً من ذلك، تقترح الدراسة مهارة أبسط وأكثر عملية: معرفة أن هذه الوثائق لها أسماء محددة، وسؤال الذكاء الاصطناعي عن تلك الأسماء عندما تكون غير معروفة، ثم استخدامها. تشير الأبحاث إلى أن الاسم المهني ليس مجرد تسمية، بل هو إشارة تخبر الذكاء الاصطناعي بالتحول إلى وضع كتابة محدد، وتنشيط مجموعة من التقاليد التي لا يستطيع الوصف العادي تفعيلها. وهذا أمر مهم بشكل خاص للمهام التي يكون فيها التنسيق بنفس أهمية المحتوى. وتخلص الدراسة إلى أنه بالنسبة لأي شخص يستخدم هذه الأدوات، فإن القدرة على طلب والتحقق من الاسم الصحيح للمخرج النهائي هي مهارة أساسية، تسمح للذكاء الاصطناعي بالعمل كشريك حقيقي في العمل المهني وليس مجرد مولد للنصوص.
ملخص تقني: تسمية المخرج يرفع نطاق تغطية الاصطلاحات في مخرجات النماذج اللغوية الكبيرة
بيان المشكلة تتناول الورقة فجوة محددة في توجيه النماذج اللغوية الكبيرة (LLM): التفاوت بين كيفية وصف الممارسين والآخرين للمخرجات المهنية. يستخدم الممارسون أسماءً نطاقية محددة (مثل "مصفوفة RACI" أو "ورقة الشروط") والتي تشفر ضمنياً مجموعة معقدة من الاصطلاحات، والمتطلبات الهيكلية، ومعايير النوع الأدبي. أما الغرباء، الذين يفتقرون إلى هذه المفردات، فيصفون نفس المخرجات وظيفياً (مثل "رسم بياني يوضح من يفعل ماذا"). وبينما تشير الأبحاث السابقة إلى أن صياغة التوجيه ليس لها تأثير كبير على المهام ذات الإجابات الثابتة (مثل الإجابة على الأسئلة)، تبحث هذه الدراسة فيما إذا كان استخدام اسم محدد للممارس مقابل وصف عام يؤثر بشكل كبير على قدرة النموذج على توليد مخرجات تلتزم بالاصطلاحات المهنية الخاصة بالمجال. الفرضية الأساسية هي أن الاسم يعمل كـ "أداة فك ضغط" (decompressor)، حيث يسترجع مجموعة مضغوطة من الاصطلاحات لا يمكن للوصف أن ينقلها بالكامل.
المنهجية استخدمت الدراسة تصميماً تجريبياً يعتمد على النموذج فقط لعزل تأثير المصطلحات.
التصميم التجريبي: لكل مخرج مستهدف (مصطلح)، تم إنشاء ثلاث نسخ من التوجيه:
الاسم: استخدام المصطلح المحدد للممارس (مثلاً: "أنشئ مصفوفة RACI...").
الوصف العام (أ): تسمية عامة قصيرة تم إنشاؤها بواسطة نموذج مفتوح الأوزان (مثلاً: "أنشئ مخططاً لمن يفعل ماذا...").
الوصف العام (ب): وصف مدفوع بالغرض تم إنشاؤه بواسطة نسخة منفصلة من النموذج (مثلاً: "أنشئ مخططاً يوضح من يفعل ماذا..."). شاركت جميع النسخ في نفس جملة المهمة، واختلفت فقط في عبارة الفراغ.
مجموعات المصطلحات:
المجموعة المنسقة: 40 مصطلحاً اختارها المؤلف، مقسمة إلى أسماء طرق (مثل تحليل SWOT)، وأنواع تخصصية (مثل ملخص الخروج)، وأنواع أماكن العمل الشائعة (مثل العرض التقديمي للمشاريع/pitch deck).
المجموعة المستهدفة: 150 مصطلحاً تم سحبها عبر طريقة أخذ عينات قائمة على القواعد من O*NET وWikidata، موزعة عبر المجالات والأنواع.
التقييم:
قوائم التحقق: لكل مصطلح، تم استخراج قائمة تحقق من الاصطلاحات (الهيكل، الأقسام المطلوبة، التنسيق، النبرة) من مصادر معيارية عامة (أدلة حكومية، معايير مهنية).
التسجيل: قام حكام نماذج عميان (باستخدام نماذج لغوية مختلفة) بتسجيل المخرجات مقابل قوائم التحقق هذه. المقياس الأساسي كان تغطية الاصطلاحات (حصة عناصر قائمة التحقق التي تم استيفاؤها).
مكسب التسمية (Δ): تم حسابه كنسبة تغطية نسخة "الاسم" ناقص متوسط تغطية نسختي "الوصف العام".
النماذج المختبرة: تم اختبار ستة نماذج على المجموعة المنسقة (Qwen3.8-27B, Claude Haiku/Sonnet/Opus 5.5, GPT-6.1-Sol, GPT-6-Luna) وأربعة نماذج على المجموعة المستهدفة.
اختبارات المتانة: تضمنت الدراسة إخفاء الاسم في المخرجات، وإعادة بناء قوائم التحقق بشكل مستقل، والتحكم في طول المخرجات، واستخدام مقاييس الاحتمالية الخالية من التوليد (معلومات التبادل الطردي النقطي - PMI) للتنبؤ بالمكاسب.
المساهمات الرئيسية
أدلة تجريبية على تأثيرات التسمية: تثبت الدراسة أن استخدام اسم الممارس يزيد بشكل كبير من تغطية الاصطلاحات مقارنة بالأوصاف العامة، وهو ما يتناقض مع النتائج الصفرية في مهام الإجابة على الأسئلة.
التحليل الدقيق للمكسب: تحدد الدراسة أن المكسب ليس موحداً؛ فهو يكون أكبر في أسماء الطرق (التي لها هياكل داخلية ثابتة) وفي النماذج ذات "التغطية العامة" المنخفضة.
جدوى التوجيه ثنائي الخطوات: تقترح وتختبر سير عمل يبدأ بسؤال النموذج أولاً عن الاسم القياسي لمخرج ما، ثم استخدام ذلك الاسم في توجيه التوليد.
إطار الثقافة الذكائية (AI Literacy): تعيد صياغة "معرفة الاسم" ليس فقط كمعرفة نطاقية، بل كمهارة قابلة للنقل في الثقافة الذكائية: القدرة على التعرف على أن للمخرجات أسماء، وطلبها، والتحقق منها.
النتائج
تغطية الاصطلاحات: عبر جميع النماذج الستة في المجموعة المنسقة، رفع تسمية المخرج تغطية الاصطلاحات بمقدار 0.11 إلى 0.29 (11 إلى 29 نقطة مئوية). كان هذا المكسب ذا دلالة إحصائية (الحد الأدنى لفاصل الثقة 95% > 0) لجميع النماذج.
التكرار: تكررت التأثيرات في المجموعة المستهدفة (150 مصطلحاً) عبر أربعة نماذج، حيث تراوحت المكاسب بين 0.11 و0.19.
حساسية نوع المصطلح:
أسماء الطرق: أظهرت أكبر المكاسب (على سبيل المثال، +0.29 في المجموعة المنسقة)، حيث تقتضي هذه المصطلحات قواعد هيكلية صارمة.
الأنواع الشائعة: أظهرت أقل المكاسب، حيث تلتقط الأوصاف العامة غالباً الغرض أو الوسيط لهذه التنسيقات المرنة.
تبعية النموذج: ارتبط المكسب عكسياً مع "التغطية العامة" الأساسية للنموذج. النماذج التي كتبت مخرجات أقصر أو ذات تغطية عامة أقل (مثل GPT-6.1-Sol) أظهرت أكبر المكاسب من التسمية، مما يشير إلى أنها تعتمد أكثر على التوجيه لتزويدها بالاصطلاحات.
الاسترداد ثنائي الخطوات: عندما طُلب من النماذج تقديم اسم الممارس لطلب عام، كانت صحيحة بنسبة 63-70% من الوقت. أدى استخدام الاسم المسترجع إلى استرداد ~50% إلى 73% من مكسب التسمية، بشرط أن يكون الاسم صحيحاً. أما الأسماء غير الصحيحة (مثل الخلط بين "مخطط غانت" و"جدول عرض البرنامج") فقد أدت إلى مكاسب ضئيلة أو سلبية.
المقاييس التنبؤية: ارتبط مقياس خالي من التوليد (PMI لبيانات الاصطلاحات بعد الاسم مقابل الوصف العام) على نموذج مفتوح بشكل متوسط (ρ=0.37) مع مكسب التسمية الفعلي، مما يشير إلى أن "الربط" بين الاسم والاصطلاح موجود في أوزان النموذج حتى قبل التوليد.
الأهمية والادعاءات تدعي الورقة أنه بالنسبة لمهام المخرجات، فإن مفردات التوجيه حاسمة لأن الاصطلاحات ليست متأصلة في وصف المهمة بل يحملها الاسم. وخلافاً للإجابة على الأسئلة، حيث تكون الإجابة ثابتة بالاستناد إلى السؤال، يتطلب توليد المخرجات من النموذج "فك ضغط" مجموعة من المعايير المرتبطة بمصطلح معين.
تقترح المؤلفة أن الثقافة الذكائية يجب أن تشمل المهارة الميتا-معرفية المتمثلة في إدراك أن المخربات المهنية لها أسماء محددة. يجب على المستخدمين الذين يفتقرون إلى المفردات النطاقية:
السؤال عن الاسم القياسي للممارس.
استخدام ذلك الاسم في التوجيه.
التحقق من الاسم مقابل تعريف لتجنب المصطلحات المهلوسة أو الخاطئة.
تخلص الدراسة إلى أنه بينما تعمل النماذج كـ "أدوات فك ضغط" (استرجاع الاصطلاحات) و"قواميس" (ربط الأوصاف بالأسماء)، فإن هذا الربط غير محرر وعرضة للخطأ. لذلك، يتحول دور المستخدم من معرفة المفردات إلى معرفة كيفية استرجاع والتحقق منها من النموذج. تشير المؤلفة صراحةً إلى القيود، بما في ذلك استخدام حكام النماذج بدلاً من الخبراء البشر، والاعتماد على الأوصاف العامة المولدة بواسطة النماذج، وحقيقة أن الدراسة لم تختبر اعتماد المستخدمين في العالم الحقيقي أو الفعالية طويلة المدى للإجراء ثنائي الخطوات.