💬 NLP

Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis

تتقصى هذه الورقة استخدام النماذج اللغوية الكبيرة كموسِمين تلقائيين لتحليل الآراء دقيق التفاصيل، لتجد أنه في حين أنها تتفوق في تحديد نطاقات الرأي، فإن عدم قدرتها على إعادة إنتاج البنى العلاقاتية التي تربط بينها بشكل موثوق يحد من دورها لتكون مساعدين في التوسيم عالي الدقة بدلاً من بدلاء كاملين للموسمين البشريين.

المؤلفون الأصليون: Gaurav Negi, MA Waskow, John McCrae, Omnia Zayed, Paul Buitelaar

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gaurav Negi, MA Waskow, John McCrae, Omnia Zayed, Paul Buitelaar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من مراجعات العملاء لأجهزة الكمبيوتر المحمول والمطاعم. أنت تريد تعليم الكمبيوتر ليس فقط إذا كان شخص ما قد أحب شيئًا ما، بل ما هو بالضبط الشيء الذي أحبه أو لم يحبه ولماذا.

على سبيل المثال، إذا قالت المراجعة: "عمر البطارية كان سيئًا، لكن الشاشة كانت مذهلة"، فإن الكمبيوتر البسيط قد يقول فقط "مشاعر مختلطة". أما التحليل "دقيق التفاصيل" (fine-grained) فيريد تفكيك ذلك إلى أجزاء محددة:

الشيء: عمر البطارية (سيء)
الشيء: الشاشة (جيدة)

المشكلة هي أن تعليم الكمبيوتر القيام بذلك عادة ما يتطلب توظيف جيوش من البشر لقراءة كل مراجعة وتصنيف هذه التفاصيل الصغيرة يدويًا. إنه أمر بطيء، مكلف، وممل.

هذه الورقة البحثية تسأل سؤالاً كبيًا: هل يمكننا استبدال تلك الجيوش البشرية بالنماذج اللغوية الكبيرة (LLMs) - وهي نفس نوع الذكاء الاصطناعي الذي يكتب المقالات ويتحدث معك؟

إليك ما وجده الباحثون، مشروحًا من خلال بعض القصص البسيطة:

1. خط الإنتاج "التصريحي": إعطاء تعليمات، وليس مجرد مطالبات

بدلاً من محاولة تخمين الطريقة المثالية لسؤال الذكاء الاصطناعي (والذي يشبه محاولة تعليم كلب خدعة ما عن طريق الصراخ بكلمات عشوائية)، بنى الباحثون دليل تعليمات مهيكلًا.

فكر في الأمر كأنه خط تجميع في مصنع.

المدخلات: تأتي مراجعة خام.
العمال (نماذج LLM): بدلاً من عامل واحد، قاموا بتوظيف فريق من ثلاثة عمال ذكاء اصطناعي بأحجام مختلفة (عامل "مصغر"، وعامل "صغير"، وعامل "متوسط").
كتاب القواعد: استخدموا نظامًا يسمى "التعليق التصريحي" (declarative annotation). هذا يعني أنهم لا يقولون فقط "ابحث عن الآراء"، بل يعطون الذكاء الاصطناعي مخططًا صارمًا (قالبًا) لملئه، مما يضمن أن الجميع يبحث عن نفس الأجزاء المحددة (الهدف، وكلمة الرأي، والمشاعر).

2. "المُحكّم": الحكم

بما أن لديهم ثلاثة عمال ذكاء اصطناعي مختلفين، فإنهم يختلفون أحيانًا. قد يقول أحدهم إن البطارية "سيئة"، بينما يقول آخر إنها "جيدة".

في الأبحاث البشرية، ستنظر خبير رفيع المستوى في الملاحظات المتضاربة وتتخذ القرار النهائي. فعل الباحثون الشيء نفسه مع الذكاء الاصطناعي. لقد اختاروا أذكى عامل ذكاء اصطناعي (العامل "المتوسط") ليعمل كحكم.

ينظر الحكم إلى ملاحظات العاملين الآخرين.
يزن الأدلة.
ويصدر إجابة نهائية "مُحكّمة".

3. الاكتشاف الكبير: بارع في الرصد، ضعيف في الربط

هذا هو الجزء الأهم في الورقة. أظهرت النتائج وجود شخصية منقسمة لدى الذكاء الاصطناعي:

"الراصد" (بارع في إيجاد الكلمات): الذكاء الاصطناعي ممتاز في العثور على الكلمات الفعلية. إذا قالت المراجعة "بطارية"، فإن الذكاء الاصطناعي يجد "بطارية" دائمًا تقريبًا. إذا قالت "سيئة"، فإن الذكاء الاصطناي يجد "سيئة". إنه مثل أمين مكتبة حاد البصر يمكنه الإشارة فورًا إلى الكتاب الصحيح على الرف.
"الرابط" (يعاني مع العلاقات): يرتبك الذكاء الاصطناعي عندما يتعين عليه ربط تلك الكلمات معًا بشكل صحيح. قد يجد "بطارية" و"سيئة"، لكنه يفشل في إدراك أنهما ينتميان إلى نفس الشكوى، أو قد يفشل في إدراك أن "بطارية" هي الموضوع وأن "سيئة" هي الرأي.

التشبيه:
تخيل فريقًا من المحققين.

محققو الذكاء الاصطناعي بارعون في العثات على الأدلة (الكلمات). يمكنهم رصد بصمة إصبع أو أثر حذاء طيني فورًا.
ومع ذلك، فهم يعانون في حل القضية. قد يجدون بصمة الإصبع وأثر الحذاء ولكنهم يفشلون في ربطهما بنفس المشتبه به. إنهم يضيعون في "البنية العلاقاتية" - أي فهم كيفية ترابط الأدلة لتروي القصة الكاملة.

4. الحكم النهائي: مساعد، وليس بديلاً

حاول الباحثون معرفة ما إذا كان بإمكان هؤلاء المحققين من الذكاء الاصطناعي استبدال المحققين البشر تمامًا. الإجابة هي لا، ليس بعد.

نماذج الذكاء الاصطناعي الصغيرة غالبًا ما تضيع في التفاصيل.
نماذج الذكاء الاصطناعي المتوسطة قدمت أداءً أفضل، خاصة عندما ساعدها "الحكم" (المُحكّم).
"المعيار الذهبي" (المعلّقون البشر) لا يزالون أفضل في فهم القصة المعقدة وراء الكلمات.

الخلاصة:
تشير الورقة البحثية إلى أنه لا ينبغي لنا محاولة طرد المعلقين البشر واستبدالهم بالذكاء الاصطناعي. بدلاً من ذلك، يجب استخدام نماذج الذكاء الاصطنا هذه كأدوات مساعدة فائقة القدرة.

يمكنهم قراءة آلاف المراجعات، وإيجاد الكلمات الرئيسية، وصياغة الملصقات الأولية. ثم يمكن للإنسان التدخل لمجرد التحقق من الروابط. هذا يسرع العملية بشكل هائل دون فقدان جودة الفهم البشري.

ملخص في جملة واحدة

بنى الباحثون نظامًا يعمل فيه الذكاء الاصطناعي كفريق من جامعي الكلمات وحكم لتصنيف مراجعات العملاء؛ ووجدوا أنه بينما يتفوق الذكاء الاصطناعي في رصد الكلمات الفردية، فإنه لا يزال يكافح لفهم كيفية ارتباط تلك الكلمات ببعضها لتروي قصة كاملة، مما يجعله مساعدًا مثاليًا للبشر وليس بديلًا كليًا لهم.

ملخص تقني: النماذج اللغوية الكبيرة كمُعلقين ومُحكّمين تلقائيين للتعليق في تحليل الآراء دقيق التفاصيل

بيان المشكلة

يتطلب تحليل الآراء دقيق التفاصيل، وتحديداً مهام مثل استخراج ثلاثيات جوانب المشاعر (ASTE) واستخراج (الجانب-الفئة-الرأي-المشاعر) (ACOS)، تحديداً دقيقاً لقطبية المشاعر، والكيانات المستهدفة (مصطلحات الجوانب)، ونطاقات الرأي، والفئات الضمنية. وبينما تعد هذه المهام ذات قيمة عالية لفهم المشاعر الدقيقة، فإن إنشاء مجموعات البيانات لهذه المهام يتطلب جهداً بشرياً كبيراً والتزاماً صارماً بإرشادات معقدة. غالباً ما تكون مجموعات البيانات الحالية صغيرة، ومتخصصة في مجالات معينة (مثل مراجعات أجهزة الكمبيوتر المحمول والمطاعم من SemEval)، وغير كافية للتطبيقات المتنوعة في العالم الحقيقي. يبحث المؤلفون فيما إذا كان يمكن للنماذج اللغوية الكبيرة (LLMs) أن تعمل كبدائل مستقلة تماماً وفعالة من حيث التكلفة للمُعلقين البشريين لهذه المهام الاستخراجية العلاقاتية المعقدة، أو ما إذا كانت الأنسب كأدوات مساعدة.

المنهجية

يقترح المؤلفون خط أنابيب تكيفاً وقت الاستدلال (inference-time adaptation) إعلانياً يتجنب الضبط الدقيق المحدد للمهام. تتكون المنهجية من ثلاث مراحل رئيسية:

خط أنابيب التعليق الإعلاني:
- إطار العمل: يستخدم خط الأنابيب DSPy لـ "برمجة" النماذج اللغوية الكبيرة باستخدام وحدات إعلانية مهيكلة بدلاً من هندسة الأوامر اليدوية. وهذا يقلل من التباين والتفاعلات الزائفة بين اختيار الأمر وأداء النموذج.
- التحسين: تم استخدام مُحسن الأوامر MIPROv2 لتحسين التعليمات وأمثلة التعلم داخل السياق (ICL) بشكل منهجي. يتم تحسين خط الأنابيب على تقسيم تطويري (D1) باستخدام مستويات القليل من الأمثلة ( $k \in \{5, 10, 15\}$ ).
- المهام: يستهدف النظام صيغتين:
  - ASTE: استخراج الثلاثيات $\{aspect\_term, sentiment, opinion\_span\}$ .
  - ACOS: استخراج الرباعيات $\{aspect\_term, sentiment, opinion\_span, aspect\_category\}$ ، والتي تتضمن التعامل مع الجوانب والفئات الضمنية.
التوليد الفائض (Redundant Generation):
- يتم نشر نماذج لغوية كبيرة متعددة ذات أحجام متفاوتة (صغير جداً $\approx$ 4 مليار، صغير $\approx$ 14 مليار، متوسط $\approx$ 32 مليار) كمعلقين مستقلين ( $A_1, A_2, A_3$ ) على تقسيم تطويري محجوز (D2).
- يؤدي هذا إلى توليد مجموعات متعددة من التعليقات المرشحة لكل نص مدخل، مما ينشئ مجموعة بيانات من التنبؤات الفائضة.
التحكيم القائم على النماذج اللغوية الكبيرة:
- يقوم خط أنابيب تحكيم مخصص، مدعوم بأفضل نموذج معلق (A1)، بتجميع التعليقات المرشحة المتعددة.
- على عكس التصويت بالأغلبية التقليدي (الذي يصعب تطبيقه على المخرجات الثلاثية أو الرباعية المفتوحة والتركيبية)، يستخدم المُحكّم نموذجاً لغوياً كبيراً لحل الخلافات بين المعلقين وتوليف المخرج النهائي. وهذا يحاكي العملية البشرية للتحكيم.

المساهمات الرئيسية

خط أنابيب التعليق الإعلاني: خط أنابيب مقيد بالمخطط (schema-constrained) باستخدام DSPy يتيح التفاعل المنهجي لاستخراج الآراء دون الحاجة لأوامر مصاغة يدوياً.
النموذج اللغوي الكبير كمُحكّم: منهجية مبتكرة لاستخدام نموذج لغوي كبير لتجميع وحل النزاعات بين عدة تعليقات مدفوعة بالنماذج اللغوية الكبيرة، مصممة خصيصاً لمساحة المخرجات غير المنفصلة لمهام ASTE وACOS.
تقييم النطاق: تقييم تجريبي للمفاضلة بين حجم بارامترات النموذج وكفاءة التعليق عبر مقاييس (Mini, Small, Medium).
تحليل الموثوقية: تحليل خطأ دقيق باستخدام المقاييس العنصرية والزوجية، بالإضافة إلى معامل كريبندورف ( $\alpha$ ) لاتفاق المعلقين، مما يكشف عن نقاط القوة والضعف المحددة للنماذج اللغوية الكبيرة في هذا المجال.

النتائج والنتائج المستخلصة

يكشف التقييم، الذي أُجري على مجموعات بيانات مشتقة من SemEval (مجالي الكمبيوتر المحمول والمطاعب)، عن انقسام حرج في الأداء:

موثوقية مستوى النطاق مقابل التعقيد الهيكلي:
- تظهر النماذج اللغوية الكبيرة دقة عالية في تحديد النطاقات الفردية (مصطلحات الجوانب، نطاقات الرأي، وقطبية المشاعر). على سبيل المثال، غالباً ما يتجاوز توافق قطبية المشاعر 90% من مقياس F1.
- ومع ذلك، يتدهور الأداء بشكل كبير مع زيادة التعقيد العلاقاتي. فالقدرة على ربط النطاقات ببعضها بشكل صحيح (مثل مطابقة الرأي مع الجانب الصحيح) والتعامل مع العناصر الضمنية (خاصة في ACOS) تمثل عقبة رئيسية.
- في مهمة ACOS، التي تتضمن مساحة بحث عالية الإنتروبيا (112 فئة في مجال الكمبيوتر المحمول)، تعاني النماذج اللغوية الكبيرة بشكل كبير مقارنة بنماذج الضبط الدقيق الخاضع للإشراف (SFT).
تأثير حجم النموذج والاستدلال:
- ASTE: في مجالات المطاعم، غالباً ما تتفوق طرق التكيف وقت الاستدلال على نماذج SFT، مما يشير إلى أن النماذج اللغوية الكبيرة تستفيد من الاستدلال الناشئ للتعميم. أما في مجال الكمبيوتر المحمول، فلا يزال SFT هو المتفوق.
- التحكيم: يعمل التحكيم عموماً على تحسين درجات F1 للنماذج من فئتي Mini وMedium. ومع ذلك، بالنسبة للنماذج الصغيرة (تحديداً Qwen3-14B)، أدى التحكيم أحياناً إلى خفض الأداء. ويعزو المؤلفون ذلك إلى نقص "حالات الاستدلال طويلة السلسلة" (قدرات التفكير) في بعض النماذج المقطرة، وهي ضرورية لحل النزاعات العلاقاتية المعقدة.
- ACOS: بينما يحسن التحكيم النتائج، إلا أن درجات F1 المطلقة تظل منخفضة (على سبيل المثال، ~18.99% للكمبيوتر المحمول، ~40.53% للمطاعم في الفئة المتوسطة)، مما يسلط الضوء على صعوبة اكتشاف الجوانب/الفئات الضمنية بدون تدريب متخصص في المجال.
اتفاق المعلقين (IAA):
- تشير درجات معامل كريبندورف ( $\alpha$ ) إلى أن الموثوقية تزداد مع حجم النموذج. تقترب عناصر الثلاثيات من الموثوقية العالية، بينما تظل عناصر الرباعيات (ACOS) موثوقة بدرجة متوسطة على أفضل تقدير.

الأهمية والخاتمة

تخلص الورقة إلى أنه بينما لا تستطيع النماذج اللغوية الكبيرة بعد استبدال المعلقين البشريين بالكامل في تحليل الآراء دقيق التفاصيل بسبب معاناتها مع الهياكل العلاقاتية والعناصر الضمنية، إلا أنها تمتلك فائدة قوية كـ مساعدين للتعليق عالي الدقة وأدوات لزيادة البيانات.

يجادل المؤلفون بأن الحالة الراهنة للنماذج اللغوية الكبيرة تسمح لها باستخراج النطاقات الفردية وقطبية المشاعر بموثوقية. لذلك، فإن التطبيق الأكثر فعالية لهذه النماذج هو توسيع مجموعات البيانات الموجودة والمعلقة بدقة، أو مساعدة المعلقين البشريين، بدلاً من محاولة توليد تعليقات "الحقيقة الأرضية" (ground-truth) بشكل مستقل للمهام العلاقاتية المعقدة. ويؤكد هذا العمل على أهمية آليات التحكيم والحاجة المحددة لقدرات الاستدلال (ما وراء مجرد زيادة عدد البارامترات) للتعامل مع التعقيدات الهيكلية لتقصي الآراء.