Label-Consistent Data Generation for Aspect-Based Sentiment Analysis Using LLM Agents

إليك ملخص تقني مفصل للورقة البحثية بعنوان "توليد بيانات متسقة مع الملصقات لتحليل المشاعر القائم على الجوانب باستخدام وكلاء النماذج اللغوية الكبيرة (LLM Agents)."

1. بيان المشكلة

يتضمن تحليل المشاعر القائم على الجوانب (ABSA) تحديد مصطلحات جوانب محددة في النص وتحديد قطبية المشاعر المرتبطة بكل منها. وعلى الرغم من فائدته في تطبيقات مثل تحليل آراء العملاء، يواجه الـ ABSA تحديات كبيرة:

• ندرة البيانات: إن عملية التوسيم الدقيق على مستوى الجوانب مكلفة وتستغرق وقتاً طويلاً لإنتاجها، مما يؤدي إلى تغطية محدودة لمجموعات البيانات.
• قصور النماذج: تعاني النماذج في التعامل مع تركيبات (الجانب-المشاعر) النادرة والتباينات اللغوية الخاصة بمجالات معينة.
• مشكلات البيانات الاصطناعية: بينما استُخدمت النماذج اللغوية الكبيرة (LLMs) لتوليد بيانات تدريب اصطناعية، تعتمد الأساليب الحالية بشكل كبير على التلقين أحادي الخطوة (single-step prompting). وغالباً ما يؤدي ذلك إلى:
  • عدم اتساق الملصقات: النص المولد لا يتطابق مع مصطلحات الجوانب أو قطبية المشاعر المستهدفة.
    aspek القصور الهيكلي: نقص في التنوع والفشل في التعامل مع الحالات المعقدة والطرفية.
  • الضجيج: معدلات عالية من الأخطاء التي تؤدي إلى تدهور أداء النماذج اللاحقة عند استخدامها للتدريب.

يتحقق المؤلفون مما إذا كان سير عمل توليد متعدد الخطوات يعتمد على الوكلاء (agentic workflow) يمكنه التغلب على هذه القيود من خلال الفصل بين التوليد والتحقق، وبالتالي إنتاج بيانات اصطناعية عالية الجودة ومتسقة مع الملصقات.

2. المنهجية

تقترح الورقة إطار عمل وكيل يعتمد على أسلوب ReAct (الاستنتاج + الفعل) باستخدام نموذج Qwen2.5-14B. يستخدم النظام وكيلين متعاونين بأدوار متميزة، ويستخدم أدوات محددة لضمان جودة البيانات.

أ. سير عمل الوكيل (Agentic Workflow)

1. وكيل التوليد (Generator Agent):
   • استخراج السياسة (Policy Extraction): يقوم بأخذ عينات من مصطلحات الجوانب وقطبية المشاعر من بيانات SemEval التدريبية الحقيقية. كما يستخرج أسلوب الكتابة، والبنية النحوية، وطول الجملة من مجموعة صغيرة من المراجعات الحقيقية لتوجيه التنوع الأسلوبي.
   • توليد الجمل: يستخدم السياسة المستخرجة لتوليد جمل مرشحة تلتزم بصرامة بأزواج (الجانب-القطبية) المستخرجة والقيود الأسلوبية.
   • المخرجات: ينتج الجملة مع تسميات (Annotations) قابلة للقراءة آلياً لـ Terms= و Polarity=.
2. وكيل التقييم (Evaluator Agent):
   • التحقق من تضمين الملصق: يتحقق من أن الجملة المولدة تحتوي على جميع مصطلحات الجوانب المطلوبة تماماً كما هو محدد (مع التحقق من أخطاء الجمع، أو المصطلحات المفقودة، أو المطابقات الجزئية).
   • التحقق من الملصق: يطلب من النموذج اللغوي الكبير الحكم على ما إذا كانت قطبية المشاعر في الجملة تتوافق مع الملصق المقصود.
   • التصفية: يتم حفظ الأمثلة التي تجتاز الفحص الهيكلي والدلالي فقط. وتؤدي الأمثلة الفاشلة إلى إطلاق حلقة إعادة توليد.

ب. مقارنة خط الأساس (Baseline Comparison)

لعزل تأثير الهيكل الوكيلي، طور المؤلفون خط أساس يعتمد على التلقين (Prompt-Based Baseline). يستخدم هذا الخط الأساس نفس النموذج (Qwen2.5-14B)، ونفس استراتيجية أخذ عينات الجانب-القطبية، وتلقينات متطابقة تقريباً، ولكنه يولد البيانات في خطوة واحدة متصلة دون استخراج الأسلوب، أو استخدام الأدوات، أو التحقق.

ج. الإعداد التجريبي

• مجموعات البيانات: أربع مجموعات بيانات من SemEval (Laptop14, Rest14, Rest15, Rest16).
• المهام الفرعية: استخراج مصطلح الجانب (ATE)، تصنيف مشاعر الجانب (ATSC)، واستخراج زوج مشاعر الجانب (ASPE).
• النماذج: نماذج T5-Base (المشفر والمفكك القياسي) و Tk-Instruct-base (الذي تم ضبطه بدقة على أكثر من 1600 مهمة).
• تكوينات التدريب:
  1. البيانات الأصلية فقط.
  2. البيانات الاصطناعية فقط.
  3. البيانات المختلطة (الأصلية + الاصطناعية) بنسب 1:1 (x1) و 1:2 (x2).

3. المساهمات الرئيسية

1. سير عمل وكيل لـ ABSA: تقديم خط معالجة متعدد الخطوات يفكك توليد البيانات إلى استخراج الأسلوب، والتوليد المتحكم به، والتحقق التلقائي، مما يضمن الالتزام الصارم بقيود ABSA المعقدة.
2. خط أساس معزول: تصميم خط أساس يعتمد على التلقين مطابق بدقة لإثبات أن مكاسب الأداء تنبع من الهيكل الوكيلي (الاستنتاج/التحقق) وليس من النموذج الأساسي أو التلقينات وحدها.
3. التحليل المنهجي: تقديم تقييم شامل لكيفية تأثير مستويات التدريب المسبق للنماذج (T5 مقابل Tk-Instruct)، وتعقيد المهام (ATE/ATSC/ASPE)، ونطاق التعزيز على فعالية البيانات الاصطناعية.

4. النتائج الرئيسية

أ. اتساق الملصقات

• الوكيل مقابل التلقين: تفوق النهج الوكيلي بشكل كبير على التلقين الخام في الحفاظ على الملصقات.
  • اتساق ATE: الوكيل (78.17%) مقابل التلقين (43.89%).
  • اتساق ASPE: الوكيل (33.89%) مقابل التلقين (18.33%).
• نجحت خطوات التحقق بفعالية في تصفية الانحرافات الهيكلية وعدم تطابق القطبية الشائع في التلقين الساذج.

ب. الأداء اللاحق (درجات F1)

• البيانات الاصطناعية فقط: أدى التدريب حصرياً على البيانات الاصطناعية إلى انخفاض كبير في الأداء، مما يؤكد أن البيانات الاصطناعية لا يمكنها بعد استبدال التوسيم البشري.
• البيانات المختلطة (الأصلية + الاصطناعية):
  • T5-Base: أظهر مكاسب ثابتة عبر جميع المهام الفرعية عند خلطها مع البيانات الوكيلية (على سبيل المثال، +1.93 F1 في Rest16 لمهمة ATE). سمح التعزيز الوكيلي لنموذج T5-Base بالاقتراب من أداء أو حتى تجاوز نموذج Tk-Instruct الذي تم ضبطه بدقة عالية.
  • Tk-Instruct: أظهر مكاسب هامشية أو غير متسقة. جعلت معرفته المسبقة القوية بالضبط التعليمي النموذج أقل حساسية للتباين الاصطناعي الإضافي، وفي بعض الحالات (ASPE)، تراجع الأداء قليلاً.
  • خط الأساس للتلقين: غالباً ما فشل في تحسين الأداء وأدى أحياناً إلى تدهوره، خاصة في المهام المعقدة مثل ASPE.

ج. حساسية المهمة

• ATSC (التصنيف): استفاد أكثر من التعزيز لأنه يتطلب فقط تعيين المشاعر لجانب معروف.
• ATE (الاستخراج): أظهر مكاسب متوسطة؛ حيث نشأت التحديات من الغموض في نطاقات الجوانب المولدة.
• ASPE (استخراج الأزواج): أظهر أقل قدر من التحسن. جعلت الصعوبة المركبة لاستخراج النطاقات وتعيين المشاعر في آن واحد المهمة حساسة جداً حتى لأدنى عدم اتساق في المل helst.

د. تأثيرات التوسع

• لم يؤدِ زيادة نسبة البيانات الاصطناعية من 1:1 (x1) إلى 1:2 (x2) عموماً إلى مكاسب إضافية وغالباً ما قلل من الأداء. يشير هذا إلى أن كميات أكبر من البيانات الاصطناعية تضخم الضجيج بدلاً من توفير إشارة مفيدة.

5. الأهمية والخاتمة

• سد فجوة التدريب المسبق: تثبت الدراسة أن التعزيز الوكيلي المخصص للمهام يمكن أن يحل جزئياً محل الضبط التعليمي واسع النطاق. يمكن لنموذج أصغر (T5-Base) مدعوم ببيانات اصطناعية عالية الجودة أن يضاهي أداء نموذج أكبر بكثير ومضبوط تعليمياً (Tk-Instruct).
• الجودة فوق الكمية: تؤكد النتائج أن التوليد والتحقق المتحكم بهما أمران حاسمان. التلقين الساذج، حتى مع استخدام نفس النموذج، يدخل الكثير من الضجيج مما يجعله غير فعال للمهام الهيكلية مثل ABSA.
• القابلية للتوسع العملي: يوفر إطار العمل الوكيلي طريقة مؤتمتة وقابلة للتوسع لتعزيز نماذج ABSA دون الحاجة إلى توسيم بشري مكثف أو نماذج لغوية ضخمة باهظة الثمن، بشرما يتم التحقق من التوليد بصرامة.

الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا الإطار ليشمل البيئات متعددة اللغات، وتفكيك خط المعالجة إلى نماذج مولدة/مدققة متخصصة، ودمج التغذية الراجعة من "النموذج في الحلقة" (model-in-the-loop) لاستهداف نقاط ضعف نماذج معينة.