When AI Rewrites, Classifiers Relax: Uncertainty-Aware Sentiment Analysis on Sarcastic and AI-Paraphrased Social Text
تُظهر هذه الورقة أن مصنفات المشاعر تُبدي ثقةً أقل في النصوص الساخرة، وتحقق دقةً أعلى في المراجعات التي تمت إعادة صياغتها بواسطة الذكاء الاصطناعي بسبب التوافق الأسلوبي، ويمكنها تحسين الأداء العام بشكل كبير من خلال الامتناع الخفيف الواعي بعدم اليقين، مما يدعو إلى التحول نحو التنبؤ الواعي بعدم اليقين في التطبيقات عالية المخاطر.
في المشهد الشاسع والصاخب لوسائل التواصل الاجتماعي، يُطلب من الحواسيب بشكل متزايد أن "تقرأ الغرفة"؛ إذ تُكلف بتحديد ما إذا كان المنشور سعيداً أم حزيناً، أو نافعاً أم ضاراً، وهي مهمة تُعرف باسم "تحليل المشاعر". وتدعم هذه التكنولوجيا كل شيء، بدءاً من روبوتات خدمة العملاء وصولاً إلى الأدوات التي تمسح النصوص بحثاً عن علامات الضيق في نقاشات الصحة النفسية. لسنوات طويلة، تم تدريب واختبار هذه الأنظمة على نصوص نظيفة ومباشرة كتبها البشر. لكن العالم الرقمي يتغير؛ فالناس الآن يتواصلون بطرق مخادعة عن عمد، مستخدمين السخرية لإخفاء مشاعرهم الحقيقية خلف ابتسامة. وفي الوقت نفسه، يتغير النص نفسه، حيث تقوم أدوات الذكاء الاصطعي بإعادة كتابة الأفكار البشرية في جمل جديدة. والسؤال الذي يواجه الباحثين هو ما إذا كانت الحواسيب التي تقرأ منشوراتنا لا تزال قادرة على فهمنا عندما تصبح اللغة تهكمية أو عندما تكون الكلمات مولدة بواسطة آلة.
لقد شرع باحث في اختبار مدى قدرة هؤلاء القراء الرقميين على التعامل مع هذين التحديين المحددين: السخرية وإعادة الكتابة الاصطناعية. وقد ركز على نوع شائع من البرامج الحاسوبية التي تخصص درجة ثقة لتخميناتها، مما يخبرنا جوهرياً بمدى تأكدها مما إذا كان المنشور إيجابياً أم سلبياً. أولاً، نظر في التغريدات الساخرة، ووجد أنه عندما واجه الكمبيوتر ملاحظة ساخرة، انخفضت درجة ثقته بشكل كبير مقارنة بما كانت عليه عند قراءة بيان مباشر. لم يكن من الضروة تعليم الآلة صراحةً البحث عن السخرية؛ بل إنها ببساض شعرت بأن المعنى "زلق" وأصبحت أقل تأكداً. وهذا يشير إلى أنه حتى بدون تدريب خاص، فإن هذه الأنظمة تمتلك إنذاراً داخلياً يدق عندما تواجه لغة تهكمية.
أما الجزء الثاني من الدراسة فقد أسفر عن نتيجة خالفت توقعات الباحث الأولية. فقد أخذ الفريق آلاف المراجعات الحقيقية للعملاء التي كتبها بشر، وطلبوا من أدوات الذكاء الاصطعي إعادة كتابتها، مع الحفاظ على نفس المعنى ولكن بتغيير الكلمات. ثم طلب الفريق من مصنفات المشاعر قراءة هذه النسخ الجديدة المكتوبة آلياً. وبدلاً من الارتباك بسبب النص الاصطناعي، أصبح الكمبيوتر في الواقع أفضل في عمله؛ إذ تحسنت دقة التصنيف عندما كان النص معاد صياغته بواسطة الذكاء الاصطناعي. ويوضح الباحث أن هذا يحدث لأن عمليات إعادة الصياغة بالذكاء الاصطناعي تجرد النصوص من السمات الغريبة والفريدة للكتابة البشرية، مثل هياكل الجمل غير المنتظمة أو المصطلحات العامية المحددة، التي غالباً ما تربك النماذج. تصبح النسخ المولدة بالذكاء الاصطناعي أكثر "نظافة" ومعيارية، مما يجعلها تتوافق مع الأنماط التي تدرب عليها الكمبيوتر أصلاً، وهو ما يسمح له بتقديم تخمينات أكثر صحة.
ولجعل هذه الأنظمة أكثر موثوقية، اختبر الباحث آلية سلامة بسيطة تسمى "غلاف الامتناع" (abstention wrapper). وهي قاعدة تخبر الكمبيوتر: "إذا لم تكن واثقاً بما يكفي، فلا تخمن؛ بل اطلب المساعدة فحسب". وقد وضعوا حداً معيناً بحيث يتم وضع علامة على أي منشور تقل نسبة تأكد الكمبيوتر منه عن ستين بالمائة ليتم مراجعته من قبل بشري. ومن خلال السماح للكمبيوتر بتجاوز أصعب أربعة عشر بالمائة من المنشورات، قفزت دقة التنبؤات المتبقية بنحو سبع نقاط مئوية. وتبين أن المنشورات التي تم تمييزها كانت هي تلك التي كان الكمبيوتر فيها أكثر عرضة للخطأ، مما أكد أن النظام يعرف متى يعاني. كما قارنت الدراسة بين طريقتين مختلفتين لقياس عدم اليقين هذا، ووجدت أنه بالنسبة لمنشورات وسائل التواصل الاجتماعي القصيرة، فإن كلتا الطريقتين تعملان بشكل متماثل تقريباً.
تشير النتائج إلى تحول في كيفية استخدامنا لهذه الأدوات في المواقف عالية المخاطر، مثل الإشراف على المحتوى عبر الإنترنت أو فحص أزمات الصحة النفسية. فبدلاً من إجبار الكمبيوتر على تقديم تخمين واثق لكل منشور، من الأفضل السماح له بالإقرار بعدم اليقين وإحالة الحالات الصعبة إلى إنسان. علاوة على ذلك، فإن الاكتشاف بأن النصوص المكتوبة بالذكاء الاصطناعي يمكن أن تحسن دقة التصنيف يكشف عن فخ خفي في كيفية تقييمنا لهذه الأنظمة؛ فإذا تضمن اختبار مرجعي نصوصاً أعيد صياغتها بالذكاء الاصطناعي، فقد يجعل ذلك الكمبيوتر يبدو أكثر ذكاءً مما هو عليه في الواقع، ببساطة لأن النص قد تم "تنعيمه" ليتناسب مع تدريبه. ومع ازدياد انتشار الذكاء الاصطناعي في كتاباتنا اليومية، يحذر الباحثون من وجوب مراعاة هذا التحول لضمان بقاء أدواتنا دقيقة وجديرة بالثقة.
ملخص تقني: تحليل المشاعر المدرك لعدم اليقين في النصوص الاجتماعية الساخرة والمصاغة بواسطة الذكاء الاصطناعي
بيان المشكلة
تُقيّم أنظمة تحليل المشاعر، التي تتراوح من القواميس القائمة على القواعد إلى نماذج المحولات (Transformers) الدقيقة، عادةً بناءً على معايير مرجعية نظيفة وموسومة بشرياً. ومع ذلك، تفشل هذه التقييمات القياسية في معالجة نظامين توزيعيين متزايدين في وسائل التواصل الاجتماعي: السخرية (حيث تخفي الإيجابية السطحية مشاعر سلبية) والنصوص المولدة بواسطة الذكاء الاصطناعي (حيث يتم إعادة صياغة المحتوى أو تأليفه بواسطة النماذج اللغوية الكبيرة). يبحث هذا البحث في كيفية سلوك المصنفات تحت هذه الظروف، وتحديداً ما إذا كانت درجات الثقة تعكس عدم اليقين في المحتوى التهكمي، وكيف يؤدي وجود نصوص مصاغة بالذكاء الاصطناعي إلى تغيير مقاييس الدقة النهائية.
المنهجية
تستخدم الدراسة إطاراً تجريبياً ثلاثي الأجزاء باستخدام مجموعتي بيانات رئيسيتين ومصنفين للمشاعر:
النماذج: VADER (القائم على القواميس) وRoBERTa-twitter (المحول الدقيق).
مجموعات البيانات:
iSarcasm: تضم 3,468 تغريدة (25% منها ساخرة) لتحليل عدم استقرار الثقة في المحتوى التهكمي. ملاحظة: تفتقر مجموعة البيانات هذه إلى الحقيقة الأرضية لقطبية المشاعر، مما يحد من التحليل في درجات الدقة ويكتفي بدرجات الثقة.
Yelp Polarity: تضم 5,000 مراجعة متوازنة لتجارب إعادة الصياغة بالذكاء الاصطناعي.
إعادة الصياغة بالذكاء الاصطناعي: تمت إعادة كتابة مراجعات Yelp باستخدام Qwen3.5-4B وGemma4-E4B عبر Ollama (درجة الحرارة 0.0) للحفاظ على قطبية المشاعر مع تغيير الصياغة.
تكميم عدم اليقين (Uncertainty Quantification):
غلاف الامتناع (Abstention Wrapper): تم تحديد المدخلات التي تقل ثقتها البرمجية (softmax confidence) عن 0.6 واستبعادها.
مقارنة الإشارات: تمت مقارنة الإنتروبيا الدلالية (Semantic Entropy) (Farquhar et al., 2024) وعدم الاتفاق في MC-Dropout (Gal and Ghahramani, 2016) على 300 مثال من iSarcasm (10 عينات لكل مدخل) لقياس قدرتهما على التنبؤ بالأخطاء (باستخدام تسمية صحة وسيطة بناءً على تصويت الأغلبية).
النتائج الرئيسية
1. عدم استقرار الثقة في السخرية
تظهر المصنفات وعياً ضمنياً بعدم اليقين في النصوص الساخرة. كان متوسط ثقة RoBERTa في المدخلات الساخرة (0.741) أقل بشكل ملحوظ من المدخلات غير الساخرة (0.770)، وهو ما أكده اختبار Mann–Whitney U (p=2×10−6). يشير هذا إلى أنه حتى بدون نمذجة صريحة لعدم اليقين، فإن المصنفات تشعر بصعوبة المحتوى التهكمي.
2. انزياح إعادة الصياغة بالذكاء الاصطناعي (نتيجة غير متوقعة)
على عكس الفرضية التي تقول إن نصوص الذكاء الاصطناعي ستؤدي إلى تدهور الأداء، حققت مصنفات المشاعر دقة أعلى في المراجعات المعاد صياغتها بالذكاء الاصطناعي مقارنة بالنصوص البشرية الأصلية:
RoBERTa: زادت الدقة بمقدار +5.8 نقطة مئوية (pp) مع إعادة صياغة Qwen3.5-4B و**+3.7 pp** مع Gemma4-E4B.
VADER: أظهر زيادة قدرها +3.2 pp مع Qwen3.5-4B، رغم انخفاضه بنسبة -1.7 pp مع Gemma4-E4B.
الآلية: يعزو المؤلف ذلك إلى تأثير المحاذاة الأسلوبية عبر المجالات. تم تدريب RoBERTa-twitter على بيانات تويتر القصيرة وغير الرسمية. تحتوي مراجعات Yelp الأصلية على جمل أطول وتنسيقات غريبة تنقلها بعيداً عن توزيع التدريب. تعمل إعادة الصياغة بالذكاء الاصطناعي على تجريد هذه الخصائص الغريبة، مما ينتج تعبيرات مشاعر أكثر نقاءً ونموذجية تتوافق بشكل أفضل مع الانحيازات الاستقرائية للنموذج.
الانزياح الدلالي: حصلت 11.5% إلى 17.7% من عمليات إعادة الصياغة على تسمية مختلفة عن الأصل. ومع ذلك، تشير مكاسب الدقة إلى أن هذه كانت في الغالب تحولات من "خطأ إلى صواب".
3. المعايرة والامتناع
المعايرة: كان خطأ المعايرة المتوقع (ECE) أقل في إعادة الصياغة بالذكاء الاصطناعي (0.029–0.045) منه في النصوص البشرية (0.056)، وهو ما يتوافق مع تحسينات الدقة.
غلاف الامتناع: أدى تحديد الـ 14% من المدخلات التي تقل ثقتها عن 0.6 إلى تحسين الدقة في المجموعة المتبقية من 82.2% إلى 88.9% (+6.7 pp).
المجموعة المحددة: بلغت دقة الأمثلة المحددة 41.3% فقط (أعلى بقليل من خط الأساس العشوائي البالغ 33.3% لمشكلة ذات 3 فئات)، مما يؤكد أن العتبة تحدد بفعالية المدخلات الغامضة.
جودة التفسير: ولدت النماذج اللغوية الكبيرة تفسيرات للمدخلات المحددة، حيث حددت إشارات الغموض (السخرية، النفي، إلخ) في 99.3% (Qwen) و83.4% (Gemma) من الحالات، مما يؤكد أن المدخلات ذات الثقة المنخفضة هي بالفعل غامضة لغوياً.
4. مقارنة إشارات عدم اليقين
في مدخلات وسائل التواصل الاجتماعي القصيرة، كان أداء الإنتروبيا الدلالية وعدم الاتفاق في MC-Dropout متطابقاً تقريباً في التنبؤ بالأخطاء (AUROC 0.650 مقابل 0.646). يشير البحث إلى أنهما قابلان للتبادل لهذه المهمة، مع كون MC-Dropout أقل تكلفة حوسبية.
الأهمية والادعاءات
يدعو البحث إلى تحول في كيفية تقييم ونشر تحليل المشاعر:
ارتباك التقييم: يعمل وجود النصوص المولدة بالذكاء الاصطناعي كعامل مربك صامت في الاختبارات المرجعية. قد تؤدي المعايوهات المرجعية المعززة بإعادة الصياغة من قبل النماذج اللغوية الكبيرة إلى المبالغة في تقدير أداء المصنف لأن النص يتوافق بشكل أفضل مع توزيع التدريب الخاص بالنموذج. يجب على المعايوهات المرجعية المستقبلية توثيق المصدر التوليدي للبيانات.
نمط التصميم للتطبيقات عالية الخطورة: تحفز الدراسة الانتقال من "التنبؤ أحادي التسمية الواثق" إلى الامتناع المدرك لعدم اليقين. في المجالات عالية الخطورة مثل مراقبة الصحة العقلية أو مراقبة المحتوى، يعد توجيه الـ ~14% من المدخلات الغامضة ذات الثقة المنخفضة إلى المراجعة البشرية أمراً مفضلاً على اتخاذ قرارات آلية قد تكون ضارة.
عدم اليقين الضمني: تمتلك المصنفات قدرة متأصلة على إرسال إشارات عدم اليقين في السخرية عبر درجات ثقة أقل، حتى بدون تدريب متخصص، مما يشير إلى أن درجات الثقة يمكن أن تكون وسيطاً موثوقاً لعدم اليقين في المحتوى التهكمي.
يحافظ المؤلف على التواضع فيما يتعلق بادعاءاته، مشيراً إلى قيود مثل غياب الحقيقة الأرضية للمشاعر في مجموعة بيانات السخرية، واقتصار تجارب الذكاء الاصطناعي على مجال واحد (المراجعات)، والاختيار التجريبي لعتبة الامتناع بناءً على مجموعة التقييم.