💬 NLP

SCALE: Towards Collaborative Content Analysis in Social Science with Large Language Model Agents and Human Intervention

تقدم هذه الورقة SCALE، وهو إطار عمل جديد متعدد الوكلاء يحاكي تحليل محتوى العلوم الاجتماعية التعاوني من خلال الجمع بين وكلاء النماذج اللغوية الكبيرة والتدخل البشري لتحقيق أداء يقارب الأداء البشري في ترميز النصوص، والمناقشة، وتطور دليل الرموز الديناميكي.

المؤلفون الأصليون: Chengshuai Zhao, Zhen Tan, Chau-Wai Wong, Xinyan Zhao, Tianlong Chen, Huan Liu

نُشر 2026-02-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chengshuai Zhao, Zhen Tan, Chau-Wai Wong, Xinyan Zhao, Tianlong Chen, Huan Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز ضخم يتضمن آلاف الرسائل المكتوبة بخط اليد. هدفك ليس مج-رد قراءتها، بل تصنيفها إلى فئات محددة مثل "الغضب"، أو "الأمل"، أو "الحزن" لفهم المزاج العام لمجتمع ما.

في العالم الحقيقي، يسمى هذا تحليل المحتوى (Content Analysis). عادةً، يتعين على فريق من الخبراء البشريين قراءة كل رسالة، والجدال حول معنى كلمة معينة، وإعادة كتابة كتاب القواعد الخاص بهم (المسمى Codebook) باستمرار للتأكد من أن الجميع على نفس الصفحة. إنها عملية بطيئة، ومكلفة، ومرهقة.

هنا يأتي دور SCALE.

فكر في SCALE كأنه "غرفة عمليات" افتراضية عالية التقنية مليئة بـ الوكلاء الذكيين (AI Agents) (برامج كمبيوتر فائقة الذكاء) مصممة لتلعب دور هؤلاء الخبراء البشريين تماماً. ولكن بدلاً من أن يقوم شخص واحد بكل العمل، يقوم SCALE بمحاكاة فريق كامل من الباحثين يعملون معاً، ويتجادلون، ويتعلمون من بعضهم البعض لإنجاز المهمة بشكل أسرع وأفضل.

إليك كيف يعمل الأمر، مقسماً إلى خطوات بسيطة:

1. طاقم الشخصيات (محاكاة المرمزين - Coder Simulation)

قبل بدء العمل، يقوم النظام بإنشاء فريق من الوكلاء الذكيين. لكنهم ليسوا مجرد روبوتات عادية؛ بل يتم منحهم شخصيات.

الاستعارة: تخيل أنك توظف فريقاً من المحققين. أنت لا تريد فقط "المحقق بوت". بل تريد "المحققة إميلي، الدقيقة والمحبة للتفاصيل"، و"المحقق مايكل، المتعاطف والذي يركز على المشاعر".
كيف يفعل SCALE ذلك: إنه يمنح كل ذكاء اصطناعي خلفية فريدة (العمر، التعليم، الشخصية) حتى يتناولوا النص من زوايا مختلفة، تماماً كما يفعل البشر الحقيقيون.

2. المرحلة الأولى (ترميز البوت - Bot Annotation)

يتم إعطاء الفريق دفعة من النصوص (مثل كومة من الرسائل) وكتاب قواعد (Codebook).

الاستعارة: يدخل كل محقق إلى غرفة منفصلة ويقرأ الرسائل بمفرده، مع وضع علامات عليها بناءً على القواعد.
النتيجة: نظرًا لأن لديهم شخصيات مختلفة وقد تكون القواعد غامضة قليلاً في البداية، فإنهم سيختلفون. قد يقول أحدهم إن الرسالة "حزينة"، بينما يقول آخر إنها "غاضبة".

3. طاولة المستديرة (نقاش الوكلاء - Agent Discussion)

هذا هو الجزء السحري. يخرج الوكلاء من غرفهم ويجلسون حول طاولة لمناقشة خلافاتهم.

الاستعارة: إنهم يجادلون في قضاياهم. "لقد صنفت هذه بأنها 'غاضبة' لأن المستخدم استخدم علامة تعجب!" "لكنني صنفتها بأنها 'حزينة' لأنهم ذكروا فقدان حيوان أليف!"
النتيجة: من خلال هذا النقاش المتبادل، يصلون عادةً إلى إجماع. يدركون قائلين: "أوه، أنت على حق، السياق يغير المعنى". هذا يحاكي كيف يقوم الباحثون البشريون بصقل فهمهم من خلال الجدال.

4. تطور كتاب القواعد (تطور كتاب القواعد - Codebook Evolution)

بعد النقاش، يدرك الفريق أن كتاب القواعد الخاص بهم كان بسيطاً للغاية.

الاستعارة: يدركون أن قاعدة "الغضب = علامة تعجب" هي قاعدة فضفاضة جداً. لذا، يعيدون كتابة كتاب القواعد معاً: "الغضب = علامة تعجب إلا إذا كان الأمر يتعلق بفقدان حيوان أليف".
النتيجة: يصبح كتاب القواعد أكثر ذكاءً وتفصيلاً مع كل جولة عمل. وهذا ما يسمى التطور الديناميكي لكتاب القواعد (Dynamic Codebook Evolution).

5. المدير البشري (التدخل البشري - Human Intervention)

أحياناً، يعلق فريق الذكاء الاصطناعي أو يسلك مساراً خاطئاً. هنا يأتي دور الخبير البشري.

الاستعارة: فكر في الإنسان كأنه رئيس التحرير. يمكنه التدخل في المحادثة ليقول: "توقفوا! أنتم تغفلون عن السياق الثقافي هنا"، أو "في الواقع، تلك القاعدة خاطئة".
الأنماط:
- التعاوني (Collaborative): يقترح الإنسان أفكاراً، ويقوم فريق الذكاء الاصطناعي بالتصويت عليها.
- التوجيهي (Directive): يعطي الإنسان أمراً، ويجب على الذكاء الاصطناعي اتباعه.
- المستهدف (Targeted): يتدخل الإنسان فقط في حالات الرسائل الصعبة أو المعقدة.
- الشامل (Extensive): يراقب الإنسان العملية بأكملة ويوجه تغييرات كتاب القواعد.

لماذا يعد هذا أمراً مهماً؟

السرعة والنطاق: يمكن للبشر قراءة عدد محدود من الرسائل يومياً، بينما يمكن لفريق من الوكلاء الذكيين قراءة الملايين دون تعب.
الاتساق: البشر يصابون بالإرهاق ويرتكبون الأخطاء، أما وكلاء الذكاء الاصطناعي، عندما يتم توجيههم بهذا النظام، فيحافظون على الاتساق.
اللمسة "البشرية": الجزء الأفضل هو أن SCALE لا يقوم بمجرد "التخمين". إنه يحاكي العملية البشرية المتمثلة في الجدال، والصقل، والتعلم. إنه يلتقط عمق الفكر البشري، وليس فقط سرعة الآلة.

باخت مختص، SCALE هو محاكاة رقمية لفريق من علماء الاجتماع. يستخدم وكلاء الذكاء الاصطناعي للقراءة، والجدال، وإعادة كتابة قواعدهم الخاصة، مع إبقاء خبير بشري في الحلقة لضمان أن النتائج النهائية دقيقة، وعادلة، ومفهومة بعمق. إنه يشبه منح العلوم الاجتماعية قوة خارقة للتعامل مع الكم الهائل من البيانات في عالمنا الرقمي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "SCALE: نحو تحليل محتوى تعاوني في العلوم الاجتماعية باستخدام وكلاء النماذج اللغوية الكبيرة والتدخل البشري."

1. بيان المشكلة

تحليل المحتوى (Content Analysis) هو منهج أساسي في العلوم الاجتماعية لتحويل النصوص غير المهيكلة إلى فئات كمية قائمة على النظرية. تقليدياً، تكون هذه العملية:

مجهدة للغاية وتتطلب وقتاً طويلاً: تتطلب فرقاً من الخبراء البشريين لترميز البيانات يدوياً، ومناقشة التباينات، وتحسين قواعد الترميز (أدلة الترميز - codebooks) بشكل تكراري.
ذات طبيعة ذاتية ويصعب توسيع نطاقها: الاعتماد على باحثين أفراد يؤدي إلى الذاتية، كما أن الطبيعة اليدوية للعمل تمنع التوسع للتعامل مع مجموعات البيانات الضخمة التي تولدها العصور الرقمية.
محدودية الذكاء الاصطناعي الحالي: رغم وجود النماذج اللغوية الكبيرة (LLMs)، إلا أن أنظمة الوكلاء القياسية تفتقر إلى الفهم الدقيق لمبادئ العلوم الاجتماعية، والقدرة على المشاركة في مداولات تعاونية تشبه البشر، والقدرة على التحسين الديناميكي القائم على القواعد المطلوب للتحليل الصارم للمحتوى.

تعالج الورقة تحدي محاكاة عملية تحليل المحتوى البشرية الصارمة، متعددة الجولات، التعاونية، والمتطورة باستخدام وكلاء النماذج اللغوية الكبيرة، مع التخفيف من التحيز الخوارزمي من خلال التدخل البشري.

2. المنهجية: إطار عمل SCALE

يقترح المؤلفون إطار عمل SCALE (محاكاة تحليل المحتوى عبر وكلاء النماذج اللغوية الكبيرة)، وهو إطار عمل متعدد الوكلاء يحاكي المراحل الأربع الرئيسية لتحليل المحتوى التقليدي في العلوم الاجتماعية.

أ. سير العمل الأساسي

محاكاة المرمزين (تهيئة الشخصية):
- يقوم النظام بتهيئة $N$ من وكلاء النماذج اللغوية الكبيرة، حيث يتم تعيين شخصية متميزة لكل منها (مثل: عمر محدد، جنس، خلفية أكاديمية، وتركيز بحثي) مستمدة من علماء اجتماع حقيقيين.
- يتم تهيئة دليل الترميز (Codebook) إما بقواعد يحددها البشر أو كمجموعة فارغة ليقترح الوكلاء قواعد من الصفر.
ترميز البوت (الترميز المستقل):
- يقوم الوكلاء بتحليل دفعات من مدخلات النصوص بشكل مستقل بناءً على دليل الترميز الحالي.
- يطبقون قواعد مستندة إلى النظرية لتصنيف النص إلى فئات محددة، محاكيين بذلك مرحلة الترميز المستقل للباحثين البشر.
مناقشة الوكلاء (المداولة التعاونية):
- ينخرط الوكلاء في مناقشات مهيكلة متعددة الجولات لحل التباينات في مخرجات الترميز الخاصة بهم.
- يتبادلون الأسباب، وينتقدون عمليات الترميز لدى أقرانهم، ويحدثون قراراتهم حتى يتم التوصل إلى إجماع أو الوصول إلى الحد الأقصى لعدد الجولات.
تطور دليل الترميز (التحسين الديناميكي):
- بناءً على نتائج الترميز ورؤى المناقشة، يقوم الوكلاء بتحديث دليل الترميز بشكل تعاوني.
- تشمل الاستراتيجيات إضافة أمثلة توضيحية، أو دمج/تقسيم القواعد، أو تعديل الفئات لتقليل الغموض وتحسين التغطية. وهذا يخلق حلقة تغذية راجعة حيث يتطور دليل الترميز ليتناسب بشكل أفضل مع البيانات.

ب. آليات التدخل البشري

لمعالجة تحيزات النماذج اللغوية الكبيرة وضمان التوافق مع الخبرة المعرفية، يدمج SCALE الخبراء البشريين في أربعة أنماط متميزة:

من حيث النطاق:
- مستهدف (Targeted): تدخل يقتصر على مرحلة النقاش.
- واسع (Extensive): تدخل يطبق على كل من النقاش وتقييم دليل الترميز.
من حيث الدور:
- تعاوني (Collaborative): يقدم الخبراء ملاحظات يمكن للوكلاء قبولها أو رفضها (حلقة تفاعلية).
- توجيهي (Directive): يصدر الخبراء تعليمات إلزامية يجب على الوكلاء اتباعها (نهج من الأعلى إلى الأسفل).

3. المساهمات الرئيسية

تمكين التوسع: SCALE هو أول عمل يحاكي العملية الصارمة والديناميكية للتحليل الكمي للمحتوى باستخدام النماذج اللغوية الكبيرة، مما يقلل بشكل كبير من الوقت والتكلفة والموارد البشرية المطلوبة مع تمكين الترميز واسع النطاق.
تصميم قائم على الممارسة (Praxis-Informed): تم تصميم الإطار بالتعاون مع علماء الاجتماع، مما يعيد إنتاج الدورة التكرارية لـ (الترميز المستقل، المناقشة التعاونية، وتطور دليل الترميز) الموجودة في البحث البشري بأمانة.
التعاون بين الإنسان والذكاء الاصطناعي: يقدم بوابة مرنة للتدخل الخبير (مستهدف/واسع، تعاوني/توجيهي)، مما يخفف من التحيز الخوارزمي ويعزز الحساسية السياقية.
التحقق الشامل: تم التحقق من صحة الإطار عبر مجموعات بيانات ومهام متنوعة من العالم الحقيقي، مما أظهر قدرته على تقريب الحكم البشري.

4. النتائج التجريبية

قام المؤلفون بتقييم SCALE على خمس مجموعات بيانات من العالم الحقيقي (حوار مستهلك العلامة التجارية، روايات السرطان، الدعم العاطفي لمرضى السرطان، تسمم مياه فلينت، مشاعر حوادث المنتجات) تغطي 7 مهام متميزة (تصنيف متعدد الفئات ومتعدد الملصقات).

الأداء:
- الوضع التلقائي: بدون تدخل بشري، حقق SCALE متوسط دقة قدره 0.701 عبر المهام.
- وضع التدخل البشري: مع التدخل البشري، ارتفعت الدقة إلى 0.872، مما يمثل تحسناً بنسبة 12.6% عن خط الأساس التلقائي.
- أنواع التدخل: حقق التدخل التوجيهي والواسع أعلى المكاسب (تحسن يصل إلى 15% مقارنة بالأنماط المستهدفة/التعاونية)، مما يشير إلى أن الإشراف الخبير الإلزامي فعال للغاية للمهام المعقدة.
تأثير المناقشة:
- أدى إزالة مرحلة المنا discusión التعاونية إلى انخفاض في متوسط الدقة بنسبة 14.3%.
- زادت المناقشات من معدل الاتفاق بين الوكلاء بنسبة 41.1% في المتوسط، مما يثبت أن المداولة بين الوكلاء أمر بالغ الأهمية للوصة إلى الإجماع.
تطور دليل الترميز:
- نجح الوكلاء في تحسين أدلة الترميز من خلال إضافة أمثلة وتوضيح القواعد (مثل التمييز بين "العلاج" و"النجاة" في روايات السرطان).
- ومع ذلك، واجه الوكلاء صعوبة في إزالة الفئات المتداخلة دون توجيه بشري، مما يسلط الضéء على قصورهم في اكتشاف التداخلات المفاهيمية الدقيقة مقارنة بالخبراء البشر.
حساسية المعلمات (Parameters):
- لوحظ الأداء الأمثل مع أحجام دفعات نصية متوسطة ( $B=20$ ) و3 جولات مناقشة ( $K=3$ ).
- تفوقت إعدادات الوكلاء المتعددين ( $N > 1$ ) بشكل كبير على أنظمة الوكيل الواحد.

5. الأهمية والآثار المستقبلية

تحويل البحث في العلوم الاجتماعية: يوفر SCALE مساراً قابلاً للتطبيق لأتمتة تحليل المحتوى المجهد للعمالة، مما يسمح للباحثين بمعالجة مجموعات البيانات الضخمة التي كانت غير قابلة للمعالجة سابقاً.
الربط بين الذكاء الاصطناعي والعلوم الإنسانية: من خلال محاكاة "العمق التأملي" و"المناقشات التكيفية" للباحثين البشر، ينتقل SCALE إلى ما هو أبعد من مجرد التصنيف البسيط إلى تحليل أكثر دقة وقائماً على النظرية.
الاعتبارات الأخلاقية: تقر الورقة بالمخاطر المتعلقة بالتحيز الخوارزمي وخصوصية البيانات، وتقترح آليات التدخل البشري كاستراتيجية تخفيف أساسية، وتؤكد أن النظام هو أداة مساعدة مصممة لتكملة الخبرة البشرية لا استبدالها.
العمل المستقبلي: يقترح المؤلفون أن الأبحاث المستقبلية يجب أن تركز على حقن المعرفة بالمجال مباشرة في النماذج اللغوية الجاهزة، وتطوير طرق لتعلم الوكلاء من أنماط التدخل البشري لتقليل الاعتماد طويل الأمد على الخبراء.

في الختام، يمثل SCALE خطوة مهمة للأمام في العلوم الاجتماعية الحسابية، حيث يثبت أن أنظمة الوكلاء المتعددة للنماذج اللغوية الكبيرة، عندما يتم توجيهها بواسطة الخبرة البشرية والمداولة المنظمة، يمكنها محاكاة العملية المعقدة والتكرارية لتحليل المحتوى البشري بفعالية.