Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

في العلوم الاجتماعية، اعتمد الباحثون لفترة طويلة على عملية بطيئة ودقيقة لفهم التواصل البشري. فهم يقرؤون آلاف الوثائق — من مقالات صحفية، أو خطابات سياسية، أو تعليقات على وسائل التواصل الاجتماعي — ويصنفونها إلى فئات بناءً على ما يقوله النص. يُسمى هذا تحليل المحتوى. ولعقود من الزمن، كان الأسلوب الأكثر موثوقية هو توظيف قراء بشريين للقيام بعملية التصنيف هذه. البشر يتميزون بالمرونة والقدرة على فهم الفروق الدقيقة، لكنهم أيضًا بطيئون ومكلفون ومحدودون بعدد الساعات التي يمكنهم العمل فيها. وفي السنوات الأخيرة، ظهرت برامج حاسوبية قوية تُعرف بنماذج اللغات الكبيرة. تستطيع هذه البرامج قراءة وكتابة اللغة البشرية بمهارة ملحوظة، مما يوفر وعدًا بأتمتة عملية التصنيف هذه. ومع ذلك، فإن مجرد طلب قراءة نص وتصنيفه من الحاسوب غالبًا ما يؤدي إلى نتائج غير متسقة. فقد يعطي الحاسوب إجابة مختلفة لنفس النص إذا طُلب منه ذلك مرتين، أو قد يفهم بشكل خاطئ القواعد المحددة التي وضعها الباحث. التحدي المركزي كان كيفية ترجمة القواعد الدقيقة التي صنعها البشر للدراسة إلى تعليمات يمكن للحاسوب اتباعها بموثوقية، دون فقدان الدقة التي يوفرها الخبراء البشريون.

لقد طور فريق من الباحثين في جامعة هوهنهايمم طريقة جديدة لحل هذه المشكلة، أطلقوا عليها اسم HALC. كان هدفهم هو إنشاء مسار عمل (pipeline) خطوة بخطوة يسمح للعلماء باستخدام هذه النماذج الحاسوبية القوية لترميز البيانات بشكل منهجي وشفاف، بدلاً من الاعتماد على التخمين. بدأ الباحثون بالإقرار بأنه بينما هذه النماذج الحاسوبية مثيرة للإعجاب، إلا أنها ليست مثالية؛ فهي يمكن أن تكون غير متوقعة، وأداؤها يتغير اعتمادًا على كيفية توجيه المهام إليها. لبناء نظام موثوق، أجرى الفريق أولاً دراسة تمهيدية واسعة. أخذوا مجموعة من التعليقات حول الحركات المناخية وطلبوا من النماذج الحاسوبية قراءتها بشكل متكرر. واختبروا مئات الطرق المختلفة لصياغة التعليمات، أو "المطالبات" (prompts)، لمعرفة أي منها ينتج نتائج أكثر اتساقًا ودقة. واكتشفوا أن طلب قراءة الحاسوب لنفس النص خمس مرات ثم أخذ الإجابة الأكثر شيوعًا ساهم بشكل كبير في استقرار النتائج. كما وجدوا أن جودة البيانات البشرية الأولية المستخدمة لتعليم الحاسوب كانت مهمة للغاية؛ فإذا كانت "الحقيقة الأرضية" (ground truth) البشرية مهتزة، ستكون نتائج الحاسوب مهتزة أيضًا. والأهم من ذلك، تعلموا أن أفضل التعليمات لم تكن قصيرة أو غامضة، بل كانت المطالبات الأكثر نجاحًا هي تلك المفصلة، التي تطلب من الحاسوب شرح منطقه خطوة بخطوة وتبرير قراره النهائي، تمامًا كما يفكر المرمز البشري في حل مشكلة ما قبل كتابة الإجابة.

وبناءً على هذه النتائج، قام الباحثون بصياغة مسار عمل HALC بشكل رسمي. تبدأ هذه العملية بكتاب ترميز (codebook) قياسي من صنع البشر، يحتوي على التعريفات والقواعد الخاصة بمشروع بحثي معين. وبدلاً من محاولة إعادة اختراع العجلة للحاسوب، يقوم الباحثون بترجمة هذه القواعد البشرية مباشرة إلى مطالبة مهيكلة. ثم يختبرون هذه المطالبة على عينة صغيرة من البيانات، مقارنين مخرجات الحاسوب مع الترميز البشري الأصلي. وإذا لم يطابق الحاسوب معايير الموثوقية البشرية، لا يقوم الب la بتخمين تعليمات جديدة، بل يتبعون عملية صارمة قائمة على القواعد لتنقيح المطالبة، ربما عن طريق إضافة أمثلة أكثر تحديدًا أو توضيح تعريف ما، ثم يختبرونها مرة أخرى. وتستمر هذه الدورة حتى يحقق الحاسوب مستوى من الاتفاق مع المرمزين البشريين يُعتبر مقبولاً علميًا. وعندها فقط يستخدمون الحاسوب لمعالجة مجموعة البيانات بأكملها. هذا النهج يعامل الحاسوب ليس كصندوق سحري يعمل من تلقاء نفسه، بل كأداة يجب معايرتها بعناية مقابل الحكم البشري.

ولإثبات أن هذا النظام يعمل في العالم الحقيقي، طبق الفريق مسار عمل HALC على نوعين مختلفين تمامًا من البيانات. الأول كان مجموعة ضخمة من البيانات السياسية للأحزاب من خمس دول مختلفة، مكتوبة باللغات الإنجليزية والألمانية والإسبانية. كانت المهمة هي تحديد أي الجمل تناولت موضوع الهجرة وما إذا كانت تركز على مراقبة الحدود أو دمج الأشخاص المقيمين بالفعل في البلاد. أما مجموعة البيانات الثانية فكانت تتكون من التقارير السنوية لثلاثين شركة ألمانية كبرى، حيث كان الهدف هو تحديد نبرة الكتابة — ما إذا كانت إيجابية، أو سلبية، أو محايدة. في كلتا الحالتين، استخدم الباحثون نفس التعليمات باللغة الإنجليزية للحاسوب، معتمدين على قدرة النموذج على فهم لغات مختلفة دون الحاجة إلى مطالبة منفصلة لكل لغة. كانت النتائج مشجعة؛ فبالنسبة للنصوص السياسية، حقق الحاسوب درجات موثوقية قريبة جدًا من المرمزين البشريين الأصليين، ونجح في التنقل عبر اللغات والسياقات السياسية المختلفة. وبالنسبة لتقارير الشركات، كان أداء الحاسوب أفضل عند استخدام نوع معين من النماذج المصممة للاستنتاج المعقد، مما أظهر أن مسار العمل يمكنه التكيف مع أنواع مختلفة من المهام.

تخلص الدراسة إلى أنه بينما تعد نماذج اللغات الكبيرة قوية، إلا أنه لا يمكن تسليمها مهمة وتوقع أدائها بشكل مثالي؛ فهي تتطلب نهجًا هيكليًا ومنهجيًا لضمان موثوقية مخرجاتها. يقدم مسار عمل HALC طريقة لسد الفجوة بين الخبرة البشرية وسرعة الآلة. ومن خلال ترسيخ تعليمات الحاسوب في قواعد بشرية راسخة واختبارها بصرامة قبل النشر الكامل، يمكن للباحثين أتمتة عملهم دون التضحية بصحة نتائجهم. يشير المؤلفون إلى أن هذه الطريقة تجعل عملية الترميز الآلي شفافة وقابلة للتكرار، مما يسمح للعلماء الآخرين برؤية كيفية بناء التعليمات والتحقق منها بدقة. وبينما تستمر النماذج الحاسوبية في التطور، يظل المبدأ الأساسي قائمًا: الأتمتة الموثوقة تأتي من شراكة دقيقة بين التصميم البشري والتنفيذ الآلي، مما يضمن أن تكون البيانات النهائية صلبة كما لو تم فرزها بواسطة فريق من الخبراء البشريين.