Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics

إليك ملخص تقني مفصل لورقة العمل المعنونة: "قياس ما لا يمكن مسحه استقصائياً: النماذج اللغوية الكبيرة كأدوات للمتغيرات المعرفية الكامنة في اقتصاديات العمل" للباحث كريستيان إسبينال مايا.

1. المشكلة: قياس المتغيرات المعرفية الكامنة

يواجه علم الاقتصاد تحدياً مستمراً في قياس المتغيرات الكامنة — وهي بناءات مركزية من الناحية النظرية ولكن لا يمكن ملاحظتها مباشرة في المسوحات أو البيانات الإدارية. ومن الأمثلة البارزة على ذلك هو المحتوى المعرفي للمهام الوظيفية (مثل التمييز بين معالجة المعلومات الروتينية والتقدير السياقي، أو تحديد درجة كون المهمة قابلة للتعزيز بواسطة الذكاء الاصطناกัน مقابل كونها قابلة للاستبدال).

تعاني منهجيات القياس الحالية من قيود كبيرة:

• لجان الخبراء (مثل O*NET): مكلفة، بطيئة، وعرضة لانخفاض الموثوقية بين المقيمين فيما يتعلق بالمفاهيم المستحدثة.
• الاستعانة بالجمهور (Crowdsourcing): أسرع ولكنها تُدخل ضجيجاً ناتجاً عن غير المتخصصين.
• مطابقة براءات الاختراع/الكلمات المفتاحية: توفر مؤشرات غير مباشرة تعتمد على القدرة التكنولوجية بدلاً من المحتوى الدلالي المباشر للمهمة، مما يفشل في التقاط الفروق الدقيقة مثل "التعزيز" مقابل "الاستبدال".

تعالج الورقة الحاجة إلى طريقة قابلة للتوسع، وفعالة من حيث التكلفة، وصالحة نظرياً لتكميم المحتوى الدلالي للمهام الوظيفية.

2. المنهجية: النماذج اللغوية الكبيرة كأدوات اقتصادية قياسية

يقترح المؤلف إطاراً يعامل النماذج اللغوية الكبيرة (LLMs) ليس فقط كأدوات تسجيل، بل كأدوات اقتصادية قياسية (Econometric Instruments) للمتغيرات الكامنة. الابتكار الجوهري يكمن في صياغة رسمية لأربعة شروط للصلاحية التي يمكن بموجبها استخدام الدرجات المولدة بواسطة النماذج اللغوية الكبيرة في تحليلات الانحدار.

شروط الصلاحية الأربعة

1. الخارجية الدلالية (Semantic Exogeneity): يجب أن يشير أمر النموذج (Prompt) فقط إلى المحتوى الدلالي للمهمة (الأوصاف، المهارات) ويستبعد تماماً مخرجات سوق العمل (الأجور، التوظيف). يضمن هذا أن خطأ القياس متعامد مع خطأ معادلة المخرجات ($Cov(\eta, \epsilon) = 0$).
2. صلة البناء (Construct Relevance): يجب أن ترتبط درجة النموذج اللغوي بالمتغير الكامن. ويتم إثبات ذلك عبر الصلاحية التقاربية (الارتباط مع المقاييس القائمة)، والصلاحية التنبؤية، وصلاحية الظاهر (Face validity).
3. الرتابة (Monotonicity): يجب أن تقابل الدرجات الأعلى من النموذج اللغوي درجة أعلى من المتغير الكامن ($\partial \hat{H}/\partial H^* > 0$)، مما يضمن إمكانية تفسير إشارات الانحدار.
4. ثبات النموذج (Model Invariance): يجب أن يظل ترتيب المهن ثابتاً عبر نماذج لغوية مختلفة، حتى لو اختلفت المستويات المطلقة (المتوسطات).

التطبيق: مؤشر رأس المال البشري المعزز (AHCo)

• البيانات: 18,796 عبارة مهمة فريدة من قاعدة بيانات O*NET (الإصدار 30.2).
• التسجيل: تم تسجيل المهام بواسطة نموذج Claude Haiku 4.5 على بُعدين:
  • إمكانية التعزيز ($a_{ok}$): مدى قدرة الذكاء الاصطناعي على المساعدة كأداة تكميلية.
  • خطر الاستبدال ($s_{ok}$): مدى قدرة الذكاء الاصطناعي على استبدال الإنسان بالكامل.
• التجميع: مؤشرات مستوى المهنة هي متوسطات مرجحة بالأهمية لدرجات المهام.
• عينة التحقق: تمت إعادة تسجيل عينة فرعية بنسبة 20% ($n=3,666$) بشكل مستقل بواسطة Claude Sonnet 4 لاختبار الموثوقية بين المقيمين.

3. المساهمات الرئيسية

1. الصياغة النظرية: تضع الورقة أول مجموعة صارمة من الشروط (الخارجية الدلالية، صلة البناء، الرتابة، ثبات النموذج) المطلوبة لمعاملة مخرجات النماذج اللغوية الكبيرة كأدوات اقتصادية قياسية صالحة.
2. التحقق التجريبي: تقدم تقييماً شاملاً لهذه الشروط باستخدام مؤشر AHCo، والتحقق منه مقابل ستة مؤشرات معرضة للذكاء الاصطناٍعي قائمة (Felten, Eloundou, Webb, Frey-Osborne, Eisfeldt).
3. التوصيف الاقتصادي القياسي: تثبت أن الدرجات المولدة بواسطة النماذج اللغوية الكبيرة تتبع هيكل خطأ قياس كلاسيكي. وهذا يسمح بتطبيق تقدير المتغيرات الأداة ذات العلاقة الواضحة (ORIV) لتصحيح انحياز التضاؤل (Attenuation bias)، وهي تقنية قياسية تُستخدم عادةً لبيانات المسح البشري.

4. النتائج الرئيسية

الصلاحية والموثوقية

• الصلاحية التقاربية: يُظهر مؤشر AHCo ارتباطاً قوياً مع المؤشرات الراسخة، لا سيالما Eloundou GPT-$\gamma$ ($r=0.85$) و Felten AIOE ($r=0.79$).
• الصلاحية التمييزية: يرتبط المؤشر ارتباطاً ضعيفاً مع مقاييس الأتمتة المباشرة ($r=0.21$ مع Eloundou $\alpha$)، مما يؤكد أن "التعزيز" و"الاستبدال" هما بناءان متميزان.
• الأبعاد (PCA): يكشف تحليل المكونات الرئيسية لـ 11 مؤشراً عن بُعدين متميزين:
  • PC1 (62% من التباين): "الصلة المعرفية العامة بالذكاء الاصطناعي".
  • PC2 (15% من التباين): "التعزيز مقابل الاستبدال". يحمل مؤشر AHCo قيمة سالبة على PC2، مما يؤكد أنه يلتقط تحديداً بُعد التعزيز.
• الموثوقية بين المقيمين:
  • بين Claude Haiku و Sonnet: Pearson $r = 0.76$، و Krippendorff's $\alpha = 0.71$ (المعدل حسب المتوسط).
  • انحياز المستوى: كانت درجات Sonnet أعلى بشكل منهجي (+8.6 نقطة) من Haiku، لكن هذا الانحياز كان ثابتاً عبر نطاق الدرجات (مخطط Bland-Altman)، مما يستوفي الاقتراح الأول (انحياز المستوى لا يؤثر على معاملات الانحدار المعيارية).
  • حساسية الأمر (Prompt Sensitivity): بينما تؤثر صياغة الأمر على المقياس المطلق، فإن التباين على مستوى المهمة يهيمن على التباين الناتج عن الأمر، وتظل الترتيبات قوية.

الخصائص الاقتصادية القياسية

• تصحيح خطأ القياس: يتوافق عدم الاتفاق بين النماذج مع التضاؤل الكلاسيكي.
• تقدير ORIV: باستخدام درجات Sonnet كأداة لدرجات Haiku في معادلة مينسر (Mincer) للأجور الموسعة:
  • كان معامل ORIV ($\beta = 0.100$) أكبر بنسبة 25% من معامل OLS ($\beta = 0.080$)، مما نجح في تصحيح انحياز التضاؤل.
  • تتوافق النتيجة مع تقديرات IV الخارجية من الأدبيات السابقة، مما يؤكد صلاحية نهج النماذج اللغوية الكبيرة.
• القدرة التنبؤية: في نموذج "سباق الخيول" (Horse race regression)، أدت إضافة AHCo إلى المؤشرات الموجودة (مثل Frey-Osborne) إلى زيادة $R^2$ بمقدار 0.86 نقطة مئوية إضافية، مما يثبت أن AHCo يلتقط معلومات فريدة ومكملة.

5. الأهمية والآثار المترتبة

• حد التكلفة والجودة: توفر المنهجية مكاسب هائلة في الكفاءة. فقد كلف تسجيل 18,796 مهمة حوالي 5 دولارات واستغرق 6 ساعات، مقارنة بالأشهر والتكاليف العالية المطلوبة للجان الخبراء التقليدية.
• القابلية للتعميم: يمتد الإطار إلى ما وراء اقتصاديات العمل إلى أي مجال يتطلب تكميم المحتوى الدلالي في الوثائق أو السياسات أو المؤسسات (مثل تحليل العقود، تقييم السياسات، أو الاستدلال القضائي).
• أفضل الممارسات: تقدم الورقة بروتوكولاً ملموساً للممارسين، مع التأكيد على استخدام نماذج متعددة، وتحليل حساسية الأوامر، وتقدير ORIV للتخفيف من خطأ القياس.

الخلاصة: تنجح الورقة في إثبات أن النماذج اللغوية الكبيرة يمكن أن تعمل كأدوات صالحة، وموثوقة، وفعالة من حيث التكلفة للمتغيرات الاقتصادية الكامنة، بشرما تم استيفاء شروط صلاحية محددة وتصحيح خطأ القياس بشكل مناسب باستخدام التقنيات الاقتصادية القياسية مثل ORIV.