تُثبت هذه الورقة أن نماذج GPT-3.5 المهندسة عبر الأوامر (prompt-engineered) يمكنها أداء التحليل المقابل للواقع (counterfactual analysis) بفعالية في مجال الإقراض عبر الإنترنت للتنبؤ بالعائد على الاستثمار تحت سيناريوهات أسعار فائدة افتراضية، محققةً أداءً يضاهي نماذج الانحدار المعززة بالتدرج التقليدية مع إظهار استدلال سببي منطقي.
تخيل أنك مسافر عبر الزمن تمتلك آلة سحرية بعنوان "ماذا لو؟". في عالم العلوم، يُطلق على هذا اسم التحليل المقابل للواقع (Counterfactual Analysis). إنه فن التنبؤ بما كان سيحدث لو اتخذت قراراً مختلفاً بالأمس. هل رسب ذلك الطالب لأن الفصل كان كبيراً جداً، أم أنه كان سينجح بتفوق لو كان في غرفة أصغر؟ هل تم تجاهل ذلك البريد الإلكتروني لأن عنوان الموضوع كان مملاً، أم أن واحداً مخصصاً كان سينقذ الموقف؟ يحب العلماء هذا النوع من الأشياء لأنها تساعدنا على فهم السبب والنتيجة، وليس مجرد التخمين. عادةً، للإجابة على هذه الأسئلة، يحتاج الباحثون إلى إجراء تجارب مكلفة أو استخدام نماذج رياضية معقدة تنظر إلى البيانات الماضية لتخمين المستقبل. ولكن مؤخراً، وصل نوع جديد من الأدمغة الرقمية: النموذج اللغوي الكبير (LLM). فكر في هذه النماذج كأنها روبوتات فائقة الذكاء قرأت كل شيء تقريباً على الإنترنت. إنها بارعة في كتابة القصص والدردشة، ولكن هل يمكنها أيضاً لعب دور المسافر عبر الزمن لتحديد سيناريوهات "ماذا لو"؟ هذا هو السؤال الكبير الذي تطرحه هذه الورقة البحثية.
قرر مؤلف هذه الدراسة اختبار هذه الأدمغة الرقمية في عالم الإقراض عبر الإنترنت عالي المخاطر. تخيل بنكاً يقرض الأموال للناس؛ يتعين عليه تحديد سعر الفائدة الذي سيفرضه. إذا فرض سعراً مرتفعاً جداً، فقد يثقل كاهل المقترض ويتوقف عن السداد. وإذا فرض سعراً منخفضاً جداً، فسيخسر البنك المال. يعرف البنك ما حدث بالفعل مع سعر الفائدة الفعلي الذي اختاره، لكنه لا يمكنه التأكد أبداً مما كان سيحدث لو اختار سعراً مختلفاً. هذه القطعة المفقودة من اللغز هي "الواقع المقابل" (Counterfactual). أراد الباحثون معرفة ما إذا كان بإمكان ذكاء اصطناعي، وتحديداً نموذج يُسمى GPT-3.5، أن ينظر إلى طلب قرض ويقول: "لو كنا قد فرضنا 10% بدلاً من 12%، لكان المقترض قد سدد لنا الأموال بشكل أسرع".
ولإنجاح ذلك، لم يكتف الفريق بسؤال الذكاء الاصطناعي سؤالاً بسيطاً؛ بل أدركوا أن التحدث إلى روبوت يشبه التحدث إلى إنسان؛ إذ يجب عليك أن تسأل بالطريقة الصحيحة. استخدموا تقنية تسمى هندسة الأوامر (Prompt Engineering)، وهي في الأساس فن إعطاء الذكاء الاصطعي التعليمات المثالية. جربوا طلب من الذكاء الاصطناعي أن يتظاهر بأنه المقترض، ثم جربوا أن يطلبوا منه التظاهر بأنه خبير ائتمان. حتى أنهم جعلوا الذكاء الاصطناعي يحاكي لجنة مكونة من أربعة خبراء يتجادلون مع بعضهم البعض للوصول إلى إجماع، وهي طريقة تسمى شجرة الأفكار (Tree-of-Thought). كما سمحوا للذكاء الاصطناعي بالاطلاع على التنبؤات التي أجرتها الخوارزميات الحاسوبية التقليدية ليروا ما إذا كان بإمكانه التحسن عليها.
كانت النتائج واعدة بشكل مفاجئ. عندما سأل الباحثون الذكاء الاصطناعي لأول مرة لتخمين نتائج القروض دون أي تعليمات خاصة، كان أداؤه سيئاً للغاية، حيث أصاب في الحسابات بنسبة 2% فقط من الوقت. ولكن بمجرد استخدام حيلة "لجنة الخبراء" ومنحه السياق المناسب، قفز أداؤه إلى ما يقرب من 3%. ورغم أن هذا قد يبدو صغيراً، إلا أنه يمثل أمراً ضخماً في هذا المجال، حيث جعل الذكاء الاصطناعي قريباً جداً من دقة أفضل النماذج الرياضية التقليدية. والأهم من ذلك، أن الذكاء الاصطناعي لم يكتفِ بنطق رقم فحسب، بل شرح منطقه الخاص. لقد نظر في تاريخ المقترض، ووضع في اعتباره سعر الفائدة، وجادل منطقياً بأن سعراً أقل قد يساعدهم على سداد القرض بشكل أسرع.
تشير الدراسة إلى أن هذه النماذج اللغوية الكبيرة ليست مجرد برامج دردشة؛ بل إنها تتحول إلى أدوات قادرة على استكشاف سيناريوهات "ماذا لو". أظهر الذكاء الاصطناعي قدرته على رصد الحالات التي قد يكون فيها النموذج الحاسوبي التقليدي متفائلاً للغاية، وتعديل تنبؤاته بناءً على "معرفته" الخاصة بكيفية تصرف البشر. على سبيل المثال، عندما توقع النموذج التقليدي أن المقترض سيسدد القرض في غضون 8 أشهر مع سعر فائدة أقل، فكر الذكاء الاصطناعي قائلاً: "يبدو هذا سريعاً جداً بالنظر إلى تاريخه الائتماني"، وعدّل التنبؤ إلى 22 شهراً. وهذا يوضح أن الذكاء الاصطناعي يفعل أكثر من مجرد نسخ الرياضيات؛ إنه في الواقع يفكر في المنطق.
ومع ذلك، فإن المؤلف حذر من وصف هذا بأنه حل مثالي. فقد لاحظ أنه بينما يتحسن الذكاء الاصطناعي، إلا أنه لا يزال قيد الاختبار في بيئة محاكاة. ووجدوا أن تنبؤات الذكاء الاصطناعي كانت متسقة منطقياً مع قواعد العالم الحقيقي (مثل: إذا خفضت سعر الفائدة، فمن غير المرجح أن يتخلف الناس عن السداد)، لكنهم لم يدّعوا أن الذكاء الاصطناعي قد حل لغز السلوك البشري تماماً. بدلاً من ذلك، اقترحوا أن هذه النماذج هي أداة جديدة قوية يمكنها مساعدة المقرضين والعلماء على اتخاذ قرارات أفضل من خلال محاكاة مستقبليات مختلفة. الأمر يشبه امتلاك مستشار ذكي جداً ومطلع جداً يمكنه مساعدتك في تصور عواقب خياراتك قبل أن تتخذها بالفعل.
ملخص تقني: التحليل المقابل للواقع عبر النماذج اللغوية الكبيرة
بيان المشكلة
يسعى التحليل المقابل للواقع (Counterfactual analysis) إلى التنبؤ بالنتائج في ظل سيناريوهات افتراضية لتوجيه عملية اتخاذ القرار، وهي مهمة تنطوي على تحديات كبيرة في مجال الإقراض عبر الإنترنت حيث يكون العائد على الاستثمار (ROI) تحت أسعار الفائدة البديلة غير قابل للملاحظة. وبينما توجد طرق تقليدية مثل المطابقة (matching)، والتجارب العشوائية المنضبطة، وتحليل البقاء (survival analysis)، إلا أنها غالبًا ما تعتمد على افتراضات هيكلية محددة أو تتطلب أخذ عينات فرعية. علاوة على ذلك، فإن نماذج تعلم الآلة (ML) القياسية، رغم تحسينها للدقة التنبؤية على البيانات المرصودة، قد تفشل في التقاط الآليات السببية اللازمة لتوليد نتائج مقابلة للواقع صالحة، خاصة عندما يتغير سلوك المقترضين استجابةً لتحولات أسعار الفائدة غير المرصودة. تبحث هذه الورقة فيما إذا كانت النماذج اللغوية الكبيرة (LLMs)، وتحديدًا GPT-3.5، يمكن أن تعمل كأدوات فعالة لبناء نتائج القروض المقابلة للواقع، من خلال الاستفåدة من معرفتها الواسعة المسبقة وقدراتها الاستنتاجية.
المنهجية
تستخدم الدراسة مجموعة بيانات تضم 894,013 قرضًا شخصيًا غير مضمون من LendingClub (2013-2020). تنقسم المنهجية إلى مرحلتين رئيسيتين: التحقق من الأداء التنبئي وبناء النتائج المقابلة للواقع.
1. التحقق من الأداء التنبئي
لإثبات ملاءمة النموذج اللغوي الكبير لتوليد النتائج المقابلة للواقع، قام المؤلف أولاً بتقييم قدرته على التنبؤ بنتائج القروض الفعلية (الحالة والعائد على الاستثمار) في ظل أسعار الفائدة المرصودة.
الأساس (Baseline): تمت مقارنة أداء النموذج اللغوي الكبير مع خوارزميات تعلم الآلة المتقدمة، وتحديدًا XGBoost (لتصنيف حالة القرض) والتحليل الانحداري المعزز بالتدرج (للتنبؤ بالعائد على الاستثمار).
هندسة الأوامر (Prompt Engineering): قيمت الدراسة بشكل منهجي استراتيجيات الأوامر المختلفة لاستخراج أداء أفضل:
تقمص الأدوار (Role-Playing):): تغيير شخصية النموذج اللغوي من "مقترض" (والذي أظهر انحيازًا نحو الرغبة الاجتماعية) إلى "خبير مخاطر ائتمانية".
مجموعات المعلومات (Information Sets): دمج تفاصيل القرض، وملفات المقترضين، وإحصائيات مستوى المنصة، والأهم من ذلك، تنبؤات خوارزميات تعلم الآلة في الأمر البرمجي.
تقنيات الاستنتاج (Reasoning Techniques): تنفيذ تقنيات "سلسلة الأفكار" (CoT) و"شجرة الأفكار" (ToT). قامت نهج "شجرة الأفكور" بمحاكاة لجنة من أربعة خبراء يعملون بشكل تكراري على تحسين تنبؤاتهم وعمليات الاستنتاج الخاصة بهم.
اختبار الشمول (Encompassing Test): لتحديد ما إذا كان النموذج اللغوي الكبير يقوم بمجرد تكرار تنبؤات تعلم الآلة أم يقدم قيمة مضافة، استخدم المؤلف اختبار الشمول التنبئي (Chong and Hendry, 1986). اختبر هذا الانحدار ما إذا كان تنبؤ النموذج اللغوي الكبير يحتوي على معلومات لم تستطع نموذج تعلم الآلة التقاطها.
2. بناء النتائج المقابلة للواقع
بالنسبة لمهمة النتائج المقابلة للواقع، قام المؤلف بتوليد نتائج افتراضية للعائد على الاستثمار تحت أسعار فائدة بديلة (مقترحة من قبل Gopal et al., 2024).
تصميم الأمر (Prompt Design): تم توجيه النموذج اللغوي الكبير ليعمل كلجنة من أربعة خبراء في مخاطر الائتمان. تضمن الأمر تفاصيل القرض، وملفات المقترضين، وإحصائيات المنصة، والنتيجة الفعلية المرصودة تحت السعر الأصلي (كمرجع)، والتنبؤ المقابل للواقع من نموذج "الخلط العلاجي" (mixture cure model) (وهو نهج موجود في تعلم الآلة).
عملية الاستنتاج: تم توجيه النموذج اللغوي الكبير للمشاركة في نقاش "شجرة الأفكار" (ToT)، ونقد وتحسين تنبؤ تعلم الآلة بناءً على معرفته المسبقة والسياق المحدد للقرض، وفي النهاية إخراج الحالة والمدة المتفق عليها بتنسيق JSON.
التحقق من الصحة: نظرًا لأن النتائج المقابلة للواقع غير مرصودة، تم تقييم الصلاحية من خلال التماسك المنطقي. تحقق المؤلف مما إذا كانت تنبؤات النموذج اللغوي الكبير تلتزم بالقواعد الاقتصادية البديهية: (1) القروض التي تم شطبها يجب أن تظل مشطوبة إذا ارتفعت الأسعار، و(2) القروض التي تم سدادها بالكامل يجب أن تظل مسددة بالكامل إذا انخفضت الأسعار.
النتائج الرئيسية
الأداء التنبئي
الأساس مقابل الأوامر المهندسة: أنتج أمر "المقترض" البسيط نتائج ضعيفة (R-squared بنسبة 1.97%، وF1 score بنسبة 4.7%). ومع ذلك، أدت هندسة الأوامر إلى تحسين الأداء بشكل كبير.
التكوين الأمثل: حقق أمر "شجرة الأفكار" مع أربعة خبراء، والذي يدمج تنبؤات تعلم الآلة وإحصائيات المنصة، معامل تحديد (R-squared) قدره 2.84% للتنبؤ بالعائد على الاستثمار. وهذا يقترب بشدة من نسبة 3.48% التي حققها تحليل الانحدار المعزز بالتدرج.
القيمة المضافة: كشف اختبار الشمول عن معامل ذو دلالة إحصائية (5.19% عند مستوى 1%) لتنبؤ النموذج اللغوي الكبير عند دمجه مع تنبؤ تعلم الآلة. يشير هذا إلى أن النموذج اللغوي الكبير يحدد معلومات ذات مغزى تتجاوز ما تلتقطه خوارزمية تعلم الآلة، بدلاً من مجرد تكرار مخرجات الخوارزمية.
تصحيح الانحياز: لاحظت الدراسة أن تنبؤات النموذج اللغوي الكبير الخام عانت من الانحياز (على الأرجح بسبب انحيازات متن التدريب المسبق)، والذي تم تصحيحه عبر تعديل الانحدار الخطي قبل حساب معامل التحديد (R-squared).
بناء النتائج المقابلة للواقع
الاختلاف عن تعلم الآلة: اختلفت تنبؤات النموذج اللغوي الكبير المقابلة للواقع عن نموذج الخلط العلاجي في 46.2% من الحالات فيما يتعلق بالحالة والمدة. غالبًا ما قام النموذج اللغوي الكبير بتعديل تنبؤ تعلم الآلة، مقدمًا أسبابًا مبررة بناءً على استخدام الائتمان للمقترض والمتوسطات التاريخية.
التماسك المنطقي: أظهر النموذج اللغوي الكبير التزامًا قويًا بالمنطق السببي. فقد اتبعت 99.6% من التنبؤات القاعدة التي تنص على أن القروض المسددة بالكامل تظل مسددة إذا انخفضت الأسعار، و85.3% اتبعت القاعدة التي تنص على أن القروض المشطوبة تظل مشطوبة إذا ارتفعت الأسعار.
اختلاف النتائج: تحت أسعار الفائدة البديلة، توقع النموذج اللغوي الكبير معدل شطب قدره 9.65%، وهو أقرب إلى سعر LendingClub التاريخي (12.34%) من تنبؤ نموذج الخلط العلاجي البالغ 6.22%. يشير هذا إلى أن النموذج اللغوي الكبير قد يصحح التفاؤل المفرط المحتمل في نموذج تعلم الآلة.
الأهمية والادعاءات
تدعي الورقة أن النماذج اللغوية الكبيرة تمثل نهجًا جديدًا وقادرًا للتحليل المقابل للواقع، لا سيما في المجالات المعقدة والغنية بالمعلومات مثل الإقراض عبر الإنترنت. يسلط المؤلف الضوء على مساهمتين رئيسيتين:
هندسة الأوامر كرافعة حاسمة: توضح الدراسة أن هندسة الأوامر (وتحديدًا تقمص الأدوار، وسلسلة الأفكار، وشجرة الأفكار) لا تقل أهمية عن ضبط النموذج (fine-tuning). تنجح هذه التقنيات في استخراج الاستنتاج المنطقي والفهم السببي من النماذج اللغوية الكبيرة، مما يسمح لها بمحاكاة أداء خوارزميات تعلم الآلة المتخصصة.
التعاون بين الإنسان والآلة: تشير النتائج إلى أن النماذج اللغوية الكبيرة تظهر سلوكيات معرفية شبيهة بالبشر، مثل الانحياز نحو الرغبة الاجتماعية (عند العمل كمقترضين) والقدرة على تقييم وتعديل التوقعات الآلية بشكل نقدي. يدعم هذا الأدبيات المتعلقة بالتعاون بين الإنسان والآلة، حيث يمكن للنماذج اللغوية الكبيرة أن تعمل كبدائل للاستنتاج البشري في المهام المعقدة.
يخلص المؤلف بتواضع إلى أنه على الرغم من أن النماذج اللغوية الكبيرة قد لا تتفوق بعد على أفضل النماذج التنبؤية من حيث الدقة الخام، إلا أن قدرتها على توليد نتائج مقابلة للواقع متماسكة منطقيًا ومسببة سببيًا تجعلها أداة مناسبة لسياقات اتخاذ القرار. كما يقترح إمكانية استخدام النماذج اللغوية الكبيرة لمحاكاة الاستجابات البشرية في التجارب الميدانية الأولية، مما يوفر طريقة فعالة من حيث التكلفة لتصميم التجارب. لا تدعي الورقة أن النماذج اللغوية الكبيرة هي حل عالمي لجميع مشكلات الواقع المقابل، بل تضعها كبديل واعد ومرن للطرق القياسية والاقتصادية وتحليل البقاء التقليدية في سياقات محددة.