Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification
تُثبت هذه الورقة أن مجمّعاً لوجستياً خفيف الوزن يمكنه دمج تنبؤات ثلاثة وكلاء نماذج لغوية كبيرة متنوعة تعمل بتقنية "التعلم الصفري" (zero-shot) بفعالية للتفوق على النماذج الفردية والخطوط المرجعية التقليدية في تصنيف الإفصاحات المؤسسية للتنبؤ بعوائد الأسهم في اليوم التالي، محققاً دقة متوازنة بلغت 0.612 على مجموعة بيانات تضم 18,420 إفصاحاً لشركات أمريكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بما إذا كان سعر السهم سيرتفع أم ينخفض غداً بناءً على بيان صحفي رسمي لشركة ما. غالباً ما تكون هذه الوثائق طويلة، ومربكة، ومليئة بالرسائل المتضاربة. فقد تقول: "لقد حققنا الكثير من الأرباح هذا العام!" (أخبار جيدة)، ولكنها قد تقول أيضاً: "لكننا قلقون بشأن دعوى قضائية وقد تنخفض مبيعاتنا المستقبلية" (أخبار سيئة).
في الماضي، كانت الحواسيب تواجه صعوبة في قراءة هذه الوثائق لأنها كانت تحتاج إلى أن تُـ "تُعلّم" خصيصاً لهذه المهمة، وهو أمر مكلف وبطيء.
تقدم هذه الورقة البحثية حلاً ذكياً ومنخفض التكلفة باستخدام "وكلاء" الذكاء الاصطناعي (تخيلهم كمتدربين آليين متخصصين) ومدير ذكي.
الإعداد: ثلاثة متدربين متخصصين
بدلاً من طلب قراءة الوثيقة كاملة من ذكاء اصطناعي واحد وتخمين النتيجة، وضع المؤلف ثلاثة وكلاء ذكاء اصطناعي مختلفين من نوع "التعلم الصفري" (zero-shot). "التعلم الصفري" يعني أن هذه الأنظمة لم تُدرب خصيصاً على هذه المهمة المحددة، بل تستخدم فقط ذكاءها العام.
ولجعلهم أكثر كفاءة، يتم إعطاء كل متدرب عدسة أو تركيزاً مختلفاً لقراءة نفس الوثيقة:
- المحاسب (وكيل الأداء): هذا المتدرب ينظر فقط إلى الأرقام. هل حققوا أرباحاً؟ هل نمت الإيرادات؟ هل انخفضت التكاليف؟ إنه يتجاهل المستقبل والمخاطر، ويركز فقط على ما حدث بالفعل.
- المستقبلي (وكيل التوجيه): هذا المتدرب يتجاهل أرقام الماضي. هو يقرأ فقط ما تقوله الشركة عن الغد. هل يعدون بنمو أكبر؟ أم أنهم يخفضون توقعاتهم؟
- المحامي (وكيل المخاطر): هذا المتدرب هو المتشائم. يقوم بمسح النص بحثاً عن الدعاوى القضائية، أو اللوائح التنظيمية، أو الفضائح، أو أي شيء قد يسوء.
المشكلة: إنهم يختلفون
لأنهم ينظرون إلى النص من خلال عدسات مختلفة، فإنهم غالباً ما يختلفون.
- المحاسب قد يقول: "رائع! الأرباح مرتفعة! اشترِ السهم!"
- المحامي قد يقول: "انتظر، هناك دعوى قضائية ضخمة مذكورة في الفقرة الرابعة. بع السهم!"
- المستقبلي قد يقول: "لقد قالوا إن المبيعات ستنخفض في الربع القادم. احتفظ بالسهم."
إذا سألت أياً منهم فقط، فقد تحصل على إجابة منحازة. وإذا اكتفيت بـ "تصويت الأغلبية" (2 من 3 يقولون اشترِ)، فقد تظل تفتقر إلى الدقة.
الحل: المدير الذكي (المجمّع)
هنا تبرز الفكرة الرئيسية للورقة البحثية. المؤلف لا يكتفي بجعل المتدربين يصوتون فحسب، بل يقوم بتدريب "مدير" خفيف الوزن (نموذج رياضي بسيط) ليستمع إلى جميع المتدربين الثلاثة.
المدير لا يسمع فقط ماذا يقولون (شراء/بيع)؛ بل يسمع أيضاً:
- مدى ثقتهم (على سبيل المثال: "أنا متأكد بنسبة 90%" مقابل "أنا أخمن فقط").
- لماذا يعتقدون ذلك (شرحهم الموجز).
- نمط الاختلاف.
لقد تعلم المدير درساً حيوياً: "الاختلاف هو في الواقع معلومة مفيدة."
لحظة الاستنارة (Aha!)
وجدت الورقة أن المدير يصبح ذكياً حقاً عندما يتجادل المتدربون.
- السيناريو (أ): جميع المتدربين الثلاثة يتفقون. هنا يتبع المدير التيار ببساطة. الأمر سهل.
- السيناريو (ب): المحاسب يقول "اشترِ" (لأن الأرباح رائعة)، لكن المحامي يقول "بع" (بسبب دعوى قضائية)، والمستقبلي غير متأكد.
- التصويت البسيط قد يقول "اشترِ" (2 مقابل 1).
- لكن المدير يتعلم من البيانات السابقة أنه عندما يكون المحامي واثقاً جداً بشأن وجود دعوى قضائية، فإن السهم عادة ما ينخفض، حتى لو كانت الأرباح جيدة. لذا، يتجاوز المدير التصويت ويتوقع "البيع".
التشبيه: الفريق الرياضي
فكر في الأمر كفريق رياضي يحاول التنبيد بنتيجة مباراة:
- المتدربون هم الكشافون: أحدهم ينظر إلى الهجوم، والآخر إلى الدفاع، والثالث إلى الطقس.
- المدير هو رئيس المدربين.
- إذا قال كشاف الهجوم "سنفوز" وقال كشاف الطقس "إنها تمطر"، فإن التصويت البسيط قد يتجاهل المطر. لكن المدرب يعرف أنه في حالة المطر الغزير، لا يهم قوة الهجوم كثيراً. يقوم المدرب بدمج التقارير لصنع أفضل تنبؤ، وليس مجرد التنبؤ الأكثر شعبية.
النتائج
اختبرت الدراسة هذا النظام على أكثر من 18,000 وثيقة مؤسسية حقيقية.
- المتدربون المنفردون: حققوا دقة حوالي 56% (أفضل قليلاً من رمي العملة المعدنية).
- تصويت الأغلبية: حقق حوالي 57% دقة.
- المدير الذكي: حقق 61% دقة.
وعلى الرغم من أن 61% قد لا تبدو قفزة هائلة، إلا أنها في عالم التمويل تعتبر تحسناً هائلاً. هذا يعني أن النظام أفضل بكثير في رصد الوثائق "المخادعة" حيث تختبئ الأخبار السيئة خلف الأخبار الجيدة، أو العكس.
لماذا هذا مهم؟
- إنه رخيص: لا تحتاج لإنفاق الملايين لتدريب ذكاء اصطناعي ضخم. أنت فقط بحاجة إلى بعض الأوامر الذكية ونموذج "مدير" صغير.
- إنه يحتضن الصراع: بدلاً من محاولة إجبار الذكاء الاصطناعي على الاتفاق، يستخدم النظام حججهم للعثور على الحقيقة.
- إنه يعمل على بيانات حقيقية: لقد نجح في التنبؤ بحركات الأسهم في اليوم التالي، مما يثبت أن "آراء" هذا الذكاء الاصطناعي تحتوي بالفعل على قيمة مالية حقيقية.
باختة القول: من خلال توظيف فريق من القراء المتخصصين في الذكاء الاصطناعي ومدير ذكي لوزن آرائهم المتضاربة، يمكننا فهم الأخبار المالية المعقدة بشكل أفضل بكثير من الاعتماد على ذكاء اصطناعي واحد أو تصويت بسيط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.