Advanced Deep Learning Techniques for Analyzing Earnings Call Transcripts: Methodologies and Applications
تقدم هذه الدراسة تحليلاً مقارناً لنماذج التعلم العميق، بما في ذلك BERT وFinBERT وULMFiT، لتحليل المشاعر في نصوص مكالمات الأرباح لتقييم أدائها وكفاءتها وإمكاناتها في تعزيز اتخاذ القرارات المالية وإدارة المخاطر.
المؤلفون الأصليون:Umair Zakir, Evan Daykin, Amssatou Diagne, Jacob Faile
تخيل أنك تحاول التنبؤ بحالة الطقس للأسبوع القادم. بدلاً من النظر إلى خرائط الأقمار الصناعية أو أجهزة قياس الضغط الجوي، قررت الاستماع إلى تقارير الطقس اليومية التي يقدمها مذيعو الأخبار المحليون. ولكن هنا تكم-ن المشكلة: المذيعون يتقاضون أجورهم من المجلس البلدي لتبدو أصواتهم مبهجة دائمًا، حتى عندما يكون هناك إعصار قادم. يقولون أشياء مثل: "نحن متحمسون لمواجهة تحديات العاصفة معًا!"
هذه الورقة البحثية تتحدث عن مجموعة من الباحثين (طلاب من معهد جورجيا للتكنولوجيا) حاولوا بناء "مستمع خارق" باستخدام الذكاء الاصطناعي لمعرفة الطقس الحقيقي (أداء سوق الأسهم) من خلال الاستماع إلى تقارير الطقس المتفائلة للغاية هذه (نصوص مكالمات الأرباء).
إليك تحليل بسيط لرحلتهم، والأدوات التي استخدموها، وما وجدوه.
الفكرة الكبرى: هل يمكن للذكاء الاصطناعي رؤية ما وراء "التغليف السكري"؟
الشركات التي تجني المال (أو تخسره) يتعين عليها التحدث إلى المستثمرين كل ربع سنة. تُسمى هذه المحادثات مكالمات الأرباح.
المشكلة: يتم تدريب الرؤساء التنفيذيين والمديرين على الظهور بمظهر إيجابي. فحتى لو كانت الشركة في مشكلة، فإنهم يستخدمون "لغة الشركات" لجعل الأمر يبدو وكأنه فرصة رائعة. الأمر يشبه قول سياسي: "نحن نقوم بتقليص الحجم بقوة" بدلاً من "نحن نفصل نصف موظفينا".
الهدف: أراد الباحثون معرفة ما إذا كان بإمكانهم تدريب الحواسيب لتجاهل الحشو واكتشاف الشعور الحقيقي (جيد، سيء، أو محايد) للتنبؤ بما إذا كان سعر السهم سيرتفع أم ينخفض.
الأدوات: أربعة أنواع مختلفة من "المستمعين الخارقين"
اختبروا أربعة أنواع مختلفة من نماذج الذكاء الاصطناعي، لكل منها شخصية ومجموعة مهارات مختلفة:
BERT (العام):
التشبيه: تخيل خريج ثانوية ذكي جداً قرأ الإنترنت بأكره. إنه يعرف كيف تعمل اللغة الإنجليزية بشكل مثالي.
الأداء: حاولوا تعليم هذا الطالب عن الأسهم. لقد أبلى بلاءً حسناً، لكنه ارتبك بسبب المصطلحات الخاصة و"التغليف السكري". انتهى به الأمر بالتخمين بشكل صحيح بنسبة 41% تقريبًا.
FinBERT (المتخصص):
التشبيه: هذا هو نفس خريج الثانوية، لكنه قضى عطلته الصيفية في قراءة الكتب المدرسية المالية والصحف المالية فقط. إنه يتحدث "لغة المال" بطلاقة.
الأداء: كان هذا هو نجم العرض! نظرًا لأنه فهم اللغة المالية بالفعل، فقد تعلم المهمة المحددة بشكل أسرع بكثير. لقد أصاب في تحديد الشعور بنسبة 52% تقريبًا. كان الأفضل في اكتشاف متى تكون الشركة في مشكلة حقيقية رغم الكلام السعيد.
ULMFiT (المخضرم):
التشبيه: فكر في هذا كمعلم قديم وذو خبرة، قام بالتدريس لعقود. إنه بارع في فهم تدفق القصة، لكنه قد يكون بطيئًا في التكيف مع المواضيع الجديدة والمعقدة.
الأداء: عانى قليلاً، حيث حقق دقة بنسبة 40% تقريبًا. واجه صعوبة في تتبع النصوص الطويلة والمملة.
Longformer (عداء الماراثون):
التشبيه: معظم نماذج الذكاء الاصطناعي لا يمكنها قراءة سوى فقرة قصيرة قبل أن تصاب بالصداع (حد 512 كلمة). أما Longformer فهو مثل عداء الماراثون الذي يمكنه قراءة كتاب كامل دون توقف.
الأداء: على الرغم من قدرته على قراءة النص الكامل دون قطعه، إلا أنه لا يزال يرتبك بسبب "التغليف السكري". لم يكن أفضل حالاً من الآخرين، مما أثبت أن امتلاك المزيد من النص لا يعني دائمًا الحصول على إجابات أفضل إذا كان النص مضللاً.
العقبات التي واجهوها
واجه الباحثون جدارين رئيسيين:
جدار "التغليف السكري": التحدي الأكبر لم يكن التكنولوجيا؛ بل كان البشر. كانت الشركات بارعة جدًا في إخفاء الأخبار السيئة بكلمات إيجابية لدرجة أن أذكى ذكاء اصطناعي عانى للتمييز بين "نحن نبتكر" وبين "نحن نخسر المال".
جدار "الطول الزائد": مكالمات الأرباح ضخمة جدًا. بعضها وصل إلى 16,000 كلمة! معظم نماذج الذكاء الاصطناعي يمكنها التعامل مع 512 كلمة فقط في المرة الواحدة. اضطر الفريق إلى تقطيع النصوص إلى قطع صغيرة (مثل قطع فيلم طويل إلى مقاطع مدتها 30 ثانية) لتغذية الذكاء الاصطناعي بها، مما أدى أحيانًا إلى فقدان سياق القصة بأكملها.
الحكم النهائي: هل فازوا؟
نعم ولا.
الأخبار الجيدة: أثبتوا أن الذكاء الاصطناعي يمكنه تعلم القراءة ما بين السطور في لغة الشركات. كان "المتخصص" (FinBERT) هو الأفضل، مما أظهر أنه إذا دربت الذكاء الاصطناعي على البيانات المالية تحديدًا، فإنه يصبح أفضل بكثير في فهم مزاج السوق.
الأخبار السيئة: لا يزال الذكاء الاصطناعي غير مثالي. لم يستطع التنبؤ بأسعار الأسهم باستمرار بشكل أفضل من مجرد التخمين. "التغليف السكري" فعال للغاية. غالبًا ما كان الذكاء الاصطناعي يعتقد أن الشركة تبلي بلاءً حسنًا لأن الرئيس التنفيذي بدا واثقًا، حتى عندما كانت الأرقام سيئة.
ما الخطوة التالية؟
يقترح الباحثون أنه في المستقبل، لا ينبغي لنا فقط تعليم الذكاء الاصطناعي قراءة الإنترنت بأكمله. بل يجب أن نبني ذكاءً اصطناعيًا يقرأ فقط آلاف مكالمات الأرباح. هذا سيعلمه "اللهجة المؤسسية" المحددة بحيث يمكنه رصد الأكاذيب والحقائق المخفية بشكل أسرع بكثير.
باختصار: لقد بنوا روبوتًا ليستمع إلى الرؤساء التنفيذيين، وتعلم الروبوت أن الرؤساء التنفيذيين بارعون في الظهور بمظهر سعيد حتى عندما تكون الأمور سيئة. أصبح الروبوت أفضل في اكتشاف الحقيقة من ذي قبل، لكنه لا يزال بحاجة إلى مزيد من التدريب ليصبح عرافًا موثوقًا لمحفظتك المالية.
تتناول الورقة البحثية تحدي استخراج إشارات استثمارية قابلة للتنفيذ من البيانات المالية غير المهيكلة، وتحديداً نصوص مكالمات أرباح أسهم مؤشر S&P 500. يتمثل السؤال البحثي الجوهري في ما إذا كان يمكن لمعالجة اللغات الطبيعية (NLP) استخلاص المشاعر (Sentiment) من هذه النصوص للتنبؤ بأداء سعر السهم المستقبلي بدقة أكبر من السوق بشكل عام، مما يتحدى فرضية كفاءة السوق في شكلها الضعيف.
التحديات الرئيسية المحددة:
حجم البيانات: نصوص مكالمات الأرباح طويلة للغاية (تصل إلى 16,000 توكن)، مما يتجاوز حدود نافذة السياق لنماذج المحولات (Transformer) القياسية (التي تبلغ عادةً 512 توكن).
الفروق اللغوية الدقيقة في المجال: اللغة المالية متخصصة للغاية، وغالباً ما تستخدم أسلوب "التجميل اللفظي" حيث يتم إخفاء الحقائق السلبية خلف خطاب مؤسسي متفائل ("corporatese").
عدم توازن التصنيفات: تميل الشركات بطبيعتها لتقديم نفسها بشكل إيجابي، مما يؤدي إلى ندرة في المشاعر السلبية الصريحة في البيانات، مما يجعل عملية التصنيف صعبة.
2. المنهجية
أ. جمع البيانات والمعالجة المسبقة
المصدر: قام المؤلفون بسحب نصوص تقارير أرباح الربع الرابع لعام كـ 2023 لمكونات S&P 500 باستخدام سكربت Python مخصص (ChromeDriver) يستهدف موقع SeekingAlpha، نظ-راً لأن التصدير الجماعي المباشر من Bloomberg/Refinitiv مقيد.
بيانات السوق: تم استرداد تحركات أسعار الأسهم عبر واجهة برمجة تطبيقات AlphaVantage لفترات زمنية محددة: 90 يوماً قبل، يومين قبل، يومين بعد، و90 يوماً بعد مكالمة الأرباح.
معالجة النصوص:
التقسيم: تم الاحتفاظ بقسم الأسئلة والأجوبة (Q&A) فقط للتركيز على تدقيق المستثمرين ("الاستجواب") بدلاً من التصريحات المعدة مسبقاً من قبل الإدارة.
التنظيف: تحويل الحروف لصغيرة، إزالة علامات الترقيم، إزالة كلمات التوقف (stop-words) باستخدام NLTK، واشتقاق الكلمات (Porter stemming).
استراتيجية التصنيف: تم إنشاء "ملصق الحقيقة" (Truth Label) بناءً على النسبة المئوية لتحرك السعر بين t−2 و t+2 يوماً بالنسبة لتاريخ التقرير.
سلبي (< -3%)
محايد (-3% إلى +3%)
إيجابي (> +3%)
ملاحظة: نتج عن ذلك مشكلة تصنيف ثلاثية الفئات (0، 1، 2).
ب. اختيار بنية النموذج
قارست الدراسة أربعة بنيات للتعلم العميق:
BERT (Base): نموذج محول عام تم تدريبه مسبقاً على ويكيبيديا وBookCorpus.
FinBERT: نسخة من BERT تم تدريبها مسبقاً خصيصاً على النصوص المالية (مجموعة بيانات من الأخبار والتقارير المالية).
ULMFiT: نهج ضبط دقيق لنموذج لغوي عالمي باستخدام بنية RNN تعتمد على LSTM.
Longformer: نسخة من المحولات (Transformer) مصممة للمستندات الطويلة (تصل إلى 4096 توكن) باستخدام آليات انتباه متفرقة.
ج. الإعداد التجريبي
التعامل مع السياقات الطويلة:
التقليم (Truncation): قطع النص إلى 512 توكن (استخدم لـ BERT و FinBERT).
التقطيع (Chunking): تقسيم النصوص إلى أجزاء وتجميع التنبؤات (عملية مكلفة حوسبياً).
السياق الطويل الأصلي: استخدام قدرة Longformer على معالجة التسلسلات الطويلة مباشرة.
استراتيجية التدريب: تم استخدام التعلم بنقل المعرفة (Transfer learning)، حيث تم ضبط النماذج بدقة على بيانات الأرباح المحددة.
التحسين (Optimization):
FinBERT: استخدم فقدان التقاطع الموزون (Weighted Cross-Entropy loss) لمعاقبة الخطأ في تصنيف الفئات النادرة (السلبية/المحايدة). تم تغيير المحسن إلى RMSProp للتعامل مع التدرجات المتفرقة.
ULMFiT: استخدم إطار عمل ثنائي المستويات (تدريب مسبق على نص عام، ثم ضبط دقيق على البيانات المالية).
المعلمات الفائقة (Hyperparameters): تفاوتت أحجام الدفعات (Batch sizes) بين (4–64) بناءً على قيود ذاكرة وحدة معالجة الرسومات؛ وتم الحفاظ على معدلات تعلم منخفضة جداً (مثلاً 0.00001) للحفاظ على المعرفة المدربة مسبقاً.
3. النتائج الرئيسية
النموذج
الدقة (Accuracy)
مقياس F1 الموزون
الملاحظات الرئيسية
FinBERT (المعدل بدقة)
52.21%
~49%
الأفضل أداءً. نجح في التكيف مع الفروق المالية الدقيقة. حقق توازناً في التنبؤ عبر الفئات الثلاث، بما في ذلك القدرة على اكتشاف المشاعر السلبية.
Longformer
~45%
~41%
تعامل مع النصوص الطويلة بكفاءة ولكنه عانى من انحياز "التجميل اللفظي". انخفضت مقاييس المتوسط الكلي بسبب ضعف تصنيف الفئة المحايدة.
BERT (Base)
~41%
~42%
أدى أداءً أفضل من ULMFiT ولكنه كان أسوأ من FinBERT. عانى من صعوبة في ربط المشاعر بحركة السعر بسبب نقص التدريب المسبق المتخصص في المجال.
ULMFiT
~40%
~39%
الأقل أداءً. فشلت بنية LSTM في التقاط الأنماط اللغوية المعقدة مقارنة بالمحولات (Transformers). عانى من فرط التخصيص (Overfitting) على النصوص الكاملة.
النتائج الحاسمة:
أهمية التخصص في المجال: تفوق FinBERT بشكل كبير على BERT العام، مما يثبت أن التدريب المسبق على مجموعات البيانات المالية أمر بالغ الأهمية لهذه المهمة.
تأثير "التجميل اللفظي": عانت جميع النماذج من تحديد المشاعر السلبية عندما يتم إخفاؤها خلف خطاب متفائل. أدى هذا إلى انحياز نحو التنبؤ بالفئات "الإيجابية" أو "المحايدة".
نافذة السياق مقابل فقدان المعلومات: تسبب تقليم البيانات إلى 512 توكن (في BERT) في فقدان المعلومات، لكن التقطيع (Chunking) كان مكلفاً جداً من الناحية الحوسبية. قدم Longformer حلاً وسطاً ولكنه لم يحقق دقة متفوقة في هذه المجموعة من البيانات تحديداً.
خط هندسة البيانات: يوضح مساراً قابلاً لإعادة الإنتاج لسحب وتنظيف وتصنيف نصوص مكالمات الأرباح لإنشاء مجموعة بيانات للتعلم الخاضع للإشراف للتنبؤ بالأسهم.
تحديد عدم كفاءة السوق: تشير النتائج إلى أنه بينما يعد تحليل المشاعر أمراً صعباً، فإن النماذج المتخصصة في المجال (FinBERT) يمكنها تحقيق دقة تزيد عن 50% في التنبؤ بتحركات الأسعار قصيرة المدى، مما يشير إلى وجود عدم كفاءة في السوق يمكن استغلالها.
تسليط الضوء على القيود: تفصل الورقة بوضوح فشل النماذج الحالية في اختراق "لغة الشركات"، مما يشير إلى أن تحليل المشاعر العام غير كافٍ لاتخاذ قرارات مالية عالية المخاطر دون التكيف مع المجال.
5. الأهمية والعمل المستقبلي
الأهمية: تثبت الدراسة أن معالجة اللغات الطبيعية يمكنها استخراج إشارات غير بديهية من النصوص المالية، مما يوفر أداة لإدارة المخاطر وتوليد الأرباح (Alpha generation). وتؤكد أن FinBERT هو الخيار الأفضل حالياً لهذا المجال.
الاتجاهات المستقبلية:
التنوع الزمني: استخدمت الدراسة بيانات من سنة كانت فيها السوق صاعدة (FY2023). يجب اختبار النماذج في سنوات هابطة (مثل 2009، 2016) لمعرفة ما إذا كان تحليل المشاعر يعمل بشكل مختلف أثناء ضغوط السوق.
التدريب المسبق المتخصص: يقترح المؤلفون تدريب نموذج جديد شبيه بـ BERT حصرياً على نصوص مكالمات الأرباح لالتقاط "لغة الشركات" بشكل أفضل بدلاً من الاعتماد على التدريب المسبق العام للأخبار المالية.
توسيع نطاق السوق: توسيع مجموعة البيانات لتشمل الأسهم ذات القيمة السوقية الصغيرة والمتوسطة والأسواق الدولية.
الخاتمة
تخلص الورقة إلى أنه بينما تظهر نماذج التعلم العميق إمكانات واعدة في تحليل مكالمات الأرباح، فإن "التجميل اللفظي" المتأصل في التواصل المؤسسي يظل عائقاً كبيراً. وقد برز FinBERT، مستفيداً من تدريبه المسبق في المجال المالي وآليات الانتباه لديه، كأكثر النماذج فعالية، محققاً دقة بلغت 52.21%، ومثبتاً أن تحليل المشاعر يمكن أن يوفر ميزة تنافسية في استراتيجيات الاستثمار، بشر جد أن النماذج يتم ضبطها بعناية لتناسب الخصائص اللغوية الفريدة للتقارير المالية.