Advanced Deep Learning Techniques for Analyzing Earnings Call Transcripts: Methodologies and Applications

Probleemstelling

De auteurs onderzoeken of sentimentanalyse van transcripten van winstwaarschuwingsgesprekken (earnings calls) met behulp van natuurlijke taalverwerking (NLP) kan dienen als een betrouwbare indicator voor de toekomstige prestaties van een bedrijf. Het centrale vraagstuk is of "perifere" indicatoren, zoals de door neurale netwerken afgeleide sentimenten uit deze gesprekken, de bredere markt kunnen verslaan en arbitragemogelijkheden kunnen bieden.

Een belangrijke uitdaging is de Efficiënte Markt Hypothese (EMH), die stelt dat alle publieke informatie al in de koers is verwerkt. De auteurs betogen echter dat er door gedrags-economische factoren en de neiging van bedrijven om slecht nieuws te "suikeren" (positief verpakken), nog steeds marktinefficiënties bestaan die kunnen worden uitgebuit. De specifieke moeilijkheid ligt in het filteren van de vaak optimistische en verkapte taal ("sugar coating") van management om het werkelijke sentiment en de bijbehorende risico's te detecteren.

Methodologie

1. Data Collectie en Pre-processing

• Bron: Transcripten van de afgelopen vier kwartalen van S&P 500-bedrijven, verzameld via een aangepaste Python-scraper (ChromeDriver) van SeekingAlpha.
• Marktdata: Aandelenkoersen werden opgehaald via de AlphaVantage API voor periodes van 90 dagen voor en na de rapportage.
• Labeling: De "waarheid" (ground truth) werd bepaald op basis van de prijsbeweging van de aandelen. Een formule berekende het percentage verandering tussen 2 dagen voor en 2 dagen na de rapportage.
  • Negatief: < -3%
  • Neutraal: tussen -3% en +3%
  • Positief: > +3%
• Pre-processing:
  • Alleen het Q&A-segment werd gebruikt om de "suikerkorst" van de managementpresentatie te vermijden en te focussen op de interactie met investeerders.
  • Tekstconversie naar kleine letters, verwijdering van leestekens en stopwoorden.
  • Toepassing van stemming (Porter-stemming) om woordvormen te normaliseren.
  • Data-opslag in een SQLite-database.

2. Model Architectuur en Selectie
De auteurs vergeleken vier transformer-gebaseerde en recurrente modellen:

• BERT: Algemeen pre-getraind model.
• FinBERT: Een variant van BERT die specifiek is voorge-traind op financiële teksten.
• ULMFiT: Een transfer learning-architectuur gebaseerd op LSTM (RNN).
• Longformer: Een transformer-model ontworpen voor lange documenten (tot 4096 tokens).

3. Uitdagingen en Oplossingen

• Token Lengte: Earnings calls zijn vaak veel langer dan de standaard limiet van 512 tokens voor veel transformer-modellen.
  • Oplossingen: Truncatie (afkappen), chunking (opsplitsen in stukken), of het gebruik van Longformer. Chunking bleek echter computatief zwaar en duur.
• Classificatie: Het probleem werd opgelost als een multi-class classificatie (0: negatief, 1: neutraal, 2: positief).

Belangrijkste Resultaten

De prestaties werden gemeten aan de hand van nauwkeurigheid (accuracy), precisie, recall en F1-score.

1. FinBERT (Beste Prestatie):

   • Baseline: Zonder fine-tuning scoorde het model slecht (18,58% nauwkeurigheid) en negeerde het negatieve sentiment volledig.
   • Fine-tuning: Na aanpassingen (gebruik van Q&A-segmenten, Weighted Cross-Entropy loss, RMSProp optimizer, en specifieke hyperparameters) steeg de nauwkeurigheid naar 52,21%.
   • Het model slaagde erin om een gebalanceerde verdeling van voorspellingen te maken, inclusief het herkennen van negatief sentiment, wat de andere modellen niet konden.

2. BERT:

   • Bereikte een testnauwkeurigheid van ongeveer 41% en een F1-score van 42%.
   • Het model had moeite met de correlatie tussen sentiment en prijsbeweging door de bias in de data. Truncatie van de input bleek effectiever dan chunking vanwege geheugenbeperkingen op GPU's.

3. ULMFiT:

   • Bereikte een nauwkeurigheid van 37% (gehele transcript) tot 40% (alleen Q&A).
   • Het model, gebaseerd op LSTM, had moeite met het leren van complexe patronen in vergelijking met de transformer-architecturen. Er was sprake van overfitting, vooral bij het gebruik van volledige transcripten.

4. Longformer:

   • Hoewel het model in staat was om langere teksten (tot 4096 tokens) te verwerken, leverde het geen significante verbetering op ten opzichte van de andere modellen.
   • De nauwkeurigheid lag rond de 45%, maar de macro-averages daalden door het gebrek aan correcte classificaties van neutrale sentimenten. Het "suikeren" bleef een groot probleem.

Bijdragen en Conclusies

• Superioriteit van FinBERT: De studie concludeert dat FinBERT, dankzij zijn domeinspecifieke voor-training en transformer-architectuur, de beste prestaties levert voor sentimentanalyse in financiële contexten. Het kan complexe linguïstische patronen en de relatie tussen sentiment en financiële terminologie beter begrijpen dan ULMFiT of standaard BERT.
• De "Suikerlaag" (Sugar Coating): Een cruciale bevinding is dat de optimistische retoriek van bedrijven een enorme uitdaging vormt voor sentimentanalyse. Zelfs geavanceerde modellen hebben moeite om negatieve waarheden te onderscheiden van positieve verpakking, wat leidt tot een bias naar positieve classificaties.
• Data-afhankelijkheid: De kwaliteit van de labels en de keuze om alleen het Q&A-segment te gebruiken bleken essentieel voor het verbeteren van de modelprestaties.

Betekenis en Toekomstperspectief

De studie toont aan dat NLP-modellen potentieel hebben om marktinefficiënties te exploiteren, maar dat de huidige "off-the-shelf" modellen nog niet perfect zijn in het doorprikken van corporate retoriek.

Voor toekomstig werk suggereren de auteurs:

• Het verzamelen van data uit verschillende economische cycli (bijv. een slecht jaar zoals 2009) om de modellen robuuster te maken dan alleen voor een bull-markt (2023).
• Het trainen van een model specifiek op een enorme dataset van earnings calls ("corporatese") in plaats van op algemene corpora, om de specifieke nuances van financiële communicatie beter te leren.
• Het uitbreiden van de dataset naar internationale en klein/middenkapitalisatie-bedrijven.

Samenvattend biedt dit onderzoek een grondige vergelijking van deep learning-modellen voor financiële NLP, waarbij FinBERT als de meest veelbelovende aanpak naar voren komt, mits zorgvuldig gefinetuned en aangepast aan de specifieke ruis in earnings call-data.