Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
Diese im Herbst 2023 von der George Washington University durchgeführte Studie zeigt, dass eine Pipeline unter Verwendung von Falcon-7B mit Summarize Chains die Zusammenfassung von Finanznachrichten für zehn große Unternehmen effektiv automatisiert, wobei sie sowohl RAG-basierte Ansätze als auch eine Lead-3-Baseline übertrifft und gleichzeitig anhaltende Herausforderungen wie Halluzinationen in kleineren Modellen hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jeden Tag erzeugt die Finanzwelt eine Flut von Informationen. Tausende von Artikeln erscheinen online, die jeweils die Bewegungen von Unternehmen, die Entscheidungen von Führungskräften und die sich ändernden Gezeiten des Aktienmarktes detailliert beschreiben. Für einen Investor oder Analysten, der versucht, auch nur eine kleine Handvoll dieser Unternehmen im Blick zu behalten, ist es eine unmögliche Aufgabe, jede einzelne Geschichte zu lesen. Das Übersehen eines entscheidenden Details kann den Unterschied zwischen einer klugen Investition und einem kostspieligen Fehler bedeuten. Hier setzt das Feld der natürlichen Sprachverarbeitung an, speziell der Zweig, der als Textzusammenfassung bekannt ist. Seit Jahrzehnten werden Computer darauf trainiert, lange Dokumente zu lesen und die wichtigsten Sätze zu extrahieren. Vor kurzem ist eine neue Generation künstlicher Intelligenz, genannt Large Language Models, entstanden. Dies sind Systeme, die auf riesigen Mengen menschlicher Texte trainiert wurden und nicht nur in der Lage sind, Schlüssel-Sätze herauszufiltern, sondern Informationen auch in ihren eigenen Worten neu formulieren können, um aus einem Berg von Text ein frisches, prägnantes Narrativ zu erstellen. Die Frage, vor der Forscher standen, war, ob diesen mächtigen Werkzeugen vertraut werden könne, diese Arbeit in der hochsensiblen Welt der Finanzen zu leisten, in der Genauigkeit unverhandelbar ist und die Daten in zwei sehr unterschiedlichen Formen vorliegen: den fließenden Geschichten von Nachrichtenartikeln und den starren, numerischen Tabellen von Aktienkursen.
Im Herbst 2023 setzte ein Forscher der George Washington University diese Idee in die Tat um. Das Ziel war es, ein System zu entwickeln, das automatisch Nachrichten, Unternehmenshintergründe und Börsendaten für zehn große Konzerne sammeln und dann ein einziges, leicht lesbares tägliches Briefing erstellen kann. Die Herausforderung war zweifach. Erstens musste das System das schiere Volumen an Text bewältigen. Zweitens, und vielleicht schwieriger, musste es Zahlen verstehen. Large Language Models sind exzellent darin, Sprache zu verstehen, aber sie stolpern oft, wenn ihnen rohe Tabellen mit Aktienkursen und Handelsvolumina präsentiert werden. Sie könnten eine Spalte falsch lesen, einen Prozentsatz falsch berechnen oder die Zahlen einfach ganz ignorieren. Um dies zu lösen, entwickelte der Forscher eine einfache, aber clevere Brücke. Bevor die Daten an die künstliche Intelligenz weitergegeben wurden, konvertierte ein Computerprogramm die Rohzahlen in einfache englische Sätze. Anstatt dem Modell eine Tabelle mit einem Datum und einem Preis zu zeigen, schrieb das System einen Satz wie: „Am 4. Oktober schloss die Aktie bei 261,16, einem Plus von 5,93 Prozent mit einem Anstieg des Handelsvolumens um 27,20 Prozent.“ Dies ermöglichte es dem Sprachmodell, sich auf die Zusammenfassung der Geschichte zu konzentrieren, ohne die Mathematik erledigen zu müssen, eine Aufgabe, für die es von Natur aus nicht gut geeignet ist.
Der Forscher testete dann zwei verschiedene Wege, diese Informationen für den Computer lesbar zu organisieren. Der erste Ansatz, genannt „Summarize Chains“, funktioniert wie ein Staffellauf. Das System zerlegt die lange Sammlung von Nachrichten und Hintergrundinformationen in kleinere Stücke. Es bittet den Computer, das erste Stück zusammenzufassen, dann das zweite und so weiter. Schließlich nimmt es all diese kleinen Zusammenfassungen und kombiniert sie zu einer einzigen Hauptzusammenfassung. Die zweite Methode, bekannt als „Retrieval-Augmented Generation“, gleicht eher einem Bibliothekar. Wenn das System eine Zusammenfassung schreiben muss, durchsucht es die gesamte Dokumentensammlung, um die spezifischen Sätze zu finden, die am relevantesten für die aktuelle Frage sind, und gibt dann nur diese ausgewählten Sätze an den Computer weiter, damit dieser mit ihnen arbeitet. Die Studie bewertete drei verschiedene Open-Source-Modelle künstlicher Intelligenz unter Verwendung dieser Methoden, neben einem teureren, proprietären Modell für die Zusammenfassungen der Börsendaten.
Die Ergebnisse lieferten ein klares Bild davon, was funktioniert und was nicht. Der erfolgreichste Ansatz erwies sich als die „Summarize Chains“-Methode unter Verwendung eines spezifischen Open-Source-Modells namens Falcon-7B. Diese Kombination konnte jedes wichtige Nachrichtenereignis präzise abdecken, wichtige Details wie die genaue Anzahl der entlassenen Mitarbeiter eines Tech-Giganten bewahrte und tat dies, ohne sich zu wiederholen oder Dinge zu erfinden. Im Gegensatz dazu verursachte die bibliothekarähnliche Retrieval-Methode erhebliche Probleme. Wenn das System versuchte, zu viele relevante Sätze gleichzeitig abzurufen, wurde der Computer verwirrt und wiederholte dieselben drei Nachrichtenartikel dutzendfach in einer einzigen Zusammenfassung. In anderen Fällen führte die Retrieval-Methode dazu, dass der Computer Fakten vermischte, wie etwa die Zuschreibung einer von einem Unternehmen gezahlten Strafe an ein völlig anderes Unternehmen. Diese Fehler, bekannt als Halluzinationen, traten häufiger auf, wenn der Computer zu viele Informationen auf einmal sortieren musste.
Die Studie bestätigte auch, dass die Strategie, Zahlen in Sätze umzuwandeln, perfekt funktionierte. Als der Computer mit den vorformulierten Sätzen über Aktienkurse gefüttert wurde, erstellte er Zusammenfassungen, die über alle sechs getesteten Unternehmen hinweg faktisch korrekt waren, ohne erfundene Zahlen oder falsche Berechnungen. Dies bewies, dass es der richtige Schritt war, die Mathematik aus den Händen der künstlichen Intelligenz zu nehmen und sie in ein einfaches Computerskript zu übertragen. Während die Retrieval-Methode theoretisch vielversprechend schien, stellte die Studie fest, dass sie in der Praxis zu viele Fehler und Wiederholungen einführte, um ohne signifikante Änderungen für die Finanzberichterstattung zuverlässig zu sein. Der Forscher baute ein funktionierendes Dashboard, das es Nutzern ermöglicht, Aktiencharts zu sehen und diese automatisierten Zusammenfassungen zu lesen, was zeigt, dass das System praktisch genug ist, um als echtes Werkzeug eingesetzt zu werden. Die Arbeit legt nahe, dass künstliche Intelligenz zwar in der Lage ist, das Lesen von Finanznachrichten zu automatisieren, die Art und Weise, wie die Informationen an die Maschine gefüttert werden, jedoch genauso wichtig ist wie die Maschine selbst. Der zuverlässigste Weg nach vorn ist derzeit, den Computer das tun zu lassen, was er am besten kann – Sprache zu verstehen – während ein einfaches Skript die Zahlen handhabt und die Informationen so organisiert, dass die Maschine nicht überfordert wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.