Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
ジョージ・ワシントン大学によるこの2023年秋の研究は、Falcon-7Bを用いたSummarize Chainsによるパイプラインが、主要企業10社における金融ニュースの要約を効果的に自動化し、RAGベースのアプローチおよびLead-3ベースラインの両方を上回る成果を示す一方で、小規模モデルにおけるハルシネーションのような持続的な課題を浮き彫りにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
金融の世界では、毎日膨大な量の情報が生成されています。何千もの記事がオンラインに登場し、企業の動き、経営陣の決定、そして株式市場の潮流の変化をそれぞれ詳細に伝えています。投資家やアナリストが、たとえ少数の企業であってもその動向を把握しようとする際、すべてのストーリーを読むことは不可能な作業です。重要な詳細を見落とすことは、賢明な投資と、高くつく失敗との間の分かれ道になりかねません。ここで、自然言語処理の分野、特にテキスト要約として知られる枝分かれした技術が登場します。数十年にわたり、コンピュータは長い文書を読み、最も重要な文章を抽出するように教えられてきました。より最近では、大規模言語モデルと呼ばれる新しい世代の人工知能が登場しました。これらは膨大な量の人間による文章で学習されており、単に重要な一文を抜き出すだけでなく、情報を自分の言葉で書き換え、山のようなテキストから新鮮で簡潔な物語を作り出すことができます。研究者に突きつけられた問いは、正確性が絶対条件であり、データが「ニュース記事という流れるような物語」と「株価という硬直した数値の表」という二つの全く異なる形式で提供される、極めて重要な金融の世界において、これらの強力なツールを信頼してこの作業を行わせることができるのか、ということでした。
2023年秋、ジョージ・ワシントン大学のある研究者が、このアイデアを検証するために着手しました。その目的は、主要な10社のニュース、企業背景、および株式市場データを自動的に収集し、その後、一つの読みやすい日次ブリーフィングを作成できるシステムを構築することでした。課題は二つありました。第一に、システムは膨大な量のテキストを処理しなければなりませんでした。第二に、おそらくより困難だったのは、数字を理解させることでした。大規模言語モデルは言語を理解することには長けていますが、株価や出来高の生ののスプレッドシートを提示されると、しばしば躓いてしまいます。列を読み間違えたり、パーセンテージを誤って計算したり、あるいは単に数字を完全に無視してしまうこともあります。これを解決するために、研究者はシンプルかつ巧妙な架け橋を開発しました。人工知能にデータを入力する前に、コンピュータプログラムが生の数値を平易な英語の文章に変換したのです。モデルに対して日付と価格の入った表を見せる代わりに、システムは「10月4日、株価は261.16で終え、5.93パーセント上昇し、出来高は27.20パーセント増加した」といった文章を作成しました。これにより、言語モデルは、本来得意ではない数学を行う必要がなくなり、物語の要約に集中することができたのです。
次に、研究者はこの情報をコンピュータに読み込ませるための、二つの異なる整理方法をテストしました。最初のメソッドである「サマライズ・チェーン（Summarize Chains）」アプローチは、リレーレースのように機能します。システムは、ニュースと背景情報の長い集合体を小さな塊（チャンク）に分割します。そして、最初の塊を要約し、次に二番目の塊を要約するというプロセスを繰り返すようコンピュータに指示します。最終的に、それらすべての小さな要約を一つのマスター要約へと統合します。二つ目のメソッドである「検索拡張生成（retrieval-augmented generation）」は、司書のようなものです。システムが要約を作成する必要があるとき、コレクション全体の中から現在の質問に最も関連性の高い特定の文章を検索し、選択された文章のみをコンピュータに渡して作業を行います。この研究では、これらの手法を用いて、3つのオープンソースの人工知能モデルを、株式データの要約についてはより高価なプロプライエタリ・モデルと共に評価しました。
結果は、何が機能し、何が機能しないのかを明確に示しました。最も成功したアプローチは、Falcon-7Bと呼ばれる特定のオープンソースモデルを用いたサマライズ・チェーン法でした。この組み合わせは、テック巨人が解雇した従業員の正確な人数といった重要な詳細を保持しながら、あらゆる主要なニュースイベントを正確にカバーすることができ、かつ、内容の重複や捏造を行うことなく実行できました。対照的に、司書スタイルの検索メソッドは重大な問題を引き起こしました。システムが一度に多くの関連文章を検索しようとすると、コンピュータは混乱し、一つの要約の中で同じ3つのニュース項目を数十回も繰り返してしまいました。また、他のケースでは、検索メソッドによって、ある会社が支払った罰金を全く別の会社のものとして扱うといった、事実の混同が生じました。これらのエラーは「ハルシネーション（幻覚）」として知られ、コンピュータに一度に多すぎる情報を整理させようとしたときに、より頻繁に発生しました。
また、数値を文章に変換するという戦略が完璧に機能したことも、この研究で確認されました。コンピュータに株価に関する事前作成された文章を与えたとき、テストされた全6社において、捏造された数字や誤った計算のない、事実として正確な要約を作成しました。これは、数学の処理を人工知能の手から外し、単純なコンピュータ・スクリプトに移したことが正しい判断であったことを証明しました。検索メソッドは理論上は有望であるものの、実務においては、大幅な変更を加えない限り、金融報道に用いるにはエラーや重複が多すぎて信頼性に欠けることが本研究で判明しました。研究者は、ユーザーが株価チャートを確認し、これらの自動化された要約を読めるダッシュボードを構築し、このシステムが実用的なツールとして使用可能であることを示しました。この研究は、人工知能が確かに金融ニュースの読解を自動化できる一方で、情報を機械にどのように与えるかが、機械そのものと同じくらい重要であることを示唆しています。現時点での最も信頼できる道は、コンピュータに最も得意なこと、すなわち言語を理解させることに専念させ、単純なスクリプトに数字を処理させ、機械が圧倒されないような方法で情報を整理させることなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。