Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
2023년 가을 조지 워싱턴 대학교의 이 연구는 Falcon-7B와 요약 체인(Summarize Chains)을 사용하는 파이프라인이 10개 주요 기업에 대한 금융 뉴스 요약을 효과적으로 자동화하여, RAG 기반 방식과 Lead-3 베이스라인 모두를 능가하는 동시에 작은 모델에서의 환각 현상과 같은 지속적인 과제를 강조한다는 점을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
매일 금융 세계에는 정보의 홍수가 쏟아집니다. 수천 개의 기사가 온라인에 등장하며, 각 기사는 기업의 움직임, 경영진의 결정, 그리고 주식 시장의 변화하는 흐름을 상세히 다룹니다. 이 수많은 기업 중 단 몇 개라도 추적하려는 투자자나 분석가에게 모든 이야기를 읽는 것은 불가능한 과업입니다. 결정적인 세부 정보를 놓치는 것은 현명한 투자와 값비싼 실수 사이의 차이를 만들 수 있습니다. 바로 이 지점에서 자연어 처리, 특히 텍스트 요약이라 불리는 분야가 개입합니다. 수십 년 동안 컴퓨터는 긴 문서를 읽고 가장 중요한 문장을 추출하도록 학습되어 왔습니다. 최근에는 대규모 언어 모델이라고 불리는 새로운 세대의 인공지능이 등장했습니다. 이들은 방대한 양의 인간 저작물을 학습하여, 단순히 핵심 문장을 골라내는 것을 넘어 정보를 자신의 언어로 다시 써서, 산더미 같은 텍스트로부터 신선하고 간결한 서사를 만들어낼 수 있습니다. 연구자들의 과제는 이 강력한 도구들을 정확성이 타협 불가능한 고도의 금융 세계에서 신뢰할 수 있는지 확인하는 것이었습니다. 이곳의 데이터는 뉴스 기사라는 흐르는 이야기와 주가라는 경직된 수치 테이블이라는 두 가지 매우 다른 형태로 들어오기 때문입니다.
2023년 가을, 조지 워싱턴 대학교의 한 연구자가 이 아이디어를 테스트하기 위해 나섰습니다. 목표는 뉴스, 기업 배경, 그리고 주식 시장 데이터를 10개의 주요 기업에 대해 자동으로 수집한 다음, 하나의 읽기 쉬운 일일 브리핑을 생성하는 시스템을 구축하는 것이었습니다. 도전 과제는 두 가지였습니다. 첫째, 시스템은 엄청난 양의 텍스트를 처리해야 했습니다. 둘SA, 아마도 더 어려운 점은 숫자를 이해하는 것이었습니다. 대규모 언어 모델은 언어를 이해하는 데는 뛰어나지만, 주가와 거래량이 담긴 가공되지 않은 스프레드시트가 제시되면 종종 비틀거립니다. 열을 잘못 읽거나, 백분율을 틀리게 계산하거나, 혹은 숫자를 아예 무시해 버릴 수도 있습니다. 이를 해결하기 위해 연구자는 단순하지만 영리한 가교를 개발했습니다. 데이터를 인공지능에 입력하기 전에, 컴퓨터 프로그램이 가공되지 않은 숫자들을 평이한 영어 문장으로 변환하는 방식입니다. 모델에게 날짜와 가격이 적힌 표를 보여주는 대신, 시스템은 "10월 4일, 주가는 261.16으로 마감되었으며, 거래량은 5.93 퍼센트 상승한 27.20 퍼센트의 증가를 보였다"와 같은 문장을 작성했습니다. 이를 통해 언어 모델은 본래 잘하지 못하는 작업인 수학을 직접 수행할 필요 없이, 이야기를 요약하는 데 집중할 수 있었습니다.
그 후 연구자는 컴퓨터가 읽을 수 있도록 이 정보를 조직하는 두 가지 서로 다른 방법을 테스트했습니다. '서머리 체인(Summarize Chains)' 접근법이라 불리는 첫 번째 방법은 계주 경기와 같이 작동합니다. 시스템은 뉴스 및 배경 정보의 긴 모음을 작은 덩어리로 나눕니다. 그런 다음 첫 번째 덩어리를 요약하고, 그다음 두 번째 덩어리를 요약하는 식의 과정을 반복합니다. 마지막으로, 이 작은 요약본들을 모두 모아 하나의 마스터 요약을 만듭니다. '검색 증강 생성(retrieval-augmented generation)'으로 알려진 두 번째 방법은 사서와 더 비슷합니다. 시스템이 요약을 작성해야 할 때, 전체 문서 모음을 검색하여 현재 질문과 가장 관련 있는 특정 문장들을 찾아낸 뒤, 선택된 문장들만을 컴퓨터에게 전달하여 작업하게 합니다. 이 연구는 이러한 방법들과 함께, 주식 데이터 요약을 위해 더 비싼 독점 모델을 사용하여 세 가지 서로 다른 오픈 소스 인공지능 모델을 평가했습니다.
결과는 무엇이 효과적이고 무엇이 그렇지 않은지에 대한 명확한 그림을 보여주었습니다. 가장 성공적인 접근법은 '팔콘-7B(Falcon-7B)'라고 불리는 특정 오픈 소스 모델을 사용하는 '서머리 체인' 방식이었습니다. 이 조합은 거대 기술 기업이 해고한 직원의 정확한 숫자와 같은 중요한 세부 사항을 보존하면서 모든 주요 뉴스 사건을 정확하게 다루었으며, 내용이 중복되거나 허구의 내용을 만들어내지 않았습니다. 반면, 사서 스타일의 검색 방식은 상당한 문제를 일으켰습니다. 시스템이 너무 많은 관련 문장을 한꺼번에 추출하려고 하면, 컴퓨터는 혼란에 빠져 단 하나의 요약 안에 동일한 세 가지 뉴스 항목을 수십 번씩 반복했습니다. 다른 경우에는 검색 방식이 사실을 뒤섞는 오류를 범하기도 했는데, 예를 들어 한 회사가 낸 벌금을 완전히 다른 회사에 귀속시키는 식의 오류였습니다. '환각(hallucinations)'이라고 불리는 이러한 오류들은 컴퓨터에게 한꺼번에 너무 많은 정보를 분류하게 했을 때 더 자주 발생했습니다.
또한 이 연구는 숫자를 문장으로 변환하는 전략이 완벽하게 작동함을 확인했습니다. 컴퓨터가 주가에 관한 미리 작성된 문장들을 받았을 때, 테스트된 6개 기업 모두에 대해 사실적으로 정확한 요약을 생성했으며, 지어낸 숫자나 잘못된 계산은 없었습니다. 이는 수학 작업을 인공지능의 손에서 떼어내 단순한 컴퓨터 스크립트로 옮긴 것이 옳은 결정이었음을 입증했습니다. 검색 방식은 이론적으로는 유망해 보였으나, 연구 결과 실제 적용 시에는 금융 보고를 위해 신뢰할 수 있을 만큼의 상당한 변화 없이는 너무 많은 오류와 반복을 초래한다는 것이 밝혀졌습니다. 연구자는 사용자가 주식 차트를 보고 이러한 자동화된 요약을 읽을 수 있는 작동하는 대시보드를 구축하여, 이 시스템이 실제 도구로서 사용될 만큼 실용적임을 입증했습니다. 이 연구는 인공지능이 금융 뉴스를 읽는 과정을 자동화할 수 있음은 분명하지만, 정보를 기계에 전달하는 방식이 기계 그 자체만큼이나 중요하다는 점을 시사합니다. 현재로서는 가장 신뢰할 수 있는 길은 컴퓨터가 가장 잘하는 일, 즉 언어를 이해하는 일을 하게 하되, 단순한 스크립트가 숫자를 처리하고 기계가 과부하에 걸리지 않도록 정보를 조직하게 하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.