FinBloom: Knowledge Grounding Large Language Model with Real-time Financial Data

이 논문은 실시간 금융 데이터를 기반으로 한 지식 기반 접근법인 'FinBloom'을 소개하며, 1,400 만 건의 금융 뉴스와 SEC 서류로 사전 학습된 70 억 파라미터 모델에 5 만 건 이상의 금융 질의 - 컨텍스트 데이터셋으로 미세 조정을 가해 실시간 데이터 검색과 의사결정을 자동화하는 금융 에이전트를 개발했습니다.

핵심

🏦 1. 문제점: "옛날 책만 읽는 똑똑한 비서"

일반적인 인공지능 (LLM) 은 방대한 양의 책을 읽어서 매우 똑똑해졌습니다. 하지만 치명적인 단점이 하나 있습니다. 지식 업데이트가 안 된다는 점입니다.

• 비유: imagine(상상해 보세요) 당신이 2020 년까지의 뉴스와 주식 가격만 외운 아주 똑똑한 경제학자를 고용했다고 가정해 봅시다.
• 오늘 당신이 "내일 애플 주가가 오를까?"라고 물어보면, 그 학자는 "저는 2020 년까지만 알아요. 요즘 뉴스는 모릅니다"라고 답할 것입니다.
• 금융 시장에서는 지금 이 순간의 뉴스와 가격이 모든 것을 결정합니다. 옛날 지식을 가진 비서는 투자자에게 쓸모가 없습니다.

🚀 2. 해결책: "실시간 정보와 연결된 FinBloom"

저자들은 이 문제를 해결하기 위해 FinBloom이라는 시스템을 만들었습니다. 이는 두 가지 핵심 부품으로 이루어진 **'금융 특화 팀'**입니다.

🧠 부품 1: FinBloom 7B (금융을 전공한 두뇌)

• 무엇인가요? 일반적인 인공지능을 금융 뉴스 1,400 만 건과 기업 보고서 1,200 만 건으로 훈련시켜 만든 금융 전문가 AI입니다.
• 역할: 사용자가 "애플의 주가가 왜 올랐나요?"라고 물으면, 그 질문의 의도를 정확히 파악하고 "어떤 데이터가 필요한지"를 알아내는 두뇌 역할을 합니다.

📡 부품 2: 데이터 모듈 (실시간 정보 창고)

• 무엇인가요? 주식 가격, 뉴스, 기업 실적 등 지금 이 순간 업데이트되는 데이터가 쌓여 있는 거대한 창고입니다.
• 역할: FinBloom 이 "애플의 최근 3 개월 매출과 뉴스가 필요해!"라고 요청하면, 창고에서 딱 맞는 최신 정보를 꺼내옵니다.

🤝 3. 작동 원리: "명령을 내리는 비서와 정보를 찾는 조수"

이 시스템이 어떻게 작동하는지 레스토랑에 비유해 볼까요?

1. 손님 (사용자) 이 주문합니다: "오늘 오후 3 시에 애플 주식을 사야 할까요?"라고 묻습니다.
2. 메인 셰프 (FinBloom Agent) 가 메뉴를 분석합니다:
   • 기존 AI 는 "음... 애플은 좋은 회사죠!"라고 막연히 말했을 것입니다.
   • 하지만 FinBloom 은 **"잠깐만요, 최신 정보가 필요해요"**라고 말합니다.
3. 조수 (데이터 모듈) 가 재료를 가져옵니다:
   • 메인 셰프는 조수에게 "애플의 오늘 주가, 최근 뉴스, 지난 분기 실적을 가져와!"라고 지시합니다.
   • 조수는 실시간 창고에서 정확한 숫자와 뉴스를 가져와 셰프의 책상 위에 놓습니다.
4. 메인 셰프가 요리 (답변) 를 완성합니다:
   • 이제 셰프는 최신 재료 (데이터) 를 바탕으로 "오늘 뉴스에 인플레이션 우려가 있어서 주가가 살짝 떨어졌지만, 실적은 좋습니다. 따라서..."라고 정확하고 현실적인 조언을 해줍니다.

💡 4. 왜 이것이 중요한가요? (기존 방식과의 차이)

기존의 인공지능은 검색 엔진처럼 작동합니다. "주식 정보"를 검색해서 나온 글들을 요약해 줄 뿐입니다. 하지만 금융 데이터는 **숫자 (표)**와 **텍스트 (뉴스)**가 복잡하게 얽혀 있어, 검색만으로는 정확한 답을 내기 어렵습니다.

• 기존 AI: "주가가 오를 것 같아요" (추측성 답변)
• FinBloom: "오늘 애플 주가는 $108.90 이고, EPS 는 $4.20 입니다. P/E 비율을 계산하면... 따라서..." (데이터 기반의 정확한 계산과 분석)

🌟 5. 이 연구의 핵심 성과

저자들은 이 시스템을 만들기 위해 세 가지 큰 일을 해냈습니다.

1. 5 만 개의 질문과 정답 데이터셋 제작: "어떤 질문을 하면 어떤 데이터가 필요한지"를 학습시키기 위해 5 만 가지 금융 질문과 그에 필요한 데이터를 모았습니다.
2. FinBloom 7B 모델 개발: 1,400 만 개의 금융 뉴스로 훈련된 70 억 개의 파라미터를 가진 전용 AI 를 만들었습니다.
3. 실시간 데이터 연결: AI 가 직접 인터넷을 검색하는 게 아니라, 정해진 데이터 창고에서 정확한 숫자를 가져와서 AI 가 분석하게 했습니다.

🏁 결론

이 논문은 **"인공지능이 금융 시장에서 실수하지 않고, 실시간으로 정확한 조언을 하려면, 단순히 책을 많이 읽는 것만으로는 부족하며, 최신 데이터를 직접 꺼내어 분석할 수 있는 시스템을 만들어야 한다"**는 것을 보여줍니다.

마치 날씨 예보관이 과거의 기후 데이터만 보고 "내일 비가 올 것 같아요"라고 말하는 대신, 현재의 위성 사진과 기압계 데이터를 실시간으로 받아서 "내일 오후 2 시에 서울에 비가 올 확률 90%"라고 정확히 알려주는 것과 같습니다.

이 시스템은 투자자, 은행, 트레이더들이 빠르게 변하는 금융 시장에서 더 빠르고 정확한 결정을 내리는 데 큰 도움을 줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 자연어 생성 및 추론 능력에서 탁월한 성능을 보이지만, 실시간 정보 접근이 필요한 상호작용적 금융 태스크에서는 심각한 한계를 겪습니다.

• 정적 지식의 한계: 기존 LLM 은 학습 시점 이후의 데이터 (실시간 주가, 최신 뉴스, SEC 공시 등) 를 알지 못해 '구식 (Stale)' 정보에 기반한 답변을 생성합니다. 이는 투자 결정이나 알고리즘 트레이딩과 같이 시의성이 중요한 금융 분야에서는 치명적입니다.
• 실시간 파인튜닝의 비효율성: 금융 데이터는 유동성이 매우 높고 (High-velocity) 양이 방대합니다. 매번 새로운 데이터로 모델을 파인튜닝하는 것은 계산 비용이 너무 많이 들고, 모델이 업데이트되는 동안에도 데이터가 변하기 때문에 실시간 대응이 불가능합니다.
• 기존 RAG 의 부적합성: 기존 검색 증강 생성 (RAG) 방식은 비정형 텍스트에 최적화되어 있어, 구조화된 금융 데이터 (표, 시계열, 수치 지표) 를 처리할 때 정확도가 떨어지거나 할루시네이션 (환각) 이 발생할 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 LLM 의 가중치를 변경하지 않고, 외부 모듈을 통해 실시간 지식을 주입하는 지식 기반 (Knowledge-Grounding) 접근법을 제안합니다. 이 시스템은 크게 세 가지 핵심 모듈로 구성됩니다.

A. 데이터 모듈 (Data Module)

• 역할: 실시간 금융 데이터 (정형/비정형) 를 저장하고 검색하는 저장소.
• 구현:
  • 정형 데이터: 관계형 데이터베이스 (PostgreSQL) 를 사용하여 주가, 재무제표, 지표 등을 저장. 스키마 기반 쿼리 예측을 통해 정확한 셀 단위 값 추출.
  • 비정형 데이터: 뉴스 아티클을 Elasticsearch 에 저장. FinRoBERTa(금융 도메인에 특화된 RoBERTa) 를 사용하여 의미 기반 검색 (Semantic Search) 수행.
• 특징: 실시간 스트리밍 데이터를 처리하며, 사용자의 요청에 따라 최신 데이터를 동적으로 제공합니다.

B. 금융 에이전트 (Financial Agent)

• 역할: 사용자의 자연어 질문을 분석하여 데이터 모듈에서 필요한 정보를 추출하고, 이를 LLM 이 이해할 수 있는 '맥락 (Context)'으로 변환하는 중개자.
• 핵심 기능:
  • 질문에서 필요한 회사, 지표, 날짜 범위를 식별.
  • 구조화된 데이터 요청 (Structured Data Request) 생성: 데이터 모듈이 실행 가능한 정확한 쿼리 형식으로 변환.
  • 관련 지표 (Related Metrics) 도 함께 추출하여 맥락을 풍부하게 함 (예: P/E 비율 질문 시 주가와 EPS 동시 추출).
• 모델: FinBloom 7B를 기반으로 파인튜닝됨.

C. FinBloom 7B (Domain-Specific LLM)

• 기반 모델: 70 억 파라미터의 오픈소스 모델인 Bloom 7B.
• 학습 데이터:
  • Reuters 및 Deutsche Presse-Agentur (DPA) 의 1,400 만 개 이상의 금융 뉴스 아티클.
  • SEC(미국 증권거래위원회) 공시 문서 1,200 만 건 중 무작위 25% 샘플.
• 학습 방식: QLoRA(Quantized Low-Rank Adaptation) 를 사용하여 효율적으로 파인튜닝. 이를 통해 금융 용어, 개념, 상호관계에 대한 깊은 이해를 확보.

D. 전체 워크플로우

1. 사용자가 금융 질문 입력.
2. Financial Agent가 질문을 분석하여 필요한 데이터 (회사, 지표, 기간) 를 식별하고 구조화된 요청을 생성.
3. Data Module이 해당 요청을 처리하여 최신 정형/비정형 데이터를 반환.
4. 반환된 데이터를 텍스트 맥락 (Context) 으로 변환하여 원래 질문과 결합 (Enriched Query).
5. 결합된 입력을 LLM(예: GPT-3.5/4 등) 에 전달하여 최종 답변 생성.

3. 주요 기여 (Key Contributions)

1. Financial Context Dataset 개발: 50,000 개의 금융 질문과 이에 필요한 맥락 정보 (필요한 데이터, 구조화된 요청, 관련 지표) 를 매칭한 커스텀 데이터셋을 공개했습니다. 이는 에이전트의 파인튜닝에 핵심적으로 사용되었습니다.
2. FinBloom 7B 모델 출시: 1,400 만 개의 금융 뉴스와 SEC 공시로 학습된 도메인 특화 LLM 을 개발했습니다. 이는 일반적인 LLM 보다 금융 태스크에서 우수한 성능을 보입니다.
3. 실시간 지식 기반 금융 에이전트: 파인튜닝된 FinBloom 7B 를 기반으로 한 에이전트를 구현하여, 실시간 데이터 검색과 맥락 생성을 자동화했습니다. 이는 사용자가 직접 데이터를 제공하거나 수동으로 검색할 필요를 제거합니다.

4. 실험 결과 및 평가 (Results)

• FinBen 벤치마크 성능: FinBloom 7B 는 35 개 금융 태스크로 구성된 FinBen 벤치마크에서 다른 금융 특화 모델 (FinMA, FinGPT, CFGPT 등) 보다 평균 F1 점수 (0.3464) 에서 최상위 성능을 기록했습니다. 특히 정보 추출 및 텍스트 분석 태스크에서 우수한 결과를 보였습니다.
• 데이터 추출 정확도: Financial Context Dataset 에 대한 파인튜닝 후, FinBloom 7B 는 필요한 데이터를 식별하는 데 있어 일반 Bloom 7B 보다 월등히 높은 BLEU 및 ROUGE 점수를 기록했습니다.
• 실제 사례 비교 (Appendix D):
  • 웹 접근 LLM 과의 비교: 웹 검색 기능을 가진 ChatGPT 는 최신 재무 데이터 (예: Reliance Industries, GM 의 분기별 매출) 를 제공할 때 오류가 많거나 "데이터를 찾을 수 없다"고 응답하는 경우가 많았습니다.
  • 제안 시스템의 우위: 제안된 아키텍처는 실시간 데이터 모듈을 통해 정확한 수치를 제공하고, 이를 기반으로 ChatGPT 가 정확한 투자 분석을 수행하도록 유도했습니다. 할루시네이션을 크게 줄이고 정밀한 수치 기반 답변을 가능하게 했습니다.

5. 의의 및 결론 (Significance)

• 실시간 금융 의사결정 지원: 고정된 LLM 의 한계를 극복하고, 고빈도 (High-velocity) 금융 데이터 흐름에 실시간으로 대응할 수 있는 시스템을 제시했습니다.
• 지연 시간 (Latency) 최적화: 대규모 LLM 을 매번 파인튜닝하는 대신, 경량화된 에이전트가 데이터를 검색하고 맥락을 생성하는 방식을 통해 효율성을 극대화했습니다.
• 확장성: 이 프레임워크는 향후 비디오 분석, 오디오 분석 등 다양한 멀티모달 모듈을 추가하여 금융 서비스의 자동화 수준을 높일 수 있는 기반을 마련했습니다.

이 연구는 금융 분야에서 LLM 의 실용성을 높이기 위해 도메인 특화 모델 학습과 실시간 외부 지식 검색 (RAG 의 금융 특화 변형) 을 결합한 새로운 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.