기술 요약: 교차 엔티티 금융 감성 분석을 위한 그래프 증강 검색 (Graph-Augmented Retrieval)

문제 정의

금융 시장의 급격한 디지털화는 전례 없는 규모의 비정형 텍스트 데이터를 생성하였으며, 이는 실시간 주식 종합 분석에 있어 하나의 도전 과제가 되고 있습니다. 검색 증강 생성(RAG) 프레임워크가 도메인 특화 코퍼스에 기반하여 대규모 언어 모델(LLM)을 근거 있게 구동하는 기초적인 방법론으로 자리 잡았음에도 불구하고, 기존의 "벡터 전용(vector-only)" RAG 아키텍처는 전문적인 금융 분석에서 "맥락적 정체기(contextual plateau)"에 직면합니다.

본 논문은 이러한 전문 금융 분야에서 표준 벡터 기반 검색이 가진 세 가지 핵심적인 한계를 식별합니다:

1. 구조적 인식 결여: 벡터 검색은 텍tx를 고립된 청크(chunk)로 취급하며, 시스템적 리스크 분석에 필수적인 명시적 구조 관계(예: 공급망 연쇄 효과, 다단계 영향 네트워크)를 포착하지 못합니다.
2. 맥락 희석: 의미적으로 유사한 여러 스니펫(snippet)을 단순히 결합하면, 중요한 세부 정보가 중복된 고토큰 맥락 속에 가려지는 "중간에서의 소실(lost in the middle)" 현상이 발생합니다.
3. 의미적 노이즈: 금융 용어는 노이즈에 매우 취나약합니다. 구조화된 그래프를 통해 엔티티를 논리적으로 분리하지 않으면, 밀집 검색(dense retrieval) 과정에서의 의미적 중첩이 사실적 오류를 초산할 수 있습니다.

나아가, 순수 텍스트 분석은 문서와 엔티티 간에 전파되는 "감성 전염(sentiment contagion)"을 간과하기 쉬우며, 이는 시장 역학을 이해하는 데 매우 중요합니다.

방법론

저자들은 밀집 벡터 검색을 구조화된 그래프 탐색으로 보강하도록 설계된 2-홉(two-hop) Graph-RAG 아키텍처를 제안하고 평가합니다. 이 시스템은 10개의 주요 기술주를 다루는 255개의 뉴스 기사 코퍼스를 기반으로 구축되었으며, 결과적으로 1,477개의 뉴스 청크와 59개의 주식 엔티티를 포함하는 지식 그래프를 생성합니다.

시스템 아키텍처

방법론은 자동화된 데이터 수집 단계에서부터 두 가지 구별된 파이프라인을 포함하는 비교 검색 연구로 전환됩니다:

1. 데이터 수집 및 그래프 구축:

   • 엔티티 추출: gliner-bi-large-v2.0 모델이 제로샷 인식을 통해 엔티티(주식 티커, 주식 지수, 투자 은행, 조직)를 식별합니다.
   • 감성 가중치 부여: FinBERT가 감성 극성을 계산합니다. 엔티티 간의 관계적 **강도(Intensity, $I$)**는 양성 점수와 음성 점수의 절대 차이로 정의됩니다 ($I = |Score_{pos} - Score_{neg}|$).
   • 그래프 토폴로지: Neo4j 그래프를 구축하여 티커(Ticker) 노드를 HAS_NEW_CHUNK 엣지를 통해 뉴스 청크 노드와 연결합니다. 티커 간의 관계는 감성 강도에 의해 가중치가 부여된 방향성 INFLUENCES 엣지로 정의됩니다.

2. 베이스라인 아키텍처 (일반 RAG):

   • FAISS를 사용하여 인덱싱하는 표준 벡터 전용 시스템입니다.
   • 최대 코사인 유사도를 기준으로 상위 $k=5$개의 청크를 검색합니다.
   • 컨텍스트는 관계적 메타데이터 없이 검색된 텍스트의 평면적 결합(flat concatenation) 형태입니다.

3. 제안된 아키텍처 (2-Hop Graph-RAG):

   • 1-홉 (의미적 앵커): 벡터 검색을 통해 상위 $k=5$개의 "시드(seed)" 청크를 식별합니다.
   • 2-홉 (구조적 확장): 각 시드와 관련된 티커로부터, 강도($I$)가 임계값 $\tau$보다 큰 INFLUENCES 엣지를 따라 탐색합니다.
   • 이웃 재순위화(Neighbor Re-ranking): 이웃 엔티티와 관련된 뉴스 청크들을 검색하고 쿼리에 대해 재순위화합니다. 유사도 점수가 0.2보다 큰 상위 2개의 청크만을 "네트워크 증거(Network Evidence)"로서 추가합니다.
   • 합성(Synthesis): LLM은 기본 뉴스, 연결된 엔티티 이름, 수치적 감성 점수, 그리고 재순위화된 증거를 포함하는 컨텍스트를 전달받습니다.

평가 프레임워크

본 연구는 100개의 근거 기반 쿼리(직접 쿼리 30개, 관계형 쿼리 70개)를 대상으로 다음 지표를 사용하여 두 아키텍처를 평가합니다:

• 통계적 지표: 의미적 유사도(코사인 유사도) 및 엔티티 재현율(Entity Recall)을 Wilcoxon 부호 순위 검정(Wilcoxon signed-rank tests)을 통해 검증합니다.
• RAGAS 프레임워크: 참조가 필요 없는 지표인 충실도(Faithfulness), 답변 관련성(Answer Relevancy), 컨텍스트 정밀도(Context Precision), 컨텍스트 재현율(Context Recall)을 측정합니다.
• 절제 연구(Ablation Study): 강도 임계값($\tau$)이 답변 품질에 미치는 영향을 분석합니다.

주요 결과

1. 전반적인 성능

• 엔티티 재현율: Graph-RAG는 베이스라인 대비 **+6.4%**의 통계적으로 유의미한 향상($p < 0.001$)을 달야냈으며, 이는 구조적 탐색이 순수 벡터 유사도만으로는 놓칠 수 있는 엔티티를 찾아낸다는 것을 입증합니다.
• 답변 관련성: Graph-RAG는 +11.7% 개선되었습니다. 이는 그래프 증강 컨텍스트가 LLM이 보다 주제에 집중된 응답을 생성하도록 돕는다는 것을 시사합니다.
• 의미적 유사도: 답변 품질에서 통계적으로 유의미한 차이는 없었습니다 ($\Delta = +0.001, p = 0.281$). 이는 추가된 그래프 컨텍스트가 핵심 생성 품질을 개선하거나 저하시키지 않았음을 나타냅니다.
• 지연 시간(Latency): Graph-RAG는 평균 지연 시간이 22.6% 증가(9.03초 vs 7.37초)했으나, 지연 시간 분산은 80% 감소($\sigma = 0.96$초 vs $4.82$초)하여 더 결정론적인(deterministic) 응답 시간을 제공했습니다.

2. 쿼리 유형별 층화 분석

Graph-RAG의 이점은 관계형(교차 엔티티) 쿼리에 집중되어 있습니다:

• 관계형 쿼리: 답변 관련성이 +16.1% 개선되었습니다.
• 직접(단일 엔티티) 쿼리: 두 시스템의 성능이 비슷하게 나타났습니다. Graph-RAG는 컨텍스트 정밀도에서 미미한 이득(+8.6%)을 보였으나, 추가적인 엔티티가 단일 기사의 증거를 희석할 수 있어 컨텍스트 재현율은 오히려 감소(-11.9%)했습니다.

3. 절제 연구: 강도 임계값 ($\tau$)

본 연구는 강도 임계값과 답변 품질 사이의 역 U자형 관계를 확인했습니다:

• $\tau = 0.3$: 너무 관대하여 무관한 증거를 도입함으로써 품질을 저하시킵니다.
• $\tau = 0.7$: 너무 엄격하여 중간 정도의 정보력을 가진 관계를 놓칩니다.
• $\tau = 0.5$: 최적의 균형점으로 식별되었으며, 프로덕션 기본값인 0.7보다 의미적 유사도 측면에서 0.5% 더 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 발견된 결과가 그래프 증강 검색에 내재된 **정밀도와 커버리지 간의 트레이드오프(precision-for-coverage trade-off)**임을 특징짓습니다. 저자들은 Graph-RAG가 벡터 전용 검색을 일률적으로 능가하는 것이 아니라, 복잡한 다중 엔티티 추론 작업이 빈번한 금융 분석을 위해 운영 지점(operating point)을 이동시킨다고 주장합니다.

주요 기여는 다음과 같습니다:

1. 효능 입증: 특화된 영향력 네트워크를 통합함으로써, 텍스트 서사가 밑바탕의 메타데이터에 의해 교정되거나 보강되는 "시장 불일치(market dissonance)" 사례를 식별할 수 있음을 증명했습니다.
2. 아키텍처 가이드라인: 강도 임계값의 역 U자형 관계를 식별함으로써 실무자들에게 실행 가능한 튜닝 가이드를 제공하였으며, 극단적인 필터링 값이 최적이 아님을 시사했습니다.
3. 쿼리 유형 인지: 결과는 프로덕션 시스템이 쿼리 유형을 인지하여, 관계형 쿼리는 Graph-RAG 파이프라인으로 라우팅하고 단순 사실 조회에는 벡터 전용 검색을 유지함으로써 지연 시간과 토큰 소비를 최적화해야 함을 보여줍니다.

저자들은 LLM 생성 그라운드 트루스(ground truth) 사용으로 인한 천장 효과(ceiling effect), 10개 종목 규모의 특정 데이터셋 사용, 클라우드 기반 Neo4j 배포의 지연 시간 오버헤드 등을 한계점으로 언급했습니다. 결론적으로, 본 아키텍처는 도메인 불가지론적(domain-agnostic)이지만, 다른 도메인 및 더 큰 엔티티 그래프로의 일반화를 위해서는 추가적인 검증이 필요하다고 밝히고 있습니다.