Beyond Semantic Similarity: A Two-Phase Non-Parametric Retrieval Workflow for Corporate Credit Underwriting

기술 요약: 기업 신용 심사에서의 의미적 유사성 초월

문제 제기
기업 신용 심사는 연차보고서 및 산업 분석을 포함한 장문의 이질적 재무 문서 분석에 의존합니다. 분석가는 특정 재무 지표를 추출하고, 위험 공시를 평가하며, 수백 페이지에 걸쳐 여러 언어로 작성된 문서에서 통찰력을 종합해야 합니다. 검색 증강 생성 (RAG) 시스템이 이러한 워크플로우를 지원하기 위해 등장했지만, 표준 파이프라인은 쿼리와 문서 발췌문 간의 의미적 유사성을 우선시합니다. 재무 맥락에서 이 접근법은 종종 분석가의 요구와 부합하지 않습니다. 문서는 서술적 설명, 규제 공시, 반복적인 표준 문구를 자주 포함하기 때문입니다. 결과적으로 유사성 기반 검색은 쿼리와 용어를 공유하지만 실행 가능한 분석적 가치가 결여된 발췌문을 노출시킬 수 있습니다. 저자들은 이 불일치를 '유사성 - 유용성 간극 (similarity–utility gap)'으로 지칭하며, 주제적으로 관련된 내용이 반드시 의사결정을 지원하지는 않는다고 밝힙니다.

방법론
이 간극을 해소하기 위해 저자들은 기업 의사결정 지원을 위해 특별히 설계된 2 단계 비모수적 검색 워크플로우를 제안합니다. 이 시스템은 엄격한 데이터 거버넌스 정책을 준수하기 위해 자체 호스팅 오픈소스 모델을 사용하여 온프레미스 환경에서 완전히 운영됩니다. 아키텍처는 다음 다섯 가지 핵심 구성 요소로 이루어져 있습니다:

1. 문서 수집 (Document Ingestion): 재무 문서는 레이아웃 단서를 사용하여 구조화된 섹션으로 분할됩니다. 각 세그먼트는 소스, 섹션 제목, 페이지 참조 등의 메타데이터와 함께 인덱싱되어 하류 처리를 위한 구조 정보를 보존합니다.
2. 1 단계: 하이브리드 후보 검색: 이 단계는 다국어 문서 전반에 걸쳐 높은 재현율 (recall) 을 목표로 합니다. 재무 용어의 정밀도를 유지하기 위한 키워드 검색과 다국어 임베딩을 활용한 밀집 의미 검색을 결합한 하이브리드 전략을 사용합니다. 초기 고재현율 후보 풀 ($C_0$) 을 생성하기 위해 TopK 값을 50 으로 설정합니다.
3. 2 단계: 적응형 검색 컨트롤러 및 유용성 기반 재순위화:
   • 적응형 컨트롤러: 경량 언어 모델이 쿼리 의도와 문서 구조를 기반으로 후보를 평가합니다. 각 발췌문에 대해 관련성 ($Rel_i$), 증거 지원 ($S_i$), 그리고 유용성 점수 ($U_i$) 의 세 가지 지표를 예측합니다. 컨트롤러는 관련성이 입증된 경우에만 증거 지원을 고려하는 논리 조건을 적용하여 후보 집합 ($C_1$) 을 필터링함으로써, 의미적으로 관련되지만 분석적으로 무관한 표준 문구를 효과적으로 제거합니다.
   • 유용성 기반 재순위화: 남은 후보들은 '판사 역할의 LLM (LLM-as-a-Judge)' 프레임워크를 사용하여 순위가 매겨집니다. 쿼리와의 유사성을 측정하는 대신, 모델은 신용 심사에 대한 의사결정 유용성을 기준으로 발췌문을 평가합니다. 정밀도와 재현율을 균형 있게 조절하는 조정 가능한 임계값 ($U_{threshold}$) 을 통해 실행 가능한 재무 증거를 포함하는 발췌문을 필터링합니다.
4. 맥락 인식 증거 추출: 의미의 왜곡이나 귀속 손실을 방지하기 위해 시스템은 콘텐츠 구조에 따라 별도의 추출 전략을 사용합니다:
   • 서술 섹션: 헤더, 불릿 목록, 단락 경계를 보존하기 위해 마크다운 인식 분할을 사용합니다.
   • 표 데이터: 특정 행/셀을 추출하기 위해 파싱되는 비복잡한 표와 다단계 헤더, 병합 셀을 가진 복잡한 표를 구분합니다. 복잡한 표의 경우, 수동 검증 및 정확한 귀속을 지원하기 위해 소스 메타데이터 (문서 이름, 페이지 참조) 와 함께 전체 표 컨텍스트를 보존합니다.

주요 기여
본 논문은 네 가지 주요 기여를 제시합니다:

• 단순한 의미적 유사성을 넘어 신용 심사에서의 의사결정 유용성과 발췌문 순위 정렬을 일치시키는 유용성 기반 검색 프레임워크.
• 쿼리 의도와 문서 구조 신호를 사용하여 후보 발췌문을 필터링하는 적응형 검색 컨트롤러.
• 서술 및 표 형태의 재무 콘텐츠에서 구조 정보를 보존하는 맥락 인식 추출 모듈.
• 규제된 온프레미스 환경 내에서 운영되며 대규모 생산성 향상을 입증한 기업 배포.

결과
시스템은 senior 신용 분석가들이 관련성 라벨을 선별한 내부 기업 신용 문서의 다국어 코퍼스에서 평가되었습니다. 데이터의 독점적 성격으로 인해 상세한 데이터셋과 사례 연구는 공개되지 않았습니다. 그러나 800 명 이상의 분석가가 참여하는 실제 배포에서 시스템은 문서 검토 시간을 몇 시간에서 약 3 분으로 단축시키는 등 상당한 효율성 향상을 보여주었습니다. 평가 결과, 검증 가능한 재무 증거를 포함하는 발췌문을 노출시킴으로써 제안된 접근 방식이 기존 단순 검색 시스템에 비해 검색 성능을 크게 향상시킨 것으로 나타났습니다.

의의 및 주장
저자들은 이 시스템의 의의가 단순한 의미적 유사성이 아닌 분석적 유용성을 최적화할 수 있는 능력에 있으며, 이는 규제된 재무 환경의 기업 워크플로우 요구를 직접적으로 해결한다고 주장합니다. 하이브리드 검색, 적응형 후보 제어, 그리고 유용성 기반 순위 정렬을 결합함으로써 시스템은 실행 가능한 재무 증거를 우선시합니다. 온프레미스 배포는 민감한 재무 데이터가 로컬에 유지되도록 보장하여 엄격한 거버넌스 및 감사 가능성 요구 사항을 충족시킵니다.

향후 작업
본 논문은 향후 작업에서 재무 표로부터의 향상된 구조화된 데이터 추출을 탐구할 것이라고 명시합니다. 구체적으로 저자들은 표 영역에서 직접 구조화된 수치 정보를 추출하기 위해 전문적인 광학 문자 인식 (OCR) 및 비전 언어 모델 (VLM) 파이프라인을 통합할 것을 제안합니다. 이를 통해 시스템은 복잡한 레이아웃에 내재된 추가 재무 지표를 포착하고 이를 하류 추론 과정에 통합할 수 있게 됩니다.