Multi-Field Hybrid Retrieval-Augmented Generation for Maritime Accident Root Cause Analysis

기술 요약: 해양 사고 원인 분석을 위한 다중 필드 하이브리드 검색 증강 생성(RAG)

문제 정의
대한민국 해양사고심판원(KMST)의 해양사고 심판 보고서와 같은 문서는 근본 원인 분석(RCA)을 위한 핵심적인 조사 결과를 포함하고 있다. 그러나 이러한 기록을 새로운 조사에 활용하는 것은 노동 집약적인 작업이다. 보고서들은 수십 년의 기간에 걸쳐 있으며, 서사(narrative), 인과 관계 추론(causal reasoning), 처분(disposition) 등 서로 다른 섹션에 걸쳐 법률 및 기술 용어가 혼합된 밀도 높고 파편화된 정보로 구성되어 있다. 대규모 언어 모델(LLM)은 서사 합성을 자동화할 수 있는 잠재력을 제공하지만, 전문 분야에서 환각 현상을 일으키기 쉬우며, 종종 그럴듯하지만 사실과 다른 규정이나 인과 기제를 생성하곤 한다. 또한, 표준적인 검색 증강 생성(RAG) 방식은 이 맥락에서 두 가지 구체적인 문제에 직면한다: (1) 심판 보고서를 단일한 텍스트 블록으로 취급하면 정밀한 검색에 필요한 필드별 신호가 희석된다는 점과, (2) 전문가의 관련성 레이블을 확보하는 비용이 높기 때문에 대규모로 검색 품질을 평가하기 어렵다는 점이다.

방법론
저자들은 사례 기반의 구조화된 생성을 위해 설계된 다중 필드 하이브리드 RAG 프레임워크를 제안한다. 방법론은 네 가지 주요 구성 요소로 이루어진다:

1. 구조화된 지식 베이스 구축:
   시스템은 1971년부터 2025년까지의 13,329건의 KMST 심판 보고서 데이터셋을 활용한다. 원문 문서는 세 개의 별도 검색 가능한 필드인 요약(사고 설명), 원인(심판원의 인과 추론), 처분(행정적 결과)을 포함하는 구조화된 "사고 카드"로 변환된다. 각 카드는 또한 계층적 L1/L2 원인 태그와 메타데이터(예: 사고 유형, 관할 구역, 연도)로 보강된다. 이 과정은 약 37,007개의 검색 가능한 청크(chunk)를 생성한다.

2. 규칙 기반 분류 체계 태깅:
   광범위한 수동 주석 작업 없이 구조화된 생성을 용이하게 하기 위해, 저자들은 약한 지도 학습(weak supervision) 방プローチ를 채택한다. 약 2,400개의 사전 항목과 800개의 정규 표현식 패턴을 사용하여 보고서의 키워드와 원인을 표준화된 KMST 원인 분류 체계(L1 그룹 및 24개 L2 요인)에 매핑하며, 이를 통해 97.6%의 커버리지를 달성하였다.

3. 다중 필드 하이브리드 검색:
   검색 전략은 필드 인지형 하이브리드 접근 방식을 사용한다. 각 세 개의 문서 필드에 대해 시스템은 두 가지 상호 보완적인 검색기를 실행한다:

   • 희소 검색(BM25): 기술적 식별자의 정확한 키와 매칭하기 위함이다.
   • 밀집 검색(BAAI/bge-m3): 의미적 유의어를 포착하기 위함이다.
     이 여섯 가지 독립적인 순위 산정 결과(3개 필드 × 2개 방식)는 **상호 순위 융합(RRF)**을 통해 결합되어 최종 순위가 매겨진 증거 청크 목록을 생성한다.

4. 구조화된 생성:
   생성기(Qwen3-Next-80B-A3B-Instruct)는 상위 $k$개의 검색된 청크를 조건으로 한다. 생성기는 간결한 원인 서사($n$)를 합성하고 사건을 표준화된 분류 태그($T$)에 매핑하는 과업을 수행한다. 출력은 분산을 최소화하기 위해 온도를 0.0으로 설정하여 엄격한 JSON 스키마를 준수하도록 제한된다.

평가 프로토콜
대규모 전문가 관련성 레이블의 부재로 인해, 저자들은 키워드 유사도, 사고 유형, 관할 구역 및 시간적 근접성을 기반으로 한 메타데이터 유도 프록시 관련성 점수($RelScore$)를 도입한다. 검색 성능은 Norm-Recall@100 및 nDCG@100을 사용하여 측정된다. 생성 품질은 ROUGE-L, SBERT 코사인 유사도, 그리고 일관성과 근거 제시 능력을 평가하는 LLM-as-a-judge 점수(1~5 척도)를 통해 평가된다.

주요 결과

• 검색 성능: 제안된 다중 필드 하이브리드 전략은 베이스라인을 크게 상회한다.
  • 전체 문서 인덱싱에서 다중 필드 인덱싱으로 전환했을 때, 밀집(Dense) 방식의 경우 Norm-Recall@100이 0.1819에서 0.4981로 향상되었다.
  • 하이브리드 방식(BM25와 Dense 융합)은 전체 문서 밀집 베이스라인의 0.1819와 비교하여 Norm-Recall@100 0.5463 및 nDCG 0.7697을 달성하며 가장 높은 성능을 보였다.
  • "처분" 필드의 포함은 유의미한 성능 향상을 제공했는데, 이는 행정적 결과가 인과적으로 다른 사례들을 구별하는 데 차별적인 신호를 담고 있음을 시사한다.
• 생성 성능: 생성기에 검색된 선례들을 근거로 제공함으로써 LLM-as-a-judge 점수가 3.34에서 3.72로 향상되었다(+11.5%). 어휘적 중복(ROUGE-L) 및 의미적 유사성은 미미한 이득을 보였으나, 질적인 개선은 사실적 일관성과 특정 선례를 인용하는 능력에서 나타났다.
• 사례 연구: 특정 사례(예: 좌초 및 폭발 사고)에서 LLM 전용 베이스라인은 환각된 인과 관계(예: 선원의 음주를 근거로 폭발 원인을 알코올 증기로 돌리는 것)를 생성했다. 제안된 프레임워크는 검색된 선례의 특정 "원인" 및 "처분" 필드를 활용하여 기술적 메커니즘(예: 프로판 가스 점화)을 정확히 식별하였다.

의의 및 기여
본 논문은 필드 인지형 RAG가 해양 안전 조사 워크플로우를 실질적으로 간소화할 수 있음을 입증하는 것을 주요 기여로 주장한다. 기술적 및 법률적 추론을 기술적 서사와 분리함으로써, 시스템은 전문가 조사관들이 사용하는 진단적 추론 경로를 재구성한다. 본 연구는 다음을 확립한다:

1. 구조적 정렬의 중요성: 문서를 단일 블록으로 취급하면 중요한 신호가 희석되지만, 필드를 분리하면 검색 정밀도가 향endo된다.
2. 하이브리드 검색의 필수성: 희소 신호와 밀집 신호를 결 조합하는 것은 어휘 불일치에 대한 강건성을 제공하는 동시에 정밀한 기술 용어의 검색을 보존한다.
3. 평가 프록시의 타당성: 골드 스탠다드 레이블을 확보하기 어려운 전문 행정 영역에서 메타데이터 기반 프록시 점수가 검색 전략을 비교하기 위한 재현 가능하고 체계적인 베이스라인 역할을 할 수 있다.

궁극적으로 이 프레임워크는 더 빠른 선례 검색과 더 일관되고 증거에 기반한 RCA 초안 작성을 가능하게 하여, 고위험 해양 안전 분석에서의 환각 위험을 줄여준다.