기술 요약: DisasterLex

문제 정의

재난 관리는 시간적 제약이 있는 대응을 조율하기 위해 구조화되고 정보 밀도가 높은 지리공간 데이터(위험, 노출, 취약성 및 인프라)에 대한 신속한 접근에 의존합니다. 자연어 인터페이스(Text-to-SQL)가 발전했음에도 불구하고, 다음과 같은 세 가지 주요 이유로 인해 재난 도메인에서는 실패합니다:

1. 스키마 이질성: 재난 데이터베이스는 특화된 의미론, 결측치를 나타내는 센티널 값, 그리고 역전된 점수 체계(예: 한 데이터셋에서는 높은 점수가 높은 취약성을 나타내지만 다른 데이터셋에서는 회복력을 나타냄)를 가진 수십 개의 테이블로 구성됩니다.
2. 인과 추론의 공백: 전문가들은 인과 사슬(예: 낮은 회복력 $\rightarrow$ 대응 능력 감소; 침수 깊이 $\rightarrow$ 구조적 손상)을 바탕으로 추론합니다. 표준 Text-to-SQL 모델은 이러한 외부 인과 부호화가 부족하여, 지리적 키만 공유할 뿐 의미론적으로 관련 없는 테이블 간의 잘못된 조인을 생성합니다.
3. 검색 불일치: 표준 검색 증강 생성(RAG)은 텍aur 패시지를 검색하지만, 재난 분석에는 구조화된 테이블에 대한 실행 가능한 SQL이 필요합니다. 기존의 그래프 증강 RAG 방식은 패시지 검색은 개선하지만, 구조화된 질의 응답에 필요한 스키마 선택 문제를 해결하지 못합니다.

방법론: DisasterLex 프레임워크

DisasterLex는 자연어 질의와 구조화된 지리공간 데이터베이스 사이를 연결하기 위해 설계된 지식 그래프 매개 에이전트 프레임워크입니다. 이는 세 가지 통합된 구성 요소로 이루어져 있습니다:

1. 통합 지식 그래프

시스템은 두 가지 서브 그래프를 결합한 Neo4j 기반의 통합 그래프를 호스팅합니다:

• 재난 데이터 카탈로그 그래프 (DDCG): 관계형 데이터베이스(DuckDB)로부터 자동 추출되었습니다. 이는 테이블을 DataTable 노드로, 컬럼을 DataColumn 노드로, 유효한 조인 패턴을 JoinRule 노드로 표현합니다.
• 전문가 지식 그래프 (EKG): 107개의 도메인 개념이 117개의 유형화된 인과적 엣지(유형: INCREASES, REDUCES, INDICATES, REQUIRES, SCALES)로 연결된 큐레이션된 방향성 그래프입니다. 각 개념에는 퍼지 매칭을 위한 동의어 목록이 포함되어 있습니다.
• 개념-스키마 브릿지 (Concept-to-Schema Bridge): 52개의 명시적 엣지가 EKG 개념 노드를 DDCG의 특정 DataTable 노드에 매핑합니다. 이를 통해 시스템은 사용자의 자연어 개념(예: "홍수 발생")에서 실행에 필요한 특정 데이터베이스 테이블(예: HP_FLD_002)로 이동할 수 있습니다.

2. 개념 인식 스키마 검색

전체 150개 컬럼의 스키마를 프롬프트에 주입하는 대신, DisasterLex는 3단계 검색을 수행합니다:

1. 개념 매칭: 토큰 경계 정규 표현식을 사용하여 질의 용어를 EKG 개념 동의어와 매칭합니다.
2. 그래프 순회: 활성화된 개념으로부터 1-홉 Cypher 순회를 수행하여 관련 컬럼, 조인 규칙 및 데이터 품질 경고를 검색합니다.
3. 컨텍스트 주입: 전체 스키마를 10~20개의 핵심적인 컬럼 블록으로 대체하여 어텐션 희석을 크게 줄입니다.

3. 4단계 오케스트레이션 파이프라인

LangGraph로 구현된 이 파이프라인은 사고 지휘 체계(ICS)에서 유래된 운영 구조를 강제하는 방향성 그래프입니다:

1. 컨텍스트 및 중요도 추출: 관심 지역, 위험 유형 및 중요도 수준(1–5)을 파싱합니다. 누락되거나 차단된 테이블을 드러내기 위해 규칙 기반의 데이터 가용성 체크를 수행합니다.
2. 운영 도메인 분류: 질의를 생명 안전 작전(Life-Safety Operations), 피해 평가 및 대응(Damage Assessment & Response), 또는 인프라 완화(Infrastructure Mitigation) 중 하나의 ICS 기반 클러스터로 라우팅합니다. 각 클러스터는 특화된 프롬프트 템플릿을 사용합니다.
3. 인과 기반 계획: ReAct 에이전트가 EKG에서 인과적 엣지를 검색하고 필요한 경우 웹 검색을 수행하여 구조화된 분석 계획을 구축하고, 질의를 하위 작업으로 분해하며 필요한 지표를 식별합니다.
4. 도구 증강 실행: 두 번째 ReAct 에이전트가 두 가지 도구를 사용하여 계획을 실행합니다:
   • Text-to-SQL 도구: 구문 검증 및 재시도 로직를 포함하여 개념 인식 스키마를 기반으로 SQL을 생성합니다.
   • 지식 그래프 도구: 인과 규칙을 순회하여 증거를 합성합니다.
     에이전트는 결과, 권고 사항(중요도에 따라 제한됨) 및 증거를 포함한 사고 보고서를 합성합니다.

주요 기여

1. 개념 수준의 스키마 연결: 스키마 선택 레이어로 전문가 지식 그래프(EKG)를 도입했습니다. 질의와 36개 테이블 스키마 사이에 107개 개념과 117개 인과적 엣지를 배치함으로써, 프롬프트 컨텍스트를 150개 컬럼에서 약 10~20개로 줄여 기존 Text-to-SQL 및 RAG 방식의 스키마 선택 실패 모드를 해결했습니다.
2. ICS 기반 오케스트레이션: 중요도 추출, 클러스터 라우팅, 인과 계획, 근거 기반 실행으로 질의를 분해하는 4단계 파이프라인을 제공합니다. 절제 연구(Ablation studies) 결과, 라우팅이나 계획을 제거하면 특히 다중 테이블 구성 시 성능이 크게 저하됨을 입증했습니다.
3. 4계층 진단 벤치마크: 특정 실패 모드를 격리하기 위해 4개의 계층으로 구성된 75개 사례의 테스트 세트를 구축했습니다:
   • Tier R (라우팅): 올바른 클러스터 및 질의 유형 선택.
   • Tier K (EKG 그라운딩): 답변 내 기대되는 인과적 토큰의 존재 여부.
   • Tier M (다중 테이블): 2~4개 테이블 간의 올바른 SQL 조인.
   • Tier D (공시): 누락되거나 차단된 데이터에 대한 투명한 보고.
4. 교차 모델 증거: 8B에서 70B 파라미터에 이르는 7개의 베이스 모델(폐쇄형 및 오픈 웨이트 모델 포함)과 4개의 최신 SOTA 베이스라인(LightRAG, HippoRAG 2, ReFoRCE, CHESS)을 대상으로 평가했습니다.

결과

텍사스 전역의 재난 분석 데이터베이스(36개 테이블, 150개 컬럼)에 대한 75개 질의 테스트 세트로 평가되었습니다:

• 성능: DisasterLex는 7개 베이스 모델 전반에 걸쳐 5.0 만점 기준 1.65에서 3.56 사이의 종합 점수를 기록했습니다.
• 비교: 모든 베이스 모델에서 외부 SOTA 베이스라인보다 1.4배에서 2.75배 더 우수한 성능을 보였습니다. 모든 외부 베이스라인은 종합 점수가 2.0 미만이었으나, DisasterLex는 7개 모델 중 5개 모델에서 2.5를 초과했습니다.
• 실패 분석: 베이스라인의 실패는 라우팅(Tier R)과 다중 테이블 SQL 구성(Tier M)에 집중되었습니다. DisasterLex는 라우팅 레이어와 개념 인식 스키마 검색을 통해 이를 명시적으로 해결합니다.
• 절제 연구 통찰:
  • 라우팅은 보편적으로 결정적이었습니다. 이를 제거했을 때 모든 모델에서 Tier M 점수가 가장 크게 하락(0.81–2.67점)했습니다.
  • 계획 및 EKG의 효과는 모델의 역량에 따라 달랐습니다. 예를 들어, 계획을 제거했을 때 Qwen 3.6의 Tier K 점수는 3.19 하락했지만, 다른 모델에서는 0.20–0.48 하락에 그쳤습니다. 이는 명시적 오케스트레이션의 가치가 베이스 모델의 내재적 추론 능력에 의해 조절됨을 시사합니다.

의의 및 주장

본 논문은 재난 분석에서 컨셉-투-스키마 레이어와 오케스트레이션이 검색 기질(retrieval substrate)이나 Text-to-SQL 에이전트의 선택보다 더 중요하다고 주장합니다. 결과는 일반적인 검색 및 Text-to-SQL 파이프라인이 이질적인 구조의 지리공간 데이터를 대상으로 하는 인과 추론 도메인에는 불충분함을 보여줍니다.

DisasterLex는 전문가가 큐레이션한 인과적 개념 그래프가 자연어와 복잡한 관계형 데이터베이스 사이를 효과적으로 중개하는 도메인 특화 스키마 선택 레이어로 기능할 수 있음을 입로 증명합니다. 저자들은 이 패턴이 의료 트리아지(triage)나 공급망 중단과 같이 전문가의 인과적 지식이 시간 민감형 구조 데이터와 공존하는 다른 도메인에도 전이 가능하다고 상정합니다.

본 연구는 의사결정 지원 도구로서 제시되었으며, 출력값이 권위 있는 사고 지휘 가이드가 아니며 특히 높은 중요도의 권고 사항에 대해서는 인간의 검토가 필요함을 명시적으로 밝히고 있습니다. 시스템은 전문가의 판단을 대체하기보다는 불확실성(데이터 가용성 공시를 통해)을 드러내도록 설계되었습니다.