1. 문제 정의 (Problem Statement)

항공 안전은 치명적인 결과를 초래할 수 있는 초고신뢰성 (Ultra-safe) 분야입니다. 최근 대규모 언어 모델 (LLM) 은 방대한 사고 보고서 분석, 규제 문서 해석, 의사결정 지원 등 항공 안전 업무에 큰 잠재력을 보여주고 있습니다. 그러나 LLM 을 안전 필수 (Safety-critical) 환경에 단독으로 적용하는 것은 다음과 같은 근본적인 한계로 인해 위험합니다.

• 할루시네이션 (Hallucination) 및 사실 오류: LLM 은 존재하지 않는 규제나 항공기 시스템을 사실인 것처럼 생성할 수 있으며, 기술적 질문에서 15~25% 의 할루시네이션율이 발생합니다.
• 검증 불가능성 (Lack of Verifiability): LLM 의 출력은 권위 있는 출처와 명시적으로 연결되지 않아 '블랙박스' 행동을 보입니다. 이는 항공 산업이 요구하는 추적성 (Traceability), 감사 가능성 (Auditability), 규정 준수 (Compliance) 기준 (예: DO-178C, ISO/IEC/IEEE 8800) 을 위반합니다.
• 지식 갱신 부재: LLM 은 최근의 항공기 적합성 지시 (AD) 나 사고 경보와 같은 실시간 정보를 알지 못합니다.

따라서, LLM 의 유연성과 지식 그래프 (KG) 의 구조화된 검증 능력을 결합하여 신뢰할 수 있고 설명 가능하며 규정을 준수하는 AI를 구축할 필요가 있습니다.

2. 방법론 (Methodology)

이 논문은 LLM 과 지식 그래프 (KG) 를 통합한 양상 (Dual-phase) 파이프라인을 제안합니다. 이 시스템은 비정형 데이터에서 구조화된 지식을 추출하고, 이를 다시 LLM 의 답변을 검증하는 데 사용하는 폐쇄 루프 (Closed-loop) 구조를 가집니다.

A. 항공 안전 지식 그래프 (ASKG) 구축 및 채우기 (Phase 1)

• 데이터 소스: NTSB 사고 보고서, FAA 등록 데이터베이스, 항공사 운영 기록 등 이질적인 소스를 활용합니다.
• 엔티티 추출 및 정규화: LangChain, spaCy, SentenceTransformers 를 활용하여 개체 (Entity) 를 추출합니다. 'B737-800', '737-800'과 같은 용어 변형을 해결하기 위해 3 단계 해결 전략 (어휘 정규화, 임베딩 유사도 매칭, 항공 특화 규칙 기반 처리) 을 적용합니다.
• 온톨로지 설계: 7 가지 주요 엔티티 유형 (Agent, Condition, Facility 등) 과 5 가지 관계 유형 (OPERATED BY, OCCURRED AT 등) 으로 정의된 항공 안전 온톨로지를 기반으로 Neo4j 그래프 데이터베이스를 구축합니다.
• 자동화: LangGraph 를 활용한 'Human-in-the-Loop' 전략으로 초기 데이터를 학습하고, TF-IDF 및 로지스틱 회귀 모델을 통해 10,000 건 이상의 레코드를 자동으로 주석 처리하여 그래프를 채웁니다.

B. 자연어 - Cypher 변환 및 RAG 기반 추론 (Phase 2)

• Text2Cypher 변환: 사용자의 자연어 질문을 Neo4j 의 쿼리 언어인 Cypher 로 변환합니다. GPT-3.5 또는 Llama-3 를 사용하여 Few-shot 학습을 적용하고, 항공 특화 프롬프트 템플릿을 통해 스키마 준수 쿼리를 생성합니다.
• 컨텍스트 관리: 대화 이력을 유지하여 후속 질문의 모호성을 줄이고, 다중 턴 대화 (Multi-turn dialogue) 를 지원합니다.
• 검색 증강 생성 (GraphRAG): 생성된 Cypher 쿼리를 Neo4j 에서 실행하여 관련 하위 그래프 (Sub-graph) 를 검색합니다. LLM 은 이 구조화된 사실 (Structured Facts) 을 기반으로 답변을 생성하므로, 할루시네이션이 방지되고 답변의 출처가 명확해집니다.
• 최적화: Redis 를 활용한 시맨틱 캐싱과 쿼리 계획 분석을 통해 실시간 성능을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 종단 간 통합 프레임워크: 기존 연구가 정적 KG 를 LLM 에 결합하거나 오프라인에서 KG 를 구축하는 데 그쳤다면, 본 논문은 LLM 이 동적으로 KG 를 구축/갱신하고, 그 KG 가 다시 LLM 의 실시간 출력을 검증하는 통합된 폐쇄 루프 시스템을 최초로 제안했습니다.
2. 항공 안전 특화 온톨로지 및 자동화 파이프라인: NTSB 데이터 등 실제 항공 데이터를 기반으로 한 자동 엔티티 해결 및 그래프 구축 파이프라인을 구현하여, 수동 구축의 비용과 한계를 극복했습니다.
3. 신뢰성 있는 GraphRAG 구현: 단순 텍스트 검색이 아닌, 구조화된 지식 그래프 기반의 검색을 통해 항공 안전 분야에서 요구되는 **검증 가능성 (Verifiability) 과 추적성 (Traceability)**을 확보했습니다.
4. 실제 구현 및 평가: 1990 년부터 2025 년까지의 NTSB 사고 데이터 (68,681 건) 를 처리하여 Neo4j 클라우드 인스턴스에 20 만 개 이상의 엔티티와 13 만 개 이상의 관계를 구축하고, 웹 대시보드를 통해 시각화했습니다.

4. 결과 및 평가 (Results)

• 데이터 처리: 68,681 개의 사고 레코드를 처리하여 205,922 개의 엔티티와 137,241 개의 관계를 식별하고 Neo4j 에 매핑했습니다.
• 정확도 및 신뢰성:
  • 스키마 정확도: NTSB 의 계층적 데이터를 그래프 구조에 정확하게 매핑했습니다.
  • 쿼리 정밀도: LLM 이 생성한 Cypher 문법이 유효하고 문법적으로 정확함을 확인했습니다.
  • 컨텍스트 기반성: 최종 답변이 LLM 의 훈련 데이터에서 할루시네이션된 것이 아니라, 검색된 그래프 노드에서 엄격히 파생되었음을 검증했습니다.
• 성능: 복잡한 다중 홉 (Multi-hop) 쿼리 (예: 항공기 유지보수 패턴과 사고 심각성의 상관관계 분석) 에서 기존 SQL 조인 방식보다 효율적으로 작동하며, 구조적 정확성을 유지했습니다.
• 시스템 아키텍처: Flask 기반 웹 인터페이스와 실시간 대시보드를 통해 비기술적 사용자도 복잡한 관계 검색을 수행할 수 있게 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 항공 안전 분야에서 AI 의 책임 있는 도입을 위한 중요한 걸음입니다.

• 규제 준수 및 안전: LLM 의 '블랙박스' 문제를 해결하여 항공 당국 (FAA 등) 이 요구하는 감사 가능성과 규정 준수 요건을 충족시킵니다.
• 할루시네이션 방지: 구조화된 지식 그래프를 기반으로 하여 위험한 잘못된 정보 (예: 잘못된 절차나 존재하지 않는 규정) 를 생성하는 것을 방지합니다.
• 확장성: 다양한 이질적인 데이터 소스를 통합하여 실시간으로 지식을 업데이트하고, 이를 통해 예측적 위험 평가 및 사고 원인 분석을 지원합니다.

향후 연구에서는 LLM 기반의 NER(명명 개체 인식) 로 전환하여 관계 추출의 정밀도를 높이고, 벡터 데이터베이스와 그래프를 혼합한 하이브리드 검색 메커니즘을 도입하여 더 포괄적인 컨텍스트를 제공할 계획입니다.

요약: 본 논문은 LLM 의 유연성과 지식 그래프의 엄격함을 결합하여, 항공 안전 분야에서 할루시네이션이 없고 검증 가능한 AI 의사결정 지원 시스템을 구축하는 성공적인 사례를 제시했습니다.