KEO: Knowledge Extraction on OMIn via Knowledge Graphs and RAG for Safety-Critical Aviation Maintenance

1. 연구 배경 및 문제 제기 (Problem)

• 도메인 특성: 항공 유지보수는 안전이 최우선인 (Safety-Critical) 분야로, 사실적 정확성과 투명성이 필수적입니다.
• LLM 의 한계: 대형 언어 모델 (LLM) 은 훈련 데이터 내의 매개변수 지식에 의존하여 사실 오류 (Hallucination), 정보의 노후화, 그리고 도메인 특화 시나리오 처리의 어려움에 직면해 있습니다.
• 기존 RAG 의 한계: 기존의 검색 증강 생성 (RAG) 은 비구조화된 텍스트 청크 (Text-chunk) 기반의 임베딩 검색에 의존합니다. 이로 인해 맥락이 단편화되거나 중복되는 문제가 발생하며, 복잡한 다단계 추론 (Multi-hop reasoning) 이나 전역적 의미 파악 (Global Sensemaking) 과 같은 고차원적 작업에는 성능이 저하됩니다.
• 데이터의 특수성: 연구 대상인 OMIn(Operations and Maintenance Intelligence) 데이터셋은 FAA(미국 연방항공청) 의 항공 사고 기록으로, 전문성이 높고 민감한 정보를 포함하고 있어 외부 API 에 의존하지 않는 로컬 배포가 필수적입니다.

2. 제안 방법론: KEO (Methodology)

저자들은 KEO(Knowledge Extraction on OMIn) 라는 새로운 프레임워크를 제안합니다. 이는 구조화된 지식 그래프 (KG) 와 RAG 를 통합하여 도메인 특화 지식 추출 및 추론을 강화하는 접근법입니다.

핵심 구성 요소

1. 지식 그래프 (KG) 구축:

   • OMIn 의 원시 유지보수 기록에서 LLM 을 활용하여 개체 (Entity) 와 관계 (Relation) 를 추출합니다.
   • 추출된 지식은 가중치가 부여된 삼중항 (Triplets: $h, t, r, w$) 형태의 그래프로 구성됩니다.
   • 확장성을 위해 100 개에서 500 개의 레코드까지 점진적으로 KG 를 구축하며, 중복 노드를 최소화하기 위해 동적 프롬핑 전략을 사용합니다.

2. KG 기반 RAG 파이프라인:

   • 의미 기반 노드 식별 (Semantic-Based Node Identification): 텍스트 청크 단위가 아닌, 지식 그래프의 개체 (Entity) 수준에서 검색을 수행합니다. 사용자의 쿼리와 그래프 노드 간의 의미적 유사도를 계산하여 상위 $k$ 개의 시드 노드를 찾습니다.
   • 중요도 인식 그래프 확장 (Importance-Aware Graph Expansion): 시드 노드를 기반으로 $m$-hop 까지 그래프를 확장합니다. 이때 엣지 가중치 (빈도) 를 고려하여 중요한 연결 고리를 우선시하며, 최대 신장 트리 (Maximum Spanning Tree, MST) 알고리즘을 사용하여 가장 구조적으로 유의미한 하위 그래프를 추출합니다.
   • KG 기반 문맥 재구성 (Context Reconstruction): 추출된 MST 를 깊이 우선 탐색 (DFS) 하여 텍스트로 변환하고, GraphRAG 에서 영감을 받은 계층적 커뮤니티 요약 (Community Summarization) 을 추가하여 로컬 상세 정보와 전역 구조를 모두 포함한 문맥을 생성합니다.

3. 자동 QA 벤치마크 생성:

   • 전역 의미 파악 (Global Sensemaking): 데이터셋 전체의 패턴, 추세, 시스템적 통찰을 요구하는 질문.
   • 지식 - 행동 전이 (Knowledge-to-Action): 유지보수 절차에서 특정 문제 (MaintNet 데이터) 에 대한 해결책을 OMIn 데이터에서 추론하여 도출하는 질문.

4. 평가 체계:

   • 모델: Gemma-3, Phi-4, Mistral-Nemo 등 로컬 배포 가능한 경량 LLM 을 답변 생성기로 사용.
   • 평가자: GPT-4o, Llama-3.3 등 더 강력한 모델을 '판사 (Judge)'로 활용하여 절대 점수 및 쌍별 비교 평가를 수행.

3. 주요 기여 (Key Contributions)

1. 안전 필수 도메인을 위한 KG-RAG 통합 프레임워크: 항공 유지보수와 같은 고위험 분야에서 로컬 배포가 가능한 LLM 을 활용하여, 텍스트 청크 기반 RAG 의 단점을 보완하는 KG 기반 RAG 파이프라인을 제안했습니다.
2. 새로운 벤치마크 구축: OMIn 데이터셋을 기반으로 전역적 의미 파악과 지식 - 행동 전이 능력을 평가하는 새로운 QA 벤치마크를 개발했습니다.
3. 구조적 추론의 효과 입증: 단순한 정보 검색을 넘어, 복잡한 관계와 시스템 수준의 통찰을 도출하는 데 KG 가 필수적임을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 전역 의미 파악 (Global Sensemaking) 작업:

  • KEO 는 베이스라인 (Vanilla LLM, Text-chunk RAG) 보다 현저히 우수한 성능을 보였습니다.
  • 특히 강력한 LLM (Gemma-3 등) 과 결합 시, 데이터셋 전체의 패턴과 시스템적 통찰을 발견하는 능력이 크게 향상되었습니다.
  • KG 크기가 200~300 개 레코드일 때 최적의 성능을 보였습니다.

• 지식 - 행동 전이 (Knowledge-to-Action) 작업:

  • 이 작업에서는 Text-chunk RAG 가 KEO 보다 더 효과적이거나 동등한 성능을 보였습니다.
  • 구체적인 절차적 답변이 필요한 경우, 추상화된 그래프 통찰보다는 직접적인 유사 문서 검색이 더 정확한 결과를 제공했습니다.
  • 이는 작업의 성격 (전역 추론 vs 국소적 절차) 에 따라 최적의 검색 패러다임이 다르다는 것을 시사합니다.

• 모델 크기 영향:

  • KEO 의 이점은 추론 능력이 뛰어난 모델에서 더 두드러졌으며, 작은 모델 (Mistral-Nemo 등) 에서는 그래프 기반 문맥을 활용하는 데 한계가 있었습니다.

5. 의의 및 결론 (Significance)

• 안전 필수 AI 의 신뢰성 확보: 외부 API 의존을 배제하고 로컬에서 실행 가능한 KG-RAG 아키텍처는 데이터 유출 위험을 줄이고, 검증 가능한 지식 기반을 제공하여 항공 유지보수와 같은 고위험 분야에서 LLM 의 신뢰성을 높입니다.
• 작업 유형에 따른 하이브리드 접근: 복잡한 시스템적 추론에는 구조화된 지식 (KG) 이 필수적이지만, 세부적인 절차적 작업에는 전통적인 텍스트 검색이 여전히 유효함을 보여주어, 도메인별 요구사항에 맞는 유연한 RAG 전략의 필요성을 강조합니다.
• 확장 가능성: 이 프레임워크는 의료, 전력 시스템, 국방 등 다른 안전 필수 분야로 확장 가능하며, 향후 멀티모달 데이터 (설계 도면, 센서 로그 등) 와의 통합을 통해 더욱 발전할 수 있음을 시사합니다.

요약하자면, KEO 는 구조화된 지식 그래프를 RAG 에 통합함으로써 대형 언어 모델이 안전 필수 도메인에서 단편적인 정보 검색을 넘어선 전역적 추론과 신뢰할 수 있는 의사결정 지원을 가능하게 하는 획기적인 접근법을 제시했습니다.