World2Rules: A Neuro-Symbolic Framework for Learning World-Governing Safety Rules for Aviation

1. 문제 정의 (Problem)

항공과 같은 안전 중대 (Safety-critical) 시스템은 물리적 과정뿐만 아니라 에이전트와 환경 간의 상호작용을 제한하는 명시적인 규칙에 의해 지배됩니다. 그러나 실제 세계에서는 이러한 규칙이 데이터, 절차, 규정, 전문가 지식에 암묵적으로 인코딩되어 있어 체계적인 추론이 어렵습니다.

• 데이터의 비대칭성: 방대한 양의 정상적인 운영 데이터 (Nominal data) 는 쉽게 구할 수 있지만, 사고나 충돌과 같은 안전 위반 사례 (Violation data) 는 드물고 노이즈가 많으며 불완전합니다.
• 기존 방법의 한계:
  • 순수 신경망 (Neural) 모델: 텍스트 및 시각 데이터에서 패턴을 추출하는 데 뛰어나지만, 논리적 일관성, 견고성, 안전 보장이 부족하며 형식적 검증을 지원하지 못합니다.
  • 상징적 방법 (Symbolic methods): 검증 가능성과 해석 가능성을 제공하지만, 불완전하거나 노이즈가 있는 관측 데이터에 직접 적용하면 취약합니다.
• 목표: 다중 모달 (텍스트, 이미지, 구조화 데이터) 데이터로부터 안전 위반을 정의하는 해석 가능한 1 차 논리 (First-Order Logic) 규칙을 학습하여, 노이즈가 있는 데이터에서도 견고하고 검증 가능한 안전 규칙을 도출하는 것입니다.

2. 방법론 (Methodology)

World2Rules는 사전 훈련된 신경망 모델을 '후보 제안 (Proposal)' 메커니즘으로 활용하고, 귀납적 논리 프로그래밍 (ILP) 을 '검증 (Verification)' 레이어로 활용하는 신경 - 심볼릭 (Neuro-symbolic) 프레임워크입니다. 핵심은 **계층적 반영적 추론 (Hierarchical Reflective Reasoning)**을 통해 일관성을 확보하는 것입니다.

2.1 데이터 추출 파이프라인

• 위반 데이터 (Positive Examples): ASIAS 시스템 등의 항공 사고/사건 보고서 (텍스트) 를 LLM(대형 언어 모델) 을 통해 처리하여 개체 (엔티티) 와 관계 (Relation) 를 추출합니다.
• 정상 데이터 (Negative Examples): Amelia-48 등의 공항 표면 이미지와 궤적 데이터를 VLM(시각 - 언어 모델) 을 통해 처리하여 정상적인 상황을 표현하는 부정 예시를 생성합니다.
• 검증: 추출된 모든 Prolog 번들 (facts) 은 구문 및 의미적 일관성을 검증받으며, 실패 시 재시도하거나 폐기됩니다.

2.2 ILP 학습 및 점진적 집계 (Incremental Aggregation)

전체 데이터셋을 한 번에 학습하는 대신, 4 단계의 피드백 메커니즘을 통해 신뢰할 수 있는 부분집합 (Subset) 만을 점진적으로 집계합니다.

1. Level 1 (추출 일관성): LLM/VLM 추출 결과의 구문 및 의미적 유효성 검증.
2. Level 2 (부분집합 수준 ILP 피드백): 각 위반 보고서와 정상 관측 데이터를 짝지은 독립적인 ILP 서브문제를 생성. Popper(ILP 엔진) 를 실행하여 해당 부분집합 내에서만 일관된 규칙을 찾지 못하면 해당 데이터를 폐기합니다.
3. Level 3 (전역 일관성 반복 집계):
   • Level 2 를 통과한 신뢰할 수 있는 부분집합들을 순차적으로 집계합니다.
   • 새로운 부분집합을 추가할 때, 모든 기존 및 새로운 데이터 (양/음성 예시) 에 대해 100% 정확도를 유지하는 새로운 규칙 집합을 Popper 가 찾을 수 있어야만 해당 부분집합을 수용합니다.
   • 일관성이 깨지면 부분집합 내의 예시를 제거하거나 전체를 폐기합니다.
   • 순서 의존성을 해결하기 위해 무작위 셔플 기반의 재시도 메커니즘을 도입합니다.
4. Level 4 (규칙 지원도 가지치기): 최종 집계된 규칙 집합에서 데이터 소스의 노이즈로 인한 과도한 특수화 (Over-specialization) 규칙을 제거합니다. 각 규칙의 긍정적 지지도 (Positive Support) 가 임계값 (τ=0.20) 이상인 규칙만 최종 모델로 유지합니다.

2.3 정확성 보장 (Correctness)

• 부정 안전성 (Negative-safety): 최종 규칙은 배경 지식과 결합했을 때 어떤 부정 예시 (정상 상황) 도 추론하지 않습니다 (거짓 양성 방지).
• 학습 정확성: 가지치기 전까지 학습된 가설은 모든 긍정 예시 (위반 상황) 를 포괄하고 모든 부정 예시를 거부합니다.

3. 주요 기여 (Key Contributions)

1. World2Rules 프레임워크 도입: 다중 모달 데이터로부터 선언적 안전 규칙을 학습하는 신경 - 심볼릭 프레임워크를 제안했습니다.
2. 계층적 일관성 검증 절차: 사전 훈련된 추출기와 솔버 기반 검증을 통합하여, 추출 오류와 노이즈가 심볼릭 규칙 학습에 전파되는 것을 방지하는 4 단계 피드백 메커니즘을 정립했습니다.
3. 정상 데이터와 위반 데이터의 통합 학습: 정상 운영 데이터가 허용 가능한 상태 공간을 제한하고, 사고 보고서가 금지된 상태를 정의하는 상보적 역할을 활용하여 공항 표면 운영 (Runway Incursion) 에 대한 강건한 안전 규칙 학습을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 38 개의 독립적인 활주로 침입 (Runway Incursion) 시나리오 (28 개 실제 사고 + 10 개 표준 시나리오) 로 구성된 홀드아웃 테스트 세트를 사용했습니다.
• 성능 비교:
  • World2Rules: F1 점수 94.0% 달성 (정밀도 100%, 재현율 88.6%).
  • LLM Only (GPT-4o): F1 점수 70.4% (World2Rules 대비 23.6%p 낮음).
  • Naïve ILP (단일 패스): F1 점수 50.8% (World2Rules 대비 43.2%p 낮음).
• 데이터 확장성: 학습 데이터 (위반 보고서) 가 10 개에서 300 개로 증가함에 따라 F1 점수가 52.5% 에서 94.0% 로 지속적으로 향상되었으며, 이는 주로 재현율 (Recall) 증가에 기인합니다.
• 규칙의 해석 가능성: 학습된 15 개의 규칙은 활주로 침입의 전형적인 패턴 (예: 활주로 점유, 착륙 중 횡단 등) 을 명확하게 포착하며 인간이 이해할 수 있는 형식입니다.

5. 의의 및 결론 (Significance)

• 안전 중대 시스템 적용: 항공 분야에서 단순한 예측을 넘어, 형식적 검증이 가능하고 해석 가능한 안전 규칙을 자동으로 생성할 수 있음을 입증했습니다.
• 노이즈 내성: 신경망 모델의 추출 오류와 불완전한 데이터를 ILP 솔버의 강력한 검증 메커니즘으로 필터링하여, 신뢰할 수 있는 규칙 집합을 도출하는 데 성공했습니다.
• 범용성: 항공 분야에 특화되었으나, 구조화된 안전 규칙이 존재하는 다른 도메인 (자율 주행, 로봇 공학 등) 에도 적용 가능한 도메인 중립적 (Domain-agnostic) 접근법입니다.

이 연구는 신경망의 유연성과 심볼릭 논리의 엄밀함을 결합하여, 실제 세계의 복잡하고 노이즈가 많은 데이터에서도 안전을 보장할 수 있는 신뢰할 수 있는 AI 시스템을 구축하는 새로운 패러다임을 제시합니다.