AeroGround: An Open, Citation-Grounded Aviation Dataset forTraining and Evaluating Trustworthy Domain Language Models

기술 요약: AeroGround

문제 정의
항공우주 분야는 안전이 매우 중요하고 규제가 엄격한 영역으로, 대규모 언어 모델(LLM)이 그럴듯하지만 근거가 없는 답변을 내놓는 것은 심각한 위험을 초래할 수 있다. 현재 이 분야에 LLM을 적용하는 데 있어 발생하는 진전은 다음 세 가지 기준을 동시에 충족하는 공개 데이터셋의 부재로 인해 제약을 받고 있다: (i) 권위 있는 출처에 기반할 것, (ii) 소스 자료가 라이선스 제한으로부터 자유로울 것, (iii) 전문가 교육에 적합한 형식으로 제공될 것. 기존 솔루션들은 엄격한 출처 추적 기능이 부족하거나 저작권이 있는 자료에 의존하는 경우가 많아, 신뢰할 수 있고 인용 근거가 명확한 항공 보조 도구의 개발을 저해한다.

방법론
본 논문은 권위 있는 텍스트로부터 답변을 생성하고 증거가 불충분할 경우 답변을 유보하도록 모델을 훈련 및 평가하기 위해 설계된 데이터셋 구축 파이프라인과 그 결과물인 AeroGround를 소개한다.

• 데이터 소스: 코퍼스는 전적으로 미국의 공공 도메인 소스인 FAA 조종사 핸드북 시리즈(FAA-H-8083)와 미국 연방 규정 제14편(14 CFR)으로 구성되었다. ICAO 자료는 저작권 제한으로 인해 제외되었다.
• 코퍼스 처리: 소스 텍스트는 토큰 단위로 인식되어 14,399개의 세그먼트로 분할되었으며, 각 세그먼트는 출처 메타데이터(출처, 인용, 라이선스)와 함께 추적되었다. BAAI/bge-small-en-v1.5 임베딩과 FAISS를 사용하여 검색 인덱스를 구축하였다.
• 생성 파이프라인:
  • 선호 쌍(Preference Pairs): 샘플링된 구절에 대해 시험 스타일의 질문을 합성하였다. "선택된(chosen)" 답변은 검색된 문맥(내부 인용 포함)을 조건으로 하여 Meta Llama 3-8B-Instruct를 통해 생성되었고, "거부된(rejected)" 답변은 폐쇄형(closed-book) 방식으로 생성되었다.
  • 검증: 선택된 답변이 검색된 문맥에 의해 뒷받침되지 않는 쌍을 제거하기 위해 어휘적 주장-지원 필터(lexical claim-support filter)를 사용하였다.
  • 유보 엣지 케이스(Abstention Edge Cases): 데이터의 약 10%는 의도적으로 관련 없는 문맥과 결합된 실제 질문으로 구성되었으며, 이를 통해 모델이 표준화된 안전 거절 문구("안전 비행 프로토콜 조언을 위한 데이터 부족")를 출력하도록 훈련시킨다.
• 근거 검증(Grounding Verification): 본 데이터셋은 인간의 라벨 없이 근거성을 검증하기 위해 두 가지 모델 프리(model-free) 신호를 사용한다:
  1. 문장 지원(Sentence Support): 답변 문장의 내용어가 소스에 나타나는 비율.
  2. 엔티티 지원(Entity Support): 특정 사실(숫자, FAA 식별자, CFR 섹션)이 소스에 나타나는 비율.
  • 샘플에 대한 계층적 인간 검토 결과, 자동화된 평가가 검증된 골드 필터를 통해 근거 없는 주장을 정확히 식flag했음을 확인하여 자동화된 평가를 뒷받침하였다.
• 모델 훈련 및 평가:
  • 훈련: Llama 3-8B-Instruct 모델을 선호 쌍에 대해 QLoRA 및 직접 선호 최적화(DPO)를 사용하여 미세 조정하였다. 프롬프트 구조에는 시스템 지침, 검색된 문맥, 질문이 포함되었다.
  • 불확실성 정량화(UQ): 3계층 스택을 구현하였다:
    1. 알레아토리(Aleatoric): 질문-문맥 관련성 및 검색 분산을 점수화함.
    2. 에피스테믹(Epistemic): 토큰 예측 엔트로피와 의미론적 엔트로피를 측정하며, 에피스테믹 중단 규칙(epistemic-halting rule)을 적용함.
    3. 퓨전(Fusion): 로지스틱 보정기(logistic calibrator)가 신호를 결합하여 답변 여부 또는 유보 여부를 결정함.

주요 기여

1. AeroGround 데이터셋: 네 가지 형식(선호(DPO), 지도 학습(SFT), 유보, 검색)으로 공개되는, 출처 추적이 가능한 공공 도메인 기반의 항공 데이터셋.
2. 재현 가능한 파이프라인: 답변을 실제 인용된 소스 텍스트와 쌍을 이루게 하고 근거성을 자동으로 정량화하는 생성 및 검증 파이프라인.
3. 근거성 감사(Grounding Audit): 인용 유효성, 문장/엔티티 지원 지표, 인간 검토 샘플을 통해 신뢰성을 확립하는 종합적인 감사.
4. 유용성 입증: RALA-DPO 훈련과 보정된 유보를 위한 3계층 UQ 스택을 결합한 완전하게 평가된 파이프라인.

결과

• 데이터셋 구성: 최종 데이터셋은 14,399개의 코퍼스 청크에서 유도된 9,988개의 선호 쌍(8,815개는 근거 있음, 1,173개는 보정된 유보)을 포함한다.
• 근거 품질: 근거가 있는 답변은 96.9%의 문장 지원과 98.2%의 엔티티 지원을 달성하여, 폐쇄형(closed-book) 베이스라인(각각 60.5% 및 82.1%)을 크게 상회하였다. 근거 있는 답변의 **90.5%**가 엄격한 검증된 골드 필터를 통과하였다.
• 모델 성능:
  • 모델이 답변하기로 선택한 근거 있는 항목들에 대해, 생성 품질은 ROUGE-L 0.593 및 BLEU-4 46.35를 기록하였다.
  • 보정된 유보 게이트는 균형 정확도(balanced accuracy) 0.875를 달성하였다.
  • 보정 지표는 강력하였다: ECE = 0.033, Brier = 0.061, AUROC = 0.973.
  • 게이트는 의도적으로 답변 불가능한 엣지 항목에 대해 **0.940의 재현율(recall)**을 보였으나, 근거 있는 항목에 대해서는 **19%의 과잉 유보율(over-abstention rate)**을 보였다. 이는 안전을 우선시하는 보수적인 트레이드오프이다.
• 보정에 관한 관찰: 유보 게이트는 DPO 정책이 과최적화(제로에 가까운 손실)되었을 때도 잘 보정된 상태를 유지하였으며, 이는 모델의 내부 확신이 과장될 때 검색 측 신호(질문-문맥 관련성)가 보정된 유보를 제공할 수 있음을 시사한다.

의의 및 주장
본 논문은 AeroGround가 안전이 중요한 도메인을 위한 공개적이고 신뢰할 수 있는 훈련 데이터의 결정적 공백을 해결한다고 주장한다. 모든 근거 있는 답변이 인용된 소스와 대조 검증되도록 함으로써, 권위 있는 텍스트를 인용하고 결정적으로 증거가 불충분할 때 답변을 유보할 수 있는 보조 도구 훈련을 가능하게 한다. 저자들은 AeroGround를 현대 NLP의 광범적 적용을 촉진하기 위한 연구 자원으로 위치시키며, 이를 운항 결정(operational flight decisions)에 사용해서는 안 된다고 명시적으로 밝히고 있다. 본 연구는 검색 증강 생성(RAG)과 엄격한 불확실성 정량화를 결합함으로써, 고도로 규제된 환경에서도 정보가 풍부하면서도 안전을 인지하는 모델을 생성할 수 있음을 입증한다.