A Retrieval-Augmented Language Assistant for Unmanned Aircraft Safety Assessment and Regulatory Compliance

이 논문은 무인 항공기의 안전 평가 및 규제 준수를 지원하기 위해 권위 있는 규제 문서에 기반한 검색 증강 언어 어시스턴트를 설계하고 검증하여, 생성 모델의 오류를 방지하고 추적 가능한 증명을 제공함으로써 인간 전문가의 판단을 보조하는 체계를 제안합니다.

핵심

이 논문은 **드론 (무인 항공기) 의 안전을 평가하고 법규를 준수하는 일을 돕는 '똑똑한 비서'**를 개발한 연구입니다.

이 비서는 일반적인 AI(챗봇) 와는 다릅니다. 일반적인 AI 는 때때로 지식을 과시하며 거짓말을 하거나 (할루시네이션), 근거 없는 주장을 할 수 있지만, 이 비서는 **"무조건 책에 있는 내용만 말하고, 그 출처를 꼭 밝힌다"**는 철학을 가지고 있습니다.

이 복잡한 내용을 일상적인 언어와 비유로 설명해 드리겠습니다.

---

1. 왜 이런 비서가 필요할까요? (배경)

드론이 하늘을 나는 날이 많아지면서, 안전을 책임져야 하는 관청이나 기업들은 엄청난 양의 두꺼운 규정서 (책) 를 읽어야 합니다.

• 문제점: 책이 너무 두껍고 복잡해서, "이 드론은 어떤 규정을 따라야 하지?"라고 물으면 전문가도 답을 찾기 위해 몇 시간씩 헤매야 합니다.
• 기존 AI 의 위험: 만약 우리가 일반적인 AI 에게 물어보면, AI 는 "아마도 이런 규정이 있을 거예요"라고 창의적으로 (하지만 틀리게) 대답할 수 있습니다. 하지만 안전 문제에서는 "틀린 답"이 치명적입니다.

2. 이 비서는 어떻게 작동할까요? (핵심 원리)

이 시스템은 RAG(검색 증강 생성) 기술을 사용합니다. 이를 '도서관 사서 + 철학자' 비유로 설명해 보겠습니다.

• 일반 AI (창의적인 작가): 머릿속에 있는 모든 지식을 바탕으로 즉흥적으로 이야기를 지어냅니다. 때로는 멋진 거짓말을 할 수도 있습니다.
• 이 비서 (엄격한 도서관 사서):
  1. 질문을 받으면: 먼저 오직 '공식 규정서'라는 도서관으로 달려갑니다.
  2. 검색: 질문과 관련된 책의 페이지를 찾아냅니다.
  3. 답변 작성: 찾아낸 책의 내용만 복사해서 답을 작성합니다.
  4. 출처 명시: "이 말은 34 페이지 2 단락에 나온 내용입니다"라고 꼭 페이지 번호를 적어줍니다.
  5. 모르면 모른다고 합니다: 책에 내용이 없으면, "책에 그런 내용이 없으니 답할 수 없습니다"라고 정직하게 말합니다.

3. 이 비서의 특별한 특징들

① "출처가 없는 말은 입에 담지 않는다" (Traceability)

이 비서는 답변을 할 때 마치 법정 증인처럼 행동합니다.

• 비유: 만약 당신이 "이 드론은 120m 까지 날아갈 수 있나요?"라고 물으면, 비서는 "네, 가능합니다"라고만 말하지 않습니다. 대신 **"네, 가능합니다. (EASA 규정서 12 페이지, 3 조에 명시되어 있습니다)"**라고 말합니다.
• 효과: 나중에 누군가 "왜 그렇게 판단했어?"라고 물어봐도, 비서는 그 책의 페이지를 바로 보여줄 수 있어 책임 소재가 명확해집니다.

② "책에 없는 건 상상하지 않는다" (Grounding)

• 비유: 만약 책에 "비행 금지 구역"에 대한 내용이 없는데, 사용자가 "비행 금지 구역은 어때요?"라고 묻는다면, 이 비서는 "모르겠습니다. 책에 그런 내용이 없습니다"라고 말합니다.
• 일반 AI: "아마도 비가 오면 금지 구역일 거예요"라고 추측할 수 있습니다. 하지만 이 비서는 추측을 절대 하지 않습니다.

③ "두 가지 모드로 작동" (Use Cases)

이 비서는 두 가지 방식으로 일할 수 있습니다.

1. 대화형 모드 (Regulatory Assistant): "SORA(특수 운영 위험 평가) 가 뭐예요?"라고 대화하듯 물어보면, 책 내용을 바탕으로 친절하게 설명해 줍니다.
2. 체크리스트 모드 (Safety Assessment): "드론 무게는 2kg, 날리는 높이는 50m 입니다. 이 드론은 어떤 등급인가요?"라고 구체적인 데이터를 주면, 책의 표를 찾아 "이건 '특수 운영' 등급입니다"라고 **정해진 형식 (JSON)**으로 딱딱하게 답합니다.

4. 연구 결과는 어땠나요?

연구진은 이 비서를 시험해 보았습니다.

• 성공: 책에 명확한 내용이 있을 때는 정확도 90% 이상으로 잘 찾아냈고, 출처도 정확히 알려주었습니다.
• 한계: 질문을 너무 어렵게 바꾸거나 (예: "비행 금지 구역" 대신 "사람이 많은 곳에서의 비행 제한"이라고 묻는 등), 책에 내용이 애매할 때는 가끔 답을 못 찾거나, 찾은 내용을 잘못 해석하기도 했습니다.
• 교훈: 그래서 이 비서는 **최종 결정을 내리는 '심판'이 아니라, 심판이 결정을 내릴 때 도움을 주는 '보조 도구'**로만 사용해야 한다고 결론 내렸습니다.

5. 결론: 왜 이 연구가 중요한가요?

이 논문은 **"AI 가 안전과 법규 같은 무거운 일을 할 때는, '창의성'보다 '정직함'과 '근거'가 더 중요하다"**는 것을 보여줍니다.

마치 비행기 조종사가 있습니다.

• 일반 AI: "아마도 이 구름을 뚫고 지나가면 되겠지?"라고 말하며 위험하게 날아갈 수 있습니다.
• 이 비서: "기상 관측 자료 (책) 에 따르면 이 구름은 통과할 수 없습니다. 우회해야 합니다. (자료 출처: 5 페이지)"라고 말합니다.

이 비서는 드론이 하늘을 더 안전하게, 그리고 더 많은 사람이 이용할 수 있도록 규정을 쉽게 찾아주고, 실수를 막아주는 '디지털 안전망' 역할을 합니다. 하지만 최종적인 안전 판단은 여전히 **사람 (전문가)**이 해야 한다는 점을 잊지 않습니다.

기술 요약

1. 문제 정의 (Problem Statement)

무인 항공기 (드론) 운영의 규모와 다양성이 급격히 증가함에 따라 항공 당국과 이해관계자들의 업무 부하가 가중되고 있습니다. 특히 SORA(특수 운영 위험 평가) 및 **PDRA(사전 정의된 위험 평가)**와 같은 복잡한 규제 프레임워크를 일관되고 효율적으로 적용하는 과정에서 다음과 같은 어려움이 존재합니다.

• 문서 탐색 및 검증의 어려움: 평가자는 관련 규정을 찾아내고, 상호 연결된 문서 간의 요구사항을 교차 검증하며, 증거를 수집하는 데 막대한 노력을 기울여야 합니다.
• 기존 LLM 의 한계: 대규모 언어 모델 (LLM) 은 유창한 텍스트 생성 능력이 있지만, 훈련 시점 이후의 지식 갱신이 어렵고 (사실성 노후화), 근거 없는 환각 (Hallucination) 을 생성할 수 있으며, 특정 주장에 대한 규제 문서의 출처 (Provenance) 를 명시하지 못합니다.
• 안전 및 감사 요구사항: 항공 안전 및 인증 분야에서는 책임 소재가 명확해야 하므로, 검증 가능한 증거 추적이 필수적입니다. 단순한 생성형 모델은 이러한 감사 (Audit) 환경에 적합하지 않습니다.

2. 방법론 (Methodology)

이 연구는 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 아키텍처를 기반으로 하여, 생성 모델이 외부의 권위 있는 규제 문서 집합에 기반하여 답변하도록 설계된 어시스턴트를 제안합니다. 시스템은 다음과 같은 핵심 단계로 구성됩니다.

2.1 데이터 소스 및 문서 공학 (Data Sources & Engineering)

• 소스: 유럽 항공 안전국 (EASA) 의 CS-UAS(무인 항공기 시스템 인증 사양) 문서를 주요 소스로 사용하며, SORA 와 PDRA 관련 규정에 집중합니다.
• 구조적 파싱: 단순 텍스트 추출이 아닌, 문서의 계층 구조 (제목, 단락, 표, 각주 등) 를 유지하며 청크 (Chunk) 를 생성합니다.
• 표 처리: 표 (Table) 는 이미지로 렌더링 후 LLM 을 통해 텍스트화 (제목, 설명, 요약, 키워드 생성) 하여 청크화하고, 주변 문맥과 명시적으로 연결합니다. 그림은 텍스트 기반 증거 저장소의 한계로 인해 제외됩니다.

2.2 검색 및 랭킹 파이프라인 (Retrieval & Ranking)

• 하이브리드 검색:
  • 밀집 검색 (Dense): all-MiniLM-L6-v2 임베딩을 사용하여 의미적 유사성을 파악합니다.
  • 희소 검색 (Sparse): BM25 알고리즘을 사용하여 키워드 기반의 정확한 매칭을 수행합니다.
  • 융합 (Fusion): Reciprocal Rank Fusion (RRF) 을 통해 두 검색 결과의 순위를 결합합니다.
• 다양성 제어: Maximal Marginal Relevance (MMR) 를 적용하여 중복된 증거를 제거하고 다양한 규제 조항을 포함되도록 합니다.
• 재랭킹 (Reranking): ColBERT 기반의 Late-interaction reranker 를 사용하여 후보 청크의 정확도를 높입니다.
• 필터링: 'Elbow method'를 적용하여 점수 하락이 급격해지는 지점까지의 상위 증거만 선택하여 문맥의 희석을 방지합니다.

2.3 제어된 생성 (Controlled Generation)

• 근거 기반 답변: LLM 은 검색된 증거 (Context) 외의 외부 지식을 사용하지 않도록 제한됩니다.
• 증거 불충분 시 대응: 필요한 정보가 부족할 경우 추측하지 않고, 증거의 공백 (Evidence Gap) 을 명시적으로 보고하도록 프롬프트를 설계했습니다.
• 출력 형식: 대화형 질문 답변과 구조화된 안전 평가 지표 (JSON 형식) 출력 두 가지 모드를 지원합니다.
• 감사 가능성: 모든 답변은 인용된 청크 ID, 페이지 번호, 소스 문서를 포함하며, 내부 추론 과정 (Reasoning Trace) 은 별도로 저장되어 검토가 가능합니다.

3. 주요 기여 (Key Contributions)

1. 감사 가능한 규제 어시스턴트 설계: 생성형 AI 를 규제 준수 업무에 적용할 때 필수적인 '근거 추적 (Traceability)'과 '책임 소재 명확화'를 시스템 수준에서 구현했습니다.
2. 하이브리드 검색 및 구조적 청크링: 단순 벡터 검색의 한계를 보완하기 위해 하이브리드 검색 (Dense + Sparse) 과 구조적 청크 (표, 표제어 등) 를 활용한 정밀한 검색 전략을 제시했습니다.
3. 안전 중심의 제어 메커니즘: 환각을 방지하고 불확실성을 명시적으로 처리하기 위한 엄격한 프롬프트 제약과 '거부 (Refusal)' 행동을 포함한 안전 장치를 도입했습니다.
4. 실증적 평가 프레임워크: 규제 질문 답변 (Use Case 1) 과 초기 안전 평가 지표 생성 (Use Case 2) 두 가지 시나리오를 통해 시스템의 정확성, 일관성, 견고성을 평가했습니다.

4. 결과 (Results)

두 가지 사용 사례를 통해 시스템을 평가한 결과는 다음과 같습니다.

4.1 규제 어시스턴트 (Regulatory Assistant)

• 검색 정확도: 직접적인 용어 매칭 시 Hit@1 이 100% 였으나, 동의어 재구성 시에는 성능이 다소 감소했습니다 (Hit@1 75%).
• 근거 기반성 (Grounding): 검색이 정확하더라도 생성된 답변이 100% 근거에 기반하지는 않았습니다 (직접 매칭 시 50% 만 'Grounded'로 분류). 이는 검색된 증거를 생성 단계에서 충분히 활용하지 못했음을 시사합니다.
• 실패 패턴: 검색이 약하거나 조각난 경우, 조건이나 예외를 생략한 불완전한 답변이 생성되는 경향이 있었습니다.

4.2 안전 평가 작업 (Safety Assessment Task)

• 일관성: 10 회 반복 실행 시, '예상 평가 깊이 (Expected assessment depth)'는 100% 일관성을 보였으며, 전체 지표의 값 일관성은 91.7% 였습니다.
• 정확도: 전체 정확도는 81.8% 였습니다. '초기 지상/공중 위험 방향'은 80.3% 의 높은 정확도를 보였으나, '규제 경로 (Regulatory pathway)'는 해석의 경계에 민감하여 66.6% 로 상대적으로 낮았습니다.
• 해석의 일관성: 정답 (Category) 은 일치했으나, 그 이유 (Explanation) 를 설명하는 텍스트의 유사도는 낮았습니다 (평균 57.6%).

5. 의의 및 결론 (Significance & Conclusion)

• 의사결정 지원 도구로서의 위치: 이 시스템은 규제 결정 자체를 대체하는 것이 아니라, 전문가의 검토를 돕는 **의사결정 지원 도구 (Decision Support Tool)**로 설계되었습니다. 최종 책임은 인간 평가자에게 있습니다.
• 안전 장벽으로서의 검색: 검색 품질이 생성의 정확성을 결정하는 핵심 요소임을 확인했습니다. 따라서 검색의 재현성 (Recall) 과 다양성 (Diversity) 확보가 가장 중요한 안전 장벽입니다.
• 실무적 시사점:
  • 증거가 불충분할 때는 추측 대신 명시적인 거부가 필요합니다.
  • 구조화된 입력과 JSON 출력은 반복성과 통합성을 높입니다.
  • 향후 그래프 기반 RAG (GraphRAG) 도입을 통해 복잡한 다단계 추론과 문서 간 관계성을 강화할 수 있을 것으로 제안됩니다.

이 연구는 항공 안전과 같은 고위험 분야에서 생성형 AI 를 도입할 때, **근거 기반성 (Grounding), 감사 가능성 (Auditability), 그리고 인간의 통제 (Human-in-the-loop)**를 어떻게 시스템 아키텍처에 통합할 수 있는지에 대한 실용적인 가이드라인을 제공합니다.