🤖 AI

On the Applicability of Safety Nets: A Safety-By-Design Solution for Certifying Neural Networks

본 논문은 최적화된 신경망과 소형 룩업 테이블을 결합하여 100%의 런타임 정확성을 달성하고 메모리 점유율을 획기적으로 줄임으로써 항공 분야의 안전 필수적인 AI 기반 시스템 인증을 가능하게 하는 Safety-by-Design 솔루션인 Safety Nets에 대한 체계적인 분석 및 오픈 소스 구현을 제시한다.

원저자: Johann Maximilian Christensen, Thomas Stefani, Elena Hoemann, Frank Köster, Sven Hallerbach

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Johann Maximilian Christensen, Thomas Stefani, Elena Hoemann, Frank Köster, Sven Hallerbach

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

항공 분야는 엄격한 공학 기술과 철저한 규칙을 통해 인간의 실수를 최소화하는 영역으로서 오랫동안 안전의 황금 표준으로 여겨져 왔습니다. 그러나 하늘에 더 많은 항공기가 채워지고 가용 조종사 수가 줄어듦에 따라, 업계는 업무량을 관리하기 위해 인공지능을 활용하는 방향으로 선회하고 있습니다. 문제는 이 새로운 컴퓨터 시스템들이 기존의 기계적 시스템만큼 신뢰할 수 있어야 한다는 점인데, 소프트웨어가 고정된 지침을 따르는 대신 데이터를 통해 학습할 때 이 요구를 충족하기란 매우 어렵습니다. 공중 충돌 방지라는 구체적인 사례에서, 전통적인 방식은 거대한 룩업 테이블(lookup tables)에 의존합니다. 이는 본질적으로 모든 가능한 상황에서 컴퓨터가 무엇을 해야 하는지 정확히 알려주는 거대한 지침서와 같습니다. 이 테이블들은 너무 방대하여 현재 항공기 컴퓨터의 메모리를 압도할 정도이며, 이로 인해 설치가 불 불가능합니다. 이를 해결하기 위해 엔지니어들은 인간의 뇌가 패턴을 인식하는 방식을 모방하도록 설계된 컴퓨터 시스템인 신경망을 사용하여, 이 지침들을 더 작고 스마트한 프로그램으로 압축하려고 시도해 왔습니다. 하지만 이러한 신경망은 실수를 할 수 있기 때문에, 규제 당국은 결정적인 순간에 결코 실패하지 않을 것이라는 보장책을 요구합니다.

독일 항공우주센터(German Aerospace Center)의 연구진은 이 간극을 메우기 위한 해결책으로 '안전망(safety net)'이라 불리는 솔루션을 개발했으며, 이제 이 안전망을 어떻게 하면 최대한 작고 효율적으로 만들 수 있는지 체계적으로 테스트했습니다. 그들의 연구는 두 가지 특정 충돌 방지 시스템에 초점을 맞추고 있습니다. 하나는 조종사에게 왼쪽이나 오른쪽으로 언제 회전해야 하는지를 알려주는 시스템이고, 다른 하나는 언제 상승하거나 하강해야 하는지를 조언하는 시스템입니다. 핵심 아이디어는 단순하지만 강력합니다. 신경망이 대다수의 상황을 처리하도록 하되, 신경망이 혼란을 겪을 수 있는 드문 경우를 대비해 작고 완벽한 백업 목록을 유지하는 것입니다. 연구진은 신경망의 크기와 이 백업 목록의 크기를 하나의 균형 잡기 문제로 다루었습니다. 그들은 신경망 자체가 비행기에 탑재될 수 없을 정도로 커지지 않으면서도 백업 목록을 최대한 작게 만들 수 있는 신경망의 정확한 형태와 크기를 찾고자 했습니다.

이 최적의 지점을 찾기 위해 연구팀은 마치 정비사가 엔진을 조정하듯 신경망의 내부 구조를 미세하게 조정하며 수천 번의 실험을 수행했습니다. 그들은 신경망이 학습하는 데 도움을 주는 다양한 유형의 수학적 함수를 테스트했고, 네트워크 내의 레이어 수를 변화시켰으며, 각 레이어에 포함된 처리 장치의 개수도 변경했습니다. 또한, 특정 값을 예측하도록 요청하는 방식과 단순히 목록에서 단 하나의 최선의 옵션을 선택하도록 요청하는 방식 등 신경사를 가르치는 다양한 방법도 실험했습니다. 결과는 놀라울 정도로 구체적이었습니다. 연구팀은 가장 효율적인 설계가 반드시 가장 복잡한 설계는 아니라는 것을 발견했습니다. 대신, 3개에서 5개의 레이어를 가지고 각 레이어에 약 50개에서 100개의 처리 장치를 포함하는 네트워크가 완벽한 균형을 이루었습니다. 나아가, 그들은 ReLU라고 알려진 표준 수학 함수가 더 고급스러운 대안들보다 더 효과적이며, 네트워크에 단순히 최선의 선택을 하도록 가르치는 것이 복잡한 숫자를 계산하도록 하는 것보다 훨씬 더 잘 작동한다는 것을 발견했습니다.

이러한 최적의 설정이 적용되었을 때, 결과는 극적이었습니다. 수평 회전을 담당하는 시스템의 경우, 신경망과 백업 목록의 결합된 크기는 단 4.76 메가바이트(MB)로 줄어들었습니다. 상승 및 하강을 다루는 수직 시스템의 경우, 총 크기는 222.83 메가바이트였습니다. 이 수치들은 원래의 지침서가 필요로 했던 4 기가바이트(GB)의 메모리에서 엄청난 감소를 나타내며, 이는 회전 시나리오의 새로운 시스템보다 약 천 배 더 많은 공간을 요구했던 것입니다. 이러한 감소는 이 시스템이 현재 항공기에 사용되는 컴퓨터에 충분히 들어갈 수 있음을 의미하며, 이는 이전에는 불가능했던 일이었습니다. 연구진은 또한 이 시스템이 매우 빠르다는 것을 확인했는데, 이는 비행 안전을 위해 요구되는 1초의 업데이트 주기보다 훨씬 빠른 마이크로초 단위로 결정을 내립니다.

아마도 가장 중요한 점은, 이 연구가 가장 엄격한 안전 기준을 충족한다는 것을 증명했다는 사실입니다. 백업 목록이 신경망이 틀릴 수 있는 모든 상황에 대한 정답을 포함하고 있기 때문에, 결합된 시스템은 가능한 모든 비행 시나리오 전반에 걸쳐 100퍼센트 정확함을 보장합니다. 즉, 이 시스템은 확률이나 요행에 의존하는 것이 아니라, 수학적으로 올바른 조언을 제공할 것이 확실합니다. 연구진은 모든 코드와 데이터를 공개하여 다른 엔지니어들이 그들의 발견을 검증하고 발전시킬 수 있도록 했습니다. 신경망을 작고 완벽한 백업과 결합하여 작으면서도 무결한 시스템을 만들 수 있음을 입증함으로써, 이 연구는 항공 분야의 가장 안전이 중요한 부분에 인공지능을 사용하는 것을 인증받기 위한 명확하고 실질적인 경로를 제시합니다. 이 연구는 적절한 설계를 통해, 우리가 승객의 안전을 지키는 절대적인 신뢰성을 희생하지 않으면서도 머신 러닝의 적응성을 가질 수 있음을 보여줍니다.

기술 요약: 항공 분야의 신경망 인증을 위한 안전망(Safety Nets)의 적용 가능성

문제 정의
항공 안전 필수 시스템, 특히 공중 충돌 방지 장치(ACAS X)에 인공지능(AI)을 통합하는 데 있어 핵심적인 장벽은 기반이 되는 마르코프 결정 과정(MDP) 룩업 테이블의 메모리 요구 사항이 현재의 항공 전자 하드웨어 용량을 훨씬 초과한다는 점입니다. 예를 들어, ACAS X의 원시 동적 계획법(dynamic-programming) 출력값은 수백 기가바이트를 요구하는 반면, 다운샘플링된 로직 테이블조차 2GB를 초과합니다. 이와 대조적으로, 현대의 비행 관리 컴퓨터는 일반적으로 수백 메가바이트(예: 512MB)만을 제공합니다. 이러한 테이블을 압축하기 위해 신경망이 제안되었으나, 이를 안전 필수 맥락에 배치하기 위해서는 전체 운용 설계 영역(ODD)에 대해 100% 정확성을 보장하는 "설계에 의한 안전(Safety-by-Design)" 접근 방식이 필요하며, 이는 통계적 테스트만으로는 충족할 수 없는 요구사항입니다. "안전망(Safety Nets)"—신경망과 룩업 테이블을 결합한 하이브리드 시스템—에 관한 이전 연구들은 아키텍처 측면의 트레이드오프에 대한 포괄적인 분석이 부족했으며 재현 가능한 구현을 제공하지 못했습니다.

방법론
본 연구는 ACAS Xa 및 ACAS Xu의 개념 증명 근사치 역할을 하는 오픈 소스 수평 충돌 방지 시스템(HCAS) 및 수직 충돌 방지 시스템(VCAS)에 적용된 안전망에 대한 체계적인 분석을 제시합니다. 방법론은 EASA 가이드라인을 준수하는 확장된 W형 개발 프로세스를 따르며, 다음 단계에 집중합니다:

시스템 분해: HCAS와 VCAS는 각각 이전 권고 사항과 최근접 시간( $\tau$ )의 특정 조합을 처리하는 작은 신경망들의 앙상블(HCAS의 경우 40개 서브시스템, VCAS의 경우 9개)로 취급됩니다.
하이퍼파라미터 스윕(Hyperparameter Sweep): 최적의 신경망 아키텍처를 식별하기 위해 엄격한 연구가 수행되었습니다. 연구에서 변동된 요소는 다음과 같습니다:
- 활성화 함수: ReLU, LeakyReLU, GELU.
- 아키텍처 깊이: 2, 3, 5, 7개의 은닉층.
- 아키텍처 너비: 층당 25, 50, 100, 150, 200개의 노드.
- 출력 인코딩: 타겟 인코딩(전체 Q-값의 회귀) 대 원-핫 인코딩(최적 권고의 분류).
훈련 프로토콜: 일반화 작업과 달리, 알려진 MDP 정책의 정확한 암기를 보장하기 위해 전체 이산 입력 공간이 훈련, 검증 및 테스트 세트로 사용되었습니다. 훈련에는 평균 제곱 오차(MSE)가 타겟 인코딩에, 교차 엔트로피(Cross Entropy)가 원-핫 인코딩에 사용되었으며, 계산 낭비를 방지하기 위해 조기 종료(early stopping)를 적용했습니다.
안전망 구축: 각 구성에 대해 신경망을 그라운드 트루스(ground-truth) 룩업 테이블과 비교 평가했습니다. 신경망이 잘못된 출력을 생성한 입력 벡터는 룩업 테이블(LUT)에 저장되었습니다. 전체 시스템 크기는 신경망 파라미터와 LUT 항목의 합입니다.
검증: 결과물인 안전망은 구성상 이산화된 입력 공간 전체에 대해 100% 정확성을 보장합니다. 즉, 발생하는 모든 오류는 LUT에 의해 수정됩니다.

주요 결과
본 연구는 인증 준수를 유지하면서 전체 시스템 크기를 최소화하는 특정 설계 파라미터를 식별했습니다:

최적의 아키텍처: 3~5개의 은닉층과 층당 50~100개의 노드를 가진 네트워크가 최상의 균형을 달anim았습니다. 5개 이상의 층이나 100개 이상의 노드로 깊이와 너비를 늘리는 것은 데이터 검색률에서 한계 효용 체감 현상을 보였으며, 분산을 증가시키고 메모리 점유율을 높였습니다.
활성화 함수: 일반적인 분류 문헌의 경향과는 반대로, ReLU가 LeakyReLU와 GELU보다 우수한 성능을 보였습니다. 저자들은 이를 MDP 정책의 이산적, 유계적, 그리고 피스와이즈 컨스턴트(piecewise-constant) 특성 때문으로 보고 있으며, ReLU의 희소 활성화 패턴이 계단식 결정 경계와 더 잘 부합하기 때문이라고 설명합니다.
인코딩 전략: 원-핫 인코딩이 타겟 인코딩보다 특히 작은 아키텍처에서 LUT에 저장되는 데이터 비율 측면에서 일관되게 최소 한 자릿수(order of magnitude) 이상 우수한 성능을 보였습니다.
시스템 성능:
- HCAS: 99.65%의 신경망 커버리지를 달성했습니다. 결합된 시스템 크기는 4.76 MiB(네트워크 3.22 MiB + LUT 1.54 MiB)로, 단일 구조의 MDP 테이블과 비교하여 거의 3 자릿수(orders of magnitude) 감소했습니다.
- VCAS: 97.77%의 커버리지를 달성했습니다. 결합된 시스템 크기는 222.83 MiB(네트워크 1.44 MiB + LUT 221.40 MiB)로, 1 자릿수 이상 감소했습니다. 입력 공간과 정책 복잡성이 크기 때문에 VCAS에서는 LUT가 크기를 지배합니다.
- 실행 시간(Runtime): 추론 시간은 밀리초 미만(약 20–57 $\mu$ s)으로, ACAS X의 1초 업데이트 예산 내에 충분히 들어옵니다.

의의 및 주장
본 논문은 항공 충돌 방지를 위한 안전망의 신경 네트워크 아키텍처와 룩업 테이블 크기 간의 트레이드오프에 대한 첫 번째 체계적인 분석을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

설계 가이드라인: MDP 기반의 정책 압축을 위해서는 ReLU와 적절한 네트워크 너비(50–100 노드)가 대안들보다 우수하다는 것을 입증하여, 일반적인 머신러닝 벤치마크에서 도출된 가정들에 도전합니다.
인증 경로: 본 연구는 안전망이 구성상 EASA의 학습 보증 및 구현 목표(특히 LM-04, LM-10, IMP-11)를 충족함을 보여줍니다. 네트워크를 그라운드 트루스와 전수 검증하고 편차를 저장함으로써, 시스템은 이산화된 ODD에 대해 결정론적인 제로 에러 바운드(zero-error bound)를 달성하며, 이를 통해 통계적 일반화 논거의 필요성을 제거합니다.
재현성: 저자들은 훈련 스크립트와 매니페스트 파일을 포함하여 HCAS 및 VCAS를 위한 최초의 오픈 소스 안전망 구현을 공개함으로써, 구현 세부 사항이 공개되지 않았던 기존 연구의 공백을 메웁니다.
타당성: 결과는 안전망이 안전 필수 AI 시스템을 현재의 항공 전자 하드웨어 메모리 제약 내에 압축할 수 있음을 보여주며, 인증 가능한 AI 기반 시스템을 향한 실질적인 경로를 제공합니다.

저자들은 보고된 크기가 축소된 운영 범위(HCAS/VCAS)를 나타내는 개념 증명 구현에 기반하고 있음을 명시했습니다. 따라서 실제 생산 규모의 시스템에 대한 절대적인 크기 수치는 더 커질 수 있으나, 자릿수 단위의 감소 효과와 "설계에 의한 정답(correct-by-design)" 인증 논거는 여전히 유효합니다.

유사한 논문