💻 computer science

Towards Safety-Compliant Transformer Architectures for Automotive Systems

본 논문은 다양한 중복 인코더를 활용하여 결함 시에도 운행 가능한 강건성을 확보하고 딥러닝과 기능 안전 표준 사이의 간극을 메움으로써, 트랜스포머 기반 멀티모달 파운데이션 모델을 자동차 시스템에 통합하기 위한 안전 준수 개념적 프레임워크를 제안한다.

원저자: Sven Kirchner, Nils Purschke, Chengdong Wu, Alois Knoll

게시일 2026-01-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sven Kirchner, Nils Purschke, Chengdong Wu, Alois Knoll

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 자율주행 자동차를 만들고 있다고 상상해 보세요. 수년 동안 엔지니어들은 자동차를 안전하게 만들기 위해 엄격한 규칙집(ISO 26262라고 불리는)을 따라왔습니다. 이 규칙집은 다음과 같이 말합니다: "만약 시스템을 매우 안전하게 만들고 싶다면, 단 하나의 것에만 의존하지 마십시오. 백업을 사용하십시오. 만약 한 부분이 고장 나더라도, 다른 독립적인 부분이 제 역할을 수행하여 자동차가 충돌하지 않도록 해야 합니다."

전통적으로 이는 자동차에 완전히 분리된 두 개 또는 세 개의 컴퓨터와 센서를 구축하는 것을 의미했습니다. 예를 들어 메인 카메라가 고장 나면 백업 카메라가 작동하는 방식입니다.

문제점:
이제, 우리는 훨씬 더 똑똑한 새로운 유형의 AI인 **트랜스포머(Transformer)**를 갖게 되었습니다. 이것은 마치 인간보다 세상을 더 잘 읽고, 보고, 이해할 수 있는 '슈퍼 브레인'과 같습니다. 하지만 이 "슈퍼 브레인"은 보통 하나의 거대하고 복잡한 그물망으로 구축됩니다. 만약 이 그물망의 한 부분이 혼란에 빠지거나 실패하면, 전체 시스템이 무너질 수 있습니다. 이는 별도의 독립적인 백업을 가져야 한다는 기존의 안전 규칙을 충족하지 못합니다.

해결책:
이 논문의 저자들은 이러한 자동차용 AI 브레인을 구축하는 새로운 방법을 제안합니다. 하나의 거대하고 뒤엉킨 그물망 대신, 그들은 서로 협력하되 마지막 순간까지는 독립성을 유지하는 **"전문가 팀(Team of Specialists)"**을 구축할 것을 제안합니다.

이들의 아이디어가 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "전문가 셰프" (독립된 인코더)

각기 다른 전문 분야를 가진 세 명의 셰프가 있는 주방을 상상해 보세요:

셰프 1은 오직 카메라(인간의 눈과 같은 역할)만을 봅니다.
셰프 2는 오직 라이다(LiDAR)(거리를 측정하는 레이저 스캐너)만을 봅니다.
셰프 3은 오직 뎁스 맵(Depth Maps)(사물이 얼마나 멀리 있는지 나타내는 3D 지도)만을 봅니다.

이 새로운 설계에서 각 셰프는 자신만의 별도 주방에서 요리합니다. 그들은 아직 재료를 섞지 않습니다. 이것이 매우 중요합니다. 만약 카메라가 더러워진다면(예: 안개가 낀 앞 유리), 레이저 스캐너 셰프는 여전히 깨끗한 주방에서 완벽하게 작업하고 있기 때문입니다. 그들은 독립적입니다.

2. "공용 테이블" (잠재 공간/Latent Space)

각 셰프가 요리(데이터 처리)를 마친 후, 그들은 요리 접시를 들고 방 중앙에 있는 공용 테이블로 가져옵니다. 이것을 "잠재 공간(latent space)"이라고 부릅니다.

여기서 AI는 (트랜스포머 기술에 기반한) 특별한 "퓨전(fusion)" 도구를 사용하여 요리들을 섞습니다.

카메라 셰프가 일을 잘하고 있다면, 테이블에는 선명한 그림이 나타납니다.
만약 카메라 셰프가 접시를 떨어뜨린다면(센서 고장), 레이저 셰프와 뎁스 셰프가 여전히 테이블 위에 접시를 올려두고 있을 것입니다. AI는 여전히 그 두 가지만을 사용하여 괜찮은 식사를 만들어낼 수 있습니다.

이것은 안전망과 같습니다. 하나의 센서가 고장 났다고 해서 자동차가 멈추는 것이 아니라, 조금 덜 완벽할 수는 있어도 안전하게 작동하는 것입니다. 이것이 논문에서 말하는 "페일 오퍼레이셔널(Fail-Operational, 고장 시 운행 가능)" 동작입니다.

3. "웨이터" (디코더)

마지막으로, 섞인 요리는 웨이터(디코더)에게 전달되어 자동차의 스티어링 휠과 브레이크로 서빙됩니다. 웨이터는 어떤 셰프가 어떤 부분을 만들었는지 상관하지 않습니다. 그저 최종적으로 결합된 결과를 받아 자동차에게 무엇을 할지 알려줍니다 (예: "좌회전하라", "멈춰라", "차선을 유지하라").

이것이 왜 중요한가요?

규칙을 따릅니다: 센서들이 테이블에서 만나기 전까지 서로 분리되어 있음으로써, 이 시스템은 "중복성(백업 보유)"과 "다양성(다른 유형의 센서 사용)"이라는 기존의 안전 규칙을 모방합니다.
더 똑똑합니다: 모든 센서가 정상 작동할 때, 그들은 정보를 공유합니다. 레이저는 카메라가 깊이를 이해하도록 돕고, 카메라는 레이저가 색상을 이해하도록 돕습니다. 이를 통해 자동차의 도로 이해도는 훨씬 강력해지며 실수를 할 가능성이 낮아집니다.
유연합니다: 전체 주방을 다시 만들 필요 없이 "셰프"를 교체하거나 새로운 셰프를 추가할 수 있습니다.

요약하자면:
이 논문은 완전하게 인증된 자율주행 자동차를 만들었다고 주장하는 것이 아닙니다. 대신, 하나의 **설계도(Blueprint)**를 제공합니다. 가장 진보된 AI 기술(트랜스포머)을 어떻게 구조화하여 자동차에 필요한 엄격한 안전 규칙을 충족시킬 수 있는지 보여줍니다. 이는 AI에게 단일하고 취약한 천재가 되라고 가르치는 대신, 독립적인 전문가 팀이 되도록 가르치는 것입니다. 이를 통해 설령 한 명의 전문가가 컨디션이 좋지 않더라도, 자동차가 계속해서 안전하게 주행할 수 있도록 보장합니다.

기술 요약: 자동차 시스템을 위한 안전 준수형 트랜스포머 아키텍처를 향하여

문제 정의

트랜스포머 기반 아키텍처는 비전 및 언어 작업에서 탁월한 성능을 입증해 왔으나, 이를 안전이 필수적인(safety-critical) 자동차 시스템에 통합하는 데에는 독특한 과제가 존재한다. 전통적인 자동차 소프트웨어 개발은 엄격한 위험 분석, 리스크 평가, 그리고 특정 자동차 안전 무결성 수준(ASIL)을 강조하는 V-모델과 같은 선형 프로세스 및 확립된 안전 표준(예: ISO 26262)에 의존한다. 이러한 표준은 '페일 오퍼레이셔널(fail-operational, 고장 시 운행 가능)' 동작을 달성하기 위해 아키텍처의 중복성(redundancy)과 다양성(diversity)을 요구하는 경우가 많다. 현재의 머신러닝 접근 방식, 특히 대규모 파운데이션 모델은 이러한 안전 요구 사항을 명시적으로 충족할 수 있는 구조적 메커니즘이 부족한 경우가 많아, 현대적인 딥러닝 역량과 확립된 기능 안전 관행 사이에 간극을 형성한다.

방법론

본 논문은 ISO 26262 원칙, 특히 ASIL 분해 및 중복성을 멀티모달 딥러닝 아키텍처에 적응시키는 개념적 프레임워크를 제안한다. 핵심 방법론은 표현 수준(representational level)에서 작동하는 다중 인코더-디코더 설계이다:

모달리티별 인코더: 시스템은 이질적인 센서 입력(예: RGB 이미지, LiDAR 포인트 클라우드, 단안 깊이 지도)으로부터 고수준 특징 표현을 추출하도록 매개변수화된 독립적인 브랜치들을 채택한다. 형식적으로, 각 인코더 $E_i$ 는 원시 입력 $X_i$ 를 공유 잠재 공간 $Z$ 로 매핑한다.
공유 잠재 공간 융합: 단일 구조 내에서 조기 또는 후기에 융합되는 기존의 멀티모달 모델과 달리, 이 아키텍처는 트랜스포머 고유의 어텐션 기반 융합 메커즘을 사용하여 공유 공간 $Z$ 내에 잠재 임베딩을 집계한다. 이를 통해 상호 보완적이고 부분적으로 직교하는 정보 스트림의 통합이 가능하다.
모달리티 불가지론적 디코더: 다운스트림 작업(예: 시맨틱 세그멘테이션, 3D 바운딩 박스, 주행 명령)은 타겟 출력 공간 $Y_j$ 로 통합된 잠재 표현 $Z$ 를 매핑하는 디코더 $D_j$ 에 의해 처리된다. 이는 인코딩과 작업별 디코딩을 분리하여 모듈성을 보장한다.
구현 전략: 제안된 구현에서는 교정된 파라미터를 사용하여 원시 LiDAR 포인트 클라우드를 카메라의 이미지 평면에 투영함으로써 희소(sparse) 깊이 지도를 생성한다. 생성된 지도는 카메라 피드와 공간적으로 등록 및 정제되어 비전 트랜스포머에 의해 토큰화된 통합 입력 스트림을 생성한다. 텍스트 데이터(예: 운전자 명령)는 별도의 언어 인코더에 의해 처리된다. 시각 및 텍스트 토큰은 이후 교차 모달 추론을 위해 다운스트림 멀티모달 트랜스포머에 의해 처리된다.

주요 기여

안전 정렬 아키텍처: 본 논문은 중복성과 다양성을 표현 수준에서 구조적으로 내장하는 아키텍처를 도입하며, 이는 중복된 서브시스템 간의 공통 원인 고장(common cause failure)으로부터의 자유를 요구하는 ISO 26262 요구 사항을 직접적으로 반영한다.
내재적 중복성 및 페일 오퍼레이셔널 동작: 이 설계는 하나의 센서 모달리티가 실패하거나 성능이 저하되더라도 나머지 인코더들이 공유 잠재 공간에 의미 있는 특징을 지속적으로 공급할 수 있도록 보장한다. 이를 통해 시스템은 전통적인 안전 공학의 페일 오퍼레이셔널 서브시스템과 유사하게, 저하되었지만 수용 가능한 수준의 운행 성능을 유지할 수 있다.
정보적 풍부함: 다양한 모달리티를 잠재 공간에서 융합함으로써 시스템은 신호 대 잡음비를 개선하고 알레아토릭(aleatoric) 및 에피스테믹(epistemic) 불확실성을 완화하여, 다양한 운행 조건 하에서 더욱 견고한 인식을 실현한다.
암묵적 런타임 중재: 잠재 공간 융합 메커니즘은 멀티모달 신호에 대한 암묵적인 형태의 런타임 중재를 제공하며, 이는 개념적으로 하드웨어 기반의 투표(voting) 및 모니터링 전략과 유사하다.

결과 및 주장

본 논문은 경험적인 실험 결과나 정량적 벤치마크를 제시하지 않는다. 대신, 서로 다른 입력 모달리티가 어떻게 융합되어 일관된 장면 이해를 유지할 수 있는지에 대한 개념적 시연을 제공한다. 저자들은 이 접근 방식이 다음과 같다고 주장한다:

현대 딥러닝과 확립된 기능 안전 관행 사이의 간극을 성공적으로 메운다.
모니터링 메커니즘의 동적 평가 및 구성을 통해 새로운 하드웨어 또는 소프트웨어 구성 요소의 안전한 통합을 가능하게 한다.
LiDAR 데이터를 카메라의 표현 영역으로 명시적으로 매핑함으로써 일관된 시각적 포맷을 보장하여, 아키텍처 변경 없이 기존의 사전 학습된 비전-언어 모델과 원활하게 통합된다.

의의 및 향후 과제

본 연구의 의의는 대규모 AI 모델을 자동차 도메인의 안전 인증 관행과 정렬시키기 위한 원칙적인 경로를 구축하는 데 있다. 저자들은 ISO 26262 안전 원칙을 최첨단 딥러닝 시스템 설계에 체계적으로 매핑함으로써, 이 접근 방식이 자율주행 및 첨단 운전자 보조 시스템(ADAS)을 위한 인증 가능한 AI 시스템 개발을 위한 길을 열어준다고 주장한다.

저자들은 현재의 범위가 고수준 아키텍처 패턴에 집중되어 있음을 인정하며 겸허한 태도를 유지한다. 이들은 다음과 같은 향후 연구 분야를 식별하였다:

인코더 브랜치 간의 표현 독립성 검증.
잠재 공간 융합을 위한 구체적인 모니터링 전략 개발.
실제 고장 시나리오에서 페일 오퍼레이셔널 동작을 검증하기 위한 확장 가능한 방법 고안.
이러한 멀티모달 트랜스포머 아키텍처를 임베디드 자동차 플랫폼에 효율적으로 배포하는 문제 해결.

궁극적으로, 본 논문은 안전하고 신뢰할 수 있는 지능형 차량의 잠재력을 온전히 실현하기 위해서는 안전 공학과 AI 연구의 지속적인 융합이 필수적이라고 역설한다.