⚡ electrical engineering

mRadNet: A Compact Radar Object Detector with MetaFormer

본 논문은 U-Net 아키텍처에 MetaFormer 블록을 활용하여 CRUW 데이터셋에서 최소의 파라미터와 가장 낮은 FLOPs 로 최첨단 성능을 달성하는 컴팩트하고 효율적인 레이더 객체 감지 모델인 mRadNet 을 소개합니다.

원저자: Huaiyu Chen, Fahed Hassanat, Robert Laganiere, Martin Bouchard

게시일 2026-05-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huaiyu Chen, Fahed Hassanat, Robert Laganiere, Martin Bouchard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

차량 운전자가 짙은 안개나 폭설 속에서 운전한다고 상상해 보세요. 당신의 눈 (카메라) 은 앞을 제대로 보지 못해 고군분투할 수 있지만, 차량의 레이더는 날씨 속에서도 물체를 '들을' 수 있는 초능력을 가진 한 쌍의 귀와 같습니다. 문제는 이러한 레이더 귀에서 나오는 원시 데이터가 숫자들의 messy 하고 혼란스러운 뭉치라는 점입니다. 이를 이해하기 위해서는 컴퓨터 두뇌 (AI 모델) 가 이를 정리하여 "앞으로 50 미터에 차가 있습니다" 또는 "왼쪽에 자전거 탄 사람이 있습니다"라고 알려줘야 합니다.

이 논문은 mRadNet이라는 새로운 컴퓨터 두뇌를 소개합니다. 작동 원리를 간단히 설명하면 다음과 같습니다:

문제: 너무 크고 너무 느림

이전까지 이러한 레이더 두뇌를 구축하려는 시도들은 치명적인 결함이 있었습니다. 마치 마라톤 (실시간 운전) 을 뛰면서 거대하고 무거운 배낭 (방대한 컴퓨터 모델) 을 메고 가는 것과 같았습니다.

구형 모델 (CNN): 이는 작은 열쇠구멍으로 사진을 들여다보는 사람과 같습니다. 바로 앞의 미세한 세부 사항은 볼 수 있지만, 전체 그림이나 장면 전반에 걸친 요소들의 연결 관계를 이해하지 못했습니다. 이를 해결하기 위해 엔지니어들은 모델을 더 크고 무겁게 만들었으나, 이는 속도를 늦추는 결과를 낳았습니다.
신형 모델 (Transformer): 이는 한 번에 전체 방을 볼 수 있는 광각 렌즈를 가진 사람과 같습니다. 그러나 계산 비용이 매우 많이 들었으며 (매우 무거웠음), 안전을 위해 필요한 미세한 국소적 세부 사항을 파악하는 데 여전히 어려움을 겪었습니다.

해결책: mRadNet (스마트 컴팩트 두뇌)

저자들은 작고 가벼우면서도 (compact) 정밀한 (smart) 모델인 mRadNet을 개발했습니다. 이는 MetaFormer라는 개념을 기반으로 구축되었습니다.

MetaFormer 를 하이브리드 팀으로 생각해 보세요:

국소 전문가 (Convolution): 지문 하나나 작은 단서를 분석하는 데 탁월한 형사를 상상해 보세요. 이 모델 부분은 레이더 데이터의 미세한 국소적 세부 사항을 살펴봅니다.
전역 전략가 (Token Mixer): 전장의 전체 지도를 보며 각 부분이 어떻게 연결되는지 이해하는 장군을 상상해 보세요. 이 부분은 큰 그림과 장거리 연결 관계를 살펴봅니다.

mRadNet 은 이 두 가지를 단일하고 효율적인 유닛으로 결합합니다. 무겁고 복잡한 '자기 주의 (self-attention)' 메커니즘 (경기장 안의 모든 사람이 동시에 서로에게 이야기하는 것과 같음) 을 사용하는 대신, mRadNet 은 더 간단한 '토크 믹서 (token mixer)'를 사용합니다. 이는 소음과 비용 없이 작업을 수행하는 간소화된 통신 시스템과 같습니다.

작동 방식: U-Net 형태

이 모델은 U자 형태 (U-Net 아키텍처) 를 띠고 있습니다.

왼쪽 (인코더): 스펀지를 짜는 것을 상상해 보세요. 모델은 크고 상세한 레이더 이미지를 압축하여 가장 중요한 정보만 남깁니다. 긴 책을 몇 가지 핵심 불릿 포인트로 요약하는 것과 같습니다.
오른쪽 (디코더): 그 스펀지를 다시 펴는 것을 상상해 보세요. 모델은 그 핵심 불릿 포인트를 받아 다시 전체 그림으로 확장하지만, 이번에는 물체의 정확한 위치를 알고 있습니다.
스킵 연결 (Skip Connections): 왼쪽과 오른쪽을 연결하는 '다리'가 있습니다. 이는 모델이 이미지를 다시 확장할 때, 처음에 본 미세한 세부 사항들을 잊지 않도록 보장합니다.

효율성을 위한 특별한 기법

이 두뇌가 작고 빠르게 유지되도록 하기 위해 저자들은 두 가지 영리한 기법을 추가했습니다:

스마트 포장 (Token Embedding): 레이더 데이터의 모든 조각을 개별적으로 살펴보는 대신, 모델을 효율적으로 그룹화합니다. 이는 더 적은 공간에 더 많은 것을 넣을 수 있도록 여행 가방을 꽉 채우는 것과 같습니다.
스마트 병합 (Token Merging): 모델이 데이터를 처리함에 따라 인접한 정보 조각들을 하나로 병합합니다. 4 개의 작은 사진으로 된 격자를 가져와 더 크고 상세한 사진 1 장으로 병합하는 것을 상상해 보세요. 이는 중요한 정보를 잃지 않으면서 컴퓨터가 수행해야 할 작업량을 줄여줍니다.

결과

팀은 CRUW라는 이름의 실제 도로 주행 시나리오에 대한 방대한 데이터셋에서 mRadNet 을 테스트했습니다.

성능: 이전의 어떤 모델보다 물체 (차량, 보행자, 자전거) 를 더 정확하게 탐지했습니다.
효율성: 이는 테스트된 모델 중 가장 작고 가벼운 모델을 사용하면서도 달성되었습니다. 이는 가장 적은 양의 컴퓨터 성능 (FLOPs) 을 요구했으며, AI 를 지능적으로 만드는 내부 설정인 '파라미터' 수가 가장 적었습니다.

요약하자면: mRadNet 은 차량의 컴퓨터 칩에 들어갈 만큼 작으면서도, 이전의 무겁고 bulky 한 모델들보다 악천후 속에서도 더 잘 볼 수 있을 만큼 지능적인 새로운 경량 레이더 탐지기입니다. 이는 마라톤을 뛰기 위해 거대한 배낭이 필요하지 않다는 것을 증명합니다. 단지 올바른 장비만 있으면 됩니다.

기술 요약: mRadNet

문제 제기

주파수 변조 연속파 (FMCW) 레이다는 비, 안개, 눈과 같은 악천후 조건에 대한 강인성으로 인해 첨단 운전자 보조 시스템 (ADAS) 에 점점 더 중요해지고 있습니다. 그러나 물체 감지 (ROD) 를 위한 레이다 데이터 처리는 실시간 임베디드 시스템에 특정 과제를 제시합니다. 합성곱 신경망 (CNN) 은 레이다 무선 주파수 (RF) 이미지에서 국소 특징을 효과적으로 추출하지만, 제한된 수용 영역으로 인해 전역 의존성을 포착하는 데 어려움을 겪으며, 종종 수용 가능한 성능을 달성하기 위해 크고 계산 비용이 많이 드는 모델을 필요로 합니다. 반면, Transformer 기반 모델은 전역 의존성 모델링에 탁월하지만 자기 주의 (self-attention) 메커니즘으로 인해 높은 계산 비용을 겪으며, 광범위한 아키텍처 수정 없이는 CNN 만큼 국소 특징을 효과적으로 포착하지 못하는 경우가 많습니다. 또한, 기존 솔루션들은 종종 임베디드 자동차 환경에서의 모델 소형화 및 효율성에 대한 중요한 요구사항을 간과합니다.

방법론

저자들은 효율성을 고려하여 설계된 새로운 소형 레이다 물체 감지 모델인 mRadNet을 제안합니다. 이 아키텍처는 U-Net 스타일 프레임워크 내에서 합성곱 신경망과 MetaFormer 아키텍처의 강점을 통합합니다.

1. 전체 아키텍처

mRadNet 은 계층적 표현을 생성하기 위해 스킵 연결을 갖춘 U-Net 스타일 인코더 - 디코더 구조를 채택합니다.

인코더: 입력은 여러 프레임과 치프 (chirp) 에 걸친 복잡한 RF 이미지 (거리 - 방위각) 로 구성됩니다. 인코더는 이러한 입력을 짧은 시간의 시간적 특징을 추출하는 스템 (stem) 을 통해 처리하여 복잡한 이미지를 실수 값 3D 이미지로 변환합니다. 그런 다음 계층적 특징 추출을 위해 일련의 MetaFormer 및 Transformer 블록을 활용합니다.
디코더: 디코더는 인코더를 반영하여 특징을 정제하기 위해 Transformer 및 MetaFormer 블록을 적용합니다. 저수준 세부 정보를 보존하기 위해 인코더 토큰과 디코더 토큰을 연결하기 위해 스킵 연결을 사용합니다.
출력: 최종 단계는 부드러운 업샘플링을 위해 선형 보간을 사용하여 신뢰도 맵을 생성한 후, 클래스별 신뢰도 맵을 출력하기 위해 합성곱 레이어를 사용합니다.

2. 주요 아키텍처 구성 요소

토큰 믹서가 있는 MetaFormer 블록: 자기 주의 또는 표준 합성곱에만 의존하는 대신, mRadNet 은 MetaFormer 블록을 사용합니다. 이러한 블록은 자기 주의 모듈을 **토큰 믹서 (Token Mixers)**로 대체합니다.
- 합성곱 토큰 믹서: 저자들은 **깊이별 분리 합성곱 (SepConv)**을 토큰 믹서로 활용합니다. 이는 표준 합성곱을 깊이별 (depthwise) 및 포인트별 (pointwise) 연산으로 분해하여, 표준 합성곱과 선형 레이어의 조합에서 발생하는 중복성 없이 채널 혼합 능력을 유지하면서 국소 특징을 효과적으로 포착합니다.
- 주의 토큰 믹서: 국소 및 전역 특징 추출의 균형을 맞출 수 있도록 전역 의존성을 포착하기 위해 주의 메커니즘도 통합됩니다.
토큰 임베딩: 특수한 TokenEmbed 모듈이 입력 6 차 텐서 (배치 $\times$ 시간 $\times$ 치프 $\times$ 높이 $\times$ 너비 $\times$ 채널) 를 처리합니다. 이 모듈은 학습 가능한 매개변수로 FFT 동작을 모방하는 합성곱 레이어를 사용하여 치프 차원을 병합하고, 3D 합성곱을 사용하여 시공간 픽셀을 토큰으로 그룹화하여 위치 인식 토큰 배열을 생성합니다.
토큰 병합: 계산 비용을 줄이고 더 깊은 아키텍처를 용이하게 하기 위해 모델은 인코더에서 TokenMerging 모듈을 사용합니다. 표준 풀링과 달리 이 모듈은 $2 \times 2$ 공간 이웃을 단일 토큰으로 재구성하는 Token Rearrange 레이어 (PixelShuffle 의 역과 유사) 를 사용합니다. 이는 공간 해상도를 4 배 줄이면서 토큰 차원을 증가시켜 선형 레이어가 차원을 관리 가능한 크기로 줄이기 전에 정보 밀도를 보존합니다. 이 과정에서 시간 차원은 변경되지 않습니다.

주요 기여

새로운 아키텍처: ROD 작업에 특화된 MetaFormer 기반 U-Net 스타일 아키텍처인 mRadNet 의 제안입니다. 이는 전통적인 CNN 백본과 헤드를 합성곱 레이어를 포함한 MetaFormer 블록으로 대체하여 국소 및 전역 특징을 모두 포착하는 일관된 설계를 창출합니다.
효율적인 토큰 전략: 최적화된 토큰 임베딩 및 토큰 병합 전략의 도입입니다. 이러한 전략은 토큰 믹서의 효과를 촉진하고 모델 소형화를 강화하여 더 적은 매개변수로 더 깊은 아키텍처를 가능하게 합니다.

실험 결과

이 모델은 대규모 자동차 레이다 물체 감지 데이터셋인 CRUW 데이터셋에서 검증되었습니다.

성능: mRadNet 은 전체 평균 정밀도 (AP) 86.72% 및 평균 재현율 (AR) **91.18%**로 최첨단 (SOTA) 성능을 달성했습니다.
- 이전 SOTA 모델 (E-RODNet) 보다 AP 에서 1.26%, AR 에서 1.99% 더 높은 성능을 보였습니다.
- 향상된 시간 모델링에 기인하여 다른 방법들보다 자동차 감지에서 4% 이상의 AP 증가를 달성하여 상당한 개선을 보였습니다.
- E-RODNet 이 국소 특징을 위한 더 광범위한 합성곱 연산으로 인해 보행자와 자전거 이용자에 대해 AP 에서 약간 우위를 점했지만, mRadNet 은 이러한 클래스에 대해 더 우수한 AR 을 달성했습니다.
효율성: mRadNet 은 비교된 모든 방법 (CNN, Transformer, MetaFormer) 중에서 가장 적은 매개변수와 가장 낮은 FLOPs로 최고의 성능을 달성했습니다.
- Transformer 및 MetaFormer 기반 모델 중 가장 짧은 훈련 시간과 가장 낮은 추론 지연 시간을 보였습니다.
- 논문은 MetaFormer 기반 모델이 일반적으로 더 나은 성능을 달성하면서도 CNN 및 Transformer 대응 모델보다 작아지는 경향이 있다고 지적합니다.

중요성 및 주장

이 논문은 mRadNet 이 레이다 물체 감지에서 감지 정확도와 계산 효율성 사이의 균형을 성공적으로 해결했다고 주장합니다. MetaFormer 아키텍처를 활용함으로써, 이 모델은 정확도를 희생하지 않고도 공격적인 설계 최적화 (크기 및 비용 감소) 를 가능하게 하는 견고한 성능 하한선을 확립합니다. U-Net 프레임워크 내에서 분리 가능 합성곱과 주의 토큰 믹서를 통합하는 것은 희소하고 잡음이 많은 레이다 데이터에서 필요한 국소 및 전역 특징을 포착하는 데 효과임이 입증되었습니다. 이 연구는 MetaFormer 가 실시간 임베디드 시스템에 적합한 소형 설계를 유지하면서 ROD 작업에서 CNN 과 Transformer 모두를 능가할 수 있음을 보여줍니다.