⚡ electrical engineering

An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

본 논문은 자전거 이용자 안전과 관련된 6가지 미세한 차량 차종을 정확하게 분류하기 위해 RT-DETR과 비전 트랜스포머를 결합한 오픈 소스 기반의 2단계 컴퓨터 비전 파이프라인을 소개하며, 이는 서로 다른 녹화 현장에서도 높은 강건성을 유지하면서 침묵적 오분류를 방지하는 신뢰도 기반의 기권 메커니즘을 특징으로 한다.

원저자: Gandhimathi Padmanaban, Fred Feng

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gandhimathi Padmanaban, Fred Feng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 우편물 더미를 분류하려고 한다고 상상해 보세요. 어떤 편지들은 명확하게 "신문"이라고 적혀 있고, 어떤 것은 "잡지", 또 어떤 것은 "정크 메일(광고지)"이라고 적혀 있습니다. 하지만 수천 통의 봉투들은 생일 카드인지, 고지서인지, 전단지인지, 아니면 변호사로부터 온 편지인지 무엇이든 될 수 있는 모습으로 놓여 있습니다. 만약 당신이 그냥 추측만 한다면, 실수를 할 수도 있을 것입니다.

이 논문은 거리의 영상 데이터를 보고 차량을 일반적인 범주가 아닌 매우 구체적인 카테고리로 분류하도록 설계된 새로운 오픈 소스 "로봇 분류기"에 대해 설명합니다.

이 시스템이 어떻게 작동하는지 간단한 단계별로 나누어 설명하겠습니다:

1. 문제점: 왜 더 나은 분류기가 필요한가

현재 대부분의 교통 카메라와 안전 연구는 단순히 "자동차", "트럭", 또는 "버스"의 차이만 구분할 수 있습니다. 하지만 자전거 이용자의 안전을 위해서는 이것만으로는 충분하지 않습니다.

비유: 자전거 이용자가 사고를 당하는 상황을 상상해 보세요. 작은 세단이 부딪힌다면 좋지 않은 일입니다. 하지만 키가 큰 SUV나 거대한 상용 트럭이 부딪힌다면, 차량의 앞부분이 더 높고 자전거 이용자를 다르게 타격하기 때문에 부상의 정도가 훨씬 더 심각할 수 있습니다.
공백: 우리는 자전거 이용자 옆을 지나가는 차량이 정확히 어떤 종류인지(예: 미니밴인가 대형 밴인가? 픽업트럭인가 상용 트럭인가?) 알아야 합니다. 기존 도구들은 실제 환경의 복잡하고 지저식한 영상 속에서 이러한 구체적인 유형을 구분해내지 못합니다.

2. 해결책: 2단계 "탐정 팀"

저자들은 두 명의 탐정이 협력하는 것과 같은 2단계 시스템을 구축했습니다.

탐정 #1: 빠른 정찰병 (RT-DETR)

역할: 이 탐정은 영상을 빠르게 스캔합니다. 자동차의 정확한 모델을 알 필요는 없습니다. 그저 "헤이, 저기에 차량이 있어!"라고 말하며 박스를 그려내는 것만으로 충분합니다.
특기: 자동차, 트럭, 버스, 또는 오토바이처럼 보이는 모든 것을 포착하는 데 매우 능숙합니다. 이미 학습된 뇌를 사용하기 때문에, 자동차를 찾는 법을 처음부터 배울 필요가 없었습니다.
필터: 버스나 오토바이를 발견하면 거기서 멈춥니다. 만약 "자동차"나 "트럭"을 발견하면, 이 작업을 탐정 #2에게 넘깁니다.

탐정 #2: 전문가 분류기 (Vision Transformer)

역할: 이 탐정은 탐정 #1로부터 받은 특정 "크롭(박스 안의 이미지)"을 가져와 아주 자세히 들여다봅니다.
특기: 이 전문가는 세밀한 구분을 수행합니다. 차량을 다음 6가지 구체적인 카테지로 분류합니다:
1. 승용차 (Passenger Car)
2. SUV
3. 픽업트럭 (Pickup Truck)
4. 미니밴 (Minivan)
5. 대형 밴 (Large Van)
6. 상용 트럭 (Commercial Truck)
"모르겠음" 버튼: 이것이 가장 중요한 부분입니다. 만약 사진이 흐릿하거나, 각도가 이상하거나, 차량이 일부 가려져 있다면, 이 탐정은 확신을 갖지 못할 수 있습니다. 잘못된 추측을 하여 오류를 범하는 대신, 다음과 같은 규칙을 가집니다: "만약 확신도가 60% 미만이라면, '알 수 없음(Unknown)'이라고 답한다."
- 왜 중요한가: 안전 연구에서는 "그건 픽업트럭이야"라고 자신 있게 말했다가 사실은 미니밴인 경우보다, 차라리 "모르겠다"라고 말하는 것이 낫습니다. 이는 "조용한 오류(silent errors)"를 방지합니다.

3. 학습: 로봇을 어떻게 가르쳤는가

"대형 밴"과 "상용 트럭"을 구분하도록 로봇을 가르치는 것은 어렵습니다. 왜냐하면 표준 데이터셋에는 이러한 특정 트럭의 사진이 매우 적기 때문입니다.

혼합 구성: 연구진은 세 가지 요소를 섞어 커스텀 학습 라이브러리를 구축했습니다:
1. 스튜디오 사진: 유명한 데이터셋(Stanford Cars)에서 가져온 고화질 자동차 사진.
2. 웹 스크래핑: 인터넷에서 수집한 밴과 트럭 사진.
3. 실제 거리 영상 컷: 미시간주 Ann Arbor의 실제 영상 클립을 사용하여 차량을 잘라낸 것으로, 로봇에게 실제 거리의 혼란스러운 환경(흐릿함, 측면 모습, 부분적으로 가려짐 등)을 보여줍니다.
불균형 해소: 로봇은 일반 자동차나 SUV 사진은 훨씬 많이 보았지만, 큰 트럭 사진은 적게 보았습니다. 이를 해결하기 위해, 로봇이 희귀한 트럭 사진들을 무시하지 않도록 학습 과정에서 이들에게 더 많은 주의를 기울이도록 조정했습니다.

4. 결과: 얼마나 잘 작동했는가?

팀은 두 가지 다른 영상 세트로 이 로봇을 테스트했습니다.

테스트 1: "홈 경기" (In-Distribution)

설정: 학습 클립을 가져온 곳과 동일한 거리의 영상으로 테스트했습니다 (Ann Arbor).
점수: **94%**의 정확도를 기록했습니다.
세부 사항: SUV를 포착하는 데 놀라운 성능(97% 정확도)을 보였습니다. 또한 승용차와 픽업트럭에 대해서도 매우 우수했습니다. 유일한 어려움은 차량이 잘 보이지 않을 때였으며, 이때 로봇은 잘못된 추측을 하는 대신 정확하게 "모르겠음" 버튼을 사용했습니다.

테스트 2: "원정 경기" (Out-of-Distribution)

설정: 서로 다른 카메라와 조명을 가진 특수 연구용 자전거에서 촬영된, 완전히 다른 장소의 영상으로 테스트했습니다. 이 과정에서 로봇을 새로 재학습시키지 않았습니다.
점수: **89%**의 정확도를 기록했습니다.
세부 사항: 새로운 장소에 맞춰 재학습하지 않았음에도 불구하고 매우 강력한 결과입니다.
- SUV와 픽업트럭은 여전히 높은 정확도를 유지했습니다.
- 미니밴은 조금 까다로워졌습니다. 정확도가 떨어졌지만, 이는 주로 로봇이 더 신중해졌기 때문입니다. 미니밴이 새로운 영상에서 다르게 보였기 때문에 로봇은 (25%의 확률로) "알 수 없음"이라고 말하기 시작했습니다. 즉, 함부로 추측하는 대신 불확실성을 인정했습니다.

5. 이것이 왜 중요한가

오픈 소스: 저자들은 모든 코드, 학습된 로봇의 뇌, 그리고 데이터를 무료로 공개했습니다. 누구나 이를 다운로드하여 자신의 거리 영상을 분석하는 데 사용할 수 있습니다.
안전 우선: 작은 자동차와 큰 트럭을 구분함으로써, 도시 계획가와 안전 연구자들은 정확히 어떤 종류의 차량이 자전거 이용자를 위험에 빠뜨리는지 마침나 이해할 수 있게 됩니다.
수동 작업 불필요: 이전에는 인간이 차량을 세기 위해 몇 시간씩 영상을 직접 봐야 했습니다. 이제 이 도구가 자동으로 그 작업을 수행할 수 있습니다.

요약하자면, 이 논문은 2단계 필터 역할을 하는 스마트하고 무료인 도구를 제시합니다. 먼저 자동차를 찾고, 그다음에는 그것들을 구체적인 유형으로 신중하게 분류합니다. 확신이 서지 않으면 이를 인정함으로써, 잘못된 추측으로 인해 안전 데이터가 오염되는 것을 방지합니다. 또한 재학습 없이도 새로운 거리에서 잘 작동합니다.

기술 요약: 미세 차량 분류를 위한 오픈 소스 2단계 컴퓨터 비전 파이프라인

문제 정의
본 논문은 자전거 이용자 안전 연구의 핵심적인 공백, 즉 자연스러운 도로 영상으로부터 부상 위험과 관련된 카테고리로 차량을 분류할 수 있는 자동화 도구의 부재를 다룹니다. 표준 객체 탐지 벤치마크(예: COCO)는 일반적인 레이블(자동차, 트럭, 버스, 오토바이)을 제공하지만, 이는 승용차와 SUV 또는 상업용 트럭과 같은 특정 차체 유형을 구분해야 하는 안전 분석에는 불충분이합니다. 기존의 미세 식별 시스템은 대개 제어된 정면 이미지(예: 제조사 사진)를 기반으로 학습되었으며, 모션 블러, 가려짐(occlusion), 가변적인 조명 등이 포함된 다양한 녹화 현장이나 자연스러운 조건에서의 강건성(robustness)에 대해 엄격하게 평가되지 않았습니다. 또한, 별도의 맞춤형 인프라 없이 기존의 노변 영상에 배포할 수 있도록 실시간 탐지와 미세 분류를 통합한 엔드 투 엔드(end-to-end) 오픈 소스 파이프라인은 존재하지 않습니다.

방법론
저자들은 표준 노변 영상에 배포할 수 있도록 설계된 모듈형 2단계 컴퓨터 비전 파이프라인을 제안합니다:

1단계: 거친 차량 국지화 (Coarse Vehicle Localization)
- 모델: 사전 학습된 RT-DETR (Real-Time DEtection TRansformer) 탐지기, 구체적으로 rtdetr_r50vd_coco_o365 체크포인트를 사용합니다.
- 기능: 전체 해상도의 비디오 프레임을 스캔하여 모든 차량을 탐지하고 거친 COCO 카테고리 레이블(자동차, 트럭, 버스, 오토바이)을 할당합니다.
- 필터링: 시스템은 2단계 처리를 위해 "자동차(car)" 및 "트럭(truck)" 탐지만 유지합니다. 버스와 오토바이 탐지는 거친 레이블과 함께 유지됩니다.
- 제약 조건: 0.35의 신뢰도 임계값을 적용하여 낮은 신뢰도의 탐지를 걸러냅니다. 크기 게이트(size gate)는 짧은 변이 프레임 높이의 5.5% 미만이거나 면적이 0.04% 미만인 바운딩 박스를 제외하여, 의미 있는 질감 분석을 수행하기에 너무 멀리 있는 차량이 2단계를 처리하는 것을 방지합니다.
2단계: 미세 분류 (Fine-Grained Classification)
- 모델: ImageNet-21k로 사전 학습된 미세 조정된 Vision Transformer (ViT-Base/16)입니다.
- 입력: 1단계에서 탐지된 차량의 크롭(cropped) 이미지입니다.
- 출력: 여섯 가지 특정 차체 유형 카테고리 중 하나입니다: 승용차(passenger car), SUV, 픽업 트럭(pickup truck), 미니밴(minivan), 대형 밴(large van), 상업용 트럭(commercial truck).
- 학습 전략: 모델은 Stanford Cars(4개 클래스로 매핑)와 웹 스크래핑 이미지(저표집 클래스용), 그리고 Ann Arbor 연구 현장의 필드 크롭 데이터를 결합한 복합 데이터셋(16,581개 이미지)으로 학습되었습니다. 심각한 클래스 불균형(예: 상업용 트럭은 데이터의 1% 미만)을 해결하기 위해, 저자들은 역주파수 가중치가 적용된 포컬 로스(focal loss)와 가중 랜덤 샘플러(weighted random sampler)를 사용했습니다.
- 기권 메커니즘 (Abstention Mechanism): 2단계 소프트맥스(softmax) 출력에 신뢰도 기반 게이팅 메커니즘이 적용됩니다. 최대 예측 확률이 클래스별 임계값인 0.60 미만인 경우, 시스템은 낮은 신뢰도의 예측을 강제하는 대신 "알 수 없음(unknown)" 레이블을 출력합니다. 이는 모호한 시나리오에서 잘못된 분류가 발생하는 것을 방지하기 위해 설계되었습니다.

주요 기여

새로운 어휘 및 파이프라인: 거친 COCO 레이블이나 제조사 및 모델 식별을 넘어, 부상 위험과 관련된 6가지 카테고리의 차체 유형 분류 체계에 대해 명시적으로 학습되고 평가된 최초의 오픈 소스 시스템입니다.
신뢰도 기반 기권: 불확실한 예측을 "알 수 없음" 레이블로 변환하여, 오류 섞인 분류를 강제하는 대신 모델의 불확실성을 보정된 방식으로 측정하는 임계값 메커니즘을 구현했습니다.
엄격한 평가: 본 연구는 자전거 도로 구간의 주석이 달린 3,805개 추월 이벤트(내부 분포 데이터)에 대한 대규모 평가와, 재학습 없이 독립적인 계측 자전거 데이터셋의 311개 이벤트(외부 분포 데이터)에 대한 외부 분포 평가를 제공합니다.
오픈 소스 공개: 재현성을 지원하기 위해 추론 스크립트, 학습 코드, 평가 유틸리티 및 미세 조정된 모델 가중트를 포함한 전체 파이프라인을 공개합니다.

결과

내부 분포 성능: Ann Arbor 데이터셋(3,805개 이벤트)에서 파이프라인은 0.94의 전체 정확도를 달ink했습니다. 클래스별 F1 점수는 0.91(미니밴)에서 0.97(SUV) 사이였습니다. 주요 오류는 시각적으로 유사한 카테고리 간의 혼동(예: 승용차 vs SUV)에서 발생했습니다.
외부 분포 성능: 독립적인 계측 자전거 데이터셋(311개 이벤트)에서 파이프라인은 재학습이나 임계값 조정 없이 0.89의 전체 정확도를 달성했습니다.
- 잘 표현된 4개 카테고리 중 3개(SUV, 픽업 트럭, 승용차)는 F1 점수 $\ge$ 0.90을 유지했습니다.
- 미니밴 성능 저하: 가장 큰 하락은 미니밴 카테고리에서 발생했습니다 (F1: 0.91 $\to$ 0.72). 저자들은 이를 능동적인 오분류보다는 주로 기권율의 상승(2.4% $\to$ 25.0%) 때문이라고 설명하며, 이는 신뢰도 메커니즘이 모델의 불확실성을 성공적으로 전달했음을 나타냅니다.
소수 클래스: 상업용 트럭과 대형 밴은 학습 및 평가 세트 모두에서 샘플 수가 적어 높은 불확실성을 보였으나, 모델은 해당 차량이 존재할 때 이를 분류할 수 있는 능력을 입증했습니다.

의의 및 주장
본 논문은 일반 목적의 탐지기와 미세 조정된 Vision Transformer를 결합한 모듈형, 거친-정밀(coarse-to-fine) 아키텍처가 탐지 단계의 바운딩 박스 주석을 요구하지 않고도, 또한 배포를 위한 사이트별 재학습 없이도 자연스러운 도로 영상에서 견고한 미세 차량 분류를 달성할 수 있다고 주장합니다.

이 연구의 의의는 자전거 이용자 안전 연구에 대한 적용에 있습니다. 이 파이프라인은 차량 차체 유형(예: SUV vs 승용차)에 대한 노출을 정량화할 수 있게 함으로써, 특정 차량 유형이 심각한 부상과 불균형적으로 연관되어 있다는 사실을 연구자들이 입증할 수 있도록 돕습니다. 이러한 세밀함은 현재 표준 교통 모니터링 및 사고 데이터베이스에는 결여되어 있습니다. 또한, 신뢰도 기반 기권 메커니즘은 자동화된 모니터링 시스템에 안전 중심적 기능을 제공하여, 무언가 잘못된 분류를 생성하는 대신 불확실한 이벤트를 인간의 검토 대상으로 플래그를 지정함으로써 시스템이 우아하게 성능을 저하시킬 수 있도록 합니다. 이 도구의 오픈 소스 성격은 취약한 도로 사용자 노출 및 교통 구성을 연구하는 연구자들의 장벽을 낮추는 것을 목표로 합니다.