기술 요약: 환경 조건 하의 RT-DETR 에서 ResNet 백본 벤치마킹

문제 제기

로보컵 (RoboCup) 및 후로컵 (HuroCup) 과 같은 경쟁 로봇공학 분야에서 자율 시스템은 엄격한 시간 제약 하에서 작고 기하학적으로 단순한 물체 (예: 공) 를 탐지하고 추적하기 위해 실시간 시각적 인식에 크게 의존합니다. 비최대 억제 (NMS) 없이 엔드 - 투 - 엔드 탐지를 가능하게 함으로써 합성곱 아키텍처에 대한 강력한 대안으로 등장한 RT-DETR 과 같은 트랜스포머 기반 탐지기가 있지만, 이러한 설정에서 백본 규모와 환경적 변이가 성능에 구체적으로 어떤 영향을 미치는지에 관한 문헌은 부족합니다.

기존 프레임워크는 종종 환경적 변이, 특히 조명 변화 (불균일한 조명, 깜빡임, 자연광) 와 배경 대비 문제 (예: 회색 카펫, 목재 벽) 로 인해 어려움을 겪으며, 이로 인해 색상 오분류 및 탐지기 불안정이 발생할 수 있습니다. furthermore, 실시간 트랜스포머 탐지기에서 백본 깊이, 드롭아웃 정규화 및 이러한 환경적 요소 간의 상호작용은 아직 충분히 탐구되지 않았습니다. 본 연구는 이러한 가변적 조건 하에서 RT-DETR 을 배포할 때 탐지 정확도, 신뢰도, 추론 지연 시간 간의 최적 균형을 결정해야 할 필요성을 해결합니다.

방법론

본 연구는 네 가지 ResNet 백본 변형인 ResNet18, ResNet34, ResNet50, ResNet101을 사용하여 RT-DETR 아키텍처의 통제된 비교 평가를 제시합니다.

실험 설정

• 데이터셋: 여러 Roboflow 저장소에서 수집된 8,806 장의 이미지를 통합한 맞춤형 데이터셋으로, 구형 물체 (파란색, 초록색, 주황색, 흰색 공) 가 포함되어 있습니다. 인공 조명 하에서 주황색과 색조가 유사하여 빨간색 공 클래스는 제외되었습니다.
• 전처리: 이미지는 640×640 픽셀로 리사이징되었습니다. 정적 데이터 증강에는 구형 기하학을 유지하면서 방향 불변성을 개선하기 위해 무작위 회전 (±13°) 이 포함되었습니다.
• 학습 구성: 모든 모델은 Ultralytics 프레임워크와 확률적 경사 하강법 (SGD) 을 사용하여 NVIDIA RTX 4070 Ti GPU 에서 150 에포크 동안 처음부터 학습되었습니다.
• 정규화 모드: 각 백본은 두 가지 모드로 학습되었습니다:
  1. 표준 모드: 드롭아웃 없음 (드롭아웃 비율 = 0.0).
  2. 정규화 모드: 트랜스포머 인코더의 어텐션 메커니즘에 드롭아웃 비율 0.2 적용.
• 평가 시나리오: 추론은 네 가지 뚜렷한 조건 하의 비디오 시퀀스에서 테스트되었습니다:
  1. 완전 조명 (인공) 대 저조도.
  2. 흰색 배경 대 검은색 배경.
• 지표: 성능은 평균 신뢰도 (평균 예측 점수), 추론 시간 (ms/프레임 단위 지연 시간), 분류 정확도 (클래스당 올바른 탐지) 를 사용하여 평가되었습니다.

주요 기여

1. 체계적인 백본 평가: ResNet18 에서 ResNet101 까지 다양한 ResNet 백본을 사용한 RT-DETR 의 비교 분석을 통해 표현 깊이, 정확도, 지연 시간 간의 트레이드오프를 정량화합니다.
2. 환경 강건성 분석: 조명 변화와 배경 대비 변이가 탐지기 성능에 미치는 영향을 통제된 방식으로 평가하여 이러한 요소를 아키텍처 차이와 분리합니다.
3. 정규화 영향: 다양한 운영 조건 하에서 예측 신뢰도와 분류 안정성에 미치는 드롭아웃 (0.2) 의 영향을 평가합니다.

실험 결과

조명의 영향

• 신뢰도 대 정확도: 조명 변화는 예측 신뢰도에 상당한 영향을 미쳤지만, 분류 정확도에는 미미한 영향을 미쳤으며, 대부분의 구성에서 일관되게 높게 유지되었습니다 (종종 1.00 에 근접하거나 초과).
• 백본 성능:
  • ResNet50은 조명 변화 하에서 가장 우수한 전체 트레이드오프를 보여주었으며, 거의 완벽한 정확도, 최대 약 0.869 의 신뢰도 값, 그리고 약 0.058~0.059 ms 의 지연 시간을 달성했습니다.
  • ResNet101은 ResNet50 보다 명확한 개선을 보이지 않았으며, 이 특정 작업에서는 깊이가 증가함에 따라 체감 수익이 감소함을 시사합니다.
  • ResNet18은 더 낮은 계산 비용을 제공했지만, 까다로운 조명 하에서 약간 감소된 신뢰도를 보였습니다.
• 정규화: 드롭아웃 (0.2) 을 적용하면 일반적으로 조명 조건 전반에 걸쳐 신뢰도 값이 안정화되어 완전 조명과 저조도 성능 간의 격차를 줄였으나, 극단적인 조건에 대한 민감성을 완전히 제거하지는 못했습니다.

배경 대비의 영향

• 신뢰도 민감도: 배경 변화 (흰색 대 검은색) 는 정확도보다 신뢰도에 더 큰 영향을 미쳤습니다. 표준 조건 (드롭아웃 0.0) 하에서 신뢰도 값은 특히 대비되는 배경 앞의 파란색과 흰색 공의 경우 더 분산되었습니다.
• 정규화 효과: 드롭아웃 (0.2) 은 신뢰도 값을 균질화하고 흰색과 검은색 배경 간의 성능 격차를 줄여 내부 특징 표현의 강건성을 향상시켰습니다.
• 백본 성능:
  • 배경 변이 하에서 ResNet34는 낮은 지연 시간과 컴팩트한 모델 크기를 유지하면서 거의 완벽한 정확도와 최대 약 0.887 의 가장 높은 신뢰도 값을 달성하여 가장 균형 잡힌 성능을 제공했습니다.

지연 시간

추론 지연 시간은 환경 조건 (조명 또는 배경) 에 거의 영향을 받지 않았으며, 주로 백본 아키텍처의 깊이에 의해 결정되었습니다.

중요성 및 결론

본 논문은 환경적 요인 (조명과 대비) 이 예측의 정확성 (정확도) 이나 계산 비용보다는 예측의 **신뢰성 (신뢰도)**을 주로 저하시킨다고 결론지었습니다. 더 깊은 모델 (ResNet101) 이 뛰어난 강건성을 보장하지는 않지만, 중간 깊이의 모델이 경쟁 로봇공학 작업에 가장 안정적인 행동을 제공합니다.

• 최적 아키텍처: 본 연구는 최적 아키텍처가 컨텍스트에 의존한다고 규명했습니다. ResNet50은 조명 변화가 지배적인 시나리오에 권장되는 반면, ResNet34는 배경 대비 변이가 큰 환경에서 더 우수합니다.
• 정규화의 역할: 드롭아웃은 안정성을 향상시키고 조건 전반에 걸친 신뢰도 변이를 줄이지만, 어려운 시각적 환경을 완전히 보상하지는 못합니다.
• 설계 시사점: 단순한 기하학적 물체가 관련된 실제 로봇 응용 분야에서는 모델 깊이를 단순히 확장하는 것보다 중간 아키텍처와 적절한 정규화를 결합하는 것이 성능, 효율성, 강건성 간의 더 유리한 균형을 제공합니다.