기술 요약: RSC-GestureNet

문제 정의

교통 경찰의 수신호는 복잡한 교차로나 공사 구간과 같은 시나리오에서 신호등이나 표지판을 대체할 수 있는, 자율주행을 위한 핵심적이고 안전이 직결된 인지 단서입니다. 그러나 이러한 명령을 인식하는 견고한 인식기를 배포하는 데에는 기존 문헌에서 흔히 간과되는 세 가지 구체적인 과제가 존재합니다:

1. 인과적 제약(Causal Constraints): 오프라인 동작 인식과 달리, 차량 탑재 시스템은 미래 정보에 대한 접근 없이 오직 과거 프레임만을 사용하여 연속적인 비디오 스트림으로부터 인과적으로 명령을 추론해야 합니다.
2. 포즈 신뢰도(Pose Reliability): 2D 포즈 추정치는 그 자체로 정답(ground truth)이라기보다 본질적으로 노이즈가 섞인 측정값입니다. 도로 환경에서는 저조도, 모션 블러, 폐쇄(occlusion), 거리 등의 요인으로 인해 교통 명령의 의미를 담고 있는 주요 랜드마크(특히 손목과 팔꿈치)가 손상되는 경우가 빈번합니다.
3. 위험 비대칭성(Risk Asymmetry): 교통 명령은 위험 비대칭적입니다. "정지(Stop)" 명령을 놓치거나 "회전(Turn)" 명령이 불안정하게 인식되는 것은 치명적인 계획 실패로 이어질 수 있습니다. 표준 정확도 지표는 확신을 가지고 결정을 내리거나, 안전하지 않은 레이블을 강제하기보다는 불확실한 결정을 유보할 수 있는 능력(calibrated confidence)을 포착하는 데 한계가 있습니다.

현재의 벤치마크들은 일관되지 않은 평가 프로토콜(서로 다른 데이터 분할, 특징 정의, 또는 오프라인 대 온라인 설정)로 인해, 배포 지향적인 모델들을 직접 비교하는 것을 어렵게 만듭니다.

방법론: RSC-GestureNet

저자들은 위에서 언급한 격차를 해결하기 위해 설계된 신뢰도 기반 선택적 인과 인식기인 RSC-GestureNet을 제안합니다. 이 프레임워크는 32프레임의 인과적 윈도우(causal window)에서 작동하며 다음의 핵심 구성 요소들을 통합합니다:

1. 신뢰도 인식 공간 그래프 추론 (Reliability-Aware Spatial Graph Reasoning)

본 모델은 포즈 신뢰도를 제1순위 신호로 취급합니다.

• 신뢰도 게이팅 집계(Confidence-Gated Aggregation): 경량 MLP가 디텍터 신뢰도, 속도 및 누락된 랜드마크 상태를 기반으로 각 관절에 대한 신뢰도 점수를 추정합니다. 이 점수는 메시 패싱(message passing) 전 노드 특징을 게이팅하여, 신뢰도가 낮은 관절(예: 손상된 손목/팔꿈치)이 그래프 추론을 왜곡하지 않도록 가중치를 낮춥니다.
• 동적 그래프 토폴로지(Dynamic Graph Topology): 인접 행렬(adjacency matrix)은 물리적 골격 구조, 명령 특화 상체 사전 지식(어깨, 팔꿈치, 손목 강조), 그리고 폐쇄 및 시점 변화에 적응하기 위해 인스턴스별 협응을 학습하는 동적 항을 결 함께 구성됩니다.

2. 인과적 시간 모델링 (Causal Temporal Modeling)

• 확장된 인과적 컨볼루션(Dilated Causal Convolutions): 시간적 인코더는 과거의 증거를 효율적으로 집계하기 위해 확장된 인과적 컨볼루션을 사용합니다. 수용 영역(receptive field)은 인과성을 위반하지 않으면서 확장되어, 모델이 정적인 포즈가 아닌 짧은 움직임 단계(예: 회전 중 vs 대기 중)에 의해 구분되는 클래스들을 식별할 수 있게 합니다.
• 위험 인식 손실(Danger-Aware Loss): 학습 목적 함수에는 "위험한" 혼동, 특히 "정지"에서 동작 명령(전진, 좌/우 회전, 차선 변경)으로의 전이를 페널티를 부여하는 특정 정규화 항이 포함되어, 고위험 오류 모드로부터 확률 질량을 이동시킵니다.

3. 포즈-RGB 융합 및 적응형 추론 (Pose–RGB Fusion and Adaptive Inference)

• 후기 융합(Late Fusion): 로그 레벨(logit level)에서 포즈 브랜치와 결합되는 경량 RGB 기술자(12차원 히스토그램)를 사용합니다. 이를 통해 포즈 신뢰도가 저하될 때 외형적 맥락이 보조할 수 있도록 합니다.
• 선택적 방출(Selective Emission): 시스템은 신뢰도 트리거 기반의 확률 블렌딩 메커니즘을 채택합니다. 글로벌 및 상지(upper-limb) 신뢰도 점수에 따라 융합 브랜치, 포즈 전용 브랜치, 그리고 시간 전용 브랜치 사이의 가중치를 동적으로 조정합니다.
• 교정된 출력(Calibrated Output): 예측값은 벡터 교정(내부 학습 스트림에서만 피팅됨)과 "stable-K" 규칙을 거칩니다. 마지막 $K$개의 예측이 일치하고 교정된 신뢰도가 임계값을 초과할 때만 명령을 방출하며, 그렇지 않으면 시스템은 결정을 유보합니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 재현 가능한 인과적 프로토콜: 공식 CTPGesture v1 분할(134,424개 레이블된 프레임, 33,451개 인과적 윈도우)에 대해 세 개의 시드 통계, 온라인 Macro-F1, Early@10, 명령 도달 시간(TTC), 그리고 봉인된 테스트 세트 보고를 포함하는 전체 프레임 인과적 평가 프로토콜을 제공합니다.
2. RSC-GestureNet 모델: 신뢰도 게이팅 그래프 추론, 위험 인식 학습, 포즈-RGB 융합 및 적응형 추론 규칙을 특징으로 하는 새로운 아키텍처를 제시합니다.
3. CTPGesture-C 벤치마크: 7가지 저하 패밀리(예: 포즈 드롭아웃, 좌표 지터, 상지 억제)를 포함하는 특징 수준의 부식 벤치마크와 저조도 및 모션 블러 환경에서의 MediaPipe 포즈 재추출을 포함하는 RGB 수준의 진단을 제공합니다.
4. 통제된 평가: 동일한 데이터 분할 및 인과적 프로토콜 하에서 일반적인 베이스라인 및 교통 특화 그래프 재구현 모델(MD-GCN 및 HLP-GCN)과의 엄격한 비교를 수행합니다.

실험 결과

전체 공식 CTPGesture v1 분할에 대해 평가한 결과, RSC-GestureNet은 다음과 같은 성능을 달성했습니다:

• 정확도(Accuracy): 93.33% ± 0.24%
• Macro-F1: 91.71% ± 0.27%
• 온라인 Macro-F1: 91.69% ± 0.29%
• Early@10: 98.80% ± 0.07%
• 명령 도달 시간(TTC): 0.153 ± 0.013 s
• 강건한 Macro-F1(Robust Macro-F1): 90.97% ± 0.37% (평가된 방법 중 최고 성능)

비교 성능:
동일한 인과적 프로토콜 하에서, RSC-GestureNet은 재현된 교통 특화 베이스라인들을 능가합니다:

• vs. MD-GCN: +3.23 macro-F1 포인트, +2.15 온라인-F1 포인트, 그리고 0.104초 빠른 TTC (RSC-GestureNet: 0.153s vs. MD-GCN: 0.257s).
• vs. HLP-GCN: +4.11 macro-F1 포인트, +3.07 온라인-F1 포인트, 그리고 0.160초 빠른 TTC (RSC-GestureNet: 0.153s vs. HLP-GCN: 0.313s).

강건성 및 교정:

• 모델은 CTPGesture-C의 7가지 모든 부식 패밀리에 대해 우수한 강건성을 보여주며, 특히 상지 특징 억제 및 포즈 드롭아웃 상황에서 가장 큰 개선을 보였습니다.
• RGB 수준 진단(손상된 프레임에서 포즈 재추출)에서, 모델은 저조도 조건에서 최고의 macro-F1을 달성하였으며 모션 블러 환경에서도 경쟁력 있는 성능을 유지했습니다.
• 교정 분석 결과, RSC-GestureNet은 높은 커버리지 수준(90%, 95%, 99%)에서 가장 낮은 선택적 위험(selective risk)과 가장 낮은 Brier 점수를 기록하여, 고품질의 확률 분포를 가짐을 입증했습니다.

의의 및 주장

본 논문은 포즈 신뢰도의 명시적 모델링이 조기에 안정적이고 강건한 교통 명령 인식을 개선하는 데 결정적인 요소라고 주장합니다. 결과는 포즈 신뢰도를 단순한 가정치가 아닌 모델링 신호로 취급함으로써 다음과 같은 효과를 얻을 수 있음을 보여줍니다:

1. 강건성 실패 완화: 손상된 관절의 가중치를 낮춤으로써, 모델은 시각적 스트레스(블러, 폐쇄, 저조도) 상황에서도 성능을 유지합니다.
2. 선택성을 통한 안전성 향 향상: 불확실한 결정을 유보하는 능력은 잠재적으로 안전하지 않은 레이블의 방출을 방지하며, 이는 자율주행 계획에 있어 매우 중요한 기능입니다.
3. 배포 격차 해소: 통합된 인과적 프로토콜과 교정된 유보 가능 명령 인터페이스를 제공함으로써, 본 연구는 교통 경찰의 수신호 인지를 안전 지향적 자율 시스템에 통합하기 위한 재현 가능한 경로를 제시합니다.

저자들은 시각적으로 유사한 전이 동작(예: 회전 중 vs 대기 중)에서 오류가 지속되기는 하지만, 신뢰도 인식 접근 방식이 최신 그래프 기반 및 시간적 베이스라인들에 비해 통계적으로 유의미하고 측정 가능한 개선을 제공한다고 결론짓습니다.