기술 요약: 웹캠 시선 추적이 주행 모델의 메사-목적(Mesa-Objectives)을 제약할 수 있는가?

문제 정의

자율주행 시스템은 중요한 안전 과제에 직면해 있습니다: 바로 **메사-목적(mesa-objectives)**이 발생할 가능성입니다. 이는 훈련 과정에서 학습된 내부 목표로, 진정한 위험 인식이 아닌 허위 상관관계(예: 특정 위험을 이해하는 대신 "모든 움직이는 물체를 표시"하도록 학습된 모델)를 통해 높은 성능을 달내는 것을 의미합니다.

저자들은 인간의 시선 패턴을 훈련 중 특권 정보(privileged information)로 포함하는 것이 학습 가능한 메사-목적의 공간을 제약할 수 있다는 가설을 세웠습니다. 이 접근 방식은 시선이 모델을 진정한 위험 특징으로 유도하기 위해 훈련 중에만 사용 가능한 "교사의 힌트" 역할을 하는 특권 정보 활용 학습(LUPI) 패러다임에 기반합니다. 그러나 기존 연구들은 sub-degree 수준의 정확도를 가진 연구용 적외선 시선 추적기에 의존하여 성공적으로 시선을 특권 정보로 사용해 왔습니다. 본 연구는 접근성은 높지만 정밀도는 낮은 웹캠 기반 시선 추적(특히 WebGazer.js)이 위험 감지를 개선하거나 메사-목적을 제약할 수 있는 충분한 신호를 제공할 수 있는지 조사합니다.

방법론

본 연구는 잠재적인 병목 현상(보정 품질, 모델 복잡성, 기기 정밀도)을 체계적으로 제거하기 위해 엄격한 다단계 실험 설계를 채결했습니다.

1. 데이터 수집 파이프라인

• 소스 푸티지: 다양한 조건(비, 눈, 눈부심 등)에서 촬영된 20시간 이상의 대시캠 영상(Tesla Model 3, HW3)에서 추출한 388개의 고유한 15초 클립.
• 시뮬레이션 플랫폼: 40명의 참가자가 영상을 시청하고 스페이스바를 통해 위험 발생 및 종료 시점을 표시하는 인터랙티브 웹 기반 플랫폼(React/TypeScript).
• 시선 캡처: WebGazer.js를 사용하여 약 10–15 Hz 속도로 시선 좌표를 캡처.
• 보정 프로토콜: 보정의 영향을 평가하기 위해 두 가지 구별된 프로토콜을 테스트함:
  • 사전 보정(Pre-calibration): 9점 그리드, 총 45회 클릭 (47,524개 샘플).
  • 사후 보정(Post-calibration): 11점 원형, 총 440회 클릭 (90,139개 샘플).
• ETL 파이프라인: 데이터 품질을 보장하기 위한 4단계 프로세스:
  1. 뷰포트 정규화: 다양한 화면 크기 및 레터박싱 교정.
  2. 렌더링 지연 제거: 초기 버퍼링 기간 제외.
  3. 인구통계학적 반응 시간 교정: 연령에 따른 반응 속도 저하(Der & Deary, 2006)를 고려하여 위험 타임스탬프 조정.
  4. 특징 추출: 50개 이상의 특징(시선 속도, 가속도, 공간 분산 등)과 YOLOv8m 비디오 임베딩이 풍부하게 포함된 137,663개의 프레임 레벨 레코드 생성.

2. 실험 설계

통계적 유의성을 평가하기 위해 5개의 무작위 시드(seed)를 사용한 세 가지 실험을 수행하였으며, 짝지은 t-검정(paired t-test)을 실시했습니다. 유일한 변수는 시선 특징의 포함 여부였습니다.

• 실험 1a (Random Forest, 사전 보정): 더 약한 보정 프로토콜을 사용하여 시선이 증강된 모델을 기본 성능과 비교 테스트.
• 실험 1b (Random Forest, 사후 보정): 보정 품질을 변수로 격리하기 위해 더 높은 품질(440회 클릭)의 보정 데이터를 사용하여 반복 테스트.
• 실험 2 (Causal Transformer, 사후 보정): 모델 복잡성을 혼란 변수로 제거하기 위해 2계층 인과적 트랜스포머(8.1M 파라미터)를 활용하였으며, 과거 데이터만을 사용하여 0.5초 앞을 예측하도록 인과성을 엄격히 준수함.

3. 기하학적 분석

부정적인 결과를 설명하기 위해, 저자들은 YOLOv8m을 통해 탐지된 물리적 위험 객체의 크기와 WebGazer.js의 보고된 오차 반경을 비교하는 기하학적 분석을 수행했습니다.

주요 결과

모든 실험 조건에서 시선 데이터를 추가했을 때 통계적으로 유의미한 개선이 관찰되지 않았습니다.

실험	모델	데이터	평균 $\Delta$ AUC	p-값	유의미함?
1a	Random Forest	사전 보정	+0.001	0.919	아니오
1b	Random Forest	사후 보정	+0.002	0.578	아니오
2	Causal Transformer	사후 보정	+0.008	0.667	아니오

• 보정 영향: 보정 샘플 수를 45개에서 440개로 늘리면 신호의 깨끗함(분산 감소)은 개선되었으나, 위험 탐지 성능 향상으로 이어지지는 않았습니다.
• 모델 복잡성: 더 복잡한 트랜스포머 아키텍처가 약간 더 높은 평균 개선치(+0.008)를 보였으나, 높은 분산(범위: -0.055 ~ +0.052)을 나타내어 이러한 결과가 신호가 아닌 노이즈임을 확인했습니다.
• 기하학적 근본 원인: 분석 결과, WebGazer의 보고된 오차 반경(~196 px)은 탐지된 위험 객체의 중앙값 너비(36 px)보다 5.5배 더 컸습니다. 또한, 탐지된 모든 위험 객체의 93%(보행자, 신호등, 정지 표지판 포함)가 시선 오차 반경보다 작았습니다.

의의 및 주장

본 논문은 웹캠 기반 시선 추적은 현재 기기 정밀도의 근본적인 한계로 인해 주행 모델의 메사-목적을 제약하기에 불충분하다고 결론짓습니다.

• 기기 인지적 평가: 저자들은 단일 시드 실험에서 나타난 +7.4%의 개선이 오해를 불러일으킬 수 있는 긍정적 결과로 잘못 발표될 수 있음을 강조합니다. 본 연구는 거짓 양성(false positive)을 피하기 위해 다중 시드 검증과 근본 원인 분석이 필수적임을 입증합니다.
• 물리적 불가능성: 핵심 주장은 객체 수준의 시선 귀속이 현재의 정밀도 수준에서는 물리적으로 불가능하다는 것입니다. 즉, 기기는 운전자가 위험을 보고 있는지 아니면 그 바로 옆의 장면을 보고 있는지 구분할 수 없습니다.
• 인프라의 기여: 시선 신호 자체는 불충분했으나, 저자들은 자신들의 데이터 수집 인프라(시뮬레이션 플랫폼, 4단계 ETL 파이프라인, 다중 시드 평가 프레임워크)를 재사용 가능한 기여로서 제시합니다. 이 파이프라인은 입력 레이어를 교체함으로써 향-Tobii와 같은 전용 sub-degree 정확도 시선 추적 하드웨어로 쉽게 확장할 수 있도록 설계되었습니다.
• 부정적 결과: 저자들은 다른 연구자들이 안전 필수 영역에서 막다른 골목을 헤매지 않도록 하고 정직한 평가 표준을 촉진하기 위해, 엄격한 부정적 결과(negative results)를 발표할 것을 권장합니다.