기술 요약: 멀티모달 대규모 언어 모델을 이용한 1인칭 시점 사고 영상의 책임 분배 추정

문제 정의

현재의 멀티모달 교통사고 분석은 인프라 카메라 영상, 위성 이미지 또는 구조화된 사고 기록에 크게 의존하고 있습니다. 이러한 데이터 소스는 두 가지 결정적인 한계를 가집니다. 첫째, 규모 있게 배포하기에 비용이 많이 들며, 둘째로 더 중요한 점은 사고 전 운전자가 가질 수 있었던 시각적 관점을 객적하게 포착하지 못한다는 것입니다. 결과적으로, 이러한 데이터는 사고 발생 전의 회피 가능성과 운전자의 책임을 자차(ego-vehicle)의 관점에서 추론하기에는 부적합합니다.

본 논문은 1인칭 시점(ego-view) 교통사고 영상을 위한 새로운 과업으로 **책임 분배 추정(Responsibility Distribution Estimation)**을 제안합니다. 단일 사고 레이블, 심각도 또는 인과 관계 설명을 예측하는 기존 과업들과 달리, 이 과업은 모델이 모든 관련 주체(예: 자차, 타 차량, 보행자) 간의 비례적인 책임 분포(합계가 100%가 되는 백분율)를 예측할 것을 요구합니다. 모델은 자차 운전자에게 어떤 정보가 가용했는지 추론하고, 주요 책임 당사자를 식별하며, 실제 교통 상황의 추론을 모방하여 공유 책임을 반영하는 책임 비율을 할당해야 합니다.

방법론

데이터셋 구축

저자들은 기존의 텍스트 주석(장면 설명, 원인, 예방 조치)이 포함된 1인칭 블랙박스 사고 영상 모음인 MM-AU를 기반으로 데이터셋을 구축했습니다. MM-AU에는 책임 레이블이 없기 때문에, 저자들은 LLM 지원 주석 파이프라인을 개발했습니다:

• 입력: 각 영상에 대해, 비정상 이벤트 구간(사고 프레임 포함 보장)을 가로지르는 8개의 균등 샘플링된 프레임을 장면 메타데이터 및 텍스트 주석과 함께 LLM에 제시합니다.
• 출력 생성: LLM은 자차와 타 당사자에 대한 정수 백분율을 출력하여 합계가 100%가 되도록 하고, 주요 책임 당사자를 식별하며, 타 당사자의 유형을 분류하고, 시각적/텍스트적 근거에 기반한 근거(rationale)를 제공하도록 프롬프트됩니다.
• 제약 조건: 일관성을 극대화하기 위해 온도는 0으로 설정되었습니다. 결과 데이터셋은 자차 우선 사례(52%)와 타 당사자 우선 사례(48%) 사이에서 대략적으로 균형을 이룹니다.

모델 및 학습

본 연구는 모든 선형 투영 레이어(rank $r=16$, scaling factor $\alpha=32$)에 **LoRA (Low-Rank Adaptation)**를 사용하여 멀티모달 대규모 언어 모델인 Qwen3-VL-4B를 미세 조정(fine-tuning)합니다.

• 입력: 모델은 $k=10$개의 샘플링된 프레임, 장면 메타데이터, 텍스트 주석을 받습니다.
• 출력: 모델은 예측된 책임 분포, 주요 당사자, 타 당사자 레이블, 그리고 추론 과정을 포함하는 JSON 형식의 출력을 자기회귀(autoregressively) 방식으로 생성합니다.
• 제약 조건 학습: 백분율의 합이 100이 되어야 한다는 요구 사항은 명시적인 후처리 제약 조건이 아닌, 프롬프트 지침과 학습 데이터 분포를 통해 암묵적으로 강제됩니다.

실험 설정

저자들은 세 가지 입력 조건 하에서 미세 조정된 모델을 GPT-5 제로샷(zero-shot) 베이스라인과 비교 평가합니다:

1. RGB: 원본 프레임 + 텍텍스트 주석.
2. RGB+Seg: 시맨틱 세그멘테이션 오버레이 + 텍스트 주석.
3. Text: 텍스트 주석만 포함 (이미지 없음).

평가 지표:

• Exact Match (EM): 예측된 자차 책임도가 실제 정답과 정확히 일치하는 경우의 비율.
• Within-10%/20% (W-10/W-20): 절대 오차가 $\le$ 10 또는 20 퍼센트 포인트인 경우의 비율.
• MAE/RMSE: 자차 백분율에 대한 평균 절대 오차(MAE) 및 평균 제곱근 오차(RMSE).
• Primary Party Accuracy (PP): 주요 책임 주체를 식별하는 정확도.

주요 결과

미세 조정된 Qwen3-VL-4B는 특히 RGB 입력 조건에서 GPT-5 제로샷 베이스라인보다 유의미한 성능 향상을 보여주었습니다:

• Exact Match: 미세 조정된 모델은 **79.1%**를 달성하였으며, 이는 GPT-5 제로샷의 **38.5%**와 대조적입니다.
• Primary Party Accuracy: 미세 조정된 모델은 **96.7%**에 도달하여 GPT-5의 **89.0%**를 능가했습니다.
• 오차 감소: 자차 백분율에 대한 평균 절대 오차(MAE)는 GPT-5의 12.1에서 미세 조정 모델의 4.9로 감소하여, 절반 이상의 감소율을 보였습니다.

절제 실험(Ablation) 및 입력 분석:

• 시각적 필수성: 시각적 입력을 제거하면(Text-only 조건) 두 모델 모두에서 급격한 성능 저하가 발생합니다. GPT-5의 MAE는 두 배 이상 증가(12.1 $\to$ 24.9)했으며, 미세 조정 모델의 MAE는 극적으로 증가(4.9 $\to$ 35.1)했습니다. 이는 1인칭 시점 프레임이 텍스트만으로는 복구할 수 없는 결정적인 책임 정보를 포함하고 있음을 확인시켜 줍니다.
• 세그멘테이션 영향: 원본 RGB 프레임을 시맨틱 세그멘테이션 오버레이(RGB+Seg)로 교체했을 때 유사하거나 약간 더 낮은 결과를 보였으며, 이는 이 설정에서 원본 시각적 외형이 구조화된 세그멘테이션 오버레이보다 충분하거나 더 우수한 정보를 제공함을 시사합니다.
• 미세 조정 vs. 제로샷: GPT-5 제로샷은 준수한 "Within-10%" 성능(79.1%)을 보여주어 책임의 방향성에 대해서는 대략적으로 추론할 수 있음을 나타내지만, 미세 조정된 모델의 높은 Exact Match 점수는 LLM 주석 레이블로 학습하는 것이 모델을 단순히 당사자 순위를 매기는 것을 넘어 특정 백분율 값에 효과적으로 고정(anchor)시킨다는 것을 입증합니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 새로운 과업 정립: 이진 분류나 인과 관계 설명을 넘어 비례적 할당으로 나아가는, 멀티모달 사고 이해를 위한 새로운 과업인 "책임 분배 추정"을 도입했습니다.
2. 1인칭 중심 기초 확립: 운전자 중심의 추론을 위한 1인칭 시점 영상의 독특한 가치를 강조하며, 이 특정 과업을 위한 첫 번째 벤치마크를 구축했습니다.
3. 실현 가능성 입증: 결과는 적절한 데이터로 미세 조정되었을 때 멀티모달 LLM이 정교하고 제약 조건이 있는 추론(합계가 100이 되는 백분율 할당)을 효과적으로 수행할 수 있음을 보여주는 강력한 초기 벤치마크를 확립했습니다.

저자들은 본 연구를 "사회적 및 법적으로 의미 있는 멀티모달 추론"을 위한 토대로 위치시키며, 1인칭 시점 영상이 외부 관점에서는 제공할 수 없는 사고 회피 가능성과 책임 분배를 이해하는 데 유망한 기초가 될 것임을 시사합니다.

한계 및 윤리적 고려사항

논문은 다음과 같이 신중한 입장을 유지합니다:

• 레이블의 타당성: 책임 레이블은 LLM에 의해 생성되었으며 평가를 위한 대리물(proxy) 역할을 할 뿐이며, 인간 전문가의 주석이나 법적 실측치가 아닙니다. 현재 프로세스는 관할 구역별 법률을 고려하지 않습니다.
• 데이터 범위: 모델은 샘플링된 프레임과 텍스트에 의존하며, 명시적인 물리적 증거(예: 정확한 속도, 제동력, 궤적)가 부족하여 미세한 시간적 추론에 한계가 있을 수 있습니다.
• 복잡성: 현재의 정식화는 두 당사자 간의 상호작 작용에 초점을 맞추고 있으며, 세 명 이상의 주체가 연루된 사고는 아직 다루지 못한 더 복적인 분해 과정이 필요합니다.
• 윤리적 경고: 본 시스템은 명시적으로 탐색적 연구 프로토타입으로 정의됩니다. 이를 자동화된 법적, 사법적 또는 보험 결정에 사용해서는 안 됩니다. 저자들은 자동화 편향(automation bias)의 위험과 향후 실제 적용 시 인간 참여형(human-in-the-loop) 구조의 필요성을 강조합니다. 또한, 블랙박스 영상에 포함된 개인 식별 정보에 대한 프라이버시 문제도 언급되었습니다.