Interpretable Traffic Responsibility from Dashcam Video via Legal Multi Agent Reasoning

1. 문제 정의 (Problem)

• 배경: 대시캠의 보편화로 교통사고 영상 증거는 풍부해졌으나, "영상 속 사건"을 "어떤 법적 조항에 따라 누가 책임이 있는가"로 변환하는 과정은 여전히 인간 전문가에 의존하고 있습니다.
• 현황의 한계:
  • 시각적 이해 (Vision): 기존 이고뷰 (ego-view) 교통사고 연구는 사고 감지, 분류, 원인 분석 등 '지각 및 의미론적 이해' 수준에 머무르고 있으며, 법적 책임 귀속이나 구체적 법조항 적용까지 확장되지 못했습니다.
  • 법적 추론 (Legal Reasoning): LLM 기반 법적 방법론은 주로 텍스트 기반 사건 설명에 의존하며, 영상 증거를 법적 추론 과정에 통합하지 못했습니다.
• 핵심 과제: 중국 도로교통법 체계 하에서, 다중 모달 증거 (영상 + 텍스트) 를 책임 유형과 구체적 법조항으로 체계적으로 매핑하고, 그 추론 과정을 추적 가능하고 해석 가능하게 만드는 통합 프레임워크의 부재.

2. 제안 방법론 (Methodology)

저자들은 C-TRAIL이라는 새로운 데이터셋과 이를 활용한 2 단계 프레임워크를 제안합니다.

A. 데이터셋: C-TRAIL

• 중국 도로교통법 체계 하에 구축된 최초의 다중 모달 법적 데이터셋입니다.
• 대시캠 영상과 텍스트 설명을 미리 정의된 책임 모드 (Responsibility Modes) 및 해당 중국 교통법 조항과 명시적으로 연결합니다.
• 약 1,000 개의 정제된 영상 샘플과 자동 생성 + 수동 검수를 통해 라벨링된 책임 모드 및 법조항을 포함합니다.

B. 1 단계: 사고 이해 모듈 (Accident Understanding Module)

원시 영상에서 구조화된 텍스트 설명을 생성하는 모듈로, 다음과 같은 구성 요소로 이루어집니다.

1. 자가 지도 학습 (Self-supervised Learning): DepthNet 과 PoseNet 을 사용하여 깊이 정보와 카메라 포즈를 추정합니다.
2. 차량 이고 - 모션 추출기 (VEE): 단일 프레임 입력으로부터 차량의 주행 행동 (감속, 가속, 조향 등) 을 추론하는 고수준 의미적 표현을 학습합니다.
3. 차량 상태 추정 (VSE): 속도와 조향 각도를 명시적으로 회귀 (Regression) 하여 학습된 특징이 실제 주행 상태를 반영하도록 제약합니다.
4. 이벤트 기반 캡셔닝: 비디오를 의미 있는 '이벤트' 단위로 분할하고, 각 이벤트의 시간적 경계와 자연어 설명 (사건 발생, 관련 주체, 위험 원인) 을 생성합니다.

C. 2 단계: 법적 멀티 - 에이전트 프레임워크 (Legal Multi-Agent Framework)

생성된 텍스트 설명과 사고 기록을 바탕으로 법적 판단을 수행하는 3 단계 에이전트 구조입니다.

1. 다중 모달 사실 구성 (Multimodal Fact Construction):
   • 영상 기반 설명 ($T_v$) 과 수동 주석 텍스트 ($T_a$) 를 통합합니다.
   • Fact Aggregation Agent가 두 소스의 일관성을 검증하고, 핵심 사실은 $T_a$를 우선시하되 세부 환경 정보는 $T_v$를 융합하여 통일된 사건 사실 진술서 ($F$) 를 생성합니다.
2. 법적 정보 검색 (Legal Resources Retrieval):
   • Judge Assistant가 사건 사실 ($F$) 을 기반으로 교통법 지식 베이스 (법령, 판례, 해석) 에서 관련 조항과 선례를 검색하여 요약합니다.
3. 판사 멀티 - 에이전트 (Judge Multi-Agent):
   • Issue Judge: 사실 진술서를 바탕으로 핵심 법적 쟁점과 초기 책임 할당을 도출합니다.
   • Law & Precedent Judge: 초기 판단이 법령과 선례와 일치하는지 검토하고 수정안을 제시합니다.
   • Deliberation Judge: 위 두 에이전트의 의견을 종합하여 최종 책임 귀속, 적용 법조항, 그리고 '사실 → 판단'의 추론 체인이 포함된 판결문을 작성합니다.

3. 주요 기여 (Key Contributions)

1. 중국 교통법 최초의 다중 모달 책임 분석 프레임워크: "영상 + 텍스트 → 책임 모드 → 법조항"의 추론 체인을 명시적으로 모델링한 최초의 작업입니다.
2. C-TRAIL 데이터셋 구축: 대시캠 영상과 텍스트를 중국 교통법 조항 및 책임 유형과 직접 연결한 최초의 다중 모달 법적 데이터셋입니다.
3. 사고 이해 및 해석 가능한 추론 시스템: 이고 - 모션 (ego-motion) 을 인식한 사고 이해 프레임워크와, 판사 역할 분담을 통한 투명하고 추적 가능한 법적 추론 프로세스를 제안했습니다.

4. 실험 결과 (Results)

• 데이터셋: C-TRAIL 과 기존 MM-AU 데이터셋에서 평가 수행.
• 성능:
  • MM-AU: 기존 비디오 QA 모델 (VGT, SeViLA 등) 대비 사고 원인 분석 (ArA) 정확도에서 월등히 높은 성능 (94.35% vs 89.26%) 을 보였습니다.
  • C-TRAIL: 일반 LLM(GPT-4 등), 전문 법률 LLM(LaWGPT 등), 기존 에이전트 기반 방법 (AgentsCourt 등) 을 모두 압도했습니다.
    • 정확도 (Acc): 86.4% (최고)
    • Macro-F1: 79.1%
    • 핵심 법조항 적중률 (Core Statute Hit): 73.2%
• 분석:
  • 비디오 이해 모듈: 이고 - 모션 추출기 (Ego) 와 차량 상태 추정 (VSE) 이 책임 판단에 결정적인 영향을 미쳤습니다.
  • 멀티 - 에이전트 효과: 단일 판사 에이전트보다 역할 분담 (Issue, Law, Deliberation) 을 통한 상호 검증이 정확도와 핵심 법조항 적중률을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성 (Interpretability): 단순히 결과만 출력하는 것이 아니라, 영상에서 추출한 사실, 적용된 법조항, 그리고 책임 판단에 이르는 논리적 추론 과정을 투명하게 제공합니다.
• 실용성: 교통 경찰 및 법원의 수작업 비용 절감과 판사들의 의사결정 지원 도구로서의 잠재력을 입증했습니다.
• 법적 - 기술적 간극 해소: 시각적 증거 (비디오) 와 법적 추론 (법조항) 사이의 간극을 메우며, 실제 교통 사고 시나리오에서 다중 모달 증거를 활용한 자동화된 책임 분석의 새로운 기준을 제시했습니다.

이 연구는 컴퓨터 비전과 법률 AI 의 융합을 통해, 복잡한 교통 사고의 책임 소재를 인간 전문가 수준으로 해석 가능하게 자동화하는 중요한 진전을 이룩했습니다.