SafePLUG: Empowering Multimodal LLMs with Pixel-Level Insight and Temporal Grounding for Traffic Accident Understanding

이 논문은 기존 멀티모달 LLM 의 한계를 극복하고 교통 사고의 미세한 시각적 세부 사항과 시간적 맥락을 정밀하게 분석할 수 있도록 픽셀 단위 이해와 시간적 정박 기능을 갖춘 새로운 프레임워크 'SafePLUG'와 관련 데이터셋을 제안합니다.

핵심

이 논문은 **'SafePLUG'**라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 교통 사고를 분석할 때 기존 AI 들이 가졌던 한계를 뛰어넘어, 마치 전문 사고 조사관처럼 세밀하게 상황을 파악하고 설명할 수 있게 해줍니다.

기존의 교통 사고 분석 AI 들은 마치 멀리서 사진을 찍은 사진작가와 같았습니다. "아, 사고가 났구나, 차가 두 대 부딪혔구나"라고 큰 그림만 알았을 뿐, "어떤 차가 먼저 갔고, 어떤 차가 미끄러졌으며, 정확히 몇 시에 부딪혔는지"까지 자세히 알려주지는 못했습니다.

SafePLUG 는 이 문제를 해결하기 위해 세 가지 특별한 능력을 장착했습니다.

1. "현미경" 같은 눈 (픽셀 수준의 이해)

기존 AI 는 사고 장면을 전체적으로만 봤다면, SafePLUG 는 현미경을 들고 들어와서 아주 작은 부분까지 봅니다.

• 비유: 사고 현장에 형광 펜을 들고 들어간 조사관처럼 생각해보세요.
  • "저기 검은색 SUV 가 왼쪽으로 꺾이고 있네"라고 말하면, AI 는 그 정확한 차의 모양만 형광으로 칠해줍니다.
  • "두 차가 부딪힌 부분"이라고 하면, 부딪힌 그 작은 점까지 정확히 찾아냅니다.
  • 이렇게 하면 "어느 차가 잘못했는지", "어디가 파손되었는지"를 아주 정밀하게 파악할 수 있습니다.

2. "타임라인"을 읽는 능력 (시간적 근거)

사고는 순간이 아니라 시간의 흐름 속에서 일어납니다. 하지만 기존 AI 는 "무슨 일이 일어났는지"는 알 수 있어도 "언제 일어났는지"를 잘 모았습니다.

• 비유: SafePLUG 는 영상에 숫자 표지판을 붙여줍니다.
  • 영상 프레임마다 "1, 2, 3..."처럼 숫자를 눈에 띄게 표시해줍니다.
  • 이렇게 하면 AI 는 "사고가 일어난 건 43 번째 프레임부터 69 번째 프레임 사이야"라고 정확한 시간을 짚어낼 수 있게 됩니다.
  • 마치 영화의 타임라인을 보면서 "이 장면이 사고 직전이고, 이 장면이 충돌 순간이고, 이 장면은 사고 후야"라고 구분하는 것과 같습니다.

3. "사고 현장 기록장" (새로운 데이터셋)

이 AI 를 훈련시키기 위해 연구팀은 SafePLUG-Bench라는 새로운 데이터베이스를 만들었습니다.

• 비유: 기존에는 사고 사진만 모아둔 '사진첩'이 있었다면, SafePLUG-Bench 는 사고 현장의 모든 디테일을 기록한 수사 보고서입니다.
  • 어떤 차가 어디에 있었는지 (영역),
  • 정확히 어떤 부분이 부딪혔는지 (픽셀),
  • 사고가 언제 시작되어 언제 끝났는지 (시간)
  • 이 모든 것을 22 만 개 이상의 질문과 답변으로 담아냈습니다.

왜 이것이 중요할까요?

이 기술은 단순히 "사고가 났다"는 사실을 알려주는 것을 넘어, 왜 사고가 났는지, 어떻게 예방할 수 있을지까지 깊이 있게 분석할 수 있게 해줍니다.

• 운전자에게: "비가 와서 미끄러졌을 때, 앞차가 갑자기 멈추면 어떻게 해야 할지" 실시간으로 경고해줄 수 있습니다.
• 조사관에게: "어느 차가 먼저 잘못했는지"를 객관적이고 정밀하게 판단하는 데 도움을 줍니다.
• 도시 계획가에게: 사고가 자주 나는 '위험 구역'을 정확히 찾아내 도로를 더 안전하게 만들 수 있습니다.

한 줄 요약:
SafePLUG 는 교통 사고를 분석할 때 멀리서 보는 눈이 아니라, 현장 곳곳을 훑어보고 정확한 시간을 기록하는 전문 조사관이 되어, 더 안전하고 똑똑한 교통 시스템을 만드는 데 기여하는 새로운 인공지능입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 교통 사고 이해 (Traffic Accident Understanding) 를 위한 멀티모달 대형 언어 모델 (MLLM) 은 다음과 같은 한계를 가지고 있습니다:

• ** coarse-grained(거시적) 이해의 한계:** 기존 모델들은 이미지나 비디오 전체의 개괄적인 내용 (Image/Video-level) 에만 초점을 맞추어, 사고의 구체적인 원인, 충돌 영역, 관련 객체 간의 미세한 공간적 관계를 파악하는 데 어려움을 겪습니다.
• 픽셀 수준의 정밀도 부재: 사고 분석에는 충돌 부위, 차량의 정밀한 위치, 중첩된 객체 구분 등 픽셀 단위 (Pixel-level) 의 세밀한 시각적 이해가 필수적이지만, 기존 모델은 이를 지원하지 못합니다.
• 시간적 정합성 (Temporal Grounding) 부족: 사고가 발생한 정확한 시점 (시작 및 종료) 을 파악하는 '시간적 근거'가 부족합니다. 대부분의 모델은 '무엇이' 일어났는지는 알 수 있어도 '언제' 일어났는지를 정확히 특정하지 못합니다.
• 데이터셋의 부재: 기존 데이터셋은 주로 객체 감지나 분류에 치중되어 있으며, 지역 기반 질문 답변 (Region QA) 이나 픽셀 단위 그라운딩 (Pixel-level Grounding) 을 지원하는 대규모 벤치마크가 부족했습니다.

2. 제안 방법론 (Methodology: SafePLUG)

저자들은 이러한 한계를 극복하기 위해 SafePLUG라는 새로운 프레임워크를 제안했습니다. 이 프레임워크는 MLLM 에 **픽셀 단위 이해 (Pixel-Level Understanding)**와 시간적 근거 (Temporal Grounding) 능력을 동시에 부여합니다.

2.1. 핵심 아키텍처 및 구성 요소

• 멀티모달 인코딩 (Multimodal Input Encoding):
  • 비디오 인코더: LanguageBind 기반의 사전 학습된 비디오 인코더를 사용하여 시공간적 특징을 추출합니다.
  • 숫자 프롬프트 (Number Prompts): 시간적 근거를 강화하기 위해 각 프레임에 프레임 번호 (숫자) 를 시각적으로 오버레이합니다. 이는 모델이 시각적 콘텐츠와 시간적 순서를 연관 짓도록 유도하며, 모델 아키텍처를 변경하지 않고도 시간적 정합성을 높입니다.
  • 시각적 프롬프트 인코더 (Visual Prompt Encoder): 사용자가 정의한 임의의 모양 (다각형, 마스크 등) 의 관심 영역 (ROI) 을 인코딩하여 언어 지시와 정렬합니다. 이를 통해 모델은 특정 영역에 집중하여 질문 답변이 가능합니다.
  • 픽셀 인코더: SAM(Segment Anything Model) 기반의 인코더를 사용하여 밀도 높은 공간적 특징을 추출합니다.
• 멀티모달 퓨전 (Multimodal Fusion via LLM):
  • 추출된 시각적 특징 (비디오, 이미지, 지역) 을 언어 모델의 임베딩 공간으로 투영합니다.
  • <video>, <image>, <region>과 같은 특수 토큰을 사용하여 텍스트 시퀀스와 시각 정보를 교차 배치합니다.
• 디코더 (Decoders):
  • 텍스트 출력: 사고 설명, 지역 기반 QA, 시간적 위치 특정 등을 위해 언어 헤드를 사용합니다.
  • 픽셀 출력: <SEG>라는 특수 토큰을 어휘에 추가합니다. 이 토큰의 숨겨진 표현 (hidden embedding) 을 SAM 기반 디코더의 쿼리로 사용하여 언어 지시에 따른 이진 분할 마스크 (Segmentation Mask) 를 생성합니다.
• 학습 전략 (Dual-LoRA Training):
  • MoE(Mixture-of-Experts) 패러다임을 차용하여 두 개의 전문화된 LoRA (Low-Rank Adaptation) 브랜치를 사용합니다.
    1. 텍스트 지향 브랜치: 사고 설명, QA, 시간적 위치 특정을 담당 (Attention 및 Feed-forward 레이어 모두 적용).
    2. 마스크 지향 브랜치: 픽셀 단위 분할을 담당 (Feed-forward 레이어에만 적용하여 공간 추론 정밀화).
  • 이 두 브랜치는 공유된 백본을 기반으로 하되, 작업 유형에 따라 동적으로 활성화되어 언어 추론과 공간적 정밀도를 동시에 달성합니다.

3. 주요 기여 (Key Contributions)

1. SafePLUG 프레임워크: 시각적 프롬프트와 숫자 프롬프트를 통합하여 MLLM 에 픽셀 단위 이해와 시간적 근거 능력을 부여한 최초의 프레임워크 중 하나입니다.
2. SafePLUG-Bench 데이터셋:
   • 교통 사고 이해를 위한 새로운 대규모 벤치마크입니다.
   • 기존 데이터셋과 달리 **지역 수준 QA (Region-level QA)**와 **픽셀 단위 그라운딩 QA (Pixel-level Grounding QA)**를 모두 지원합니다.
   • 22 만 개 이상의 고품질 멀티모달 QA 쌍, 픽셀 단위 마스크 주석, 프레임 단위의 사고 경계 (Temporal boundaries) 를 포함합니다.
3. 성능 입증: 지역 기반 QA, 픽셀 분할, 시간적 사건 위치 특정, 사고 사건 이해 등 다양한 태스크에서 기존 SOTA 모델들을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

SafePLUG-Bench 를 기반으로 한 실험 결과는 다음과 같습니다:

• 지역 기반 질문 답변 (Region QA):
  • Qwen2.5-VL(72B), InternVL3(78B) 등 초대규모 모델들을 제치고 7B 파라미터 모델임에도 불구하고 BLEU, ROUGE, BERTScore 및 GPT 평가 점수에서 가장 높은 성능을 기록했습니다.
  • 시각적 프롬프트를 통해 모델이 전역적 맥락이 아닌 구체적인 영역에 집중할 수 있게 되어 정확도가 크게 향상되었습니다.
• 픽셀 그라운딩 (Pixel Grounding):
  • mIoU 64.07, AP@50 68.10 을 기록하여, 기존 분할 모델인 Sa2VA(58.74 mIoU) 보다 5 점 이상 높은 성능을 보였습니다.
  • 중첩된 차량이나 충돌 영역과 같은 미세한 공간적 관계를 정확하게 분할했습니다.
• 사고 설명 (Accident Description):
  • GPT 평가 점수 66.47 을 기록하여 두 번째로 높은 점수 (RoadSocial, 30.39) 의 두 배 이상을 달성했습니다.
  • 사고의 원인, 객체 간 상호작용, 환경적 요인 (예: 빙판길) 을 논리적으로 연결한 인과적 서술이 가능했습니다.
• 시간적 위치 특정 (Temporal Localization):
  • AP@50 45.40, mIoU 43.18 을 기록하여 Video-LLaVA 등 기존 모델들을 크게 앞질렀습니다.
  • 숫자 프롬프트를 통해 사고 발생의 시작과 종료 시점을 프레임 단위로 정확하게 식별했습니다.

5. 의의 및 결론 (Significance)

• 정밀한 사고 분석: SafePLUG 는 단순한 사고 감지를 넘어, 사고의 원인, 관련 객체, 충돌 영역, 발생 시점을 픽셀 및 프레임 단위로 정밀하게 분석할 수 있게 합니다.
• 스마트 교통 시스템 적용: 이러한 정밀한 이해는 자율주행 차량의 상황 인식 향상, 사고 책임 소재 판단, 교통 안전 정책 수립 등에 직접적으로 기여할 수 있습니다.
• 오픈 소스: 코드, 데이터, 모델 체크포인트를 공개하여 향후 교통 사고 이해 및 멀티모달 연구의 기반을 마련했습니다.

결론적으로, SafePLUG 는 멀티모달 LLM 이 복잡한 교통 사고 시나리오에서 공간적 (픽셀/지역) 그리고 시간적으로 정밀한 추론을 수행할 수 있도록 하는 획기적인 진전을 이루었습니다.