💻 computer science

Vision-Language Assistant for Emotional Reactions to Risky Driving

본 논문은 YOLOv8 기반의 위험 운전 탐지와 대규모 언어 모델을 결합하여 운전자의 선호도에 맞춘 실시간 감정 적응형 음성 응답을 생성함으로써 차량 내 안전과 정서적 웰빙을 향상시키는 시각-언어 파이프라인인 "Keep Yelling Assistant"(KYA)를 소개한다.

원저자: Harine Choi, Eun Hak Lee, Zhengzhong Tu

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Harine Choi, Eun Hak Lee, Zhengzhong Tu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 번화한 거리를 운전하고 있는데, 갑자기 한 자동차가 신호도 없이 당신 앞으로 급하게 끼어든다고 상상해 보세요. 심장이 철렁 내려앉고, 핸들을 잡은 손에 힘이 들어가며, "야, 조심해!"라고 외칠지도 모릅니다. 이러한 찰나의 감정적 폭발은 위험에 대한 매우 인간적인 반응입니다. 오랫동안 우리 자동차 내부의 컴퓨터들은 마치 냉정한 로봇과 같았습니다. 그들은 위험을 감지하고, 수학적 계산을 수행하며, 경고음을 울리지만, 결코 스트레스나 짜증을 '느끼지는' 못했습니다. 이 논문은 "시각-언어 모델(Vision-Language Models)"의 세계를 다룹니다. 이는 기본적으로 사진을 보고(시각), 그것에 대해 인간의 언어로 이야기할 수 있는(언어) 초지능형 컴퓨터 두뇌를 의미합니다. 이를 카메라가 자신이 보는 것에 대해 일기를 쓸 수 있는 기능까지 갖춘 것으로 생각하면 쉽습니다. 연구자들이 던지는 핵심 질문은 이것입니다: 우리는 이 자동차 컴퓨터들에게 단순히 위험한 운전자를 포착하는 것을 넘어, 인간과 같은 감정적 표현력으로 반응하도록 가르칠 수 있을까? 만약 우리가 이를 해낼 수 있다면, 운전은 덜 스트레스가 쌓이고 더 안전해질 수 있습니다. 왜냐하면 당신의 기분을 이해하는 자동차는 당신을 진정시키거나, 실제로 실감이 나는 방식으로 경고를 줄 수 있기 때문입니다.

여기 KYA, 즉 **Keep Yelling Assistant(계속 소리치는 조수)**가 등장합니다. KYA를 개성 있는 디지털 부조종사라고 생각하면 됩니다. 단순히 "경고: 전방 차량"이라고 말하는 대신, KYA는 도로를 살피고 갑작스러운 끼어들기와 같은 위험한 움직임을 포착한 다음, 당신의 기분에 맞춰 반응을 외치도록 설계되었습니다. 만약 당신이 유머러스한 스타일을 좋아한다면, KYA는 상대 운전자에 대해 농담을 던질 수도 있습니다. 만약 당신이 진지한 스타일을 원한다면, 상황에 대해 차분하고 분석적인 설명을 제공할 것입니다. 연구진은 이 시스템을 구축하기 위해 두 가지 주요 부분인 "눈"과 "두뇌"를 연결했습니다. "눈"은 YOLOv8이라는 컴퓨터 비전 도구로(이는 자동차를 포착하고 속도를 추적하는 초고속 보안 요원과 같습니다), "두뇌"는 스마트 챗봇을 구동하는 기술과 동일한 **대규모 언어 모델(LLM)**입니다. 시각 부분은 다른 차량이 얼마나 가까이 있는지와 얼마나 빠르게 다가오는지 측정하여, 그 데이터를 문장으로 변환하여 적절한 감정적 톤을 가진 음성으로 전달하는 두뇌로 넘겨줍니다.

이 아이디어가 효과가 있는지 확인하기 위해, 팀은 실제 블랙박스 영상으로 위험한 운전 상황을 테스트했으며 108명의 사람들에게 참여를 요청했습니다. 참가자들에게는 "중립적(Neutral)", "분석적(Analytical)"부터 "유머러스함(Humorous)", "화남(Angry)", 그리고 심지어 "관대함(Magnanimous, 매우 너그러운 것을 의미)"에 이르기까지 다양한 "성격"의 조수를 보여주었습니다. 그런 다음 참가자들에게 컴퓨터가 생성한 응답 중 어떤 것이 상황에 가장 적절하다고 느껴지는지 선택하게 했습니다. 결과는 꽤 명확했습니다: 사람들은 대체로 감정적인 조수의 개념을 좋아했습니다. 구체적인 성격을 살펴보면, 대부분의 사람들은 유머러스한 스타일과 분석적인 스타일을 선호한 반면, 단순히 화만 내는 스타일은 인기가 적었습니다. 우리는 우리의 자동차가 그저 고함을 지르는 것이 아니라, 재치 있거나 똑똑하기를 원하는 듯합니다.

이 목소리 뒤에 있는 "두뇌"를 테스트하기 위해, 연구진은 네 가지 서로 다른 AI 모델인 ChatGPT-4o, Claude 3, Gemini 2.5, 그리고 Copilot을 테스트했습니다. 그 결과 ChatGPT-4o가 전체적으로 가장 높은 점수(5.00점 만점에 4.29점)를 받으며 대중의 가장 큰 선택을 받았습니다. 이 모델은 특히 유머러스하고 분석적인 면에서 뛰어났습니다. 그러나 연구는 사람마다 선호하는 목소리가 다르다는 점도 발견했습니다. 예를 들어, 여성 참가자들은 정서적 뉘앙스가 풍부한 Claude 3 모델을 선호하는 경향이 있었고, 남성 참가자들은 Copilot 쪽으로 기울었습니다. 흥ari로운 점은, 연구 결과 로봇 같은 목소리는 잘 통하지 않았다는 것입니다. 사람들은 인간적인 목소리를 원했으며, 특히 무서운 순간에 더 따뜻하거나 안심시켜 주는 느낌을 주는 여성의 목소리를 약간 더 선호했습니다.

이 논문은 모든 운전 문제를 해결했다거나 내일 당장 당신의 차에 탑재될 완벽한 시스템을 만들었다고 주장하는 것이 아닙니다. 사실, 연구진은 자신들이 오직 사전 녹화된 영상과 설문조사를 통해 테스트했을 뿐, 실제로 도로 위에서 차를 직접 운전하며 테스트한 것은 아니라는 점을 주의 깊게 명시하고 있습니다. 또한 그들의 "눈"(비전 시스템)은 끼어들기와 같은 특정 유형의 위험에는 가장 잘 작동하며, 차간 거리 미확보(tailgating)와 같은 다른 위험에는 조정이 필요할 수 있다는 점도 인정합니다. 하지만 핵심적인 시사점은 희망적입니다: 카메라를 통해 도로를 보고 인간의 감정을 이해하는 두뇌를 결합함으로써, 우리는 단순히 우리를 안전하게 지켜줄 뿐만 아니라 우리의 정신 건강까지 돌봐주는 자동차 조수를 만들 수 있다는 것입니다. 이 연구는 우리가 기계로부터 이해받고 있다고 느낄 때, 심지어 스트레스가 가득한 교통 체증 속에서도, 운전이라는 경험 전체가 조금 덜 무섭고 훨씬 더 인간적으로 변할 수 있음을 시사합니다.

기술 요약: 위험 운전에 대한 감정적 반응을 위한 시각-언어 어시스턴트

문제 정의
현대 도시의 주행 환경은 신호 없는 급격한 차선 변경 및 앞차와의 간격 미확보(tailgating)와 같은 위험 행동이 증가하고 있으며, 이는 통계적으로 높은 사고 발생률과 상관관계를 보입니다. 이러한 행동은 인간 운전자에게 격분에서부터 공포에 이르는 강렬한 감정적 반응을 유발하지만, 기존의 첨단 운전자 보조 시스템(ADAS) 및 시각-언어 모델(VLM)은 주로 중립적이고 과업 중심적인 출력에 국한되어 있습니다. 현재의 시스템은 인간의 운전 경험 중 감정적 차원을 다루는 데 한계가 있으며, 이는 위험이 감지되었음에도 적절한 긴급성이나 정서적 맥락을 담아 전달하지 못할 때 사용자의 몰입 저하나 불신으로 이어질 수 있습니다. 따라서 실시간 위험 기동 인식과 감정적으로 적응 가능하며 페르소나에 부합하는 대화를 통합하여 운전자의 인지와 편안함을 지원하는 기술적 공백이 존재합니다.

방법론
본 연구는 위험한 운전 행동을 감지하고 감정적으로 표현력이 풍부한 음성 응답을 생성하도록 설계된 모듈형 시각-언어 프레임워크인 **Keep Yelling Assistant (KYA)**를 소개합니다. 이 파이프라인은 두 가지 주요 단계로 작동합니다:

시각 모듈 (인식 및 행동 인식):
- 입력: 실제 시나리오, 특히 갑작스러운 끼어들기(cut-in) 이벤트에 초점을 맞춘 실제 블랙박스(dashcam) 영상.
- 탐지: 시스템은 BDD100K 및 nuScenes 데이터셋으로 사전 학습된 YOLOv8 변체(nano, small, medium, large)를 사용합니다. 모델은 주변 차량을 탐지하여 이미지 평면 좌표, 추정 속도, 거리, 차량 유형 및 색상과 같은 속성을 추출합니다.
- 정규화: 카메라 각도의 가변성을 해결하기 위해, 시스템은 상대적 근접 관계를 보존하기 위해 스케일 앵커(scale anchor)를 사용하는 정규화 절차를 적용하며, 절대적인 깊이 정확도보다 스케일 불변 큐(scale-invariant cues)를 우선시합니다.
- 위험 정량화: 시스템은 시공간 패턴을 분석하여 가장 높은 위험을 초래하는 '가해자(aggressor)' 차량을 식별합니다. 시스템은 **예상 도달 시간(Projected Reach Time, PRT)**이라는 특정 위험 지표를 계산하며, 이는 $PRT = d_{rel} / (v_{ego} + \epsilon)$ 로 정의됩니다. 여기서 $d_{rel}$ 은 상대 거리이고 $v_{ego}$ 는 자차의 속도입니다. PRT는 자차의 위치에 도달하는 데 걸리는 시간을 추정하며, 단일 카메라 환경에 적합한 보수적인 시간적 근접도 측정치 역할을 합니다.
- 출력: 상대 거리, 상대 속도, PRT 및 맥락적 메타데이터를 포함한 구조화된 행동 로그.
언어 모듈 (추론 및 응답 생성):
- 입력: 시각 모듈의 구조화된 행동 로그와 사용자 정의 감정 선호도 설정(페르소나).
- 페르소나: 사용자는 중립(Neutral), 가벼운 분노(Light Anger), 눈에 띄는 분노(Noticeable Anger), 강렬한 분노(Intense Anger), 분석적(Analytical), 유머러스(Humorous), 관대한(Magnanimous)의 7가지 사전 정의된 감정 톤 중에서 선택할 수 있습니다.
- 모델: 시스템은 ChatGPT-4o, Claude 3, Gemini 2.5, Copilot 등 4가지 최첨단 거대 언어 모델(LLM)을 활용합니다.
- 프로세스: LLM은 행동 로그를 바탕으로 교통 시나리오를 해석하고, 선택된 페르소나에 부합하는 자연어 응답을 생성합니다. 생성된 출력은 텍스트 음성 변환(TTS) 엔진을 통해 음성으로 변환되며, 선택된 감정 스타일에 맞춰 음성 특성(예: 톤, 억양)을 조절합니다.

데이터 및 평가

시각 성능 평가: 시스템은 5,019 프레임을 포함하는 20개의 큐레이션된 블랙박스 비디오 시퀀스로 테스트되었으며, 이 중 1,189 프레임이 고위험 끼어들기 상호작용으로 식별되었습니다.
사용자 연구: 감정적 일치도를 평가하기 위해 108명의 참가자(남성 53명, 여성 55명)를 대상으로 설문 조사를 실시했습니다. 참가자들은 5점 리커트 척도를 사용하여 유창성, 감정적 일치도, 페르소나 일관성을 기준으로 모델 출력을 평가했습니다. 또한 특정 페르소나에 대해 최적의 응답을 블라인드 테스트 방식으로 선택했습니다.

주요 결과

시각 성능: YOLOv8 변체 중 YOLOv8l이 가장 높은 전반적 성능(Recall: 0.869, F1: 0.921, mAP@0.5: 0.998)을 달축했습니다. 그러나 YOLOv8s는 계산 효율성과 정확도 사이의 유리한 균형(Recall: 0.762, Precision: 0.982)을 보여, 감정적 반응형 애플리케이션의 실시간 배포에 적합함을 입증했습니다.
행동 지표: 위험한 상호작용 분석 결과, 평균 상대 거리는 5.43미터였으며 평균 PRT는 1.80초였습니다. 위협의 75% 이상이 3초 임계값 이내에서 발생했으며, 이는 안전한 차간 거리 유지를 위한 표준 "3초 규칙"을 자주 위반하는 것이었습니다.
언어 모델 성능:
- ChatGPT-4o는 퓨샷(few-shot) 설정에서 4.29/5.00의 가장 높은 종합 점수를 기록하며 지속적으로 다른 모델들을 압도했습니다. 특히 분석적(41.6% 선택) 및 유머러스(42.2% 선택) 페르소나에서 선호되었습니다.
- Claude 3는 감정이 격앙된 스타일, 특히 가벼운 분노와 강렬한 분노에서 경쟁력 있는 성능을 보였습니다.
- 사용자 선호도: 참가자들은 강렬한 분노보다는 유머러스(48.1%)와 분석적(42.3%) 페르소나를 선호했습니다. 또한 남성이나 로봇 음성보다 여성 음성(53.8%)에 대한 강력한 선호도를 보였습니다.
- 통계적 유의성: 카이제곱 검정 결과, 페르소나에 따른 모델 선택 간에 통계적으로 유의미한 차이가 있음이 나타났습니다 ( $\chi^2 = 12.20, p = 0.0067$ ).

의의 및 기여
본 논문은 세 가지 주요 기여를 주장합니다:

프레임워크 설계: 저수준의 시각적 인지와 고수준의 정서적 상호작용을 연결하는 통합된 인식-행동-언어 아키텍처를 제안합니다. 상황적 추론이나 과업 안내에 집중하는 기존 VLM과 달리, KYA는 실시간 운전 시나리오에 기반하여 감정적으로 표현력이 풍부한 응답을 생성하도록 설계되었습니다.
실용적인 시각 모듈: 제약 없는 블랙박스 영상에서 끼어들기 행동을 탐지하기 위해 경량화된 YOLOv8 모델을 사용하는 실용적인 시각 모듈을 개발했습니다. 저자들은 복잡한 궤적 예측이나 정밀한 센서 교정 없이도 위험을 정량화할 수 있는 재현 가능한 PRT 방법론을 도입했습니다.
개인화된 언어 생성: 사용자 정의 감정 페르소나에 따라 응답을 조정하는 언어 모델을 구현했습니다. 본 연구는 LLM 기반 어시스턴트의 응답 생성 과정에 사용자 정의 감정 페르소나를 직접 통합하여 세밀한 개인화를 가능하게 한 첫 사례로 주목받습니다.

한계 및 향후 과제
저자들은 현재 범위에 대해 겸허한 입장을 유지하고 있습니다. 평가는 사전 녹화된 영상과 통제된 사용자 연구를 통한 오프라인 방식으로 수행되었으며, 실시간 차량 내 검증은 아직 이루어지지 않았습니다. 참가자 샘플은 인구 통계적 범위가 제한적이었습니다. 본 프레임워크는 구조적으로 행동 불가지론적(behavior-agnostic)이지만, 현재의 실증적 평가는 오직 갑작스러운 끼로들기 이벤트에만 집중되었습니다. 향후 연구는 실제 환경 배포, 추가적인 위험 행동(예: 테일게이팅, 급제동)의 포함, 그리고 장기적인 안전성 및 사용성 영향을 평가하기 위한 더 넓은 범위의 사용자 검증에 집중될 예정입니다.

유사한 논문