CARE Drive A Framework for Evaluating Reason-Responsiveness of Vision Language Models in Automated Driving

이 논문은 자율주행 분야에서 비전 언어 모델의 의사결정이 인간의 합리적 고려사항에 실제로 반응하는지 평가하기 위해, 맥락적 변형을 통해 모델의 결정 민감도를 측정하는 'CARE Drive'라는 새로운 평가 프레임워크를 제안하고 그 유효성을 입증합니다.

핵심

이 논문은 **"자율주행차가 단순히 '안전한 길'만 찾는 게 아니라, 사람이 생각하는 '이유'까지 이해하고 결정할 수 있을까?"**라는 질문에 답하기 위해 작성된 연구입니다.

저희는 이 복잡한 연구를 **'CARE-Drive(케어-드라이브)'**라는 새로운 검사 도구로 설명해 드리겠습니다.

🚗 핵심 아이디어: "왜 그렇게 했어?" vs "그냥 그랬어"

지금까지 자율주행차를 평가할 때는 "사고가 났나?", "차선이탈은 없었나?" 같은 결과만 봤습니다. 마치 시험지 점수만 보고 학생을 평가하는 것과 비슷하죠.

하지만 점수가 좋다고 해서 그 학생이 문제를 진짜로 이해하고 풀었는지는 알 수 없습니다. 혹시 그냥 운 좋게 맞혔거나, 나중에 "아, 저는 이렇게 생각했어요"라고 **변명 (후속 설명)**만 잘 해대는 것일 수도 있거든요.

이 연구는 자율주행 AI 가 **"왜 그렇게 결정했는지"**에 대한 **사람의 이유 (안전, 법, 편의성 등)**를 진짜로 반영해서 행동하는지, 아니면 그냥 가짜 변명을 하고 있는지 확인하는 방법을 개발했습니다.

---

🧪 CARE-Drive: 자율주행 AI 의 '양심 테스트'

이 연구에서 개발한 CARE-Drive는 마치 AI 의 뇌를 속여가며 테스트하는 실험실 같은 역할을 합니다.

1. 상황 설정: 자전거를 추월할까, 뒤따를까?

가장 어려운 상황을 상상해 보세요.

• 상황: 앞에는 자전거가 천천히 가고 있고, 반대 차선에는 차가 오고 있습니다.
• 갈등:
  • 법: 자전거를 추월하면 안 됩니다 (실선).
  • 안전: 추월하면 사고 날 수 있습니다.
  • 편의/효율: 뒤따라가면 시간이 너무 걸리고, 뒤에 차가 있다면 더 짜증이 납니다.

사람 운전자는 이 상황에서 "안전하지만 법을 위반할지, 법을 지키지만 불편할지"를 저울질하며 결정을 내립니다. AI 도 똑같이 해야 합니다.

2. 실험 방법: "이유"를 넣어보기

연구진은 AI 에게 두 가지 상황을 시켰습니다.

• A 상황 (기본): "앞에 자전거가 있어. 어떻게 할래?" (이유는 없음)
• B 상황 (이유 추가): "앞에 자전거가 있어. 사람들은 안전을 최우선으로 생각하지만, 너무 오래 기다리면 짜증도 나고 효율도 중요해. 어떻게 할래?"

그리고 AI 의 결정이 이유를 넣었을 때 변하는지를 관찰했습니다.

• 만약 AI 가 이유를 넣어도 똑같은 결정만 한다면? → AI 는 그냥 변명만 잘하는 겁니다. (이유와 행동이 분리됨)
• 만약 이유를 넣으면 결정이 바뀐다면? → AI 는 사람의 이유를 진짜로 이해하고 행동하는 겁니다. (이유와 행동이 연결됨)

---

🔍 주요 발견: AI 는 어떤 '이유'에 반응할까?

이 실험을 통해 놀라운 사실들이 밝혀졌습니다.

1. 안전 (Time-to-Collision) 에는 귀가 쫑긋합니다:

   • 반대 차선에서 오는 차와의 거리가 멀어지면 (안전할수록), AI 는 "아, 추월해도 되겠네"라고 결정했습니다. 이는 안전에 대한 이유를 잘 이해한다는 뜻입니다.
   • 비유: 마치 "비행기 날개가 튼튼하면 비행해도 돼"라고 말하면 AI 가 "알겠습니다"라고 대답하는 것과 같습니다.

2. 사회적 압력 (뒤따라오는 차) 에도 반응합니다:

   • 뒤에 차가 바짝 따라오면, AI 는 "아, 뒤에 차가 기다리고 있네. 빨리 지나가야겠다"라고 생각하며 추월 확률이 높아졌습니다.
   • 비유: 식당에서 뒤에 줄이 길어지면 빨리 먹으려는 것과 비슷합니다.

3. 하지만 '짜증 (시간)'에는 둔감합니다:

   • "승객이 급해!"라고 하거나, "자전거를 너무 오래 따라다녔어!"라고 해도 AI 는 추월을 하지 않았습니다. 오히려 더 보수적으로 변했습니다.
   • 비유: "나 급해!"라고 소리쳐도, AI 는 "안전이 더 중요하니까 차분히 기다려야지"라고 생각하는 너무 착한 학생 같습니다.

4. 설명이 짧으면 AI 가 무뎌집니다:

   • AI 에게 "자세히 설명해"라고 하면 잘 판단했지만, "짧게만 말해"라고 하면 추월을 거의 안 했습니다.
   • 비유: "생각할 시간을 충분히 줘야 AI 도 제대로 판단한다"는 뜻입니다.

---

💡 결론: 왜 이 연구가 중요할까요?

이 연구는 **"자율주행차가 사람의 마음을 읽을 수 있는가?"**를 확인하는 첫걸음입니다.

• 기존의 문제: AI 가 "안전합니다"라고 말하지만, 실제로는 그 이유가 결정 과정에 반영되지 않고 단순히 변명일 수 있습니다.
• 이 연구의 해결책: CARE-Drive라는 도구를 통해 AI 가 사람의 이유 (안전, 법, 효율 등) 에 따라 행동이 변하는지를 숫자로 측정할 수 있게 되었습니다.

한마디로 요약하자면:

"이제 우리는 자율주행차가 단순히 운전 실력만 좋은지, 아니면 사람의 생각과 이유까지 이해하고 운전하는지 확인할 수 있게 되었습니다. 이 기술은 앞으로 우리가 더 안전하고, 사람다운 자율주행차를 만드는 데 중요한 나침반이 될 것입니다."

이 연구는 AI 가 **블랙박스 (안 보이는 상자)**가 아니라, 우리가 그 이유를 이해하고 신뢰할 수 있는 투명한 파트너가 될 수 있는 길을 열어주었습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 평가의 한계: 자동주행 시스템의 기존 평가 방법은 충돌률, 궤적 오차 등 **결과 기반 **(Outcome-based) 지표를 주로 사용합니다. 이는 안전성과 기능적 정확성을 검증하지만, 모델이 인간의 고차원적 추론 (안전, 효율성, 법적 준수, 사회적 압력 등) 을 어떻게 반영하여 결정을 내리는지에 대해서는 평가하지 못합니다.
• 설명과 결정의 불일치: 최근 VLM 은 결정과 함께 자연어 설명을 생성할 수 있지만, 기존 연구에 따르면 이 설명들은 실제 결정 과정의 인과적 반영이 아니라 **사후적 합리화 **(Post-hoc rationalization)일 가능성이 높습니다. 즉, 모델이 실제로 인간 중심의 이유에 반응하여 결정을 바꾸는지, 아니면 단순히 그럴듯한 이야기를 덧붙이는지 구분하기 어렵습니다.
• **의미 있는 인간 통제 **(Meaningful Human Control, MHC) 안전이 중요한 분야에서 자동화 시스템은 인간의 관련 이유 (Human-relevant reasons) 에 적절히 반응해야 합니다. 그러나 현재는 VLM 이 명시적으로 제공된 인간 중심의 이유 (예: "안전 마진 확보", "후방 차량의 사회적 압력") 에 따라 결정이 실제로 변하는지 체계적으로 평가할 수 있는 프레임워크가 부재합니다.

2. 제안된 방법론: CARE-Drive Framework

CARE-Drive 는 모델의 내부 파라미터를 수정하지 않고, 프롬프트 기반의 입력과 관찰 가능한 출력을 통해 이유 반응성을 평가하는 모델 중립적 (Model-agnostic) 프레임워크입니다.

핵심 구성 요소

1. 2 단계 평가 프로세스:

   • **1 단계: 프롬프트 보정 **(Prompt Calibration)
     • 목적: 모델의 출력 불안정성을 제거하고, 인간 전문가의 추천 결정과 정렬된 최적의 프롬프트 구성 (모델 선택, 사고 전략 등) 을 찾습니다.
     • 변수: 모델 (M), 사고 전략 (T: No-Thought, Chain-of-Thought, Tree-of-Thought), 설명 길이 (L).
     • 기준: 명시적인 인간 이유 (Reasons) 를 포함했을 때 전문가의 결정 (예: 자전거 추월) 과 일치하는지 확인합니다.
   • **2 단계: 문맥적 이유 평가 **(Contextual Reasons Evaluation)
     • 목적: 보정된 설정 하에서 관찰 가능한 문맥 변수 (Contextual Variables) 를 체계적으로 변화시켜 모델의 결정이 인간 중심의 이유에 얼마나 민감하게 반응하는지 측정합니다.
     • 방법: **통제된 문맥 변형 **(Controlled Perturbation)을 통해 결정 민감도를 분석합니다.

2. **사용 사례 **(Use Case)

   • 상황: 자전거 추월 시나리오 (양방향 도로, 이중 실선, 자전거 앞).
   • 갈등 요소: 법적 준수 (추월 금지) vs 효율성/편안함 (추월 필요).
   • **변수 **(O)
     • TTCo: 반대 차선 차량과의 충돌 시간 (안전 마진).
     • B: 후방 차량 유무 (사회적 압력).
     • U: 승객의 급박함 (효율성 요구).
     • F: 자전거 뒤따라간 시간 (지연 시간/불편함).
   • 입력: 비전 입력 (V) + 관찰 가능한 문맥 (O) + 결정 지시 (I: 역할 + 인간 이유 R + 사고 전략 T + 설명 길이 L).

3. 분석 기법:

   • **이항 로지스틱 회귀 **(Binary Logistic Regression) 문맥 변수가 추월 결정 확률에 미치는 영향을 정량화합니다.
   • CARLA 시뮬레이션: CARE-Drive 로 도출된 결정이 실제 주행 환경에서 실행 가능한지 검증합니다.

3. 주요 결과 (Key Results)

1 단계 보정 결과

• **기저선 **(Baseline) 인간 이유 (R) 를 명시하지 않은 경우, 모든 모델은 법적 규정을 엄격히 준수하여 **추월을 하지 않음 **(0%).
• **이유 증강 **(Reason-Augmented) 인간 이유를 프롬프트에 명시적으로 포함하고 **Tree-of-Thought **(ToT) 사고 전략을 사용할 때, 모델은 전문가가 추천하는 추월 행동과 높은 일치도 (93.33%) 를 보였습니다.
• 결론: 명시적인 규범적 지침과 적절한 사고 전략은 모델의 결정을 전문가 수준으로 조정할 수 있음을 입증했습니다.

2 단계 문맥 민감도 분석 결과

• **안전 마진 **(TTCo) 반대 차선 차량과의 충돌 시간이 길어질수록 (안전 마진 증가) 추월 확률이 유의미하게 증가했습니다 (오즈비 20.389). 이는 모델이 안전 관련 이유에 반응함을 의미합니다.
• **사회적 압력 **(후방 차량) 후방에 차량이 있는 경우 (B=1) 추월 확률이 증가했습니다 (오즈비 3.781). 이는 모델이 사회적 맥락을 고려함을 보여줍니다.
• **예상치 못한 결과 **(승객의 급박함) 승객이 급하다는 정보 (U=1) 가 주어졌을 때, 오히려 추월 확률이 감소했습니다. 이는 모델이 효율성 요구보다 안전을 우선시하는 보수적인 전략을 취했음을 시사합니다.
• **지연 시간 **(F) 자전거를 뒤따라간 시간이 길어지는 것은 통계적으로 유의미한 영향을 미치지 않았습니다.
• **설명 길이 **(L) 설명 길이를 제한 (Few-Sentences) 하면 추월 확률이 극도로 낮아졌습니다 (0.2%). 이는 모델의 추론 공간 (Reasoning Bandwidth) 이 결정에 중요한 영향을 미친다는 것을 보여줍니다.

CARLA 검증

• 보정된 CARE-Drive 설정 (GPT-4.1 + ToT) 을 CARLA 시뮬레이터에 적용한 결과, 안전 조건이 충족될 때 추월하고, 위험할 때 대기하는 등 일관된 결정을 내렸으며, 이는 실제 주행 행동으로 전환 가능함을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. CARE-Drive 프레임워크 도입: 자동주행 VLM 의 '이유 반응성'을 평가하는 최초의 체계적인 프레임워크를 제안했습니다. 이는 모델 내부 구조를 변경하지 않고 프롬프트와 문맥 변형을 통해 평가합니다.
2. 2 단계 평가 방법론: 프롬프트 수준의 안정성 (보정) 과 문맥 의존적 추론 효과 (평가) 를 분리하여, 모델의 불안정성과 진정한 이유 반응성을 구분합니다.
3. 실증적 증거: 명시적인 규범적 이유 (Human Reasons) 가 모델의 결정 행동을 실제로 변화시킨다는 실증적 데이터를 제공했습니다. 특히 안전 관련 이유에는 민감하게 반응하지만, 효율성 관련 이유에는 덜 민감하거나 보수적으로 반응하는 선택적 반응성을 발견했습니다.
4. **의미 있는 인간 통제 **(MHC) 자동화 시스템이 인간의 관련 이유를 추적 (Tracking) 하는지 여부를 행동적 관점에서 평가할 수 있는 실용적인 방법론을 제시했습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 평가: VLM 이 단순히 그럴듯한 설명을 생성하는지, 아니면 실제로 인간 중심의 이유에 기반하여 결정을 내리는지 구분할 수 있는 도구를 제공합니다. 이는 안전이 중요한 자동주행 분야에서 **잘못된 신뢰 **(False Confidence)를 방지하는 데 기여합니다.
• 인간 중심 AI 설계: 자동화 시스템이 인간의 규범적 가치 (안전, 효율성, 편안함 등) 를 어떻게 균형 있게 반영하는지 진단할 수 있게 하여, 인간과 더 잘 조화된 AI 시스템 개발에 기여합니다.
• 미래 연구 방향: 이 프레임워크는 모델의 내부 메커니즘을 직접 분석하지 않아도 되므로, 다양한 VLM 에 적용 가능하며, 추후 다양한 주행 시나리오 (합류, 보행자 상호작용 등) 로 확장될 수 있는 기반을 마련했습니다.

요약하자면, CARE-Drive 는 VLM 이 "왜" 그런 결정을 내렸는지 설명하는 것을 넘어, 실제로 "어떤 이유"에 반응하여 결정을 바꾸는지를 과학적으로 검증하는 획기적인 평가 도구입니다.