Probing Visual Concepts in Lightweight Vision-Language Models for Automated Driving

이 논문은 자율주행과 관련된 비주얼-언어 모델 (VLM) 의 실패 원인을 분석하기 위해 중간 활성화 상태를 탐지하여 시각적 개념이 선형적으로 인코딩되는지 여부를 검증하고, 이를 '지각적 실패'와 '인지적 실패'로 구분하여 모델의 한계와 개선 방향을 제시합니다.

핵심

이 논문은 **"자율주행차의 눈과 뇌가 어떻게 세상을 보고 이해하는지, 그리고 왜 가끔 엉뚱한 실수를 하는지"**를 파헤친 연구입니다.

비유하자면, 자율주행차는 **카메라 (눈)**로 사물을 보고, 그 정보를 **AI 언어 모델 (뇌)**로 해석하여 "앞에 사람이 있나?", "차량이 몇 대야?" 같은 질문에 답합니다. 연구자들은 최신의 작고 가벼운 AI 모델들이 왜 간단한 질문에도 틀리는지 그 원인을 찾기 위해, AI 의 '중간 사고 과정'을 직접 들여다봤습니다.

이 연구의 핵심 내용을 쉬운 비유로 설명해 드릴게요.

---

1. 연구 방법: "거꾸로 만든 사진"과 "스무스기"

연구자들은 AI 가 혼란스러워하지 않도록, 오직 한 가지 요소만 다른 사진들을 대량으로 만들었습니다.

• 비유: 마치 "사람이 있는 사진"과 "사람이 없는 사진"을 제외한 모든 배경, 빛, 날씨를 똑같이 만든 거울 속의 쌍둥이 사진 같은 거죠.
• 목적: AI 가 이 사진들을 볼 때, 뇌의 어느 부분에서 "사람이 있다"는 정보를 처리하는지, 혹은 "사람이 없다"는 것을 놓치는지 정확히 추적하기 위함입니다.

2. 발견한 두 가지 실수 유형: "못 보는 실수" vs "알지만 못 말하는 실수"

AI 가 질문에 틀린 답을 할 때, 그 원인은 크게 두 가지로 나뉩니다. 연구자들은 이를 **'지각 실패 (Perceptual Failure)'**와 **'인지 실패 (Cognitive Failure)'**라고 이름 붙였습니다.

A. 지각 실패 (Perceptual Failure) = "눈이 안 보이는 경우"

• 상황: AI 의 '눈 (카메라)'이 사물을 제대로 포착하지 못하거나, 그 정보가 '뇌'로 전달되는 과정에서 사라져버린 경우입니다.
• 비유: 안경을 쓴 사람이 멀리 있는 표지판을 보려는데, 렌즈가 너무 흐릿해서 아예 안 보이는 상황입니다. 정보가 뇌에 도달조차 안 했으니, 아무리 똑똑한 뇌라도 답을 낼 수 없습니다.
• 원인: 주로 사물이 너무 멀리 있거나 (50m 이상), 사물의 크기가 너무 작을 때 발생합니다.

B. 인지 실패 (Cognitive Failure) = "알지만 못 말하는 경우"

• 상황: AI 의 '눈'이 사물을 정확히 보고, '뇌'에도 그 정보가 선명하게 저장되어 있는데, 막상 질문에 답할 때 엉뚱한 말을 하는 경우입니다.
• 비유: 시험 문제를 풀 때 정답을 다 알고 있는데, 막상 답안지에 적을 때 실수로 오답을 고르는 학생과 같습니다. 정보가 뇌에 있긴 하지만, 언어로 변환하는 과정에서 꼬여버린 것입니다.
• 발견: 이 연구에서 놀라운 점은, AI 가 정답을 알 수 있는 정보가 뇌에 충분히 있음에도 불구하고 (선형적으로 잘 분리되어 있음), 정답을 못 맞추는 경우가 매우 많다는 것이었습니다.

3. 어떤 개념은 잘 배우고, 어떤 개념은 못 배웠나?

연구자들은 AI 가 네 가지 개념을 어떻게 처리하는지 확인했습니다.

• ✅ 잘하는 것 (사물의 유무): "사람이 있니?" 같은 질문은 AI 가 아주 잘 처리합니다. 눈이 잘 보이고, 뇌에도 명확하게 저장됩니다.
• ⚠️ 조금 애매한 것 (개수): "사람이 몇 명이니?"는 질문은 거리가 멀어지면 어려워집니다.
• ❌ 잘 못하는 것 (방향과 위치): "사람이 왼쪽으로 가고 있니?", "트럭의 왼쪽 방향등이 켜졌니?" 같은 공간적, 방향적 개념은 AI 가 매우 어려워합니다.
  • 비유: AI 는 "사람이 있다"는 사실은 알지만, **"그 사람이 왼쪽을 보고 있다"**는 미세한 차이를 뇌의 '언어 영역'으로 옮기는 데 실패합니다. 마치 그림을 그릴 때는 잘 그리는데, 그 그림을 보고 "왼쪽을 보고 있다"고 설명하는 글을 쓰면 엉뚱한 말을 하는 화가 같습니다.

4. 거리 문제는 치명적입니다

사물이 멀어질수록 (5m → 50m) AI 의 성능은 급격히 떨어집니다.

• 비유: 가까운 곳에 있는 친구 얼굴은 선명하게 보이지만, 50m 떨어진 친구는 그냥 '작은 점'으로 보입니다. AI 는 이 '작은 점'에서 "사람이다"라는 정보를 뽑아내기도 힘들고, 그 사람의 방향까지 파악하는 건 더더욱 어렵습니다.

5. 결론 및 시사점: 왜 이 연구가 중요한가?

이 연구는 자율주행차 개발자들에게 중요한 메시지를 줍니다.

1. 단순히 모델을 크게 만드는 것만으로는 안 됩니다: AI 가 실수하는 원인이 '눈 (카메라)'의 문제일 수도 있고, '뇌 (언어 처리)'의 문제일 수도 있기 때문입니다.
2. 원인에 따른 치료법이 다릅니다:
   • 눈이 안 보이는 경우 (지각 실패): 더 좋은 카메라나 이미지 처리 기술을 개발해야 합니다.
   • 알지만 못 말하는 경우 (인지 실패): AI 가 시각 정보를 언어로 변환하는 훈련 방식을 바꿔야 합니다.
3. 작은 모델도 중요합니다: 자율주행차는 무거운 컴퓨터를 달고 다닐 수 없으므로, 작고 가벼운 AI 모델을 써야 하는데, 이 연구는 바로 그 '작은 모델'들이 어디서 막히는지 찾아냈습니다.

한 줄 요약:

"자율주행 AI 는 사물이 있는지 없는지는 잘 알지만, **'어디에', '어떤 방향'**으로 있는지 같은 미세한 공간 감각을 언어로 설명하는 데는 여전히 서툴러서, 때로는 정보를 잃어버리기도 하고 때로는 알면서도 엉뚱한 답을 하기도 합니다."

이 연구는 AI 의 실수를 단순히 "못해서"가 아니라, "어떤 단계에서, 왜" 실패하는지 정확히 진단하여 더 안전한 자율주행 기술을 만드는 데 기여하고 있습니다.

기술 요약

이 논문은 자동 주행 (Automated Driving) 분야에서 중요한 역할을 하는 **가벼운 시각 - 언어 모델 (Lightweight Vision-Language Models, VLMs)**의 실패 원인을 규명하기 위해 수행된 연구입니다. 저자들은 VLM 이 단순한 시각적 질문에서도 실패하는 이유를 이해하기 위해 모델의 중간 활성화 (intermediate activations) 를 분석하고, 특정 시각 개념이 모델 내에서 어떻게 인코딩되는지 선형 프로빙 (linear probing) 기법을 통해 조사했습니다.

다음은 논문의 상세한 기술적 요약입니다.

---

1. 연구 배경 및 문제 정의 (Problem)

• 배경: VLM 은 추론 및 일반화 능력을 바탕으로 자동 주행의 '롱테일 (long-tail)' 시나리오 처리에 유망하게 적용되고 있습니다.
• 문제: 그러나 이러한 모델은 자동 주행에 필수적인 단순한 시각적 질문 (예: "보행자가 있는가?", "방향은 어디인가?") 에 대해서도 자주 실패합니다.
• 근본 원인 불명: 실패가 시각 인코더 (Vision Encoder), 프로젝터 (Projector), 또는 대규모 언어 모델 (LLM) 중 어느 부분에서 발생하는지, 혹은 정보 흐름의 병목 현상인지 파악하기 어렵습니다.
• 목표: 자동 주행에 필수적인 4 가지 시각 개념 (존재, 개수, 공간 관계, 방향) 이 모델의 각 레이어를 통과하며 어떻게 선형적으로 인코딩되는지 분석하고, 실패의 메커니즘을 규명하는 것.

2. 방법론 (Methodology)

2.1. 실험 대상 모델

• 차량 탑재 하드웨어 (예: NVIDIA Jetson Orin) 의 컴퓨팅 제한을 고려하여 40 억 파라미터 이하의 4 가지 SOTA 소형 VLM을 사용했습니다.
  • Ovis2.5-2B, InternVL3.5-2B, VST-3B (SFT 및 RL 버전).
• 모든 모델은 비전 인코더 → 프로젝터 → LLM의 표준 아키텍처를 따릅니다.

2.2. 데이터 생성 (Counterfactual Sets)

• 기존 데이터셋에는 특정 시각 개념만 변하고 나머지는 동일한 '반대 사실 (counterfactual)' 이미지가 없으므로, CARLA 시뮬레이터를 사용하여 직접 데이터를 생성했습니다.
• 4 가지 시각 개념:
  1. 존재 (Presence): 보행자 또는 교통 배럴의 유무.
  2. 개수 (Count): 보행자 또는 배럴의 수 (0~4 개).
  3. 공간 관계 (Spatial Relationship): 트럭의 방향등 점등 위치, 보행자의 도로 좌/우측 위치.
  4. 방향 (Orientation): 보행자 또는 자전거의 이동 방향 (좌/우).
• 거리 변수: 객체와 카메라 사이의 거리를 5m, 10m, 20m, 30m, 40m, 50m 로 변화시켜 거리 영향을 분석했습니다.

2.3. 선형 프로빙 (Linear Probing) 및 활성화 추출

• 모델의 각 레이어 (비전 인코더, 프로젝터, LLM) 에서 중간 활성화 (activations) 를 추출하여 선형 분류기 (프로브) 를 훈련시켰습니다.
• 압축 전략:
  • 평균 풀링 (Average Pooling): 모든 패치 벡터를 평균하여 단일 벡터로 만듦. (개념이 명시적으로 선형 인코딩되었는지 확인)
  • 영역 풀링 (Region Pooling): 공간 관계 및 방향 태스크의 경우, 이미지를 좌/우 영역으로 나누어 평균 후 연결. (공간 구조가 보존되어 있는지 확인)
• LLM 분석: 시각 토큰과 마지막 텍스트 토큰의 활성화를 모두 고려하여 시각 정보가 언어 공간으로 전달되는지 확인했습니다.

3. 주요 기여 (Key Contributions)

1. 시각 정보 흐름의 병목 현상 분석: 소형 VLM 에서 존재, 개수, 공간 관계, 방향 개념이 아키텍처 전반에 걸쳐 어떻게 인코딩되는지 레이어 단위로 분석했습니다.
2. 두 가지 실패 모드 식별: 모델이 단순한 시각 질문에 실패하는 원인을 **지각적 실패 (Perceptual Failure)**와 **인지적 실패 (Cognitive Failure)**로 구분했습니다.
3. 거리의 영향 규명: 객체 거리가 증가함에 따라 시각 개념의 선형 분리 가능성 (linear separability) 이 급격히 저하됨을 증명했습니다.

4. 주요 결과 및 분석 (Results & Analysis)

4.1. 시각 개념별 인코딩 특성

• 존재 (Presence): 짧은 거리 (520m) 에서 비전 인코더의 중간 레이어부터 명확하게 선형 인코딩됩니다. 하지만 거리가 멀어질수록 (3050m) 인코딩 품질이 떨어지며, LLM 이 질문의 맥락을 통해 이를 보완하려는 시도를 보이지만 완전하지는 않습니다.
• 개수 (Count): 짧은 거리에서는 잘 인코딩되나, LLM 의 중간 레이어에서 정확도가 급격히 상승하는 패턴을 보입니다.
• 공간 관계 (Spatial Relationship) 및 방향 (Orientation):
  • 명시적 인코딩 부재: 비전 인코더의 활성화 공간에서 이러한 개념은 명시적으로 선형 인코딩되지 않습니다 (프로브 정확도 낮음).
  • 암시적 인코딩: 비전 인코더가 공간 구조를 보존하고 있어, LLM 이 이를 추론하여 최종 토큰에서 명시적으로 인코딩할 수 있는 가능성이 있습니다.
  • 방향 (Orientation): 특히 방향 개념은 모델 전체에 걸쳐 명시적으로 인코딩되지 않으며, LLM 이 이를 처리하는 데 실패하는 경우가 많습니다.

4.2. 두 가지 실패 모드 (Failure Modes)

저자들은 모델의 프로브 정확도 (시각 정보의 선형 인코딩 여부) 와 모델의 실제 답변 정확도 간의 차이를 분석하여 두 가지 실패를 정의했습니다.

1. 지각적 실패 (Perceptual Failure):
   • 원인: 시각 정보가 모델의 마지막 레이어에 도달하지 않거나 선형적으로 인코딩되지 않음.
   • 징후: 프로브 정확도 낮음 + 모델 정확도 낮음.
   • 해결 방향: 비전 인코더의 성능 향상 필요.
2. 인지적 실패 (Cognitive Failure):
   • 원인: 시각 정보는 선형적으로 인코딩되어 존재하지만, LLM 이 이를 언어 의미 (language semantics) 와 올바르게 정렬 (align) 하지 못함.
   • 징후: 프로브 정확도 높음 + 모델 정확도 낮음.
   • 해결 방향: 비전 - 언어 정렬 훈련 전략 개선 필요.

• 결과: Ovis2.5 는 인지적 실패가 적고, VST 및 InternVL3.5 는 상대적으로 더 많은 인지적 실패를 보였습니다.

4.3. 거리 영향

• 객체 거리가 멀어질수록 (특히 30m 이상) 시각 개념의 선형 분리 가능성이 급격히 감소합니다. 이는 자동 주행에서 멀리 있는 위험 요소를 인식하는 데 VLM 이 취약할 수 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능성의 중요성: VLM 의 실패가 단순히 "보지 못함"인지, "본 것을 이해하지 못함"인지 구분하는 것이 자동 주행 시스템 개선에 필수적입니다.
• 실용적 시사점:
  • 지각적 실패는 더 강력한 비전 인코더나 거리 보정 기법으로 해결해야 합니다.
  • 인지적 실패는 LLM 의 훈련 방식, 특히 시각 특징과 언어 토큰 간의 정렬 (alignment) 전략을 개선해야 해결할 수 있습니다.
• 향후 과제: 현재 연구는 합성 데이터 (CARLA) 에 국한되어 있으며, 더 큰 규모의 VLM 과 실제 도로 데이터 (Real-world data) 로의 확장, 비선형 프로브 적용 등이 필요합니다.

이 연구는 자동 주행용 소형 VLM 의 한계를 체계적으로 분석하고, 단순한 성능 향상을 넘어 모델 내부의 정보 흐름과 실패 메커니즘을 이해함으로써 더 안전하고 신뢰할 수 있는 자율 주행 시스템 개발에 기여합니다.