🤖 AI

Visual Grounding in Zero-Shot Vision-Language Control

본 논문은 현재의 시각-언어 모델들이 진정한 시각적 접지(visual grounding)의 결여로 인해 단일체형 제로샷 제어기로서 실패하는 경우가 많지만, 시각적 증거를 검증하고 등변성(equivariance)을 강제하는 모듈형 대칭-합의 수호자(symmetry-consensus guardians)를 통해 보강될 경우 제한적이고 선택적인 위험 보조자로서 효과적으로 기능할 수 있음을 입증한다.

원저자: J. de Curtò, Dayani Plasencia, Diego Sánchez, I. de Zarzà

게시일 2026-08-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: J. de Curtò, Dayani Plasencia, Diego Sánchez, I. de Zarzà

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 자동차 운전하는 법을 가르치고 있다고 상상해 보세요. 오랫동안 엔지니어들은 이 로봇들에게 매우 엄격하고 단계적인 지침서를 만들어 주었습니다. "빨간 불을 보면 멈춰라. 초록 불을 보면 가라." 하지만 최근에 시각-언어 모델(Vision-Language Model, VLM)이라는 새로운 종류의 "두뇌"가 등장했습니다. VLM을 수백만 권의 책을 읽고 수십억 장의 사진을 본 아주 똑똑하고 수다스러운 학생이라고 생각해 보세요. 이들은 경직된 매뉴얼을 따르는 대신, 당신은 그저 대화를 할 수 있습니다. "헤이, 길을 좀 봐, 저기 개가 있어, 어떻게 해야 할까?" 이 단일하고 똑똑한 두뇌가 기존의 구식 시스템 전체를 대체하여, 로봇을 유연하고 적응력 있으며 무엇이든 준비된 상태로 만들 수 있다는 것이 희망입니다.

하지만 여기 까다로운 문제가 있습니다. 로봇이 겉보기에 운전을 잘하는 것처럼 보인다고 해서, 실제로 도로를 '보고' 있는 것은 아니라는 점입니다. 로봇은 추측을 하고 있거나, 혹은 안전을 위해 "항상 속도를 줄인다"와 같은 숨겨 된 규칙을 따르고 있을 수도 있습니다. 만약 로봇이 너무 겁이 나서 움직이지 못해 사고를 내지 않는다면, 로봇은 완벽한 점수를 받겠지만, 그것은 실제로 운전을 배운 것이 아닙니다. 이 논문은 단순하고도 결정적인 질문을 던집니다. 이 똑똑한 AI 운전자들이 도로를 보고 있다고 말할 때, 그들은 정말로 보고 있는 것일까요, 아니면 그냥 흉내를 내고 있는 것일까요?

위대한 "보고 있니?" 테스트

이 논문의 저자들은 이 AI 운전자들이 정말로 주의를 기울이고 있는지 확인하기 위해 일련의 기묘하고 놀라운 테스트를 실시하기로 했습니다. 그들은 단순히 차를 몰아보며 사고가 나는지 보지 않았습니다. 대신 AI의 눈에 장난을 쳤습니다.

먼저, 그들은 "눈가리개 테스트"를 시도했습니다. AI에게 동일한 운전 프롬프트를 입력하되, 도로 사진을 빈 회색 화면이나 무작위의 픽셀 덩어리로 교체했습니다. 만약 AI가 진정으로 도로를 보고 있다면, 도로가 사라질 때 그 결정도 바뀌어야 합니다. 하지만 많은 모델에서 답은 전혀 변하지 않았습니다. 이는 마치 수학 문제를 풀라고 했을 때, 종이에 숫자가 적혀 있든 그냥 빈 종이이든 상관없이 똑같은 답을 내놓는 학생과 같았습니다. 그들은 숫자를 읽고 있는 것이 아니라, 그저 추측하고 있었던 것입니다.

다음으로, 그들은 "거울 게임"을 했습니다. 거울로 도로를 본다고 상상해 보세요. 만약 거울 속에서 당신의 왼쪽에 차가 보인다면, 실제로는 당신의 오른쪽에 있는 것입니다. 똑똑한 운전자라면 거울을 볼 때 "왼쪽"과 "오른쪽" 명령을 바꿔야 합니다. 연구진은 AI에게 도로의 반사된 이미지를 보여주었습니다. 충격적이게도, 대부분의 AI 모델은 명령을 바꾸지 않았습니다. 거울 속 위험이 오른쪽에 있음에도 불구하고 그들은 계속해서 "왼쪽으로 회전"이라고 말했습니다. 그것은 마치 눈을 감고 운전하면서, 거울이 실제로 무엇을 보여주는지와 상관없이 왼쪽에 무언가가 있다는 직감에 의존하는 것과 같았습니다.

"느리고 꾸준한" 지름길

가장 놀라운 발견 중 하나는 "가장 저렴한" 전략이 종종 가장 좋은 전략이었다는 점입니다. 연구진은 항상 "천천히 가라"라고 말하는 단순하고 지루한 정책이 복잡하게 짜여진 운전 프로그램보다 실제로 더 나은 성능을 보인다는 것을 발견했습니다. 왜일까요? 시뮬레이션 안에서는 속도를 줄이는 것이 사고를 방지하기 때문입니다. 따라서 계속해서 "천천히"라고 말하는 AI는 높은 점수를 받지만, 이는 실제로 도로를 보고 있기 때문이 아닙니다. 그것은 마치 모든 답에 "모름"이라고 적어서 시험에서 A를 받는 학생과 같습니다. 선생님이 정답을 맞혔는지가 아니라, 틀리지 않았는지에 따라 점수를 매기고 있기 때문입니다. 이 논문은 이러한 화려한 AI 모델들이 정확히 이 행동을 하고 있었다는 것을 보여줍니다. 즉, 도로의 기하학적 구조를 실제로 이해하기보다는 과도하게 조심함으로써 "지름길"을 택하고 있었던 것입니다.

좋은 소식: 전문가 팀

하지만 걱정 마세요, 이야기가 모두 나쁜 것만은 아닙니다. 연구진은 단순히 "AI가 고장 났다"라고 말한 것이 아닙니다. 그들은 우리가 AI를 사용하는 방식을 바꿈으로써 이를 해결할 방법을 찾아냈습니다. 그들은 AI가 방향을 전환하는 법(왼쪽 또는 오른쪽)에는 서툴지만, 무언가가 얼마나 멀리 떨어져 있는지(거리)를 아는 데는 꽤 능숙하다는 것을 깨달았습니다.

그들은 "가디언(Guardian)" 시스템을 만들었습니다. 하나의 AI 모델이 자동차 전체를 운전하게 하는 대신, 두 개의 서로 다른 모델을 사용하여 안전 팀 역할을 하게 했습니다. 그들은 동일한 도로를 두 모델에게 보여주되, 한 모델에게는 거울에 비친 버전을 보여주었습니다. 만약 두 모델 모두 전방에 위험(예: 차가 너무 가까워짐)이 있다고 동의한다면, 시스템은 그들을 신뢰했습니다. 만약 두 모델이 의견이 다르면, 시스템은 멈추고 전통적인 수학 기반 컴퓨터가 제어권을 가져가도록 요청했습니다.

이 "팀워크" 접근 방식은 믿을 수 없을 정도로 잘 작동했습니다. 한 번도 본 적 없는 272개의 프레임에 대한 테스트에서, 이 시스템은 약 95.4%의 확률로 정답을 맞혔습니다. 두 모델이 의견이 다를 때 시스템은 더욱 주의를 기울였으며, 그 경우의 정답률은 97.3%였습니다. 결론적으로, AI에게 모든 것(조향, 브레이크, 관찰)을 요구하는 대신, 단지 정면에서 오는 위험을 감지하는 "두 번째 눈" 역할만을 맡긴다면, 그들은 상당히 신뢰할 수 있습니다.

핵심 요점

이 논문의 주요 교훈은 이러한 AI 모델들을 무엇이든 할 수 있는 마법 상자처럼 취급하는 것을 멈춰야 한다는 것입니다. 그들은 모든 결정을 내리는 자율주행차의 유일한 "두뇌"가 될 준비가 되어 있지 않습니다. 그들은 거울에 너무 쉽게 속고, 너무 쉽게 "속도를 줄이자"라고 추측하며, 시야가 변할 때 너무 일관성이 없습니다.

하지만 그들은 특정 작업을 위한 "두 번째 눈"으로서 매우 유용합니다. 만약 당신이 그들에게 정면에서 오는 위험을 포착하는 역할만 맡기고, 조향과 회전은 엄격한 수학 기반 컴퓨터가 처리하도록 한다면, 스마트하면서도 안전한 시스템을 얻을 수 있습니다. 이 논문은 이러한 AI 모델들이 진정으로 유용해지기 위해서는 우리가 그들에게 무엇을 요구할지 매우 구체적이어야 하며, 그들이 실제로 도로를 보고 있는지 확인하기 위해 거울이나 빈 화면과 같은 간단한 테스트로 그들의 작업을 검증해야 한다는 것을 증명합니다.

기술 요약: 제로샷 시각-언어 제어에서의 시각적 접지(Visual Grounding)

문제 정의

시각-언어 모델(VLM)은 수작업으로 설계된 인지 및 계획 스택을 단일 사전 학습된 모델로 대체할 것을 약속하며, 자율 시스템을 위한 제로샷 컨트롤러로서 점점 더 많이 배치되고 있습니다. 그러나 성공적인 작업 수행(예: 충돌 회피, 거리 최대화)과 시각적 접지(visual grounding) 사이에는 결정적인 간극이 존재합니다. 시뮬레이션 환경에서 보수적인 정책(예: 지속적인 감속)이나 시뮬레이터 역학은 실제 시각 입력을 처리하지 않고도 유리한 종합 지표를 만들어낼 수 있습니다. 결과적으로, 종합 점수에 기반한 배포 결정은 실제 장면 이해가 아닌 "지름길"이나 사전 지식(prior)에 의존하는 모델에 보상을 줄 위험이 있습니다. 본 논문은 근본적인 질문을 던집니다: 컨트롤러가 카메라를 실제로 사용하고 있는가?

방법론

이를 해결하기 위해 저자들은 9개의 직접 행동 모델, 6개의 구조화된 로컬 VLM, 그리고 탐색적 VLM-MPC 계층 구조를 포함하여 총 32,874회의 점수 산정 호출에 걸친 엄격한 **입력 결손 테스트(input-ablation battery)**를 제안하고 실행했습니다. 평가는 두 가지 형태(쿼드로터 및 지상 차량)와 세 가지 시뮬레이션 환경을 포괄합니다.

1. 입력 결손 테스트 (Input-Ablation Battery)

핵심 방법론은 오직 이미지만이 변하는 8가지 별도의 입력 조건(표 I) 하에서 동일한 프롬프트를 발행하는 것입니다.

맹목 제어 (Blind Controls): 빈 이미지(균일한 회색), 균일한 무작위 노이즈, 그리고 다른 시나리오에서 섞인 프레임.
자기 일관성 (Self-Consistency): 모델의 확률적 노이즈 바닥( $s$ )을 측정하기 위해 반복되는 동일 입력 사용.
변형 관계 (Metamorphic Relations): 횡방향 결정(LEFT/RIGHT)이 올바르게 교체되는 동시에 종방향 추정치는 불변하는지를 테스트하기 위한 차선 축 반전(수직 뒤집기).
비시각적 베이스라인 (Non-Visual Baselines): 텍-전용 프롬프트 및 상수 정책 및 스크립트 기반 기하학적 컨트롤러와의 비교.
지표: 단순 정확도가 아닌 효과 크기(Cramér's $V$ )와 조정된 이미지 의존 지수( $IDI_{adj}$ )를 우선시하여, 이미지 콘텐츠에 대한 의존성을 모델의 자기 불일치와 구분합니다.

2. 실험적 구성 (Experimental Arms)

에지 암 (Edge Arm): 단일 T4 GPU에서 실행되는 4개의 오픈 웨이트 모델(SmolVLM, Qwen2-VL, LLaVA-1.5).
호스팅 암 (Hosted Arm): API를 통해 서비스되는 5개의 대형 모델(Qwen2.5-VL-72B, MiniCPM-V, Cosmos3, Kimi-K2.6/3).
구조화된 로컬 암 (Structured Local Arm): 정적 프레임과 캘리브레이션된 렌더러를 사용하는 온라인 에피소드에서 평가된 6개의 모델(Gemma 4, Qwen3.5 포함).
MPC 진단 (MPC Diagnostic): VLM 플래너의 의도를 실행하기 위해 모델 예측 제어(MPC) 계층이 시도하는 계층적 테스트로, 저수준 최적화가 누락된 기하학적 의도를 복구할 수 있는지 판단합니다.

3. 구성적 검증 (Constructive Validation)

저자들은 원본 뷰와 반전된 뷰의 예측을 2-of-4 해저드 투표를 사용하여 결합하는 **대칭-합의 가디언(symmetry-consensus guardian)**을 도입합니다. 이 사후, 누출 제어 분석은 종방향 위험 탐지와 횡방향 제어 실패를 분리합니다.

주요 결과

1. 직접 제어 실패 및 지름길

상수 정책이 스크립트를 능가함: highway-env 벤치마크에서 상수-SLOW 정책은 시각적 입력을 받지 않았음에도 불구하고, 스크립트 기반 기하학적 컨트롤러보다 15.7% 더 멀리 이동했으며 충돌은 12배 적게 발생했습니다.
이미지 불변성: 여러 에지 모델(예: Qwen2-VL-2B, LLaV-1.5-7B)은 입력과 상관없이 거의 일정한 궤적을 생성했습니다. 일부 모델의 경우, 이미지 토큰의 존재 자체가 내용보다 중요했습니다. SmolVLM의 경우 이미지를 완전히 제거하면 90%의 프레임에서 행동이 변했지만, 도로를 회색으로 바꾸는 것은 거의 변화를 주지 않았습니다.
횡방향 접지 실패: 6개의 로컬 VLM 중 어느 것도 종방향 및 횡방향 접지 기준을 동시에 만족하지 못했습니다. 일부 모델(Gemma 4, Qwen3.5)은 종방향 근접성은 잘 분류했으나, 차선 축 반전 시 LEFT/RIGHT 결정을 교체하는 데 실패하여 기하학적 추론이 아닌 사전 지식에 의존함을 보여주었습니다.

2. 호스팅 모델 영역

호스팅 암은 네 가지 뚜렷한 동작을 드러냈습니다.

깊이 접지형 (Qwen2.5-VL-72B): 선행 차량과의 간격에 따라 단조롭게 정렬된 행동을 보였습니다. 그러나 횡방향 접지에는 실패했으며(반전 시 방향 전환 0/50), 빈 입력/노이즈 입력을 동일하게(STOP) 취급했습니다.
거친 접지형 (Cosmos3-Super-Reasoner): 근거리와 원거리를 구분했으나 단조적 정렬이 부족했고 횡방향 전환에 실패했습니다. 이미지의 존재(회색과 노이즈의 구분)에는 민감했으나 장면 내용에는 민감하지 않았습니다.
존재 전용 (MiniCPM-V-4.5): 완벽하게 결정론적이지만 실제 프레임 내에서는 사실상 일정했습니다. 이미지의 존재는 감지했으나 내용은 감지하지 못했습니다.
자기 불일치형 (Kimi-K3): 표준 테스트에서는 이미지 의존적으로 보였으나, 노이즈 바닥을 고려했을 때 빈 입력보다 자기 자신과 더 불일치하여 무작위 정책처럼 행동했습니다.

3. 프롬프트 민감도

프롬프트 구성은 측정된 접지력을 크게 변화시켰습니다. "퓨샷(Few-shot)" 프롬프트와 "안티-퇴화(anti-degeneracy)" 지침은 종종 모델의 다양성을 붕괴시켜 모델을 상수 정책으로 몰아갔습니다(예: Qwen2.5-VL-72B의 모달 쉐어가 퓨샷 프롬프팅 시 0.37에서 0.96으로 상승). 이는 높은 행동 엔트로피가 반드시 장면 의존성을 의미하는 것은 아님을 시사합니다.

4. 모듈형 복구 (가디언)

단일 구조 제어는 실패했지만, 모듈형 접근 방식은 성공했습니다:

Gemma 4와 Qwen3.5를 사용하는 대칭-합의 가디언은 홀드아웃 세트(272 프레임)에 대해 0.954의 균형 정확도를 달성했습니다.
동률 투표 시 기권할 경우, 커버리지 0.824에서 확정된 균형 정확도는 0.973까지 상승했습니다.
VLM이 종방향 권한만을 보유하고 결정론적 파서가 횡방향 여유 공간을 처리하는 오프라인 모듈형 재생(offline modular replay)은 0.934의 행동 일치도와 정확한 거울 대칭 등가성을 달了一种습니다.

5. MPC 한계

MPC 진단은 유능한 저수level 최적화 도구가 누락된 기하학적 정보를 재구성할 수 없음을 확인했습니다. VLM 의도가 붕elle(예: 상수 STOP)할 때, MPC는 필요한 궤적을 복구할 수 없었으며, 목표 달성률을 23/25(오라클)에서 8/25(VLM)로 감소시켰습니다.

의의 및 주장

본 논문은 성공적인 작업 수행이 시각적 접지와 동일하지 않다고 주장합니다. 제로샷 제어에서의 종합 지표는 보수적인 지름길이나 시뮬레이터 편향에 보상을 주는 등 오해의 소지가 있을 수 있습니다.

저자들의 주장은 다음과 같습니다:

현재의 VLM은 신뢰할 수 있는 단일 제로샷 컨트롤러가 아니다. 이들은 특히 횡방향 제어를 위한 필수적인 기하학적 정보를 추출하는 데 자주 실패하며, 프롬프트 구성에 매우 민감하다.
실패는 보편적인 것이 아니라 모듈적이다. VLM은 제한된, 선택적 해저드 어시스턴트로 기능할 수 있다. VLM의 권한을 종방향 위험 탐지로 제한하고, 결정론적 횡방향 제어 및 대칭-합의 메커니즘과 결합함으로써 신뢰할 수 있는 성능을 회복할 수 있다.
평가는 세밀해야 한다. 표준 성공률은 불충분하다. 평가는 빈 입력, 변형 변환, 노이즈 바닥 분석을 통해 인지-결정-제어 체인을 테스트하여 실제 이해와 통계적 지름길을 구분해야 한다.

연구는 VLM이 아직 일반 목적의 제로샷 제어를 위한 준비가 되지 않았지만, 합의, 대칭 및 기권을 기반으로 한 경계 구조 내에서 유용한 의미적 증거를 제공할 수 있다고 결론짓습니다.