Outcome-Guided Distillation: A Teacher-Student Framework to Advance VLM Reasoning in Autonomous Driving

로봇에게 자동차 운전을 가르치는 상황을 상상해 보십시오. 오랫동안 엔지니어들은 이 로봇들을 전문가 팀처럼 구축하려고 노력했습니다. 한 부분은 도로를 보고, 다른 부분은 다른 차들이 어디로 갈지 예측하며, 세 번째 부분은 언제 핸들을 돌릴지 결정하는 식입니다. 하지만 이것은 바통을 너무 자주 떨어뜨리는 계주와 같습니다. 첫 번째 주자가 비틀거리면 팀 전체가 실패하게 됩니다. 더 새롭고 화려한 아이디어는 "엔드 투 엔드(End-to-End)" 주행입니다. 이는 로봇이 인간의 뇌가 하는 것처럼 도로를 보고 즉시 스티어링 휠을 움직이는 법을 배우는 방식입니다. 그러나 이러한 로봇들은 종종 "블랙박스"와 같습니다. 결정을 내리기는 하지만, 왜 그렇게 했는지는 설명하지 못합니다. 만약 로봇이 갑자기 방향을 틀었다면, 우리가 개를 본 것인지, 그림자를 본 것인지, 아니면 시스템 오류인지 알 수 없습니다. 이를 해결하기 위해 과학자들은 시각-언어 모델(VLM)—사진을 보고 그에 대해 말할 수 있는 매우 똑똑한 컴퓨터—을 사용하여 로봇에게 "목소리"를 부여하려고 노력하고 있습니다. 목표는 로봇이 운전하기 전에 "소리 내어 생각하게" 하여, 인간이 이해할 수 있는 논리의 사슬을 만드는 것입니다. 하지만 함정이 있습니다. 로봇에게 생각하는 법을 가르치는 것은 믿기 힘들 정도로 어렵고 비용이 많이 들며, 때로는 수학적 계산을 틀려 매끄러운 곡선을 울퉁불퉁한 엉망진창으로 만들기도 합니다.

이 논문은 이러한 주행 로봇을 훈련시키는 영리하고 새로운 방법, 즉 학생을 지도하는 스승과 같은 방식을 소개합니다. 연구자인 Zeyu Dong과 그의 팀은 "결과 유도 증류(Outcome-Guided Distillation)"라고 불리는 프레임워크를 제안합니다. 단순히 로봇에게 정답을 맞히라고 요구하는 대신, 그들은 "교사(Teacher)" 모델이 먼저 올바른 주행 경로를 본 다음, 그 경로를 이끌어낸 논리를 역으로 추적하도록 강제합니다. 이것을 "성찰적 추론(reflective reasoning)"이라고 합니다. 체스 그랜드마스터가 승리하는 수를 보고 나서, "내가 여기에 나이트를 움직인 이유는 상대의 킹을 구석으로 몰아넣기 위해서였다"라고 설명하는 것을 상상해 보십시오. 로봇은 단지 그 수(move)뿐만 아니라 그 논리를 배웁니다. 그런 다음, AI가 수학에 서투르다는 점을 고려하여 로봇이 숫자로 인해 혼란을 겪지 않도록, 그들의 뇌를 두 부분으로 나눕니다. 한 부분은 이야기(추론)를 쓰고, 별도의 전문화된 다른 부분은 정밀한 조향 좌표를 처리합니다.

팀은 이 기술을 방대한 실제 주행 시나리오 모음인 Waymo 주행 데이터셋을 통해 테스트했습니다. 그들은 이 "성찰적" 방법을 사용함으로써, 추론을 사용하지 않는 유사한 로봇보다 더 작은 규모의 빠른 로봇 모델이 약 24% 더 우수한 성능을 보였다는 것을 발견했습니다. 로봇은 단순히 운전한 것이 아니라, 자신이 왜 그렇게 운전하고 있는지 이해했습니다. 예를 들어, 까다로운 공사 구간에서 이 로봇은 다른 모델들이 단순히 추측만 할 때, 특정 표지판을 차선 변경의 이유로 정확히 식별해 냈습니다. 로봇의 "눈(비전 인코더)"을 고정하여 세상에 대해 이미 알고 있는 것을 잊지 않게 하고, "생각"과 "조향"을 분리함으로써, 그들은 더 안전하고 정확할 뿐만 아니라 실제 자동차에서 실행될 수 있을 만큼 빠른 시스템을 만들어 냈습니다. 그 결과, 인간이 모든 사진에 일일이 라벨을 붙일 필요 없이도 투명하고 신뢰할 수 있으며 도로로 나설 준비가 된 주행 시스템이 탄생했습니다.