Grounding Agentic VLMs with Dedicated Segmentation for Fine-Grained Vehicle Damage Assessment

당신이 아주 똑똑한 로봇에게 사진을 보고 이야기를 들려주는 법을 가르치고 있다고 상상해 보세요. 이 과학 분야는 "비전-언어(Vision-Language)"라고 불리며, 컴퓨터가 이미지를 보고 그것에 대해 말하는 법을 배우는 과정입니다. 오랫동안 이 로봇들은 큰 그림을 묘사하는 데는 뛰어났습니다. 예를 들어 "저것은 빨간 자동차입니다"라고 말하는 식이죠. 하지만 범퍼에 있는 미세한 흠집이 정확히 어디에 있는지 지목하는 것과 같은 아주 작은 디테일에는 어려움을 겪곤 했습니다. 이는 마치 영화에 대한 이야기는 잘 들려주지만, 어떤 캐릭터가 파란 모자를 쓰고 있는지는 정확히 짚어내지 못하는 친구를 둔 것과 같습니다. 이는 현실 세계에서 매우 중요합니다. 만약 로봇이 보험 처리를 돕기 위해 자동차의 손상을 점검해야 한다면, 단순히 짐작해서는 안 됩니다. 정확히 어디에 문제가 있는지 알아야 하며, 그렇지 않으면 존재하지 않는 손상을 만들어낼 수도 있기 때문입니다.

이 논문의 연구진들은 로봇인 Qwen-VL이 더 나은 탐정이 될 수 있도록 돕기 위해 TinyDamage라는 새로운 시스템을 구축하여 이 문제를 해결했습니다. 그들은 로봇이 스크래치나 균열이 어떻게 생겼는지 아는 능력(이름을 맞히는 정확도 87.3%)은 매우 뛰어나지만, 사진 속에서 그것들을 가리키는 데는 형편없다는 것을 발견했습니다. 손상을 찾아내라는 요청을 받으면, 로봇은 종종 "환각(hallucinate)" 현상을 보였습니다. 즉, 반짝이는 빛 반사를 스크래치로 착각하거나, 길고 가는 균열을 완전히 놓치기도 했습니다. 이는 지문이 어떻게 생겼는지는 알지만, 용의자 선상에서 계속 엉뚱한 사람을 지목하는 탐정과 같았습니다.

이를 해결하기 위해 연구진은 로봇에게 더 잘 보라고 강요하는 대신, 파트너를 만들어 주었습니다. 그들은 오직 작고 까다로운 손상을 찾아내어 그 주변에 마스크(mask)를 그리는 일만을 전문으로 하는 특화된 "스포터(spotter, TinyDamage 모델)"를 만들었습니다. 그런 다음, 메인 로봇이 그 마스크를 가이드 삼아 보고서를 작성하도록 했습니다. 이는 역사는 잘 알지만 길을 잘 잃어버리는 투어 가이드와, 모든 골목길을 정확히 알고 있는 현지 가이드를 짝지어 주는 것과 같습니다. 현지 가이드가 길을 안내하면, 투어 가이드가 이야기를 들려주는 방식입니다.

결과는 놀라울 정도로 구체적이었습니다. 연구진은 "스포터"가 학습하는 방식이 스포터의 설계 자체보다 더 중요하다는 것을 발견했습니다. 그들은 "포컬 로스(focal loss)"라는 흔한 학습 방법을 사용했을 때, 스포터가 아주 작은 스크래치에 대해 완전히 눈이 멀어 버려 스크래치를 100% 놓치게 된다는 사실을 알아냈습니다. 하지만 "지도 학습 기반 대조 학습(supervised contrastive learning)"이라는 다른 방법으로 전환하자, 스포터는 배경으로부터 손상을 훨씬 더 잘 구분해 낼 수 있게 되었습니다.

이 팀을 통째로 테스트했을 때, 그 차이는 엄청났습니다. 만약 로봇에게 사진만을 바탕으로 보고서를 쓰라고 하면, 78%의 확률로 가짜 손상을 만들어냈습니다. 만약 텍스트 설명만을 바탕으로 쓰라고 하면, 92%의 확률로 가짜 손상을 만들어냈습니다. 그러나 로봇에게 "스포터"의 지도를 사용하여 글을 쓰도록 시켰을 때, 가짜 손상을 만들어내는 비율은 단 31%로 떨어졌습니다. 이 논문은 로봇이 현실 세계에서 신뢰를 얻기 위해서는, 단순히 작은 것을 더 잘 보라고 "노력하라"고 요구할 것이 아니라, 작은 것을 찾기 위한 전용 도구를 제공하고 그 도구를 사용하여 진실을 말하게 해야 한다고 제안합니다.