Grounding Agentic VLMs with Dedicated Segmentation for Fine-Grained Vehicle Damage Assessment

Stel je voor dat je een superintelligente robot probeert te leren hoe hij naar een foto kan kijken en er een verhaal over kan vertellen. Dit wetenschappelijke veld wordt "Vision-Language" genoemd, waarbij computers leren om afbeeldingen te zien en erover te spreken. Lange tijd waren deze robots erg goed in het beschrijven van het grote plaatje—zoals zeggen: "Dat is een rode auto." Maar ze hadden vaak moeite met de minuscule details, zoals precies aanwijzen waar een krasje op de bumper zit. Het is een beetje alsof je een vriend hebt die je een verhaal over een film kan vertellen, maar niet kan aanwijzen welke personage een blauwe hoed draagt. Dit is belangrijk omdat een robot in de echte wereld, als hij een auto op schade moet controleren om bij verzekeringen te helpen, niet mag gokken; hij moet precies weten waar het probleem zit, anders verzint hij schade die er niet is.

De onderzoekers in dit artikel pakten dit probleem aan door een nieuw systeem genaamd TinyDamage te bouwen om de robot genaamd Qwen-VL een betere detective te laten worden. Ze ontdekten dat de robot erg goed was in het herkennen van wat een kras of barst eruitzag (hij had het in 87,3% van de gevallen goed bij het benoemen ervan), maar dat hij er verschrikkelijk in was om ze op de foto aan te wijzen. Wanneer de robot werd gevraagd de schade te vinden, "hallucineerde" hij vaak, wat betekent dat hij krassen zag in glimmende reflecties of lange, dunne barsten volledig miste. Het was alsof een detective weet hoe een vingerafdruk eruitziet, maar steeds naar de verkeerde persoon in een lijn staat te wijzen.

Om dit op te lossen, probeerde het team niet de robot te dwingen om beter te worden in het aanwijzen. In plaats daarvan gaven ze hem een partner. Ze bouwden een gespecialiseerde "spotter" (het TinyDamage-model) wiens enige taak het is om de kleine, lastige schade te vinden en er een masker omheen te tekenen. Vervolgens lieten ze de hoofdrobot dat masker gebruiken als gids om zijn rapport te schrijven. Denk aan een rondreisgids die alle geschiedenis kent maar gemakkelijk verdwaalt, gekoppeld aan een lokale gids die precies weet waar elke straat is. De lokale gids wijst de weg, en de rondreisgids vertelt het verhaal.

De resultaten waren verrassend en zeer specifiek. Het team ontdekte dat de manier waarop ze de "spotter" leerden belangrijker was dan het ontwerp van de spotter zelf. Ze ontdekten dat het gebruik van een veelvoorkomende methode om te leren, genaamd "focal loss", de spotter er zelfs voor maakte dat hij volledig blind was voor kleine krassen, waardoor hij ze 100% van de tijd miste. Echter, door over te schakelen naar een andere methode genaamd "supervised contrastive learning", werd de spotter veel beter in het onderscheiden van de schade van de achtergrond.

Toen ze het hele team samen testten, was het verschil enorm. Als ze de robot vroegen een rapport te schrijven op basis van alleen de foto, verzon hij 78% van de tijd nep-schade. Als ze hem vroegen op basis van alleen een tekstuele beschrijving, verzon hij 92% van de tijd schade. Maar wanneer ze de robot de kaart van de "spotter" lieten gebruiken om zijn schrijven te sturen, daalde het percentage nep-schade naar slechts 31%. Het artikel suggereert dat voor robots om betrouwbaar te zijn in de echte wereld, we ze niet alleen niet moeten vragen om "harder hun best te doen" om kleine dingen te zien; in plaats daarvan moeten we ze een toegewijd hulpmiddel geven om de kleine dingen te vinden, en de robot vervolgens dat hulpmiddel laten gebruiken om de waarheid te vertellen.