HomeSafeBench: A Benchmark for Embodied Vision-Language Models in Free-Exploration Home Safety Inspection
Dit artikel introduceert HomeSafeBench, de eerste benchmark voor belichaamde agenten om vrije exploratie van veiligheidsinspecties in huis uit te voeren via egocentrische beelden, en stelt CueBack voor, een methode voor dataconsructie die de prestaties van Vision-Language Modellen aanzienlijk verbetert door de temporele structuur van gevarendetectie te benutten om de kloof tussen AI en menselijke inspecteurs te dichten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robotvriend hebt die de wereld ziet door zijn ogen en met je kan praten over wat hij ziet. Dit is de wereld van Embodied AI, waar computers niet alleen op een scherm zitten; het zijn "belichaamde" agenten die rond kunnen bewegen, dingen kunnen bekijken en beslissingen kunnen nemen in een 3D-wereld. Denk aan hen als een digitale ontdekkingsreiziger met een rugzak, klaar om puzzels op te lossen of verloren voorwerpen te vinden. Maar er is een addertje onder het gras: deze robots zien alleen wat er direct voor hun "gezicht" staat (een egocentrische blik). Ze kunnen niet achter de bank of onder het tapijt kijken, tenzij ze er fysiek naartoe lopen om te kijken. Dit maakt ze geweldig in het opvolgen van instructies, maar verschrikkelijk in het proactief zijn als detective.
Stel je nu voor dat je wilt dat deze robot een veiligheidsinspecteur voor je huis is. Zijn taak is om door je huis te dwalen, gevaarlijke zaken op te sporen zoals een mes dat op het aanrecht is blijven liggen of een vloerkleed waar iemand over kan struikelen, en je erover te informeren voordat er iemand gewond raakt. Dit is een enorme zaak, omdat de meeste ongelukken in huis gebeuren omdat we de voor de hand liggende gevaren vergeten te zien. De grote vraag die onderzoekers stellen is: kunnen deze AI-ontdekkingsreizigers dit werk daadwerkelijk doen, of zijn ze te onhandig en blind voor de risico's?
Het papier: HomeSafeBench en de "CueBack"-truc
De onderzoekers achter dit papier, HomeSafeBench, besloten een gigantische, digitale hindernisbaan te bouwen om precies dit te testen. Ze creëerden een benchmark (een standaardtest) waarbij een AI-agent vrij door een volledig interactief 3D-huis moet verkennen, rondkijkt en van kamer naar kamer beweegt, net zoals een mens dat zou doen. Het doel? Om vijf specifieke soorten gevaren te vinden: brandgevaren (zoals papier bij een fornuis), elektrische schokken (zoals een broodrooster in een gootsteen), vallende objecten (zoals een zware doos op een hoge plank), struikelgevaren (zoals een bananenschil op de vloer) en veiligheidsrisico's voor kinderen (zoals scherpe messen binnen het bereik van een kind).
Ze bouwden 1.000 verschillende scenario's, elk met één tot vijf verborgen gevaren, en vroegen de beste AI-modellen ter wereld om ze te vinden. De resultaten waren een beetje een realiteitscheck. Zelfs de slimste commerciële AI-modellen, die deze soorten tests meestal moeiteloos doorstaan, hadden het erg zwaar. Het beste model vond slechts ongeveer 34,7% van de gevaren (gemeten met een score genaamd F1), terwijl een menselijke inspecteur 98,0% zou hebben gevonden.
Het vreemde deel is: de AI miste de dingen niet zomaar willekeurig. Hij was overdreven voorzichtig. Hij had een hoge "precisie" (wanneer hij zei dat iets gevaarlijk was, had hij meestal gelijk) maar een verschrikkelijke "recall" (hij miste bijna alles wat er nog meer was). Het was als een beveiliger die alleen "Brand!" schreeuwt wanneer het gebouw al in brand staat, maar de rokende kaars op de tafel negeert. De AI spootte alleen de meest voor de hand liggende, luidruchtige gevaren eruit en negeerde de stille, sluipende gevaren, vooral dingen die zouden kunnen vallen of een kind pijn zouden kunnen doen.
De oplossing: "CueBack"
De onderzoekers realiseerden zich dat het trainen van deze robots door ze keer op keer in de simulator rond te laten lopen te traag en te duur was. In plaats daarvan bedachten ze een slimme, goedkope truc genaamd CueBack.
Denk er zo over na: Stel je voor dat je naar een video kijkt van een detective die een misdaad oplost. In de video loopt de detective een kamer binnen, ziet een modderige voetstap (de aanwijzing of clue) en loopt dan naar het raam om te bevestigen dat de verdachte daar was (de bevestiging of confirmation). Als je de detective alleen het uiteindelijke antwoord laat zien ("De verdachte was bij het raam!"), leert hij niet hoe hij de aanwijzing eerst moet vinden.
De CueBack-meth�nd kijkt naar een "perfect" pad waarbij een mens (of een superintelligente leraar) al weet waar het gevaar zich bevindt. Vervolgens spoelt de methode de video terug naar het allereerste moment waarop het gevaar van een afstandje zichtbaar werd. Het vertelt de AI: "Hé, voordat je zeker wist, was je gewoon aan het verkennen. Maar juist hier, zag je een aanwijzing. Vanaf dit punt moet je nauwer kijken om het te bevestigen."
Door de AI te leren deze "aanwijzingen" te herkennen vóór de "bevestiging", creëerden ze een nieuwe set trainingsgegevens zonder dat ze dure simulaties hoefden te draaien. Ze namen een klein, open-source AI-model (genaamd Qwen3-VL-4B) en leerden het met deze nieuwe methode.
De resultaten
De resultaten waren verrassend goed. Na deze "CueBack"-training sprong de prestatie van het kleine AI-model van een zwakke 18,7% naar een sterke 45,3%. Dit is een grote zaak, want het betekent dat dit kleine, gratis model daadwerkelijk beter is geworden in het vinden van gevaren in huis dan de duurste, gesloten commerciële modellen (die slechts 34,7% bereikten).
De studie suggereert dat het belangrijkste probleem niet was dat de AI niet kon bewegen of zien; het was dat de AI niet wist hoe hij moest zoeken naar subtiele risico's. Door de AI te leren om de vroege aanwijzingen op te merken en vervolgens te onderzoeken, lieten de onderzoekers zien dat je geen supercomputer nodig hebt om een goede veiligheidsinspecteur voor thuis te bouwen; je hebt alleen de juiste manier nodig om hem te leren aandacht te schenken. Het team heeft hun test, hun trainingsgegevens en de code vrijgegeven, zodat iedereen in de toekomst nog betere veiligheidsrobots kan bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.