Rule-Compliant Visual Spatial Planning for Multimodal Large Language Models
Dit artikel introduceert RuleMaze, een controleerbare benchmark voor het evalueren van regelconforme visuele ruimtelijke planning in multimodale grote taalmodellen, samen met een hybride regelgeneratiekader en een Disentangled Multimodal Planning (DMP)-methode die de naleving van regels en generalisatie aanzienlijk verbetert door perceptie, uitvoering en verificatie van elkaar te scheiden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin een computer naar een afbeelding kan kijken en niet alleen begrijpt wat erin staat, maar ook hoe hij erdoorheen kan bewegen. Dit is de belofte van multimodale grote taalmodellen, een nieuwe generatie kunstmatige intelligentie die het vermogen om te lezen en te redeneren combineert met het vermogen om te zien. Deze systemen hebben al geleerd om afbeeldingen te beschrijven, vragen over foto's te beantwoorden en visuele puzzels op te lossen. Maar er is een gat in hun kennis. Hoewel ze een eenvoudig pad kunnen navigeren, hebben ze moeite wanneer het pad wordt geblokkeerd door een specifieke reeks instructies die van moment tot moment veranderen. In de echte wereld moet een autonoom voertuig of een robothelper niet alleen een weg van punt A naar punt B vinden, maar ook een voortdurend veranderende set regels naleven, zoals "sla niet linksaf bij rood" of "vermijd de natte vloer". Huidige modellen falen hier vaak; ze behandelen regels als suggesties in plaats van harde beperkingen, of ze vergeten ze volledig terwijl ze hun volgende zet plannen.
Om te begrijpen waarom dit zo moeilijk is, creëerden onderzoeker Yu Chen en zijn team aan de Peking University en Yinwang Intelligent Technology een nieuwe testomgeving genaamd RuleMaze. Ze bouwden een digitale omgeving gevuld met doolhoven, maar dit waren niet alleen puzzels van muren en open ruimtes. Elk doolhof kwam met een unieke set natuurlijke taalregels, geschreven in gewoon Engels, die precies dicteerden hoe een personage kon bewegen. Sommige regels waren simpel, zoals "je mag niet op roze vierkantjes stappen." Andere waren complex en vereisten dat het personage onthield waar het was geweest of zijn gedrag aanpaste op basis van de huidige locatie, zoals "als je op een oranje vierkant staat, moet je volgende stap omhoog zijn." De onderzoekers genereerden duizenden van deze scenario's met een methode die automatisch menselijke regels omzette in strikte, door machines controleerbare logica. Dit stelde hen in staat om te testen of een kunstmatige intelligentie werkelijk een regel kon begrijpen en volgen terwijl hij door een visuele ruimte navigeerde, in plaats van alleen maar de juiste route te raden op basis van patronen die hij eerder had gezien.
Het team ontdekte dat het simpelweg vragen aan een krachtig model om naar het doolhof te kijken en een lijst met zetten op te schrijven, niet goed werkte, vooral wanneer de regels nieuw of ingewikkeld waren. Wanneer de regels veranderden, vergaten de modellen de instructies vaak of overtraden ze deze zonder het te beseffen. Om dit op te lossen, stelden de onderzoekers een nieuwe manier van denken voor genaamd Disentangled Multimodal Planning. In plaats van het model te dwingen alles tegelijk te doen — de afbeelding zien, over de regels nadenken en de volgende stap beslissen — braken ze de taak op in drie aparte, duidelijke taken. Eerst gebruikt het model een hulpmiddel om het doolhof te bekijken en te identificeren waar het zich bevindt en welke speciale symbolen er in de buurt zijn. Ten tweede gebruikt het een hulpmiddel om een zet te proberen en te zien hoe het nieuwe beeld eruit ziet. Derde, en het belangrijkste, gebruikt het een specifiek hulpmiddel om te controleren of de zet die het zojuist heeft gemaakt, de regels volgt. Dit controlehulpmiddel werkt als een strikte scheidsrechter die direct "ja" of "nee" zegt bij elke stap voordat het model mag doorgaan.
Deze aanpak veranderde de uitkomst drastisch. In hun tests liet de nieuwe methode de modellen regels volgen met een succespercentage van 90 procent bij taken die ze nog nooit eerder hadden gezien, een enorme verbetering ten opzichte van eerdere methoden die vaak volledig faalden bij nieuwe regels. De onderzoekers ontdekten dat wanneer het model werd gedwongen om zijn werk bij elke stap te controleren, het stopte met het maken van de soorten fouten die optreden wanneer een systeem een hele reis in zijn hoofd probeert te plannen zonder elke stap te verifiëren. Het model leerde te pauzeren, naar de regel te kijken, de zet te controleren en pas daarna verder te gaan. Dit werkte zelfs wanneer de regels moeilijk waren, waarbij meerdere voorwaarden betrokken waren of waarbij het model zaken moest onthouden die het onderweg had opgepakt. De studie suggereert dat voor kunstmatige intelligentie om echt betrouwbaar te zijn in complexe, door regels beperkte omgevingen, het niet alleen een slimme gokker kan zijn; het moet worden uitgerust met een systeem dat het dwingt zijn eigen acties te verifiëren tegen de beperkingen van de wereld waarin het navigeert. Door het proces van zien, bewegen en controleren van elkaar te scheiden, lieten de onderzoekers zien dat machines instructies kunnen volgen met een niveau van discipline dat voorheen onbereikbaar was.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.