Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation
Dit artikel stelt een hybride framework voor dat snelle, op deep learning gebaseerde visuele perceptie integreert met redeneren via grote taalmodellen om efficiënte, met lage latentie verbonden taakplanning en navigatie voor servicerobots op lichtgewicht embedded platforms mogelijk te maken, waarbij hoge succespercentages worden behaald terwijl de computationeel intensieve vision-language model baselines aanzienlijk worden overtroffen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Service-robots zijn niet langer slechts een concept voor de toekomst; ze beginnen op te duiken in ziekenhuizen, hotels en openbare ruimtes, met de taak om mensen te begeleiden en eenvoudige klusjes uit te voeren. Om deze machines werkelijk nuttig te maken, moeten ze meer doen dan alleen een vooraf geprogrammeerd pad volgen. Ze moeten begrijpen wat een mens hen vraagt te doen, de wereld om hen heen zien om obstakels te vermijden of specifieke voorwerpen te vinden, en vervolgens uitzoeken hoe ze moeten bewegen om de taak te volbrengen. De uitdaging is lang geweest hoe men deze drie vermogens—taal begrijpen, de omgeving zien en beweging plannen—in één systeem kan combineren dat slim genoeg is om behulpzaam te zijn, maar klein en snel genoeg om op de eigen onboard-computer van een robot te draaien.
Jarenlang hebben onderzoekers geprobeerd dit op te lossen door massieve, alles-in-één kunstmatige intelligentie-systemen te bouwen die proberen alles tegelijk te doen. Deze systemen, vaak vision-language modellen genoemd, zijn ongelooflijk krachtig omdat ze tegelijkertijd naar een afbeelding kunnen kijken en een zin kunnen lezen. Ze zijn echter ook ongelooflijk zwaar, waarbij ze enorme hoeveelheden rekenkracht vereisen die simpelweg niet in een kleine, op batterijen werkende robot passen. Dit creëert een dilemma: een robot die slim genoeg is om complexe instructies te begrijpen maar te traag is om in realtime te reageren, of een robot die snel is maar te dom om te begrijpen wat hij ziet.
Een team van onderzoekers uit Indonesië, Japan en België heeft een andere weg vooruit voorgesteld. In plaats van één gigantisch brein alles te laten doen, hebben zij een systeem gebouwd dat het werk verdeelt in twee gespecialiseerde delen die met elkaar communiceren. In hun nieuwe framework handelt een snel, lichtgewicht visueel systeem de taak af om objecten te spotten, terwijl een apart taalmodel de taak van het begrijpen van instructies en het maken van plannen op zich neemt. Deze scheiding zorgt ervoor dat de robot op een kleine, ingebedde computer kan draaien zonder een enorme externe server nodig te hebben. De onderzoekers testten deze aanpak op een begeleidingsrobot die ontworig is om mensen te helpen navigeren in openbare gebouwen, en ze ontdekten dat door de taken gescheiden te houden, de robot complexe commando's kon begrijpen, objecten kon vinden en naar specifieke locaties kon bewegen met een hoge nauwkeurigheid, terwijl hij veel sneller reageerde dan de alles-in-één systemen.
De robot die zij gebruikten, was gebouwd op een standaard mobiel onderstel maar was uitgerust met een enkele camera en een compacte computerchip genaamd de Jetson Orin Nano. Deze chip is krachtig genoeg om moderne software te draaien, maar klein genoeg om op een robot te passen die vrij moet kunnen bewegen zonder aan een stopcontact vast te zitten. De onderzoekers programmeerden het systeem om natuurlijke taalcommando's van een mens te accepteren, zoals "Ga naar de receptie en zoek een persoon." Wanneer de robot een dergelijk commando ontvangt, breekt het taalgedeelte van het systeem dit af in een lijst met stappen. Het besluit dat de robot naar een specifieke locatie moet bewegen en vervolgens een persoon moet zoeken. Cruciaal is dat het de visuele kant van het systeem precies vertelt waar het naar moet zoeken, in plaats van het visuele systeem te vragen te raden wat belangrijk zou kunnen zijn.
Deze taakverdeling is de sleutel tot de snelheid van het systeem. In traditionele alles-in-één systemen moet de computer de volledige afbeelding en de volledige zin tegelijkertijd verwerken, wat veel tijd kost. In deze nieuwe opstelling beslist het taalmodel snel dat de robot moet zoeken naar een "persoon", en stuurt het vervolgens een eenvoudige, korte instructie naar de visuele detector om alleen dat specifieke object te vinden. De visuele detector, die ontworpen is om zeer snel te zijn, scant de camerabeelden en rapporteert terug of hij een persoon ziet. Omdat het visuele systeem geen tijd verspilt aan het analyseren van elk ding in de kamer, en het taal systeem geen tijd verspilt aan het interpreteren van de pixels, gaat het hele proces veel sneller. De onderzoekers maten dit snelheidsverschil en vonden dat hun gesplitste systeem tussen de drie en twintig keer sneller was dan de alles-in-één systemen, afhankelijk van of de computer lokaal draaide of verbinding maakte met een cloudserver.
Om te zien of deze aanpak daadwerkelijk werkte in de echte wereld, voerde het team een reeks tests uit. Eerst testten ze het vermogen van de robot om alleen bewegingscommando's op te volgen, door hem te vragen naar de dichtstbijzijnde kamer of de receptie te gaan. In deze tests slaagde de robot erin zijn route te plannen en de juiste bestemming te bereiken in 96 procent van de gevallen. Vervolgens voegden ze het visuele component toe, door de robot te vragen naar een locatie te gaan en vervolgens een specif
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.