Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents
Dit artikel introduceert MissionBench, een benchmark voor het evalueren van de zero-shot missieniveau-capaciteiten van multimodale grote taalmodellen in luchtgebaseerde 3D-omgevingen, waarbij wordt onthuld dat hoewel schalen de prestaties verbetert, huidige modellen nog steeds aanzienlijk achterlopen op mensen bij complexe, langdurige belichaamde taken die multi-stap planning en adaptief redeneren vereisen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je zojuist een gloednieuwe, superintelligente robot een kaart en een missie hebt overhandigd: "Ga die rode auto vinden en vertel me het kenteken." Je verwacht dat de robot wegzoomt, de scène scant en terugkomt met het antwoord. Maar hier komt de crux: deze robot heeft nog nooit een drone bestuurd. Het heeft niet geleerd hoe het moet zweven, hoe het een boom moet ontwijken, of hoe het een bord moet lezen vanuit een vogelperspectief. Het weet alleen hoe het moet praten en naar plaatjes kan kijken, omdat het getraind is op het hele internet. Dit is de wereld van Multimodale Large Language Models (MLLM's)—AI-hersenen die afbeeldingen kunnen zien en tekst kunnen lezen, die nu worden gevraagd om fysieke machines aan te sturen. De grote vraag die wetenschappers stellen is: kunnen deze algemene, "slimme hersenen" leren hoe ze een drone moeten besturen en een complexe missie moeten voltooien door slechts één zin te lezen, zonder speciale training? Het is alsof je aan iemand vraagt die elk boek in een bibliotheek heeft gelezen, om plotseling een ruimteschip naar een specifieke asteroïde te besturen, enkel omdat diegene een verhaal daarover heeft gelezen.
In dit artikel besloten de onderzoekers deze AI-hersenen de ultieme test te onderwerpen. Ze bouwden een videogame-wereld genaamd MissionBench, wat in feite een gigantische, hoogtechnologische speeltuin is voor drones. Binnen deze speeltuin zijn er 120 verschillende missies, variërend van "Patrolleer deze buurt" tot "Inspecteer een brandend schip" of "Laat een pakketje vallen op een tent." De twist? De AI-agenten (de dronepiloten) krijgen alleen een tekstuele instructie en een camerabeeld vanuit het perspectief van de drone. Ze moeten zelf uitzoeken waar ze heen moeten, hoe ze moeten draaien, hoe snel ze moeten vliegen en wat ze moeten rapporteren. Het is een closed-loop spel: de AI beweegt, de wereld verandert, de AI ziet een nieuw beeld, en moet vervolgens beslissen wat de volgende stap is.
De resultaten waren een mix van "wow" en "oeps". De onderzoekers testten 22 verschillende AI-modellen, van open-source modellen tot de krachtigste commerciële reuzen. De best presterende AI slaagde in minder dan 35% van de missies. Om dat in perspectief te plaatsen: een menselijke piloot die hetzelfde spel speelt met dezelfde beperkte controles, slaagde 70% van de tijd, en met volledige toetsenbordbesturing haalden mensen 84,4%. Dus, hoewel de AI niet slecht is, heeft het nog steeds moeite om een mens bij te houden. Het artikel suggereert dat het simpelweg "groter" maken van de AI (het toevoegen van meer data en parameters) helpt; de grootste modellen deden het aanzienlijk beter dan de kleinere, wat erop wijst dat pure omvang hen een beetje meer "belichaamde" intuïtie geeft. Echter, zelfs de slimste AI raakt nog steeds in de war. Het botst vaak tegen dingen op, vliegt in cirkels, of geeft te vroeg op, denkend dat het klaar is terwijl het eigenlijk nog mijlenver van het doel verwijderd is.
De studie keek ook naar waarom de AI faalt. Het blijkt dat goed zijn in het herkennen van een object in een enkele foto (zoals een auto vinden in een foto) niet garandeert dat de AI de drone naar die auto kan vliegen. De AI moet veel meer dan alleen "zien"; het moet een pad plannen, de hoogte aanpassen, het doel in beeld houden en zich aanpassen wanneer er dingen misgaan. De onderzoekers ontdekten dat de AI vaak last heeft van "drift en oscillatie"—het blijft heen en weer gaan als een verwarde mot—of "voortijdige beëindiging", waarbij het na slechts een paar seconden de overwinning claimt omdat het moe of in de war is geraakt.
Uiteindelijk suggereert dit artikel dat hoewel algemene AI steeds beter wordt in het besturen van drones zonder speciale training, het nog niet klaar is voor de echte wereld. De kloof tussen wat de AI kan en wat een mens kan, is nog steeds enorm. De auteurs waarschuwen dat naarmate deze modellen groter en slimmer worden, ze weliswaar capabeler kunnen worden, maar dat ze ook risico's met zich meebrengen als ze te vroeg worden ingezet. Voor nu dient MissionBench als een reality check: een brein dat alles over de wereld weet, betekent niet automatisch dat je weet hoe je een drone erdoorheen moet vliegen. De reis van "lezen over vliegen" naar "daadwerkelijk vliegen" is nog een lange weg.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.