💻 computer science

LENS: LLM-guided Environment Simplification for Planning and Control in Clutter

Het artikel introduceert LENS, een plug-and-play framework dat Large Language Models gebruikt om automatisch taakspecifieke scène-abstracties te genereren en dynamisch bij te werken door objecten samen te voegen of te snoeien, waardoor de prestaties van diverse planning- en besturingsmethoden in zeer rommelige robotische manipulatieomgevingen aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Aileen Liao, Rachel Holladay, Dinesh Jayaraman, Michael Posa

Gepubliceerd 2026-07-23

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aileen Liao, Rachel Holladay, Dinesh Jayaraman, Michael Posa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die probeert een rommelige slaapkamer op te ruimen. Voor ons is een rommelige kamer gewoon een stapel kleding, boeken en speelgoed. Maar voor het brein van een robot is het een angstaanjagende explosie van wiskunde. Elk object is een potentiële hindernis, een ding waar de robot tegenaan kan botsen, of een ding dat de robot per ongeluk omver kan stoten. De robot moet berekenen hoe elk object met elk ander object interacteert om te bepalen hoe hij moet bewegen. Als er te veel dingen zijn, wordt de wiskunde zo enorm dat de robot bevriest, zoals een computer die probeert een bestand te openen dat te groot is. Dit is het "clutter problem" (het probleem van de rommel), en dit is de belangrijkste reden waarom robots geweldig zijn in het spelen in schone, lege labs, maar verschrikkelijk in het helpen in onze echte, rommelige huizen. Wetenschappers proberen robots te leren om de troep te negeren, maar meestal vereist dat een mens die handmatig programmeert om specifieke dingen te negeren, wat niet goed werkt wanneer de rommel verandert.

Maak kennis met een nieuw idee genaamd LENS (LLM-guided Environment Simplification). Denk aan LENS als een superintelligente, magische bril voor de robot. In plaats van te proberen de wiskunde voor de hele rommelige kamer op te lossen, zet de robot deze bril op, die een krachtig "brein" (een large language model) gebruikt om de scène te bekijken en te vragen: "Wat doet er echt toe voor deze specifieke taak?" Als de robot een rode beker moet oppakken, kan de bril zeggen: "Negeer de stapel wasgoed in de hoek, en behandel die stapel van drie boeken als één enkel blok." Door de wereld in realtime te vereenvoudigen, kan de robot stoppen met panikeren en beginnen met werken. Dit papier laat zien dat robots door deze "slimme bril"-aanpak veel rommeligere kamers kunnen afhandelen dan voorheen, of ze nu gebruikmaken van ouderwetse wiskundige planning of nieuwe AI die leert door naar video's te kijken.

De Nachtmerrie van de Robot: Te Veel Spullen om Over Na te Denken

Weet je hoe het is als je een enorme berg huiswerk hebt en het moeilijk is om je te concentreren omdat je naar de hele berg staart? Robots voelen hetzelfde. Wanneer een robot een object in een rommelige kamer probeert te verplaatsen, moet hij over elk ding in de kamer nadenken. Gaat die stoel de weg blokkeren? Rolt dat speelgoed weg? Als er 50 objecten zijn, moet de robot miljoenen berekeningen uitvoeren om er zeker van te zijn dat hij niet crasht.

Lama tijd probeerden onderzoekers dit op te lossen door robots te bouwen die alleen in zeer schone, georganiseerde kamers werken. Maar dat is niet het echte leven. Het echte leven is rommelig. Wanneer robots in rommelige kamers worden geplaatst, raken ze in de war. Hun "zicht" raakt vervuild en hun "brein" raakt overweldigd. Ze proberen misschien een speeltje te verplaatsen dat niet eens bij de taak hoort, of ze bevriezen omdat de wiskunde te moeilijk is. Het probleem is niet dat de robot dom is; het is dat hij te veel tegelijk probeert te doen.

De Oplossing: Een Magisch Filter

De auteurs van dit paper, Aileen Liao en haar team van de University of Pennsylvania, kwamen met een slimme oplossing genaamd LENS. In plaats van de robot slimmer te maken in het omgaan met alles, besloten ze de wereld kleiner te maken voor de robot.

Stel je voor dat je een videogame speelt, maar het scherm zit vol met zoveel personages en items dat je het doel niet meer kunt zien. Je zet een filter op die alles wat niet belangrijk is vervaagt. Plotseling zie je het pad duidelijk. LENS doet precies dat voor robots. Het gebruikt een speciaal type AI (een Vision-Language Model) om de scène te bekijken en te beslissen wat het behoudt en wat het weggooit.

LENS doet twee hoofdzaken om de scène te vereenvoudigen:

Pruning (Weggooien): Als een object ver weg is of niets met de taak te maken heeft, vertelt LENS de robot om te doen alsof het niet bestaat. Bijvoorbeeld, als de robot een groene blok moet verplaatsen, kan LENS zeggen: "Negeer die blauwe bal in de hoek."
Merging (Samenvoegen): Soms zitten objecten aan elkaar vast, zoals een stapel boeken. In plaats van elk boek als een apart probleem te behandelen, plakt LENS ze in de geest van de robot aan elkaar en behandelt ze als één enkel, groot object. Dit maakt de wiskunde veel eenvoudiger.

Hoe het Werkt: De "Probeer, Faal, Herstel"-lus

Hier komt het echt coole gedeelte: LENS is niet zomaar een eenmalig filter. Het is een lus. De robot probeert de taak uit te voeren met het vereenvoudigde beeld. Als het mislukt (misschien probeerde hij een stapel boeken te verplaatsen en vielen ze uit elkaar), stuurt de robot een bericht terug naar het "magische brein" met de tekst: "Hé, dit werkte niet!" Het brein kijkt dan opnieuw naar de scène, beseft dat het een fout heeft gemaakt (misschien heeft het iets weggegooid dat het niet had moeten weggooien, of zaken samengevoegd die niet samengevoegd hadden moeten worden) en werkt het filter bij. Het is als een mens die een puzzel probeert op te lossen, beseft dat een stukje op de verkeerde plek zit, en het opnieuw probeert.

De onderzoekers hebben dit op drie verschillende manieren getest:

Planning: Ze gebruikten het met een klassiek planningsysteem dat logica gebruikt om stappen te bepalen.
Control: Ze gebruikten het met een systeem dat de spieren van de robot in realtime aanstuurt.
Learning: Ze gebruikten het met een moderne AI die leert door video's te bekijken (een Vision-Language-Action model).

Wat Ze Hebben Ontdekt

De resultaten waren behoorlijk indrukwekkend. In hun experimenten waren de robots met LENS veel beter in het afhandelen van rommelige kamers dan de robots zonder.

Snelheid: Wanneer het aantal objecten in de kamer toenam, werden de robots zonder LENS steeds langzamer. Bij 7 objecten deden ze er meer dan 4.000 seconden (meer dan een uur!) over om uit te vogelen wat ze moesten doen. De robots met LENS bleven snel en deden er, ongeacht het aantal objecten, slechts ongeveer 40 tot 135 seconden over.
Succes: In een rommelige kamer faalden de robots zonder LENS vaak volledig. Met LENS slaagden ze veel vaker. Bijvoorbeeld, in een test waarbij een robot een groene kom naar een rode schotel moest verplaatsen, raakte de robot zonder LENS in de war door andere kommen die in de weg stonden. De robot met LENS negeerde de extra kommen en volbracht de taak.
Echte Robots: Ze hebben dit zelfs getest op echte fysieke robots, niet alleen in computersimulaties. De robots waren in staat om objecten door de rommel heen te duwen en knuffelbeestjes op te pakken, waarbij ze de afleidingen succesvol negeerden.

Waarom Dit Belangrijk Is

Dit paper suggereert dat we niet noodzakelijkerwijs "slimmere" robots hoeven te bouwen om de echte wereld aan te kunnen. In plaats daarvan kunnen we ze leren om beter te worden in het negeren van dingen. Door robots een manier te geven om hun wereld dynamisch te vereenvoudigen op basis van wat ze proberen te doen, kunnen we ze veel nuttiger maken in onze rommelige huizen. Het is een beetje zoals hoe een goede docent een leerling helpt zich te concentreren op de belangrijkste delen van een les, in plaats van te proberen het hele tekstboek tegelijk te onthouden.

De auteurs benadrukken dat dit nog geen perfecte oplossing is. Soms maken de robots nog steeds fouten, en moet het "magische brein" misschien een paar keer proberen om het filter goed te krijgen. Maar het is een enorme stap voorwaarts. Het laat zien dat door het vermogen om te zien en taal te begrijpen te combineren met het vermogen om een scène te vereenvoudigen, we de kloof kunnen overbruggen tussen robots die in labs werken en robots die daadwerkelijk kunnen helpen in ons dagelijks leven.

Technische Samenvatting: LENS – LLM-gestuurde Omgevingsvereenvoudiging voor Planning en Controle in Rommelige Scenario's

Probleemstelling

Ondanks vooruitgang in algemene robotische manipulatie blijft realistische scenario's met meerdere objecten (clutter) een aanzienlijke barrière voor implementatie. Naarmate de complexiteit van een scène toeneemt, groeien het aantal objecten, contactpunten, beslissingsvertakkingen en interactiemodi, wat leidt tot een schaalbaarheidsprobleem voor zowel optimalisatiegebaseerde planners als geleerde controllers (computational costs en failure modes nemen exponentieel toe).

Optimalisatie- en planningmethoden: Moeten redeneren over elk object in de scène. Hun computationele kosten schalen slecht met de hoeveelheid rommel, zelfs wanneer de meeste objecten irrelevant zijn voor de taak, wat leidt tot onhandelbaarheid.
Geleerde controllers (bijv. Vision-Language-Action modellen): Getraind op zorgvuldig samengestelde, opgeruimde omgevingen, lijden zij onder ernstige distributieverschuivingen (distribution shifts) bij implementatie in dichte, ongestructureerde scènes. Dit leidt tot verslechterde affordance-schattingen en incorrecte contactvoorspellingen.
Huidige beperkingen: Bestaande benaderingen voor scène-abstractie vereisen vaak uitgebreide, taakspecifieke handmatige engineering, wat niet schaalbaar is. Er is een gebrek aan een flexibel, geautomatiseerd mechanisme om taakonrelevante objecten te onderdrukken voordat de planning of controle begint.

Methodologie: Het LENS-framework

De auteurs stellen LENS (LLM-guided Environment Simplification) voor, een plug-and-play, taakonafhankelijk framework dat automatisch scène-specifieke, taakspecifieke abstracties genereert met behulp van Multimodale Large Language Models (MLLM's) en closed-loop feedback.

Kernmechanisme

LENS fungeert als een front-end voor bestaande planning- en controlestacks. Gegeven een natuurlijke taal taakbeschrijving ( $\tau$ ) en een volledige scénebeschrijving ( $O$ ), wordt een VLM (specifiek GPT-4o in de implementatie) geprompt om een gestructureerde, geabstraheerde scène-representatie ( $\tilde{O}$ ) te genereren. Dit wordt bereikt door twee elementaire operaties:

Pruning (Snoeien): Objecten die als irrelevant voor de taak worden beschouwd (bijv. verre afleidingen) worden verwijderd uit de scène-representatie. Afhankelijk van het downstream systeem vermindert dit de toestandsruimte-variabelen, contactrestricties of visuele inputs.
Merging (Samenvoegen): Objecten die functioneel of dynamisch gekoppeld zijn (bijv. een stapel objecten) worden gegroepeerd tot één enkel samengesteld entiteit. Dit vermindert het aantal lichamen en contactparen, terwijl een conservatieve fysieke envelop van de groep behouden blijft.

Closed-Loop Verfijning

Om mogelijke hallucinaties van de VLM of dynamische veranderingen in de omgeving aan te pakken, gebruikt LENS een closed-loop re-prompting mechanisme. Als het downstream systeem faalt (getriggerd door time-outs, foutcodes of onhaalbare plannen), wordt de feedback van de fout toegevoegd aan de prompt. De VLM wordt vervolgens opnieuw bevraagd om de scène-abstractie te herzien (bijv. het uitbreiden van de set relevante objecten of het aanpassen van samenvoegingen) totdat de taak slaagt of een maximaal aantal pogingen is bereikt.

Integratie met Downstream Systemen

LENS werd geïntegreerd in drie verschillende robotische paradigma's:

Task and Motion Planning (TAMP): Gesnoeide objecten worden vastgezet in hun pose en uitgesloten van beslissingsvariabelen; samengevoegde groepen worden behandeld als één enkel rigide lichaam met een unieke ID.
Contact-Implicit Model Predictive Control (C3+): Pruning vermindert de dimensionaliteit van het Linear Complementarity Problem (LCP) en de contactparen. Samengevoegde groepen worden in realtime bijgewerkt op basis van hun pose, hoewel interne vormveranderingen niet worden gemodelleerd.
Vision-Language-Action (VLA) Modellen ( $\pi_{0.5}$ ): Pruning wordt geïmplementeerd door uitgesloten objecten in te vullen (inpainting) in de visuele observatie, waardoor een gefilterde afbeelding wordt doorgegeven aan het beleid (policy). Merging wordt in deze specifieke implementatie niet gebruikt.

Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

Een algemene, closed-loop abstractiemethode: Een taakonafhankelijke framework voor het schatten van taakrelevantie en het construeren van scène-abstracties met behulp van vision-language modellen, waardoor handmatige heuristieken overbodig worden.
Veelzijdige integratie: Succesvolle integratie van deze abstractielaag met drie state-of-the-art paradigma's: TAMP, optimalisatiegebaseerde contact-impliciete controle en grootschalige VLA-modellen.
Experimentele Validatie: Demonstratie van verbeterde schaalbaarheid, robuustheid en efficiëntie in sterk rommelige tabletop-omgevingen over alle drie de geïntegreerde systemen.

Experimentele Resultaten

De auteurs evalueerden LENS tegenover baselines die werken op ongefilterde observaties in zowel simulatie als op echte robot-hardware.

TAMP Prestaties: In zwaar rommelige omgevingen presteerde LENS-TAMP aanzienlijk beter dan de baseline. De baseline liep regelmatig vast door de combinatorische explosie van afleidingen, terwijl LENS een hoge succesratio behield door irrelevante objecten te snoeien en stapels samen te voegen.
Model-Based Control (C3+):
- Schaalbaarheid: Naarmate het aantal objecten toenam, verslechterde de uitvoeringstijd van de baseline drastisch (meer dan 4000 seconden bij 7 objecten). In contrast hiermee behield LENS-C3+ stabiele uitvoeringstijden (~40–135 seconden), ongeacht het niveau van de rommel.
- Succesratio's: LENS behaalde een succesratio van 39/39 in simulatietests, vergeleken met 17/30 voor de baseline.
- Hardware: Op echte robots maakte iteratieve feedback herstel mogelijk van initiële pruning-fouten, wat resulteerde in een cumulatieve succesratio van 80% over drie feedbackloops.
VLA Prestaties ( $\pi_{0.5}$ ):
- Simulatie: Rommel verminderde de VLA-succesratio van 0.85 naar 0.5. LENS herstelde de prestaties naar 0.69.
- Hardware: In experimenten waarbij fruit-knuffels werden opgepakt en in kommen werden geplaatst, verbeterde LENS de succesratio consistent ten opzien van de baseline voor alle fruitsoorten (bijv. Ananas: 0.5 vs. 0.2; Appel: 0.7 vs. 0.0).

Betekenis en Claims

Het artikel stelt dat het gat tussen laboratoriumalgoritmen en real-world deployment niet louter een kwestie is van schaal, maar van fundamentele hanteerbaarheid (tractability). Zonder een mechanisme om de focus te leggen op taakrelevante elementen, erven downstream methoden de volledige combinatorische en distributionele lasten van de rommel.

De betekenis van LENS ligt in het vermogen om:

De last van scène-abstractie te verschuiven van handmatige engineering naar een geautomatiseerde, semantische redeneerlus.
De kloof te overbruggen tussen gestructureerde laboratoriuminstellingen en onbegrensde real-world complexiteit.
Een "plug-and-play" oplossing te bieden die bestaande planners en controllers verbetert zonder dat de kernpolicies opnieuw getraind hoeven te worden.

De auteurs merken beperkingen op, waaronder de computationele kosten van het valideren van abstracte representaties in simulatie voor sommige controllers en de afhankelijkheid van hoog-niveau faal-signalen in plaats van expliciete causale analyse. Zij suggereren dat toekomstig werk deze ideeën kan uitbreiden naar rijkere abstractie-operaties (bijv. via RL) en langdurige taken waarbij relevantie in de loop van de tijd evolueert.