💻 informatica

InteLiPlan: An Interactive Lightweight LLM-Based Planner for Domestic Robot Autonomy

InteLiPlan is een interactief, lichtgewicht en robot-agnostisch op LLM gebaseerd framework dat de autonomie van huishoudelijke robots verhoogt door middel van real-time onboard computing en human-in-the-loop interventie, waarbij een succespercentage van 95% wordt behaald bij complexe taken met herstel bij fouten in zowel simulatie- als real-world platforms.

Oorspronkelijke auteurs: Kim Tien Ly, Kai Lu, Ioannis Havoutis

Gepubliceerd 2026-01-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kim Tien Ly, Kai Lu, Ioannis Havoutis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed onderlegde robotbediende hebt genaamd InteLiPlan. Zijn taak is om je te helpen in en rond het huis, zoals het halen van een drankje of het opruimen. Echter, er is een addertje onder het gras: deze robot heeft geen supercomputer in zijn hoofd en kan niet altijd alles perfect zien. Soms raakt hij in de war, of probeert hij iets te pakken dat eigenlijk te ver weg is.

Dit artikel introduceert InteLiPlan als een oplossing om huishoudelijke robots slimmer, veiliger en onafhankelijker te maken zonder dat daar enorme hoeveelheden data of dure hardware voor nodig zijn. Hier is hoe het werkt, uitgelegd aan de hand van eenvoudige concepten:

1. Het "Lichtgewicht" Brein

De meeste geavanceerde robotbreinen van vandaag zijn als gigantische bibliotheken die op een cloudserver ver weg moeten worden opgeslagen. Ze zijn zwaar, traag om te laden en vereisen enorme datasets om te leren.

InteLi\text{i}Plan is anders. Denk aan een zakformaat encyclopedie die direct in de eigen computer van de robot past. Het gebruikt een "lichtgewicht" versie van een Large Language Model (LLM)—hetzelfde type AI dat chatbots aandrijft—maar het is speciaal getraind om robotcommando's te begrijpen. Het heeft geen internet nodig om hulp te vragen; het kan daar ter plekke zelf nadenken en beslissen.

2. Het "Drie-Checks"-Systeem

Voordat de robot beweegt, gokt InteLiPlan niet zomaar wat. Het gedraagt zich als een zorgvuldige projectmanager die drie snelle controles uitvoert voordat er een opdracht wordt gegeven:

De Ogen (Visie): "Kan ik het object dat je vroeg echt zien?"
Het Lichaam (Haalbaarheid): "Zelfs als ik het zie, kan mijn arm het fysiek bereiken zonder tegen de tafel aan te botsen?"
Het Geheugen (Historie): "Hebben we dit eerder geprobeerd en is het mislukt? Wat gebeurde er de vorige keer?"

Als het antwoord op een van deze vragen "Nee" is, botst de robot niet zomaar tegen de grond of geeft hij niet simpelweg op. Hij pauzeert en zegt: "Dat kan ik nog niet."

3. Het "Human-in-the-Loop" Veiligheidsnet

Dit is het meest unieke deel. Stel je voor dat je de robot vraagt: "Breng me een drankje."

Scenario A: De robot ziet een Coke en een Pepsi. Hij weet niet welke je wilt.
Scenario B: De robot ziet de Coke, maar deze staat achter een zware stoel waar hij niet langs kan.

In plaats van te gokken en potentieel te falen, heeft InteLiPlan een "Human-in-the-Loop" functie. Het gedraagt zich als een leerling die zijn hand opsteekt om de leraar om hulp te vragen. Het zegt tegen je: "Ik zie twee drankjes, welke wil je?" of "Ik zie de Coke, maar ik kan er niet bij."

Je geeft vervolgens een snelle correctie (bijv. "Pak de Pepsi" of "Schuif eerst de stoel aan de kant"). De robot werkt zijn plan direct bij en probeert het opnieuw. Dit maakt het systeem robuust, omdat het toegeeft wanneer het vastloopt en om begeleiding vraagt in plaats van een fout te maken.

4. Leren zonder een Gigantische Bibliotheek

Normaal gesproken heb je duizenden uren aan videodata nodig om een robot een nieuwe truc te leren. InteLiPlan is als een kameleon. Het is getraind op een kleine, specifieke set voorbeelden (met een techniek genaamd "fine-tuning") die het leert hoe het met de sensoren en motoren van de robot moet communiceren.

Omdat het de taal van de robot leert in plaats van specifieke bewegingen voor één specifieke robot uit het hoofd te leren, kan het overstappen van een Toyota Human Support Robot (die eruitziet als een klein karretje met armen) naar een ANYmal D (een viervoetige hondrobot met een arm) en perfect werken zonder opnieuw getraind te hoeven worden. Het is als een universele vertaler die voor elk robotlichaam werkt.

5. Resultaten in de Praktijk

De onderzoekers hebben dit getest op echte robots in echte kamers.

Succespercentage: In een "haal mij"-taak slaagde de robot 95% van de tijd, zelfs wanneer hij moest herstellen van fouten of om hulp moest vragen.
Snelheid: Het kan een hele reeks acties in minder dan 7 seconden plannen met alleen de computer die in de robot is ingebouwd.
Vergelijking: Het presteerde net zo goed als veel grotere, duurdere systemen (zoals het beroemde SayCan-systeem), maar deed dit met slechts een fractie van de rekenkracht.

Samenvatting

InteLiPlan is een slimme, lichtgewicht planner die ervoor zorgt dat huishoudelijke robots voor zichzelf kunnen denken, maar ook weten wanneer ze hulp moeten vragen. Het controleert of het dingen kan zien en bereiken, geeft toe wanneer het in de war is, en gebruikt menselijke begeleiding om problemen ter plekke op te lossen. Het bewijst dat je geen supercomputer nodig hebt om een behulpzame, veilige en aanpasbare robot voor in je huis te maken.

Technische Samenvatting van "InteLiPlan: Een Interactieve, Lichtgewicht LLM-gebaseerde Planner voor Domestieke Robotautonomie"

Probleemstelling
De integratie van Large Language Models (LLM's) en Vision-Language Models (VLM's) in de robotica heeft de embodied AI geavanceerd, maar er blijven aanzienlijke uitdagingen bestaan bij het inzetten van deze modellen voor domestieke autonomie. Huidige benaderingen vertrouwen vaak op enorme datasets, offboard computationele middelen of handmatig gespecificeerde domeinen (bijv. PDDL), wat de schaalbaarheid en real-time inzetbaarheid beperkt. Bovendien falen bestaande planners vaak door geen rekening te houden met robotkinematica en geometrische beperkingen, wat leidt tot plannen die semantisch correct zijn maar fysiek onuitvoerbaar. Daarnaast worstelen puur autonome systemen met gedeeltelijke observeerbaarheid, ambigue gebruikersinstructies en uitvoeringsfouten, waarbij ze een gebrek hebben aan robuuste mechanismen voor herstel zonder uitgebreide hertraining of menselijk toezicht.

Methodologie
De auteurs stellen InteLiPlan voor, een lichtgewicht, robot-agnostisch framework dat volledig on-board kan draaien met real-time rekenmiddelen. Het systeem functioneert als een gecentraliseerde, multimodale planner die natuurlijke taalcommando's, visuele perceptie en bewegingshaalbaarheid overbrugt.

Multimodale Inputformulering: De planner accepteert drie primaire inputs:
1. Gebruikerscommando ( $T_{user}$ ): Natuurlijke taalverzoeken of herstelbegeleiding.
2. Visuele Observatie ( $f_{seen}$ ): Tekstuele feedback afgeleid van een on-board RGB-D camera (met behulp van YOLO voor objectdetectie) die de aanwezigheid en locatie van doelobjecten aangeeft.
3. Haalbaarheidsscore ( $f_{score}$ ): Een binair signaal gegenereerd door een bewegingsverificatiemodule (gebruikmakend van een bereikbaarheidsgraaf van R-LGP) dat bepaalt of er een collision-vrije traject voor het hele lichaam bestaat naar het doel.
4. Historie ( $T_{hist}$ ): Een verslag van het gesprek en eerdere fouttoestanden om context te behouden.
Architectuur en Fine-tuning: De kern is een gefinetuned lichtgewicht LLM (specifiek Mistral 7B en Deepseek 8B). In plaats van te vertrouwen op zero-shot prompting of massale end-to-end training, gebruiken de auteurs Low-Rank Adaptation (LoRA) voor parameterefficiënte fine-tuning. De trainingsdataset bestaat uit pure tekstvoorbeelden geformatteerd als multimodale conversaties (bijv. <history>, <user>, <vision>, <feasibility> $\rightarrow$ <robot>), waarbij de output een directe sequentie van actieprimitieven is (bijv. go, pick, place). Deze aanpak stelt het model in staat om de mapping van multimodale beperkingen naar uitvoerbare API-aanroepen te leren zonder specifieke robotdata te vereisen.
Human-in-the-Loop (HITL) Mechanisme: Een cruciaal onderdeel van het framework is het vermogen om fouten af te handelen via menselijke interventie. Het systeem categoriseert fouten in planning (visie/haalbaarheid), taakverwarring (ambiguïteit) en uitvoeringsfouten. Bij detectie van een fout rapporteert de robot de context van het probleem aan de gebruiker. De mens kan vervolgens corrigerende begeleiding geven, die het LLM gebruikt om opnieuw te plannen. Dit mechanisme zorgt voor veiligheid en robuustheid in complexe, gedeeltelijk observeerbare huiselijke omgevingen.

Belangrijkste Bijdragen

Lichtgewicht On-board Planning: Demonstreert dat een 7B-parameter LLM, wanneer gefinetuned met een specifieke multimodale structuur, een state-of-the-art planningprestatie kan leveren terwijl het volledig op on-board hardware (NVIDIA RTX 2070) draait, waardoor cloud-afhankelijkheid wordt geëlimineerd.
Robot-agnostische Pipeline: Het framework vereist geen hertraining voor verschillende robot-embodiments. Door robotcapaciteiten te abstraheren naar een gedeelde set vaardigheden en bereikbaarheidsgrafen te gebruiken voor haalbaarheidscontroles, werd hetzelfde model succesvol ingezet op twee verschillende platforms: de Toyota Human Support Robot (HSR) en de ANYmal D met een Unitree Z1 arm.
Interactief Foutherstel: In tegen tegenstelling tot eerdere werken die zich uitsluitend richten op zelfherstel of high-level taakplanning, integreert InteLiPlan expliciet menselijke begeleiding voor randgevallen (bijv. ambigue referenties, door verlichting veroorzaakte visuele fouten), wat de voltooiingspercentages van taken in scenario's met fouten aanzienlijk verbetert.
Tekstuele Multimodale Data: De auteurs introduceren een methode om visuele en geometrische beperkingen om te zetten in tekstuele signalen voor LLM-training, waardoor het model over fysieke haalbaarheid kan redeneren zonder direct ruwe sensordata te verwerken.

Experimentele Resultaten
Het framework werd geëvalueerd in simulatie en op echte robots over drie belangrijke metrieken: taakplanning succes, foutverklaring en foutherstel.

Robuustheid tegen Fouten: In de "fetch me"-taak behaalde InteLiPlan een succespercentage van 95% in scenario's die foutherstel vereisten. In contrast hiermee zagen prompt-gebaseerde baselines (Mistral-Prompt, Deepseek-Prompt) hun succespercentages aanzienlijk dalen (bijv. van 100% naar ~50% of lager) wanneer zij geconfronteerd werden met onbekende objecten of commando's die herstel vereisten.
Generalisatie: De methode behaalde een succespercentage van 100% in "no-failure" scenario's voor zowel bekende als onbekende commando's/objecten. In "failure" scenario's presteerden de gefinetunde modellen (Mistral-Ours) consequent beter dan hun prompt-gebaseerde tegenhangers, met name bij het afhandelen van taakverwarring en uitvoeringsfouten.
Schaalbaarheid (SayCan Benchmark): Bij evaluatie op 101 taken uit de SayCan-dataset behaalde InteLiPlan (Mistral-7B) een planning succespercentage van 83% en een uitvoerings succespercentage van 82%. Deze prestatie is vergelijkbaar met het 504B parameter PaLM-SayCan systeem (84% planning, 74% uitvoering), ondanks het gebruik van een model met aanzienlijk minder parameters en zonder robot-specifieke trainingdata.
Cross-Embodiment: Het systeem generaliseerde succesvol over de HSR (11-DoF) en Anytree (12-DoF) platforms zonder extra fine-tuning, wat het robot-agnostische karakter valideert.
Latentie: Het systeem genereert uitvoerbare actiesequenties in minder dan 7 seconden op on-board middelen, waarbij de haalbaarheidscontrole het meest tijdrovende onderdeel is (~5s).

Betekenis en Claims
Het artikel claimt dat InteLiPlan de kritieke kloof tussen de redeneercapaciteiten van LLM's en de fysieke beperkingen van robotische systemen aanpakt. Door een lichtgewicht, gefinetuned LLM te combineren met een gestructureerde multimodale inputpipeline en een human-in-the-loop herstelmechanisme, demonstreren de auteurs een pad naar robuuste, interpreteerbare en inzetbare domestieke robotautonomie. Het werk benadrukt dat high-level planning niet noodzakelijkerwijs enorme modellen of uitgebreide datasets vereist; in plaats daarvan maakt effectieve integratie van perceptie, haalbaarheidscontroles en menselijke begeleiding lichtgewicht modellen in staat om een betrouwbaarheid te bereiken die vergelijkbaar is met veel grotere state-of-the-art systemen. De auteurs concluderen dat hun aanpak de inspanning voor het definiëren van traditionele taakdomeinen vermindert en een praktische oplossing biedt voor hulpbrongebonden, real-world robotica-toepassingen.