Technische Samenvatting: Multi-Agent Robotbesturing met Onboard Vision-Language Modellen

Probleemstelling

Vision Language Models (VLM's) en Vision Language Action (VLA) modellen hebben het potentieel aangetoond voor robotbesturing, maar worden geconfronteerd met aanzienlijke barrières voor praktische implementatie in industriële omgevingen. Deze beperkingen omvatten:

• Afhankelijkheid van rekenkracht en connectiviteit: Veel oplossingen vereisen aanzienlijke externe rekenkracht en netwerkconnectiviteit, wat de operationele kosten en latentie verhoogt.
• Verklaarbaarheid en veiligheid: Een gebrek aan interpreteerbaarheid in modelbeslissingen roept zorgen op over veiligheid en ethiek.
• Generalisatieproblemen: Bestaande methoden, inclusief die welke gebruikmaken van interpreteerbaarheidstechnieken of beperkingsfuncties, worstelen vaak met het generaliseren naar out-of-distribution data.
• Contextbehoud: Het inzetten van een enkele VLM voor diverse, langdurige taken (bijv. veiligheidsinspectie, onderhoud, zoeken en menselijke interactie) brengt het risico op context window overflow met zich mee, waarbij cruciale informatie verloren gaat naarmate de variëteit aan taken groeit.

Methodologie

De auteurs stellen een Multi-Agent System (MAS) architectuur voor die volledig draait op onboard hardware, waardoor afhankelijkheid van cloud- of edge-servers wordt geëlimineerd. Het systeem bestuurt een multifunctionele autonome mobiele manipulator (RB-KAIROS+) binnen een gesimuleerde industriële magazijnomgeving.

Systeemarchitectuur

De MAS is gebouwd met het RAI-framework en integreert met ROS 2, MoveIt 2 en Nav2. De architectuur bestaat uit verschillende gespecialiseerde agenten:

1. Megamind (Orchestratie Agent): Een superviserende agent die problemen met contextbehoud bij compacte modellen aanpakt. Deze opereert via een twee-toestanden zelf-feedbackloop:
   • Planning State: Selecteert de volgende taak op basis van de status van de robot en de taakwachtrij, en delegeert deze aan sub-agenten.
   • Analysis State: Evalueert de outputs van sub-agenten. Indien herstel nodig is, genereert het corrigerende stappen en voegt deze toe aan de wachtrij voordat het terugkeert naar de planning. Dit externaliseert de voortgang van taken en de herstel-logica.
2. Inspection Agent: Monitort de voorwaartse camera op anomalieën (verplaatste dozen, obstructies, morsen). Het gebruikt een twee-fasen workflow: het genereren van een natuurlijke taalbeschrijving en het signaleren van problemen, gevolgd door het categoriseren ervan (bijv. "box" voor grijpbare items, "trash", "other", of "nothing"). Het produceert gestructureerde JSON met type problemen en 3D-posities.
3. Safety Agent: Voert continue monitoring van regelgevende naleving uit. Het hanteert een drie-fasen pijplijn:
   • Vision: De VLM identificeert potentiële gevaren.
   • Retrieval: De agent bevraagt een vectordatabase (FAISS) die OSHA 29 CFR 1910-regelgeving bevat, gefilterd op relevantie voor magazijnen. Het gebruikt Qwen3-Embedding-0.6B voor indexering en Qwen3-Reranker-0.6B voor re-ranking.
   • Reasoning: De VLM kruist de visuele scène met de opgehaalde regelgevende fragmenten om overtredingen vast te stellen, waarbij reglement-ID's, ernstniveaus en rationales worden gerapporteerd.
4. MoveIt en Nav2 Agents: Bieden lage-niveau besturing voor manipulatie en navigatie, en voeren commando's van Megamind uit.
5. Human-Robot Interface (HRI): Een Qt-gebaseerde grafische interface waarmee operators natuurlijke taalcommando's kunnen geven en live video/statusupdates kunnen bekijken.

Modelstrategie

• Basismodel: Het systeem maakt gebruik van een compact 3B-parameter VLM (LFM2-VL-3B) voor alle visuele taken (Inspectie, Veiligheid en Megamind).
• Fine-tuning via Knowledge Distillation: Om de moeite van het basismodel met de verificatie van pakketkwaliteit (Taak T4) aan te pakken, hebben de auteurs het model gefinetuned. Ze gebruikten Qwen3-256B-A22B als een teacher-model om synthetische trainingsdata (natuurlijke taalbeschrijvingen) te genereren vanuit geannoteerde simulatiebeelden. Het 3B-model werd voor één epoch gefinetuned op deze dataset.
• Hardware: De volledige stack draait op een AMD Ryzen™ AI mini PC (128 GB unified RAM, 96 GB toegewezen aan de GPU) in een Hardware-in-the-Loop (HIL) simulatie.

Belangrijkste Bijdragen

1. Onboard MAS Architectuur: Een volledig functioneel multi-agent systeem dat draait op lokale hardware, wat aantoont dat compacte modellen (3-20B parameters) complexe mobiele manipulatoren kunnen besturen zonder externe rekenkracht.
2. Contextbeheer via Orchestratie: De "Megamind"-agent mitigeert succesvol de beperkingen van contextbehoud van kleine modellen door middel van expliciete taakdelegatie en een zelf-feedback herstelloop.
3. Gespecialiseerde Veiligheidspijplijn: Een innovatieve integratie van VLMs met regelgevende databases (OSHA) middels retrieval-augmented generation (RAG) technieken (embedding, reranking, reasoning) om interpreteerbare veiligheidsnaleving te bieden.
4. Open Source Release: De simulatieomgeving, inclusief het configureerbare magazijn, het robotplatform en de softwarestack, wordt vrijgegeven onder de Apache 2.0 licentie om onderzoek naar agentic systemen voor mobiele manipulatoren te faciliteren.
5. Prestatieoptimalisatie: Er is aangetoond dat het finetunen van een compact model via knowledge distillation de nauwkeurigheid van specifieke taken (bijv. pakketinspectie) aanzienlijk verbetert, terwijl de inferentiekosten laag blijven.

Resultaten

Het systeem werd gevalideerd in een Hardware-in-the-Loop simulatie die vijf taalcategorieën beslaat:

• T1: Veiligheidsinspectie.
• T2: Magazijnonderhoud.
• T3: Zoeken in het magazijn.
• T4: Verificatie van pakketkwaliteit.
• T5: Reageren op menselijke verzoeken.

Kwantitatieve verbeteringen:
Na de fine-tuning voor pakketinspectie (Taak T4) behaalde het model:

• Annotatie-accuratesse van de conditie van dozen: Gestegen van 76,7% naar 91,5%.
• F1-score: Verbeterd van 0,755 naar 0,915.
• True Negatives: Toegenomen van 54% naar 95,5%.
• False Positives: Afgenomen van 46% naar 4,5%.

Het systeem demonstreerde succesvol real-time respons en operatie in dynamische industriële omgevingen, inclusief het anticiperen op gebruikers-taken om hoge-prioriteit anomalieën af te handelen en het uitvoeren van meerstaps-workflows (bijv. inspecteren, verplaatsen of verwijderen van objecten).

Betekenis en Claims

Het artikel claimt dat een volledig onboard MAS-architectuur een haalbaar en kostenefficiënt alternatief is voor cloud-afhankelijke implementaties. Door gebruik te maken van compacte, lokaal gehoste VLM's, adresseert het systeem de hoge operationele kosten (elektriciteit, hardware) en latentieproblemen die geassocieerd worden met externe rekenplatforms.

De auteurs positioneren dit werk als een stap naar flexibele robotica voor kleine- en middelgrote ondernemingen (kmo's), waar kosteneffectieve, interpreteerbare en veilige autonome systemen cruciaal zijn. De succesvolle validatie over alle vijf de taalcategorieën rechtvaardigt de overgang naar real-robot proeven en opent onderzoeksroutes voor agentic systemen in industriële settings. Het werk benadrukt dat volwassen stacks (ROS 2, MoveIt 2) gecombineerd met een modulaire agent-design de uitdagingen van real-time reactiviteit en controleerbare besturing kunnen overwinnen waar generalistische policies vaak tekortschieten.