Technische Samenvatting: CRAFT – Coaching Reinforcement Learning Autonomously using Foundation Models for Multi-Robot Coordination Tasks

1. Probleemformulering

Het artikel behandelt de uitdaging van het toepassen van Multi-Agent Reinforcement Learning (MARL) op real-world multi-robot coördinatietaken. Hoewel MARL een kader biedt voor gedecentraliseerde besluitvorming, wordt de toepassing ervan in de robotica gehinderd door:

• Hoog-dimensionale continue gezamenlijke actieruimtes.
• Schaarse en complexe beloningsontwerp (reward design): Het is moeilijk om beloningen te definiëren die zowel individuele gedragingen als noodzakelijke teamcoördinatie vastleggen.
• Niet-stationariteit: Agenten die gelijktijdig leren, creëren een verschuivende omgeving voor elkaar.
• Taken met een lange horizon: Taken die contact-rijke gedragingen over meerdere fasen vereisen, falen vaak omdat kleine fouten in vroege interacties succes in latere stadia verhinderen.

De auteurs stellen dat mensen complexe coördinatie leren door middel van "coaching"—een proces dat bestaat uit curriculumontwerp (het opdelen van taken in subtaken), het leveren van leersignalen (beloningen) en het evalueren van voortgang. Zij betogen dat Foundation Models (Large Language Models - LLM's en Vision-Language Models - VLM's) deze coachingrol kunnen automatiseren door taken te deconstrueren, beloningen te genereren en deze te verfijnen op basis van visuele en kwantitatieve feedback.

2. Methodologie: Het CRAFT-framework

CRAFT (Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks) werkt via een geautomatiseerde coaching-loop bestaande uit vier kernmodules:

2.1 Curriculum Generatie Module

Een Curriculum LLM deconstrueert een doeltaak met een lange horizon ($M_{target}$) in een sequentie van $K$ subtaken ($M_1, \dots, M_K$).

• Proces: De LLM ontvangt een beschrijving in natuurlijke taal van de taak en de omgeving. Om de stochasticiteit van LLM-outputs te beperken, genereert het systeem meerdere kandidaat-curricula en spoort het de LLM aan om deze te verfijnen tot één coherent curriculum.
• Gronding (Grounding): Subtaken worden beschreven met behulp van specifieke omgevingsvariabelen (bijv. "minimaliseer de Euclidische afstand tot de handgreep") in plaats van vage natuurlijke taal, om nauwkeurig beloningsontwerp te garanderen.

2.2 Beloningsfunctie Generatie Module

Voor elke subtaak $M_k$ vertaalt een Reward Generation LLM de beschrijving in natuurlijke taal naar een uitvoerbare Python-beloningsfunctie ($R_k$).

• Context: De LLM krijgt omgevingsbeschrijvingen, helperfuncties (om hoog-dimensionale staten te verwerken) en beloningsfuncties van vorige subtaken aangeboden om catastrofaal vergeten te voorkomen.
• Structuur: De beloning wordt gedecomposeerd in interpreteerbare componenten (bijv. lift_reward, balance_reward) om latere analyse te vergemakkelijken.
• Training: Een gedecentraliseerd beleid $\pi_k$ wordt getraind met een Centralized Training and Decentralized Execution (CTDE) algoritme (specifiek MAPPO).

2.3 Beleidsevaluatie Module

Voordat er naar de volgende subtaak wordt overgegaan, beoordeelt een Evaluation VLM het getrainde beleid $\pi_k$.

• Inputs: De VLM analyseert rollout-beelden (visuele snapshots) en trajecten van statusvariabelen.
• Beslissing: Het bepaalt of het beleid de subtaak succesvol heeft voltooid.
  • Succes: Het curriculum gaat door naar $M_{k+1}$.
  • Falen: De VLM geeft een reden voor het falen op, wat een verfijningslus (refinement loop) triggert.

2.4 Beloningsverfijningsmodule

Als een beleid faalt, gaat het systeem een verfijningslus binnen (tot $J$ iteraties, doorgaans $J=3$):

1. Adviesgeneratie: Een Advice VLM analyseert de reden van falen, de huidige beloningscode en belonings-component leercurves (grafieken die laten zien hoe specifieke beloningstermen evolueerden tijdens de training). Het genereert vrij vorm advies over hoe de beloning te wijzigen (bijv. "verhoog het gewicht van de lift-term", "verwijder de kwadratische functie van de hoogte").
2. Beloningsverfijning: Een Refine LLM neemt de gefaal cel beloningscode en het advies van de VLM en genereert een nieuwe, verfijnde beloningsfunctie ($R^{j+1}_k$).
3. Her-training: Het beleid wordt opnieuw getraind met de nieuwe beloning. Als alle pogingen falen, wordt het beste beleid uit de iteraties geselecteerd en gaat het curriculum door naar de volgende subtaak.

Warm-Starting: Wanneer er naar een nieuwe subtaak wordt overgegaan, worden de beleidsgewichten geïnitialiseerd vanaf het succesvolle beleid van de vorige subtaak. Om "verlies van plasticiteit" (convergentie naar lokale optima) te voorkomen, reset het systeem de exploratieparameters (beleidsstandaarddeviatie) en de waarde-netwerkgewichten, terwijl de actor-gewichten behouden blijven.

3. Belangrijkste Bijdragen

1. CRAFT Framework: Een nieuw framework dat gebruikmaakt van de redeneerkracht van foundation models om multi-robot teams autonoom te coachen door coördinatietaken met een lange horizon.
2. Geautomatiseerd Curriculum en Beloningsontwerp: De integratie van LLM's voor taakdecompositie en beloningsgeneratie, gekoppeld aan VLM's voor visuele evaluatie en beloningsverfijning, vermindert de noodzaak voor menselijk ontworpen curricula en beloningsfuncties.
3. Empirische Validatie: Demonstratie van de effectiviteit van CRAFT op complexe multi-robot taken (multi-quadruped navigatie en bimanuele manipulatie) waar standaard MARL en baseline LLM-methoden falen.
4. Real-World Transfer: Succesvolle zero-shot transfer van geleerde beleidsregels van simulatie naar fysieke hardware (Unitree Go1 en Go2 quadrupeden) zonder fine-tuning.

4. Experimentele Resultaten

De auteurs hebben CRAF geëvalueerd in drie omgevingen: Quadruped Gate (passeren door een smalle poort), Quadruped Seesaw (balanceren en klimmen) en Two-Arm Lift (coöperatief een pot tillen).

• Prestaties vs. Baselines:
  • CRAFT behaalde de hoogste succespercentages in Seesaw (59,33%) en Lift (94,67%), en bleef competitief in Gate (78,33%).
  • Baselines: "Env Reward" (door mensen ontworpen) en "Example Reward" behaalden bijna nul of zeer lage succespercentages. "From Scratch" (CRAFT beloningen zonder curriculum) presteerde aanzienlijk slechter dan CRAFT, wat de noodzaak van het curriculum benadrukt.
  • LLM Baselines: Vergeleken met Eureka (LLM beloningszoek zonder curriculum) en CurricuLLM (LLM curriculum zonder VLM verfijning), presteerde CRAFT beter dan beide. Eureka leerde vaak beleidsregels met onnatuurlijke gewrichtsconfiguraties die fysiek onmogelijk waren, terwijl CurricuLLM minder betrouwbaar was door het gebrek aan beloningsverfijning.
• Effectiviteit van Beloningsverfijning: De door VLM gestuurde verfijningslus verbeterde het "Curriculum Success Ratio" (het deel van de proeven dat resulteert in een succesvol beleid) en het "Maximum Success Rate" aanzienlijk vergeleken met CurricuLLM.
• VLM Betrouwbaarheid: De VLM beleidsevaluatiemodule behaalde een nauwkeurigheid van 85,71% ten opzichte van de grondwaarheid (ground truth), waarbij fouten conservatieve false negatives waren (het afwijzen van succesvolle beleidsregels), wat acceptabel is omdat dit simpelweg verdere verfijning triggert.
• Hardware Transfer: In de Quadruped Gate taak behaalde het in simulatie getrainde beleid een succespercentage van 65% op echte robots over 20 runs zonder enige fine-tuning, wat een robuuste sim-to-real transfer demonstreert.

5. Betekenis en Claims

Het artikel claimt dat CRAFT aantoont dat het gebruik van foundation models als autonome coaches voor multi-robot systemen levensvatbaar is. De betekenis ligt in:

• Verminderen van Menselijke Interventie: Het automatiseren van het tijdrovende proces van het ontwerpen van curricula en beloningsfuncties voor complexe coördinatietaken.
• Mogelijk maken van Complexe Coördinatie: Het succesvol leren van gedragingen die moeilijk te verwerven zijn via directe training of statisch beloningsontwerp, met name in scenario's met een lange horizon en veel contact.
• Fysieke Plausibiliteit: De gefaseerde curriculum-aanpak begeleidt agenten naar fysiek haalbare gedragingen (bijv. stabiele grepen voordat men tilt) in plaats van enkel te optimaliseren voor eindsucces, wat vaak leidt tot onnatuurlijke bewegingen bij directe optimalisatiemethoden zoals Eureka.

Erkende Beperkingen:

• Stochasticiteit: De afhankelijkheid van foundation models introduceert variabiliteit; sommige proeven kunnen falen door een slecht curriculum of slechte beloningsgeneratie, hoewel dit in simulatie beheersbaar is door meerdere pogingen te draaien.
• VLM Afhankelijkheid: De evaluatiemodule leunt zwaar op numerieke status-trajecten in plaats van puur visuele informatie, wat de detectie van visueel gegronde fouten (bijv. slechte ruimtelijke coördinatie) kan beperken.
• Schaalbaarheid: De huidige aanpak vereist meerdere LLM/VLM queries per subtaak, wat computationeel duur kan zijn, hoewel de auteurs opmerken dat dit voldoende is voor de geteste taken.

De auteurs concluderen dat hoewel foundation models stochasticiteit introduceren, hun vermogen om taken te deconstrueren en beloningen autonoom te verfijnen een veelbelovend pad biedt naar schaalbare en betrouwbare multi-robot coördinatie in real-world omgevingen.