🤖 machine learning

Open-ended Multi-agent Autocurricula via Visual Inspection of Policies with Multi-modal LLMs

Dit artikel introduceert Visual Inspection of Policies (VIP), een nieuw open-eind multi-agent reinforcement learning-framework dat een Video Language Model gebruikt om beleidsvideo's te analyseren en effectieve curricula te genereren, waarmee het zowel tekstgebaseerde als op scalaire scores gebaseerde methoden op de StarCraft Multi-Agent Challenge overtreft.

Oorspronkelijke auteurs: Lorenzo Pantè, Andrea Fanti, Roberto Capobianco

Gepubliceerd 2026-07-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lorenzo Pantè, Andrea Fanti, Roberto Capobianco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een squad videogame-personages probeert te leren hoe ze een chaotische strijd in StarCraft kunnen winnen. In het verleden moesten coaches (de algoritmen) raden wat ze de volgende stap moesten leren op basis van een simpel scoreformulier: "Hadden ze gewonnen? Ja of Nee." Als ze verloren, nam de coach aan dat de taak te moeilijk was. Als ze wonnen, nam de coach aan dat ze klaar waren voor het volgende niveau.

Maar hier is het probleem: soms verliest een team een strijd terwijl ze bijna perfect speelden. Missale hadden ze een enorme numerieke voorsprong, maar raakte een van hun eenheden in paniek en rende weg, wat een kettingreactie veroorzaakte die de wedstrijd deed verliezen. Een coach die alleen naar het "Winst/Verlies"-scoreformulier kijkt, zou denken: "Oh, ze zijn verschrikkelijk op deze kaart," en zou hen misschien overzetten naar een makkelijkere, saaie kaart. De coach zou missen dat het team eigenlijk bijna bij een doorbraakstrategie was.

Dit is waar de nieuwe methode, genaamd Visual Inspection of Policies (VIP), om de hoek komt kijken. In plaats van alleen een rapportcijfer te lezen, huurt VIP een superintelligente AI-coach in die ook daadwerkelijk de video van de wedstrijd kan bekijken.

De "Sportcoach"-analogie

Denk aan de oude manier als een coach die alleen een krantenkop leest: "Team verloor." De coach heeft geen idee waarom ze verloren. Speelden ze slecht? Maakte de scheidsrechter een fout? Was het weer slecht?

VIP is als een coach die met het team gaat zitten en de wedstrijdbeelden bekijkt. De coach ziet de video en zegt: "Hey, kijk eens naar dit! Ondanks dat ze verloren, gebruikte het team in de eerste helft een briljante strategie. Ze raakten aan het einde gewoon nerveus. Laten we specifiek op deze kaart blijven oefenen zodat ze leren om kalm te blijven."

Door de video te bekijken, ziet de VIP-coach de "veelbelovende" momenten die een simpel scoreformulier mist. Het ziet dat de agents aan het leren zijn, zelfs als de scorebord zegt dat ze hebben verloren.

Hoe het werkt (Het magische recept)

De onderzoekers testten dit idee in de StarCraft Multi-Agent Challenge (SMAC), een complex spel waar teams van digitale troepen tegen elkaar vechten. Hier is het recept dat ze gebruikten:

Het Spel: De AI-agents spelen een ronde StarCraft.
De Opname: Het systeem neemt een video van de strijd op (ongeveer 1 tot 10 seconden lang).
De Coach: Deze video, samen met een klein tekstnotitie die zegt "Win Rate: 10%", wordt gevoed aan een Video Language Model (VLM). Denk aan deze VLM als een robot die de video kan zien en het verhaal van de strijd kan begrijpen.
De Aanbeveling: De robot bekijkt de video en zegt: "Ik zie dat ze beter worden in 'kiting' (wegrennen terwijl ze schieten), maar ze raken in paniek als ze in de minderheid zijn. Laten we ze op deze kaart houden maar het iets moeilijker maken," of "Laten we overgaan naar een nieuwe kaart die deze specifieke zwakte uitdaagt."
De Controle: Omdat robots soms nep-kaartnamen verzinnen (hallucinaties), controleert een simpel "spellingscontrole"-module (een sentence similarity module) de suggestie van de robot om er zeker van te zijn dat het een echte kaart is die in het spel bestaat.

Wat ze vonden (De resultaten)

Het team draaide simulaties om te zien of deze "video-bekijkende" coach beter was dan de oude "scoreformulier-alleen" coaches.

De Scoreformulier-coaches faalden: Wanneer ze methoden gebruikten die alleen naar cijfers keken (zoals "Positive Value Loss" of "Max Monte Carlo"), liepen de agents vaak vast. Op de moeilijkste kaarten wonnen deze agents bijna nooit (winstpercentages nabij 0%). Ze werden steeds naar de verkeerde taken gestuurd omdat de cijfers het hele verhaal niet vertelden.
De Tekst-alleen Coach was oké: Ze probeerden een versie waarbij de robot alleen een tekstuele samenvatting van het spel las (zonder video). Dit was beter dan het scoreformulier, maar bleef moeite hebben.
De VIP Coach Won: Wanneer de robot de video kon bekijken, leerden de agents veel sneller.
- Op een moeilijke kaart genaamd 3s vs 4z bereikten de VIP-agents een winrate van ~84% na fine-tuning.
- Op 3s5z bereikten ze ~76%.
- In contrast hiermee bleef de tekstversie (zonder video) steken op 0% op de 3s vs 4z kaart.

De paper suggereert dat de video het "geheime ingrediënt" was. Het stelde het systeem in staat om te zien dat de agents dicht bij een winnende strategie waren, zelfs toen ze de wedstrijd verloren.

Wat ze uitsloten

De paper is zeer duidelijk over wat niet zo goed werkt als VIP:

Alleen naar cijfers kijken: Methoden die vertrouwen op enkel scalaire scores (zoals "hoeveel punten hebben ze gekregen?") zijn te bot. Ze missen de nuance van hoe de agents spelen.
Alleen tekst lezen: Het samenvatten van het spel in woorden (zonder de video te tonen) is niet genoeg. De visuele aanwijzingen van paniek, coördinatie of slimme tactieken gaan verloren in een tekstuele samenvatting.
De toekomst voorspellen: De paper spreekt zich uit tegen methoden die proberen het "leervermogen" van een taak te voorspellen zonder daadwerkelijk het gedrag van de agent te zien.

Hoe zeker zijn ze?

De auteurs zijn zelfverzekerd over deze resultaten, maar ze benadrukken dat dit simulaties zijn.

Ze voerden 5 onafhankelijke tests (seeds) uit voor elke methode om er zeker van te zijn dat de resultaten niet op geluk berustten.
Ze gebruikten een lichte, open-source robotbrein (VideoLLaMa2-7B) die slechts ~1% van de totale computertijd in beslag nam. De andere 99% was de game-training zelf. Dit bewijst dat het video-bekijken het proces niet vertraagde.
Ze vergeleken VIP met een "supervised" methode die een enorme grid search gebruikte (het proberen van 1.700 verschillende instellingen) om de perfecte leraar te vinden. Hoewel de grid search-methode (MAPPO*) op twee kaarten iets beter was, was VIP 100 keer efficiënter in termen van de stappen die nodig waren om te leren. VIP bereikte vergelijkbare resultaten op één kaart (3s5z) met veel minder pogingen.

De Kernboodschap

De paper suggereert dat als je AI-agents wilt leren om echt goed te worden in complexe, multi-agent games, je niet alleen naar het scorebord moet kijken. Je moet de game bekijken. Door een AI-coach de video van het gedrag van de agents te laten inspecteren, kun je een curriculum (een leertraject) creëren dat perfect is afgestemd op wat de agents daadwerkelijk kunnen, waardoor ze winnende strategieën ontdekken die anders verborgen zouden blijven.

Het is het verschil tussen een coach die alleen de eindstand kent en een coach die de beelden bekijkt, het potentieel ziet en precies weet welke oefening hij de volgende keer moet laten doen.

Technische Samenvatting: Visual Inspection of Policies (VIP)

Probleemstelling

Open-ended curricula in Reinforcement Learning (RL) streven ernaar om algemeen in staat wezens te trainen door automatisch steeds complexere taken te identificeren en op te lossen. Een centrale uitdaging bij het ontwerpen van dergelijke curricula is het nauwkeurig beoordelen van de taakmoeilijkheid ten opzichte van de huidige leerprogressie van een agent.

Bestaande benaderingen vertrouwen doorgaans op scalaire taakscores (bijv. leerpotentieel, regret) of tekstuele samenvattingen van agentgedrag. Deze methoden kennen echter aanzienlijke beperkingen:

Schaarse/Misleidende Beloningen: Scalaire scores zijn vaak afhankelijk van beloningssignalen die schaars of misleidend kunnen zijn. Bijvoorbeeld, in multi-agent games kunnen heuristische dichte beloningen (bijv. het elimineren van tegenstanders) niet noodzakelijkerwijs correleren met winnende strategieën.
Verlies van Nuance: Tekstuele samenvattingen comprimeren rijke gedragsgegevens tot korte beschrijvingen, waarbij kritieke visuele aanwijzingen mogelijk verloren gaan. Zoals in het paper wordt geïllustreerd, kan een agent een wedstrijd verliezen ondanks een numeriek voordeel en een bijna-winnende strategie vanwege een specifieke gedragsfout (bijv. "paniek"). Een curriculum-curator die uitsluitend vertrouwt op een winpercentage van 0% of een tekstuele samenvatting, zou de taak onterecht kunnen verwerpen, waardoor het niet herkent dat de agent op de drempel staat om een winnende strategie te ontdekken.
Menselijke Intuïtie Kloof: Menselijke experts (bijv. sportcoaches) vertrouwen doorgaans op directe visuele observatie van gedrag in plaats van abstracte samenvattingen om prestaties te diagnosticeren, een capaciteit die voorheen ontoegankelijk was voor autocurricula in RL tot de komst van Multi-Modale Large Language Models (VLMs).

Methodologie: Visual Inspection of Policies (VIP)

De auteurs stellen Visual Inspection of Policies (VIP) voor, een framework dat een Video Language Model (VLM) gebruikt om direct de video-episoden van het huidige beleid (policy) te inspecteren om curriculum-aanbevelingen te genereren.

Kernworkflow

Training & Evaluatie: In elke curriculumstap $t$ worden agents getraind op de huidige taak $\theta_t$ met behulp van een Multi-Agent Reinforcement Learning (MARL) algoritme (specifiek MAPPO).
Dataverzameling: Het systeem neemt één of meer episode-video's ( $\phi_{video}$ ) op van de huidige policy en verzamelt een tekstuele samenvatting ( $\phi_{text}$ ), die metrieken bevat zoals het winpercentage en een geschiedenis van eerder geselecteerde taken.
VLM Inferentie: Deze inputs worden gevoed aan een VLM (specifiek VideoLLaMa2-7B). De VLM krijgt de opdracht om te fungeren als een "video game expert", waarbij de visuele prestaties van de agent wordt geëvalueerd en een aanbeveling wordt gedaan voor de volgende "interessante" taak ( $\vartheta_t$ ) die een balans vindt tussen oplosbaarheid en leerpotentieel.
Sanitatie: Om hallucinaties te voorkomen en te garanderen dat de aanbevolen taak bestaat binnen de geldige taakruimte, wordt de ruwe output van de VLM door een zin-gelijkenheidsmodule geleid. Deze module vergelijkt de suggestie van de VLM met de set van geldige taakspecificaties en selecteert de kandidaat met de hoogste gelijkenheidsscore.
Iteratie: De geselecteerde taak wordt $\theta_{t+1}$ , en de lus gaat door.

Belangrijke Ontwerpkenmerken

Modaliteit: VIP maakt gebruik van ruwe videoframes als input, waardoor de VLM agentgedragingen kan observeren (bijv. coördinatie, positionering, paniek) die onzichtbaar zijn voor scalaire scores of tekstuele samenvattingen.
Schaalbaarheid: De methode is onafhankelijk van het aantal agents in de omgeving, mits zij in dezelfde video worden gerenderd. Het vereist geen extra hyperparameters buiten die van de onderliggende VLM en het RL-algoritme.
Lichtgewicht Implementatie: De inferentietijd van de VLM beslaat ongeveer 1% van de totale curriculum-trainingstijd, wat ervoor zorgt dat het geen computationele bottleneck vormt.

Belangrijkste Bijdragen

Nieuwe Benadering: Introductie van VIP, de eerste methode die VLMs gebruikt voor directe visuele inspectie van policy-video's om open-ended autocurricula aan te sturen, waarmee de kloof tussen menselijke visuele intuïtie en geautomatiseerd curriculumontwerp wordt overbrugd.
Empirische Validatie op SMAC: Toepassing van VIP op de StarCraft Multi-Agent Challenge (SMAC), een complexe, strategische multi-agent domein met variabele agent-composities. Dit domein was voorheen niet verkend voor unsupervised autocurricula.
Ablatie-studies: Demonstratie dat de inclusie van videodata cruciaal is. Een text-only ablatiestudie van VIP (waarbij de video-input werd verwijderd) presteerde significant slechter, wat bevestigt dat visuele informatie aanwijzingen voor leerprogressie bevat die ontoegankelijk zijn voor andere modaliteiten.
Superieur aan Scalaire Methoden: Empirisch bewijs dat VIP beter presteert dan state-of-the-art unsupervised methoden gebaseerd op scalaire taakscores (specifiek Robust Prioritized Level Replay met Positive Value Loss en Maximum Monte Carlo scores).

Experimentele Resultaten

De auteurs evalueerden VIP op SMAC en vergeleken het met:

VIP (Onze methode): Volledige multi-modale benadering.
Text-Only: VIP zonder video-input.
PLR Varianten: Robust Prioritized Level Replay met PVL en MaxMC scores.
Baselines: Random curricula en training vanaf nul (MAPPO).

Generalisatie naar Ongeziene Taken (Held-out Maps):

Op uitdagende kaarten zoals 3s vs 4z en 3s5z bereikten agents getraind met VIP hoge winpercentages (~80%) na fine-tuning.
In tegenstelling hiertoe behaalden de text-only ablatiestudie en de scalaire-score methoden (PLR) bijna nul winpercentages op deze kaarten.
Op 10m vs 11m behaalde VIP de hoogste prestaties, vergelijkbaar met de text-only ablatiestudie en random baselines, hoewel alle methoden worstelden vanwege de complexiteit van de kaart.

Prestaties op Geziene Taken:

VIP behaalde consistent de hoogste winpercentages op kaarten die vaak tijdens de training werden tegengekomen (bijv. 3s vs 3z, 3s vs 5z).
Scalaire-score methoden (PLR) vertoonden een grillige curriculumprogressie en slaagden er niet in om optimale oplossingen te bereiken, zelfs niet op eenvoudigere taken, waarbij ze vaak tussen taken oscilleerden zonder vooruitgang te boeken.

Vergelijking met Supervised Grid Search:

Wanneer vergeleken met MAPPO getraind met supervised grid search (MAPPO*), bereikte VIP een vergelijkbare prestatie op één van de drie held-out kaarten (3s5z) met een aanzienlijk snellere convergentie.
Hoewel MAPPO* beter presteerde dan VIP op twee kaarten, merken de auteurs op dat VIP dit bereikt met ongeveer 100 keer minder omgeving-interacties, aangezien grid search een brute-force exploratie van hyperparameters vereist voor elke individuele taak.

Betekenis en Claims

Het paper positioneert VIP als een belangrijke stap richting intelligentere, open-ended leersystemen. De auteurs claimen:

Visuele Informatie is Cruciaal: De primaire bijdrage is het aantonen dat visuele inspectie van policies essentiële informatie biedt voor curriculumontwerp die scalaire scores en tekstuele samenvattingen missen. Dit stelt het systeem in staat om "bijna-winnende" strategieën en gedragsnuances te herkennen die duiden op een hoog leerpotentieel, ondanks een direct slecht resultaat (bijv. een wedstrijd verliezen door een specifieke tactische fout in plaats van een gebrek aan capaciteit).
Efficiëntie en Herbruikbaarheid: VIP biedt een pad om domeinkennis te verwerven met aanzienlijk minder interacties dan brute-force grid search, wat het geschikter maakt voor complexe systemen waar uitputtend zoeken onhaalbaar is.
Fundament voor Toekomstig Werk: De auteurs zien VIP als "de punt van de ijsberg", en suggereren dat het benutten van VLMs en multi-modale LLMs een natuurlijke en essentiële weg is voor open-ended RL, wat spiegelt aan hoe mensen rijke visuele informatie gebruiken om unsupervised leren te sturen.

Het paper blijft bescheiden in zijn claims en erkent dat de robuustheid van de methode gekoppeld is aan de specifieke gebruikte VLM en dat toekomstig werk zal onderzoeken hoe meerdere LLM's gecombineerd kunnen worden en hoe grotere of oneindige taakruimtes afgehandeld kunnen worden. Het claimt niet alle RL-uitdagingen op te lossen, maar biedt een gevalideerd mechanisme om curriculumgeneratie te verbeteren door middel van visuele inspectie.