MOSAIC: A Unified Platform for Cross-Paradigm Comparison and Evaluation of Homogeneous and Heterogeneous Multi-Agent RL, LLM, VLM, and Human Decision-Makers

Dit paper introduceert MOSAIC, een open-source platform dat het mogelijk maakt om homogene en heterogene multi-agent systemen, variërend van versterkingsleer en grote taalmodellen tot menselijke spelers, op een reproduceerbare manier te vergelijken en te evalueren binnen een uniek, visueel gericht framework.

De kern

Stel je voor dat je een enorm, futuristisch sporttoernooi organiseert. Maar hier is het rare: je wilt dat een robot (die alleen maar cijfers en snelheid begrijpt), een superintelligente chatbot (die alleen maar tekst leest en schrijft), een mens (die met een muis en toetsenbord speelt) en een camera-geleide drone (die beelden ziet) allemaal tegen elkaar spelen in exact hetzelfde spel.

Vroeger was dit onmogelijk. Het was alsof je een voetbalwedstrijd probeerde te spelen waarbij de ene speler een basketbal draait, de andere een schaakbord gebruikt en de derde alleen maar roept wat hij denkt dat hij moet doen. De systemen spraken elkaar niet.

MOSAIC is de oplossing voor dit probleem. Het is een nieuwe, open-source softwareplatform dat fungeert als de ultieme "vertaler" en "scheidsrechter" voor deze verschillende soorten intelligenties.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Vertaalbus" (De Werkers)

Stel je voor dat elke speler (de robot, de chatbot, de mens) in zijn eigen kleine, afgesloten busje zit. Ze kunnen niet direct met elkaar praten.

• MOSAIC heeft een slim systeem gebouwd waarbij elke bus via een speciale "vertaalbus" (een protocol) met het centrale stadion communiceert.
• De robotbus stuurt zijn cijfers, de chatbotbus stuurt zijn tekst, en de menselijke bus stuurt zijn toetsaanslagen.
• MOSAIC pakt al deze verschillende berichten op, zet ze om in een taal die het spel begrijpt, en stuurt ze naar het veld. Het belangrijkste: niemand hoeft zijn eigen bus te verbouwen. De robot blijft een robot, de chatbot blijft een chatbot. MOSAIC doet het zware vertaalwerk.

2. De "Universele Scheidsrechter" (De Operator)

In het verleden hadden we verschillende scheidsrechters voor verschillende sporten. MOSAIC introduceert één universele scheidsrechter.

• Of het nu een robot is die een actie kiest op basis van wiskunde, of een mens die op 'Enter' drukt, voor MOSAIC is het allemaal gewoon een "speler die een zet doet".
• Dit maakt het mogelijk om eerlijk te vergelijken: "Wie is sneller? De robot of de mens?" zonder dat de regels voor de ene speler anders zijn dan voor de andere.

3. De "Twee Manieren om te Kijken" (Evaluatie)

MOSAIC biedt twee manieren om deze wedstrijden te bekijken, net zoals je een wedstrijd live kunt kijken of later als samenvatting kunt bekijken:

• De Live-Show (Handmatige modus): Je kunt alles in slow-motion zien. Je ziet naast elkaar wat de robot ziet, wat de chatbot denkt, en wat de mens doet. Je kunt pauseren en precies zien waar de robot een fout maakt terwijl de chatbot het perfect begrijpt. Het is alsof je een film kijkt met commentaar van alle spelers tegelijk.
• De Automatische Rapportage (Script modus): Je kunt het systeem een opdracht geven om duizenden wedstrijden te spelen terwijl jij slaapt. De volgende morgen krijg je een gedetailleerd rapport: "De robot won 60% van de tijd, de chatbot 30%, en de mens 10%." Dit is perfect voor wetenschappers die harde feiten nodig hebben.

Waarom is dit zo belangrijk?

Vroeger konden onderzoekers alleen kijken naar robots tegen robots, of chatbots tegen chatbots. Ze konden niet echt zeggen: "Is een mens beter dan een AI in dit specifieke spel?" omdat ze niet in hetzelfde spel konden spelen.

Met MOSAIC kunnen we nu eindelijk:

• Kijken of een mens en een AI samen een team kunnen vormen (bijvoorbeeld in een noodscenario).
• Testen of een chatbot beter is dan een robot in strategische spellen.
• Zien hoe een mens reageert als hij samenwerkt met een camera-drone.

Samenvatting

MOSAIC is als een gigantisch vertaal- en sportcomplex dat eindelijk alle verschillende soorten intelligentie (robots, AI, mensen) op één veld brengt. Het zorgt ervoor dat ze allemaal dezelfde regels spelen, dezelfde ballen zien en eerlijk tegen elkaar kunnen worden vergeleken. Het opent de deur voor een nieuwe wereld van onderzoek waar we kunnen leren hoe deze verschillende vormen van intelligentie samen kunnen werken in plaats van alleen maar apart te bestaan.

De broncode is gratis beschikbaar, zodat iedereen dit toernooi kan organiseren en verder kan bouwen.

Technische samenvatting

1. Het Probleem

Reinforcement Learning (RL), Large Language Models (LLM's) en Vision-Language Models (VLM's) worden momenteel intensief bestudeerd, maar vaak in isolatie. Bestaande infrastructuren hebben een fundamenteel tekort: ze kunnen agenten uit verschillende besluitvormingsparadigma's niet binnen hetzelfde omgevingssimulatieplatform deployen.

• Fragmentatie: RL-trainers verwachten tensor-observaties en produceren integer-acties, terwijl LLM-agenten tekst-prompten verwachten en tekst-responsen produceren. Menselijke operatoren hebben interactieve interfaces nodig.
• Gebrek aan vergelijking: Er is geen platform dat deze paradigma's onder één evaluatieprotocol brengt. Bestaande werken over Ad Hoc Teamwork (AHT) en Zero-Shot Coordination (ZSC) gaan er vaak van uit dat alle agenten dezelfde observatie- en actierepresentaties delen.
• Complexiteit: Het is onmogelijk om eerlijk te vergelijken of te bestuderen hoe agenten met fundamenteel verschillende modaliteiten (bijv. een RL-policy versus een mens of een LLM) samenwerken in hybride teams, omdat ze niet onder identieke omstandigheden (dezelfde seeds, dezelfde omgeving) kunnen opereren.

2. Methodologie: Het MOSAIC-platform

MOSAIC is een open-source platform dat deze kloof overbrugt door een drie-laags architectuur te implementeren die orchestration, communicatie en uitvoering scheidt.

• Architectuur:

  • Orchestration Layer (Qt6 GUI): Fungeert als het controlecentrum. Het start en beheert workers als geïsoleerde subprocessen (via os.setsid()), routeert commando's (reset, step, train) en visualiseert live telemetry. De GUI bevat geen algoritmische logica.
  • Worker Protocol (IPC): Communicatie verloopt via een lichtgewicht JSON-protocol over stdin/stdout. Workers (die native frameworks zoals CleanRL, RLlib, BALROG, of menselijke invoer omhullen) communiceren via een versiebestuurde inter-process protocol. Dit zorgt ervoor dat de originele broncode van de frameworks niet hoeft te worden aangepast.
  • Operator Abstraction: Dit is de kerninnovatie. Een "Operator" mapt een worker naar een agent-slot in een omgeving. Of de worker nu een RL-policy, een LLM, een VLM of een mens is, ze voldoen allemaal aan een minimale, uniforme interface (OperatorController). Dit maakt het mogelijk om heterogene teams samen te stellen zonder de onderliggende logica te wijzigen.

• Evaluatiemodi:

  • Handmatige Modus: N operators bewegen in lock-step onder gedeelde random seeds. De GUI toont de viewport van elke operator naast elkaar met kleurcodering, wat fijnkorrelige visuele inspectie van gedragsverschillen mogelijk maakt.
  • Script Modus: Een declaratieve Python-script stuurt de uitvoering aan zonder menselijke tussenkomst, wat reproduceerbare, langdurige evaluaties en JSONL-telemetry genereert.

3. Belangrijkste Bijdragen

Het paper introduceert drie hoofdbijdragen:

1. IPC-gebaseerd Worker Protocol: Een systeem dat zowel native als third-party frameworks omhult als geïsoleerde subprocess-workers. Elke worker voert zijn eigen trainings- en inferentielogica uit zonder modificaties, en communiceert via een gestructureerd protocol.
2. Operator Abstraction: Een abstractie die een uniforme agent-interface creëert. Of een agent nu wordt aangedreven door een RL-policy, een LLM, een VLM of een mens, ze worden allemaal behandeld als "Operators" die voldoen aan dezelfde interface (select_action of select_actions).
3. Deterministisch Cross-Paradigma Evaluatie Framework: Een infrastructuur die twee complementaire modi biedt voor het vergelijken van agenten onder exact dezelfde omstandigheden (gedeelde seeds). Dit stelt onderzoekers in staat om gedetailleerde vergelijkingen te maken tussen RL, LLM, VLM en menselijke besluitvormers.

Ondersteunde Agenten en Omgevingen:
MOSAIC is het enige systeem dat momenteel alle vier de agent-types ondersteunt (RL, LLM, VLM, Mens) en 26 verschillende omgevingenfamilies (zoals MiniGrid, MultiGrid, Soccer, Chess) integreert. Het vereist geen wijzigingen in de broncode van de geïntegreerde frameworks (bijv. CleanRL, XuanCe, BALROG).

4. Resultaten en Experimenteel Ontwerp

Hoewel het paper voornamelijk de infrastructuur en het ontwerp presenteert (met empirische resultaten voor een toekomstig paper), definieert het een strikt experimenteel kader voor cross-paradigma onderzoek:

• Adversarial Matchups: Het framework stelt onderzoekers in staat om teams van RL-agenten direct te vergelijken met teams van LLM's of VLM's in competitieve scenario's (bijv. 2v2 voetbal).
• Coöperatieve Heterogene Teams: Het onderzoekt of een LLM of VLM effectief kan samenwerken met een "bevroren" (niet meer trainende) RL-policy die alleen is getraind als single-agent.
• Ablatie van Variabelen: Door agenten apart te trainen (solo, N=1) en ze vervolgens in heterogene teams te deployen, isoleert MOSAIC het "paradigma-variabele". Dit elimineert de verwarring van "partner-mismatch" die vaak voorkomt in traditionele multi-agent RL-trainingen.
• Vergelijking met ZSC: In tegenstelling tot traditionele Zero-Shot Coordination (waarbij alle agenten dezelfde observatie- en actieruimte delen), accepteert MOSAIC agenten met fundamenteel verschillende observatieruimtes (tensors vs. tekst vs. afbeeldingen) en actieinterfaces.

5. Betekenis en Impact

MOSAIC is een mijlpaal voor de AI-gemeenschap om de volgende redenen:

• Eerste Infrastructuur voor Eerlijke Vergelijking: Het biedt de eerste manier om RL, LLM's, VLM's en mensen eerlijk en reproduceerbaar te vergelijken onder identieke omstandigheden.
• Overbrugging van Disciplines: Het verbindt de RL-gemeenschap met de LLM/VLM-gemeenschap en de Human-Computer Interaction-gemeenschap, wat essentieel is voor de ontwikkeling van robuuste multi-agent systemen.
• Reproduceerbaarheid: Door het gebruik van gedeelde seeds, deterministische evaluatie en open-source code, maakt het complexe cross-paradigma onderzoek reproduceerbaar.
• Toekomstgericht: Het legt de basis voor het begrijpen van hoe verschillende soorten intelligentie (symbolisch, sub-symbool, menselijk) kunnen samenwerken in complexe omgevingen, een cruciale stap richting echt robuuste AI-systemen.

Kortom, MOSAIC transformeert de manier waarop multi-agent systemen worden bestudeerd door de focus te verschuiven van homogene teams naar realistische, heterogene teams waarin verschillende besluitvormingsparadigma's naast elkaar kunnen bestaan en worden geëvalueerd.