CoMind: Towards Community-Driven Agents for Machine Learning Engineering

In dit paper stellen de auteurs CoMind voor, een multi-agent systeem dat door interactie met een gesimuleerde onderzoeksgemeenschap en het gebruik van een iteratief parallelle exploratiemechanisme, een nieuwe state-of-the-art bereikt met een medaillekans van 36% en in live wedstrijden 92,6% van de menselijke concurrenten verslaat.

De kern

Het Grote Probleem: De Eenzame Uitvinder

Stel je voor dat je een zeer slimme robot hebt die machine learning (het bouwen van slimme computerprogramma's) kan doen. Tot nu toe werkten deze robots als eenzame uitvinders in een kelder. Ze kregen een probleem, probeerden van alles uit, maar ze luisterden nooit naar de buitenwereld. Ze wisten niet wat anderen al hadden geprobeerd, welke fouten anderen maakten of welke slimme ideeën er al op het internet stonden.

In de echte wereld werken wetenschappers en programmeurs echter niet zo. Ze werken in grote, levende gemeenschappen (zoals op de website Kaggle). Daar delen ze hun code, bespreken ze hun fouten in forums en bouwen ze op elkaars ideeën voort. De paper stelt dat de oude robots te geïsoleerd waren en daardoor vastliepen.

De Oplossing: CoMind (De Slimme Teamspeler)

De auteurs van dit paper hebben een nieuw systeem bedacht genaamd CoMind. Je kunt CoMind zien als een super-georganiseerd onderzoeksteam dat niet alleen werkt, maar actief deelneemt aan een levendige marktplein van ideeën.

Hier is hoe het werkt, stap voor stap:

1. De Simulatie: Een Digitale Wereld (MLE-Live)

Eerst hebben de auteurs een digitale tijdmachine gebouwd (genaamd MLE-Live).

• De Vergelijking: Stel je een museum voor dat niet alleen oude schilderijen toont, maar ook de gesprekken van de kunstenaars, hun schetsboeken en de reacties van het publiek uit die tijd.
• Wat het doet: Dit systeem simuleert een echte wedstrijd (zoals op Kaggle) inclusief alle discussies en code die voor de deadline zijn geplaatst. Hierdoor kan CoMind oefenen alsof het echt deelneemt aan een wedstrijd, zonder dat het de antwoorden "vooraf" mag zien.

2. Het Team: CoMind's Vijf Specialisten

CoMind is geen enkele robot, maar een orkest van vijf specialisten die samenwerken. Iedereen heeft een eigen rol, net als in een goed lopend bedrijf:

• De Coördinator (De Manager): Hij houdt het overzicht. Hij kijkt naar de markt, kiest de beste ideeën uit en verdeelt het werk. Hij zorgt dat iedereen op de hoogte is van wat er in de gemeenschap gebeurt.
• De Analist (De Onderzoeker): Deze leest alle discussies en code van anderen. Hij zegt: "Kijk, deze oplossing werkt goed, maar die andere heeft een foutje. Laten we die fout oplossen." Hij vat de kennis van duizenden mensen samen in een kort verslag.
• De Idee-ontwikkelaar (De Dromer): Deze luistert naar de Analist en bedenkt dan nieuwe, creatieve oplossingen. Hij zegt: "Wat als we die ene techniek combineren met die andere? Laten we iets nieuws proberen!"
• De Programmeurs (De Bouwers): Er zijn meerdere programmeurs die tegelijkertijd werken. Ze nemen de ideeën van de Dromer en bouwen er daadwerkelijk werkende software van. Ze testen het, repareren fouten en verbeteren het.
• De Beoordelaar (De Scheidsrechter): Deze kijkt eerlijk naar de resultaten. Hij zegt: "Dit werkt beter dan dat, maar niet goed genoeg. Ga nog een keer proberen."

3. De Werkwijze: Een Levendige Cyclus

In plaats van één keer iets te proberen en klaar te zijn, doet CoMind dit in cycli:

1. Ze kijken wat anderen hebben gedaan.
2. Ze bedenken een verbetering.
3. Ze bouwen het.
4. Ze testen het.
5. Ze delen het resultaat (in de simulatie) en kijken weer wat anderen nu doen.

Het is alsof je een levendige discussie voert met duizenden experts, terwijl je tegelijkertijd je eigen huis bouwt. Je leert van hun fouten en bouwt op hun successen.

De Resultaten: Waarom is dit geweldig?

De auteurs hebben CoMind getest op 75 oude wedstrijden en ook op 8 echte, lopende wedstrijden op dit moment.

• De Vergelijking: Stel je voor dat CoMind een marathonloper is die samen met duizenden andere lopers rent. De oude robots liepen alleen, maar CoMind luistert naar de lopers naast hem, past zijn pas aan en leert van hun strategieën.
• Het Resultaat: CoMind deed het beter dan 92,6% van alle menselijke deelnemers. Op sommige wedstrijden eindigde het zelfs in de top 1% (de allerbeste).

Conclusie

Kortom: CoMind is een AI-systeem dat heeft ontdekt dat "samenwerken" de sleutel is tot succes. In plaats van in een kelder te zitten en alles zelf opnieuw uit te vinden, leert het van de hele wereld. Het bewijst dat als je een AI-agent leert om te communiceren, te luisteren en samen te werken met een gemeenschap, hij veel slimmer en effectiever wordt dan wanneer hij alleen werkt.

Het is de overgang van "Ik weet het wel" naar "Laten we het samen uitvinden".

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLM)-agenten tonen veelbelovende resultaten bij het automatiseren van Machine Learning (ML) engineeringtaken. Echter, bestaande systemen opereren doorgaans geïsoleerd op een specifiek onderzoeksprobleem. Ze missen de interactie met de bredere onderzoeksgemeenschap, terwijl menselijke onderzoekers juist vaak inzichten halen en bijdragen leveren door kennis te delen via publieke discussies, gedeelde code en collectieve inzichten.

De huidige geïsoleerde aanpak leidt tot het convergeren naar repetitieve strategieën en een plateau in prestaties, in tegenstelling tot hoe menselijke experts werken in dynamische omgevingen zoals Kaggle-wedstrijden. De centrale onderzoeksvraag is: Hoe kunnen we onderzoekagenten evalueren en ontwerpen die collectieve kennis effectief benutten?

Methodologie

Het paper introduceert twee hoofdcomponenten om dit probleem aan te pakken: een nieuw evaluatiekader en een nieuw multi-agent systeem.

1. MLE-Live: Een Live Evaluatiekader

Om de kloof tussen geïsoleerde agenten en realistische samenwerking te overbruggen, stellen de auteurs MLE-Live voor. Dit is een controllable evaluatiekader dat realistische, Kaggle-achtige onderzoeksgemeenschappen simuleert.

• Simulatie van gemeenschap: Het kader biedt agenten een tijdstempel-gebaseerde stroom van discussies en code-artefacten (kernels, datasets) die vóór de deadline van de wedstrijd zijn gepubliceerd.
• Fairness: Het zorgt ervoor dat agenten toegang hebben tot dezelfde informatie als menselijke deelnemers (geen data-lekkage na de deadline).
• Opzet: Het omvat taakbeschrijvingen, datasets, een submission-grader die de officiële Kaggle-scoring nabootst, en een gecureerde set van gemeenschapsartefacten (discussies en kernels) met metadata (zoals stemmen en scores) om kwaliteit aan te geven.

2. CoMind: Een Community-Driven Multi-Agent Systeem

Op basis van MLE-Live introduceren ze CoMind, een systeem dat systematisch externe kennis benut en oplossingen iteratief verfijnt. CoMind bestaat uit vijf gespecialiseerde agentrollen die samenwerken in een iteratieve lus:

1. Coordinator: Het centrale orkestratiepunt. Het selecteert veelbelovende kernels en datasets uit de gemeenschap, delegeert taken en synthetiseert "solution drafts" (blauwdrukken) op basis van ideeën van de Idea Proposer. Het instantieert parallelle Coding Agents.
2. Analyzer: Distilleert ruwe gemeenschapsartefacten naar gestructureerde intelligence. Het analyseert kernels en discussies op vier dimensies: novelty (nieuwheid), feasibility (uitvoerbaarheid), effectiveness (effectiviteit) en efficiency. Het genereert rapporten met scores (0-10) en kwalitatieve uitleg.
3. Idea Proposer: Functies als creatieve motor. Het gebruikt de rapporten van de Analyzer en zijn eigen geheugen van historische ideeën om een diverse pool van nieuwe strategieën te brainstormen. Het filtert en selecteert de meest veelbelovende ideeën voor implementatie.
4. Coding Agent: De implementatiekracht. Het converteert abstracte blauwdrukken naar uitvoerbare code (Jupyter Notebooks) via een iteratieve ReAct-aanpak (proberen, debuggen, optimaliseren). Het gebruikt een persistente sessie om overhead te minimaliseren.
5. Evaluator: Zorgt voor objectieve, gestandaardiseerde evaluatie. Het verdeelt de dataset in trainings- en validatiesets (waarbij validatielabels verborgen blijven voor de coder) en berekent de score volgens de officiële metric. Het onderhoudt een globale leaderboard om voortgang te monitoren.

Werking: Het systeem start met een initieel gemeenschapskennisbestand. In elke iteratie analyseert het de gemeenschap, genereert het nieuwe ideeën, implementeert deze parallel, evalueert de resultaten en voegt succesvolle oplossingen toe aan het gemeenschapskennisbestand voor de volgende ronde.

Belangrijkste Bijdragen

1. MLE-Live: Het eerste framework dat ML-agenten evalueert in een gemeenschapsgedreven setting, met realistische gedeelde discussies en code, wat de dynamiek van echte Kaggle-wedstrijden nabootst.
2. CoMind: Een innovatieve agent die uitblinkt in het benutten van collectieve kennis en iteratieve exploratie. Het bereikt medaille-niveau prestaties in echte wedstrijden.
3. Community-Driven Multi-Agent Collaboratie: Een mechanisme voor iteratieve parallelle exploratie dat continue kennisaccumulatie mogelijk maakt, in plaats van statische, geïsoleerde zoektochten.

Resultaten

De auteurs hebben CoMind uitgebreid getest in zowel statische als live omgevingen:

• Statische Evaluatie (MLE-Bench): Op 75 historische Kaggle-wedstrijden behaalde CoMind een medaille-ratio van 36% (goud, zilver of brons). Dit is een nieuw state-of-the-art resultaat, significant beter dan bestaande systemen zoals Neo (34,22%), ML-Master (29,30%) en AIDE (16,90%).
• Live Evaluatie: CoMind werd ingezet in 8 lopende Kaggle-wedstrijden.
  • Het presteerde gemiddeld beter dan 92,6% van de menselijke concurrenten.
  • Het eindigde in de top 5% op drie officiële leaderboards.
  • Het behaalde de top 1% op één leaderboard.
• Ablatie Studies: Vergelijkingen met baselines (zoals AIDE met en zonder RAG) tonen aan dat de strategische toegang tot publieke resources en de diepere, strategische exploratie van CoMind essentieel zijn voor de superioriteit. Het verwijderen van toegang tot gemeenschapsresources leidt tot een significante daling in prestaties.
• Code Complexiteit: CoMind genereert aanzienlijk complexere en langere code dan baselines, wat wijst op een diepere exploratie van oplossingsruimtes en het combineren van geavanceerde technieken.

Betekenis en Conclusie

Dit paper markeert een verschuiving in het veld van geautomatiseerd ML-engineering. Het toont aan dat LLM-agenten niet alleen effectiever zijn als ze geïsoleerd werken, maar juist wanneer ze zijn ontworpen om te participeren in en te leren van een dynamische gemeenschap.

• Realisme: Door MLE-Live te introduceren, biedt de auteurs een eerlijkere en realistischere benchmark dan eerdere "closed-world" benaderingen.
• Schaalbaarheid: CoMind demonstreert dat collectieve intelligentie op schaal kan worden geautomatiseerd, waarbij agenten de prestatiefronten kunnen verleggen door gezamenlijke kennis te benutten.
• Toekomst: Hoewel de focus ligt op Kaggle-taken, suggereert het paper dat dit kader uitbreidbaar is naar bredere domeinen zoals wetenschappelijke ontdekking, open-ended codering en robotica.

Samenvattend bewijst CoMind dat het integreren van gemeenschapsdynamiek in de architectuur van AI-agenten cruciaal is voor het bereiken van menselijk niveau en superieure prestaties in complexe ML-engineeringstaken.