Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

De Lerende Machine die Nooit Stopt met Groeien

Stel je voor dat je een briljante nieuwe vriend hebt die alles weet over de wereld tot de dag dat je hem ontmoette. Hij is slim, maar als je hem iets vraagt over een nieuwe app die gisteren is uitgebracht of een persoonlijke gewoonte die je vorige week hebt ontwikkeld, zit hij vast. Hij kan niet leren van jouw specifieke gesprekken omdat zijn brein "bevroren" is in de tijd. Dit is de huidige beperking van de meeste kunstmatige intelligentie: ze worden één keer getraind, verzonden, en daarna herhalen ze alleen wat ze weten, zonder echt te kunnen groeien door hun dagelijkse ervaringen.

Het vakgebied binnen de computerwetenschap dat probeert dit op te lossen, wordt Continual Learning genoemd. Denk erbij als het proberen te onderwijzen van een student die nooit stopt met schoolgaan. In plaats van alleen een tekstboek te memoriseren en een eindexamen af te leggen, heeft een werkelijk intelligente agent nodig om te leren van elke interactie, elke fout en elk nieuw hulpmiddel dat het oppikt, terwijl het tegelijkertijd onthoudt wie het is en waar het goed in is. De grote vraag die onderzoekers stellen is: Hoe bouwen we een AI die niet alleen dingen "weet", maar ze ook daadwerkelijk ervaart en in de loop van de tijd beter wordt als persoonlijke assistent?

Dit is waar Macaron-V1 om de hoek komt kijken. Het is een nieuwe familie AI-modellen die ontworpen is om "ervaringsgericht" te zijn, wat betekent dat ze leren van interacties in het echte leven en blijven verbeteren, zelfs nadat ze zijn uitgerold. De onderzoekers achter Macaron-V1, Mind Lab, realiseerden zich dat om een AI werkelijk slim te maken, je niet alleen meer data in een gigantisch brein kunt dumpen. Je hebt een systeem nodig dat in staat is zijn omgeving aan te passen en samen te werken met gespecialiseerde helpers. Ze bouwden een systeem dat de AI niet behandelt als een enkel, statisch brein, maar als een flexibel team dat tools kan wisselen en zijn eigen instructies kan verfijnen in een lus van zelfverbetering.

Het Macaron-V1 Team: Een Bevroren Brein en een Wisselbare Gereedschapskist

Stel je een enorme, superintelligente bibliotheek voor (het "basemodel") waarvan de boeken nooit veranderen. De bibliotheek is zo groot en goed georganiseerd dat hij bijna alles weet. Maar een bibliotheek is slechts een bibliotheek; hij weet niet hoe hij jou specifiek kan helpen. Om de bibliotheek nuttig te maken, voegt Macaron-V1 een laag van "specialistische adapters" toe bovenop deze bibliotheek. Denk aan deze adapters als verschillende soorten brillen of gereedschapskisten die je op het hoofd van de bibliotheek kunt klikken.

Eén bril is voor chatten (L0), een andere voor het optreden als een agent om taken uit te voeren (L1), een derde voor coderen (L2), en een vierde voor het ontwerpen van gebruikersinterfaces (L3). Deze opstelling wordt Mixture-of-LoRA (MoL) genoemd. In plaats van de hele gigantische bibliotheek opnieuw te trainen elke keer dat je wilt dat hij een nieuwe vaardigheid leert, wissel je gewoon een nieuwe bril in of pas je de bestaande aan. De hoofdbibliotheek blijft bevroren en veilig, terwijl de specialisten het zware werk doen. Dit betekent dat de AI de ene minuut een "chat"-persoonlijkheid kan hebben en de volgende minuut een "coder"-persoonlijkheid, zonder in de war te raken of zijn kernkennis te vergeten.

Het systeem gebruikt een slimme "Proxy" (zoals een receptionist) om te beslissen welke specialist moet worden opgeroepen. Wanneer je een vraag stelt, leest de receptionist de vraag, bepaalt of je een programmeur, een ontwerper of gewoon een gesprekspartner nodig hebt, en schakelt direct over naar de juiste specialist. Dit gebeurt zo snel dat je de overgang nauwelijks merkt. Het artikel laat zien dat dit systeem ongelooflijk nauwkeurig is in het kiezen van de juiste specialist — ongeveer 99% van de tijd — en dat het de boel niet veel vertraagt; het voegt slechts een minimale vertraging toe.

De Zelfverbeteringslus: Het Afstemmen van de Instructies, Niet het Brein

De echte magie van Macaron-V1 is niet alleen het hebben van deze specialisten; het is hoe het systeem zijn prestaties optimaliseert. De onderzoekers bouwden een systeem genaamd MindForge dat een "recursieve zelfverbeteringslus" uitvoert. Stel je een videogame voor waarbij de AI een level speelt, faalt, en vervolgens de game automatisch de regels herschrijft of de AI een nieuwe strategiehandleiding geeft om het opnieuw te proberen.

Zo werkt het:

1. Ontdekking (Discovery): De AI kijkt naar wat hij nog niet kan en creëert moeilijkere uitdagingen voor zichzelf.
2. Expansie (Expansion): De AI probeert deze uitdagingen op te lossen in een gesimuleerde omgeving (zoals een zandbak). Als hij faalt, zegt het systeem niet simpelweg "fout". Het analyseert waarom het faalde. Was de instructie onduidelijk? Ontbrak er een tool?
3. Update: Als de AI een manier vindt om te slagen door de instructies of de tools (het "harnas") te veranderen, legt hij dat vast. Als hij beter moet worden in de eigenlijke vaardigheid, traint hij een nieuwe versie van zijn specialistische adapter.

Het artikel testte dit op een set van 122 moeilijke taken die de basis-AI helemaal niet kon oplossen. In een specifiek experiment beschreven in het rapport bleef het brein van het model volledig bevroren — er werden geen interne gewichten aangepast. In plaats daarvan gebruikte het systeem configuratie-zoekopdrachten (configuration search) om de perfecte combinatie van instructies, tools en instellingen te vinden. Door alleen deze externe instructies en tools aan te passen, slaagden ze erin een configuratie te vinden waarmee het systeem 100% van de taken voltooide (122 van de 122).

Het is cruciaal om te begrijpen wat dit experiment bewijst: het toont aan dat het systeem een volledige configuratie-zoekdekking (configuration-search coverage) kan bereiken op deze taken. Dit betekent dat de AI al over de onderliggende capaciteit beschikte om de problemen op te lossen, maar dat het de juiste omgeving of prompt nodig had om het te ontsluiten. Het experiment isoleerde deze "Expansie"-fase om aan te tonen dat het aanpassen van de opstelling werkt, maar het bewees niet dat het model de vaardigheid op een manier heeft geleerd die zou generaliseren zonder die specifieke instructies, noch testte het de volledige zelfverbeteringslus waarbij de werkelijke gewichten van het model worden bijgewerkt.

De "Levende" Benchmarks: Testen van Wereldwijde Slimheid

Om te zien of Macaron-V1 daadwerkelijk goed is in het zijn van een persoonlijke assistent, hebben de onderzoekers nieuwe tests gemaakt genaamd Macaron ChatBench en Macaron LivingBench. Dit zijn niet zomaar meerkeuzevragen.

• ChatBench test of de AI een natuurlijk, empathisch gesprek kan voeren dat voelt alsof hij met een echt persoon praat, en niet met een robot. Het controleert of de AI je stemming begrijpt, eerlijk blijft en het gesprek vooruit helpt.
• LivingBench is een simulatie van het echte leven. Stel je voor dat de AI je persoonlijke assistent is die een reis probeert te plannen. De "wereld" verandelt om hem heen: vluchten lopen vertraging op, prijzen stijgen en je verandert plotseling van gedachten. De test ziet of de AI zijn plan gaandeweg kan aanpassen, informatie kan verifiëren en je rustig kan houden.

In deze tests scoorde Macaron-V1-Venti (de grote 744B versie) erg goed en versloeg verschillende andere topmodellen op het gebied van persoonlijke intelligentie en programmeren. Zo scoorde het 87,8 op de UI4A-Bench (het ontwerpen van interfaces), terwijl de volgende beste score rond de 75,9 lag. Het scoorde ook 94,0 op PinchBench, een test voor complex gebruik van tools.

De Resultaten: Wat We Weten en Wat Nog een Mysterie Is

De resultaten zijn veelbelovend, maar het artikel is voorzichtig om ze niet te overschatten. Het systeem werkt uitstekend bij wat het getest is:

• Adaptatie: Het vond succesvol configuraties om 100% van een moeilijke set taken te voltooien door enkel instructies en tools te wijzigen (configuratie-zoekopdracht), wat bewijst dat het vinden van de juiste opstelling een krachtige manier is om de prestaties te verbeteren zonder het brein te hertrainen.
• Collaboratie: De "Mixture-of-LoRA"-aanpak werkt. De AI kan effectief schakelen tussen chat-, codeer- en designmodi zonder zijn verstand te verliezen.
• Efficiëntie: Door het hoofdbrein bevroren te houden en alleen kleine specialistische tools te laden, bespaart het systeem een enorme hoeveelheid computergeheugen (ongeveer 74% minder dan het draaien van vier aparte gigantische modellen).

Echter, het artikel wijst ook op wat het nog niet weet.

• Lange-termijn leren: Hoewel het systeem in een lus kan verbeteren, bewijst het artikel niet dat het dit voor altijd kan blijven doen zonder slechter te worden in oude taken (een probleem dat bekend staat als "catastrofale vergetelheid"). Ze hebben het potentieel voor verbetering gemeten via configuratie-zoekopdrachten, maar de lange-termijn stabiliteit van continue parameterupdates is nog steeds een open vraag.
• Collectieve Intelligentie: Het systeem gebruikt specialisten die door hetzelfde team zijn getraind. Het idee om specialisten van verschillende teams of gebruikers samen te laten werken (zoals een chatbot van het ene bedrijf en een coding-bot van het andere bedrijf) is een toekomstig doel, en niet getest in dit onderzoek.
• Implementatie in de echte wereld: De tests zijn uitgevoerd in gecontroleerde simulaties. We weten nog niet hoe het systeem omgaat met de chaos van het echte internet en miljoenen verschillende gebruikers met unieke behoeften.

De Kernboodschap

Macaron-V1 is een gedurfde stap richting AI die niet alleen dingen "weet", maar ze ook "ervaart". Door een bevroren, stabiel brein te combineren met wissellbare specialistische tools en een systeem dat constant zijn eigen instructies herschrijft om problemen op te lossen, hebben de onderzoekers een model gebouwd dat aanpasbaarder is dan alles wat we tot nu toe hebben gezien. Het is also kind een Zwitsers zakmes geven en het vermogen om ter plekke nieuwe gereedschappen uit te vinden.

Het artikel laat zien dat deze aanpak werkt: het lost moeilijke taken op, ontwerpt betere interfaces en voert complexere gesprekken dan veel huidige koplopers. Maar het herinnert ons er ook aan dat dit pas het begin is. De droom van een AI die van elke interactie leert, voor altijd, zonder ooit te vergeten, is nog steeds een werk in uitvoering. De "Macaron" is gebakken, maar het recept voor echt, eindeloos leren wordt nog steeds geperfectioneerd.