KC-Agent: A Dual-Process Cognitive Architecture for Efficient ML Model Improvement

Stel je voor dat je de kapitein bent van een ruimteschip dat al jaren door hetzelfde sterrenstelsel kruist. De computer van je schip, die je hebt geprogrammeerd om perfect te navigeren, kent elke asteroïde en gaswolk uit het hoofd. Maar op een dag verschuift het universum. Een nieuwe nevel drijft binnen, de sterren veranderen van kleur en de oude kaarten komen niet meer overeen met het uitzicht buiten. Als je computer de oude kaarten blijft gebruiken, zul je crashen. Dit is de dagelijkse strijd van "Machine Learning" (ML) in de echte wereld: software die leert van data raakt vaak in de war wanneer die data in de loop van de tijd verandert, een probleem dat wetenschappers "data drift" noemen.

Om dit op te lossen, hebben we meestal menselijke experts nodig om de software constant opnieuw te trainen, wat traag en duur is. Onlangs hebben we "AI Agents" gebouwd — slimme programma's die code kunnen schrijven en zichzelf kunnen repareren, een soort digitale monteur. Maar deze digitale monteurs hebben een gebrek: ze zijn óf te snel en roekeloos, waardoor ze overhaaste wijzigingen aanbrengen die dingen breken, óf te traag en voorzichtig, waardoor het te lang duurt om een probleem op te lossen dat directe aandacht vereist. Ze worstelen met het vinden van de balans tussen snelheid en veiligheid. Dit paper introduceert een nieuw soort AI-monteur die dit oplost door een truc te lenen van hoe menselijke hersenen werken: het hebben van twee verschillende "modi" van denken.

---

Maak kennis met KC-Agent: De Breinachtige Monteur

De auteurs van dit paper hebben een nieuw AI-systeem gebouwd genaamd KC-Agent (kort voor Kahneman-Clear Agent). Het is ontworpen om machine learning-modellen automatisch te repareren wanneer ze slecht gaan presteren omdat de data waarop ze vertrouwen is veranderd. Het geheime ingrediënt? Het denkt niet op slechts één manier; het gebruikt een "dual-process" brein, geïnspireerd door hoe mensen denken.

Beschouw het brein van KC-Agent als twee verschillende persoonlijkheden die samenwerken:

1. Systeem 1 (De Snelle Reflex): Dit is de "onderbuikgevoel"-modus. Het is supersnel. Wanneer er een probleem optreedt, scant Systeem 1 zijn geheugen op een vergelijkbare situatie die het eerder heeft gezien. Als het een match vindt, past het direct een oplossing toe waarvan het weet dat deze in het verleden heeft gewerkt. Het is als een chef die een aangebrande pan ziet en onmiddellijk de brandblusser grijpt zonder na te denken, omdat hij dit al honderd keer heeft gedaan.
2. Systeem 2 (De Trage Denker): Dit is de "diepe duik"-modus. Het is weloverwogen, zorgvuldig en een beetje langzamer. Als Systeem 1 geen snelle oplossing kan vinden, of als het probleem te vreemd is, draagt het de taak over aan Systeem 2. Systeem 2 breekt het probleem af in kleine, veilige stappen. Het probeert één kleine wijziging, controleert of het werkt, en als het mislukt, drukt het onmiddellijk op "ongedaan maken" en probeert het iets anders. Het is als een wetenschapper die een laboratoriumexperiment uitvoert, waarbij telkens één variabele tegelijk verandert om te zien wat er gebeurt.

Hoe het in de praktijk werkt

Het paper beschrijft KC-Agent als een workflow waarbij deze twee systemen met elkaar communiceren. Wanneer de AI detecteert dat het model slecht presteert op nieuwe data, vrae het eerst aan Systeem 1: "Hebben we dit eerder gezien?"

• Als ja: Systeem 1 haalt een "geheugen" van een succesvolle oplossing uit zijn eerdere ervaringen en past deze direct toe. Dit is supersnel.
• Als nee: Systeem 1 zegt: "Ik zit vast," en roept Systeem 2 op. Systeem 2 begint vervolgens een traag, methodisch proces. Het maakt kleine, "atomaire" wijzigingen (zoals het aanpassen van één getal of het vervangen van één hulpmiddel) en test deze. Als een wijziging de situatie verbetert, behoudt het deze. Als het de situatie verslechtert, draait het de wijziging onmiddellijk terug zodat het model nooit slechter wordt dan het begon.

Zodra Systeem 2 een oplossing heeft gevonden, laat het deze niet zomaar liggen. Het leert het aan Systeem 1! Het schrijft de nieuwe oplossing in zijn "geheugenbank", zodat Systeem 1 bij een volgende vergelijkbare situatie de oplossing direct kan herkennen en oplossen. Dit wordt knowledge consolidation genoemd.

Wat ze hebben gevonden

De onderzoekers hebben KC-Agent getest op vijf verschillende datasets. Twee waren echte industriële datasets van NASA over het slijten van straalmotoren in de loop van de tijd, die authentieke temporele degradatie vertoonden. De andere drie waren synthetische datasets (simulaties van leningen, gezondheidstoestanden en administratieve beslissingen) waarbij de kerngegevens werden gegenereerd met behulp van GPT-4 en vervolgens zorgvuldig werden verfijnd om realistische feature-distributies en coherente driftpatronen te garanderen, waardoor onlogische relaties werden geëlimineerd. Ze vergeleken KC-Agent met andere beroemde AI-agents zoals CodeAct, Tree of Thoughts en ReAct.

Dit zeggen de cijfers:

• Nauwkeurigheid: KC-Agent behaalde een gemiddelde nauwkeurigheid van 76,8%, waarmee het de op één na beste agent (CodeAct) met 2,4% versloeg. Het versloof zelfs de "Tree of Thoughts"-methode met 3,6% en "ReAct" met 8,0%.
• Snelheid: Het was ongelooflijk efficiënt en had een gemiddelde looptijd van slechts 13,2 seconden. In contrast hiermee duurde de "Trage" versie van hun eigen agent (alleen Systeem 2) 141,2 seconden. Dit betekent dat de dual-process aanpak 91% sneller was dan alleen de trage, zorgvuldige denker gebruiken.
• Slimheid: Wanneer een panel van andere geavanceerde AI's de kwaliteit van de code-wijzigingen beoordeelde, scoorde KC-Agent een 8,33 uit 10 op "Slimheid". Dit was veel hoger dan CodeAct (5,93) en ReAct (5,33). De jury merkte op dat KC-Agent strategische, slimme wijzigingen maakte in plaats van alleen maar veilige, saaie wijzigingen.

Waarom dit ertoe doet

Het paper suggereert dat de sleutel tot het reparteren van AI-modellen niet alleen is om ze slimmer of sneller te maken; het gaat erom ze de juiste structuur te geven om te denken. Door het werk te verdelen tussen een snel systeem voor patroonherkenning en een traag, zorgvuldig systeem, krijgt KC-Agent het beste van twee werelden. Het reageert snel op veelvoorkomende problemen, maar raakt niet in paniek wanneer de situatie vreemd wordt.

De auteurs hebben ook bewezen dat hun methode veilig is. Omdat Systeem 2 slechts kleine wijzigingen aanbrengt en ze onmiddellijk ongedaan maakt als ze falen, wordt het model nooit slechter dan het was. Dit principe van "atomaire wijziging" is cruciaal voor echt gebruik, waarbij je het niet kunt veroorloven om een systeem te breken dat een ziekenhuis of een elektriciteitscentrale aanstuurt.

Kortom, KC-Agent laat zien dat als je wilt dat een AI een goede monteur is, je hem niet alleen een genie moet maken; je moet hem een snelle reflex en een zorgvuldig brein geven, en ze elkaar laten leren. Deze aanpak suggereert dat toekomstige AI-systemen veel beter in staat zullen zijn om zichzelf up-to-date te houden in een veranderende wereld, zonder dat er een mens nodig is om hen bij de hand te houden.