A Control System, a Dataset, and a Recipe for Making Frozen LLM Agents Learn a Domain

De AI-Chef en het Magische Kookboek

Stel je voor dat je een briljante, superintelligente chef hebt die bijna alles kan koken. Deze chef is een Artificial Intelligence, specifiek een Large Language Model (LLM). Maar hier komt de crux: deze chef gaat niet zomaar een keuken binnenwandelen en beginnen met koken. Ze hebben een recept nodig, een set gereedschappen en een plan. In de wereld van AI wordt deze opstelling een "harness" genoemd. Het is de instructiehandleiding die de AI vertelt hoe te denken, welke tools te gebruiken (zoals een rekenmachine of een zoekmachine) en hoe het werk te controleren voordat het gerecht wordt geserveerd.

Lange tijd dachten wetenschappers dat de enige manier om de chef beter te maken, was door de chef zelf te trainen—het aanleren van nieuwe vaardigheden vanaf nul. Maar een nieuwer idee suggereert dat de chef misschien al geweldig is, en dat we alleen het recept moeten aanpassen. De grote vraag die onderzoekers stellen is: moeten we de AI zijn eigen recept laten herschrijven terwijl hij aan het koken is (een risicovolle, dure zet), of moeten we het recept behandelen als een vast menu van opties en een slim, eenvoudig systeem gebruiken om de beste optie voor de klus te kiezen? Dit artikel duikt in die vraag en test of een "bevroren" AI (één die zijn brein niet verandert) kan worden opgevoerd door simpelweg de manier waarop we instructies geven te veranderen.

---

Het Experiment: De AI Temmen met een "Recepten-Schakelbord"

De auteurs van dit artikel besloten een zeer zorgvuldige, gecontroleerde aanpak te hanteren. In plaats van een AI de vrije hand te geven om zijn eigen code te herschrijven (wat zij beargumenteren als het laten herschrijven van de examenvragen door een student terwijl hij het examen maakt), bouwden ze een "Controlesysteem". Denk aan dit systeem als een gigantisch, magisch schakelbord met precies 729 verschillende instellingen. Elke instelling is een specifieke combinatie van instructies:

• Promptstijl: Moet de AI direct, gestructureerd of reflectief zijn?
• Toolbeleid: Moet het tools alleen gebruiken wanneer dat nodig is, of altijd?
• Geheugen: Moet het eerdere successen onthouden, of zowel successen als fouten?
• Planning: Moet het er gewoon in duiken, een kort plan maken, of plannen en herzien?
• Verificatie: Moet het het werk aan het einde dubbelchecken, of stap voor stap?
• Stapbudget: Hoeveel stappen moet het zetten voordat het stopt?

De onderzoekers wilden zien of ze een slim leerend systeem (genaamd Reinforcement Learning) konden gebruiken om deze schakelaars in realtime om te zetten om het perfecte recept voor elke taak te vinden. Ze testten dit in drie verschillende "keukens":

1. Tool-gebruik: De AI een fictieve klantendatabase laten beheren (zoals een CRM).
2. Coderen: De AI vragen om code te schrijven die specifieke tests doorstaat (met behulp van de HumanEval benchmark).
3. Retrieval: De AI vragen om lastige vragen te beantwoorden door te zoeken in een stapel documenten (met behulp van HotpotQA).

Ze voerden dit experiment uit op twee verschillende "chefs": een lokaal open-source model (Ollama) en een krachtig cloud-model (AWS Bedrock). Ze vergeleken hun slimme, lerende schakelbord met twee andere methoden: een willekeurige gokker (instellingen willekeurig kiezen) en een "Statische Baseline" (een enkel, vooraf geoptimaliseerd recept gemaakt met een tool genaamd DSPy).

De Grote Verrassing: Het "Statische" Recept Wint

Hier is de wending die de auteurs niet hadden verwacht: het slimme, lerende schakelbord won niet.

In bijna elke test presteerde de "Statische Baseline"—het enkele, vooraf gemaakte recept dat één keer zorgvuldig is ontworpen en daarna met rust is gelaten—net zo goed, of zelfs beter, dan het systeem dat constant probeerde te leren en zich aan te passen.

• In het domein van Tool-gebruik kreeg het statische recept 96% van de taken goed op het Bedrock-model, terwijl het lerende systeem er slechts ongeveer 62% goed kreeg.
• In Coderen was het statische recept net zo goed als het lerende systeem, maar het gebruikte veel minder "tokens" (de digitale ingrediënten die de AI opeet), waardoor het veel goedkoper en sneller was.
• Zelfs in het Retrieval-domein, waar de zaken voor iedereen moeilijker waren, hield het statische recept stand.

De auteurs realiseerden zich waarom dit gebeurde. Het "lerende" systeem probeerde de beste instelling te vinden uit 729 mogelijkheden, maar had niet genoeg tijd of pogingen om de kaart te leren kennen. Het was alsof je probeert de beste route door een enorme doolhof te vinden met slechts 25 pogingen; je zult waarschijnlijk vastlopen in een doodlopende weg. Het statische recept werd echter gebouwd met een methode die vanaf het begin alleen naar plausibele, hoogwaardige opties keek, zodat het geen tijd verspilde aan het verkennen van slechte paden.

Wat Dit Betekent voor de Toekomst

Het artikel concludeert dat je voor de meeste praktische, real-world situaties niet moet beginnen met een complex, zelflerend systeem dat probeert alles vanaf nul uit te zoeken. In plaats daarvan moet je:

1. Beginnen met een sterk, statisch recept (zoals het recept gemaakt door DSPy).
2. Pas later een lerend systeem toevoegen, en alleen als de taken zo sterk veranderen dat het oude recept niet meer werkt.

De auteurs deelden ook een "Recept" (een gids genaamd RECIPE.md) voor andere teams die deze systemen willen bouwen. Ze benadrukken dat als je wel een lerend systeem gebruikt, je voorzichtig moet zijn met "cold starts" (waarbij het systeem per ongeluk een slechte instelling kiest aan het begin) en dat je moet letten op crashes waarbij één slechte poging de hele batch verpest.

Kortom, het artikel suggereert dat hoewel het idee van een AI die voortdurend zijn eigen instructies herschrijft cool en futuristisch klinkt, in de echte wereld een goed geschreven, vast instructiemanual vaak beter, sneller en goedkoper werkt dan een systeem dat nog steeds probeert uit te vogelen hoe het de handleiding moet schrijven terwijl het aan het werk is. Het "leren" is nuttig, maar pas nadat je al een goed startpunt hebt gevonden.