APEX-SWE
Deze paper introduceert APEX-SWE, een nieuwe benchmark voor het beoordelen van de economische bruikbaarheid van AI-modellen in softwareontwikkeling door middel van integratie- en observatietaken, waarbij Claude Opus 4.6 en 4.5 de beste resultaten behalen dankzij epistemische discipline en systematische verificatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep slimme, nieuwe robots hebt die je wilt testen op hun vaardigheden als software-ontwikkelaar. De meeste eerdere tests waren als een schooltoets: "Schrijf een functie die twee getallen optelt." De robots haalden hier bijna 100% op. Maar in het echte leven is programmeren niet zoiets als een schooltoets. Het is meer als het bouwen van een heel huis, waarbij je ook de elektriciteit moet leggen, de buren moet overtuigen om de straat op te ruimen, en moet weten waarom de verwarming plotseling stopt.
Dit papier introduceert APEX-SWE, een nieuwe, veel moeilijkere test voor AI-modellen. Het is geen schooltoets meer, maar een proef in het echte leven.
Hier is wat er aan de hand is, vertaald in simpele taal:
1. Twee nieuwe soorten taken (De "Huisbouwers" en de "Brandweer")
In plaats van alleen code te schrijven, moeten de robots nu twee dingen doen die echte programmeurs 84% van hun tijd doen:
De Integratie-taken (De Huisbouwers):
Stel je voor dat je een robot moet bouwen die een koffieautomaat (een bedrijfsapp) moet verbinden met een zonnepaneel (de cloud) en een beveiligingscamera (infrastructuur). De robot moet niet alleen de koffieautomaat programmeren, maar ook de stroomkabels leggen en zorgen dat alles veilig werkt.- Het probleem: De robots moeten verschillende systemen laten praten met elkaar. Als ze één boutje vergeten, werkt het hele systeem niet.
De Observability-taken (De Brandweer):
Stel je voor dat er brand uitbreekt in een fabriek. Er is geen brandblusapparaat met een knopje "Brand blussen". De robot moet eerst naar de rookmelders kijken (logs), luisteren naar wat de arbeiders zeggen in de kantine (chatgeschiedenis) en de blauwdrukken van de fabriek bekijken om te raden waar de brand vandaan komt.- Het probleem: De robot krijgt geen duidelijke opdracht als "deze regel code is fout". Hij moet zelf de fout zoeken in een enorme berg informatie.
2. De resultaten: Niemand is perfect
De robots werden getest op deze nieuwe, moeilijke taken. Het nieuws is niet zo goed als we hoopten:
- De slimste robots (zoals Claude Opus) haalden ongeveer 38% goed.
- Dat klinkt misschien niet als 100%, maar in dit soort moeilijke, echte taken is dat al een enorm succes.
- De meeste andere robots haalden veel lager, soms zelfs onder de 10%.
De conclusie: We zijn nog niet zover dat we AI volledig kunnen vertrouwen om complexe software te bouwen of te repareren zonder toezicht. Er is nog een groot gat tussen wat AI kan en wat we nodig hebben voor veilige, echte systemen.
3. Waarom doen sommige robots het beter? (Het geheim: "Niet te snel zijn")
Het papier ontdekte iets heel belangrijks. Het gaat niet om wie de snelste code schrijft. Het gaat om epistemische discipline. Dat is een moeilijke woord, maar het betekent simpelweg: "Weet wat je zeker weet, en twijfel aan wat je denkt."
Stel je voor dat je een puzzel oplost:
- Slechte robots (die falen): Ze raden het antwoord, plakken het erop en hopen dat het klopt. Ze zeggen: "Ik denk dat de deur hier staat," en bouwen er een muur omheen. Als de deur ergens anders staat, is hun hele huis verkeerd. Ze vergeten te controleren.
- Goede robots (die slagen): Ze zeggen: "Ik denk dat de deur hier staat, maar ik ga eerst even kijken of er een deurkozijn is." Ze kijken eerst naar de blauwdrukken, testen hun idee, en bouwen pas als ze zeker weten dat het klopt.
De beste robots werken als een onderzoeksbureau:
- Verzamel informatie: Kijk eerst naar de logs en de bestanden.
- Stel een hypothese: "Ik denk dat dit het probleem is."
- Test het: Probeer het uit en kijk of het werkt.
- Pas aan: Als het niet werkt, niet doorgaan, maar opnieuw kijken.
4. Waar gaan de robots vaak fout?
De analyse toont aan dat robots vaak faalt door:
- Te snel handelen: Ze beginnen te bouwen voordat ze de blauwdrukken hebben gelezen.
- Vergeten te controleren: Ze zeggen "Klaar!" terwijl ze nooit hebben gekeken of de koffieautomaat wel echt koffie maakt.
- Verkeerde tools gebruiken: Ze proberen een deur open te breken met een hamer, terwijl er een sleutel bij zat die ze hadden kunnen gebruiken.
Samenvatting
Dit papier zegt eigenlijk: "AI is slim, maar het is nog niet slim genoeg om zonder toezicht complexe software te bouwen."
De sleutel tot succes is niet dat de robot sneller kan typen, maar dat hij geduldiger is. Hij moet leren om te twijfelen aan zijn eigen ideeën, alles te controleren voordat hij iets bouwt, en niet te stoppen voordat hij zeker weet dat het werkt. Zolang AI-modellen niet leren om dit soort "wetenschappelijke nuchterheid" te hebben, zullen we ze nog niet volledig kunnen vertrouwen met onze kritieke systemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.