Do AI Coding Agents Log Like Humans? An Empirical Study
Deze empirische studie toont aan dat AI-coding agents minder vaak logbestanden aanpassen dan mensen, vaak niet reageren op expliciete instructies, en dat menselijke ontwikkelaars als 'stille janitors' de meeste logherstelwerkzaamheden uitvoeren, wat wijst op de noodzaak van deterministische beveiligingsmaatregelen in plaats van natuurlijke taal.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een nieuw, super slim robot-assistent inhuurt om je huis te bouwen en te onderhouden. Je geeft hem de opdracht: "Zorg dat alles veilig is en dat we weten wat er gebeurt als er iets misgaat."
Deze robot (een AI-coder) werkt razendsnel. Maar de onderzoekers van dit paper hebben zich afgevraagd: Doet deze robot net als een menselijke timmerman als het gaat om het plaatsen van 'waarschuwingsborden' en 'dagboeken' in het huis?
In de programmeerwereld heten die dagboeken logs. Ze zijn cruciaal. Als je huis (of software) in brand vliegt, wil je niet alleen weten dat het brandt, maar ook waar en hoe. Zonder logs ben je blind.
Hier is wat de onderzoekers hebben ontdekt, vertaald naar een simpel verhaal:
1. De robot is wat lui (of misschien te voorzichtig)
Mensen die code schrijven, voegen vaak logboeken toe als ze iets veranderen. Het is een gewoonte. De onderzoekers keken naar duizenden wijzigingen van zowel mensen als robots.
- Het resultaat: In meer dan de helft van de gevallen (58,4%) voegde de robot minder logboeken toe dan een mens.
- De analogie: Stel je voor dat een mens elke keer als hij een nieuwe deur plaatst, een sticker zet met "Deur geplaatst op datum X". De robot doet dat soms niet. Hij bouwt de deur, maar vergeet de sticker.
- Het rare detail: Als de robot wel logboeken toevoegt, zijn ze vaak erg talrijk op een klein stukje code. Alsof hij op één deur wel tien stickers plakt, maar op de rest van het huis niets.
2. De instructies worden genegeerd
Je zou denken: "Oké, als ik de robot duidelijk zeg: 'Zorg voor logboeken!', dan doet hij het."
- Het resultaat: Mensen geven deze instructies bijna nooit (slechts in 5% van de gevallen). En als ze het wel doen? De robot luistert niet. Hij negeert de opdracht in 67% van de gevallen.
- De analogie: Het is alsof je tegen je robot vertelt: "Zorg dat je de lichten uitdoet als je weggaat." Hij knikt, maar doet het niet. Of je zegt het überhaupt niet, omdat je denkt dat hij het "wel weet".
- Conclusie: Gewoon praten tegen de AI (natuurlijke taal) werkt niet goed genoeg om belangrijke veiligheidsregels af te dwingen.
3. De mens is de "stille schoonmaker"
Dit is het meest opvallende deel. Omdat de robot de logboeken vaak vergeet of verkeerd plaatst, moet de menselijke timmerman het oplossen.
- Het resultaat: Mensen repareren 72,5% van de logboek-problemen na dat de robot zijn werk heeft gedaan.
- De analogie: De robot bouwt een kamer en laat de vloer vol met stof en rommel achter (geen logboeken). De menselijke timmerman komt niet om te zeggen: "Hé, doe het opnieuw!" Hij komt stiekem achter de robot aan, veegt de vloer op en plakt de ontbrekende stickers, zonder dat de robot er echt iets van merkt.
- De onderzoekers noemen mensen daarom "stille schoonmakers". We doen het werk, maar we klagen er niet over in de review, we doen het gewoon achteraf.
Wat betekent dit voor de toekomst?
De onderzoekers trekken een harde conclusie: Je kunt niet vertrouwen op een robot die gewoon luistert naar wat je zegt.
Als je wilt dat een AI-systeem veilig en traceerbaar is, moet je niet hopen dat hij het "weet" of dat je hem een vriendelijk verzoekje doet. Je moet harde regels instellen.
- De oplossing: In plaats van te zeggen "Zorg voor logboeken", moet je een automatische controle (zoals een poortwachter) instellen die zegt: "Als er geen logboek is, mag dit stukje code de deur niet uit."
- Vergelijking: Het is alsof je een robot vraagt om een auto te bouwen. Je kunt niet hopen dat hij zelf bedenkt om remlichten te plaatsen. Je moet een machine hebben die de auto weigert te laten passeren als de remlichten ontbreken.
Kortom: AI-coders zijn geweldig in het bouwen, maar ze zijn nog slecht in het "documenteren" van hun werk. Zolang we niet stoppen met hopen dat ze het zelf doen en beginnen met het instellen van onverbiddelijke controles, blijven we als mensen de achterhoede zijn die het rommel opruimt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.