Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study
Dit artikel presenteert een mixed-methods studie waarbij 7.310 regels uit 83 open-source projecten zijn gewonnen en 99 professionals zijn ondervraagd om een taxonomie voor AI IDE-regels vast te stellen, wat een kloof onthult tussen de prioriteiten van ontwikkelaars en de werkelijke configuraties, terwijl het tegelijkertijd aantoont dat de evolutie van regels de naleving van software-artefacten aanzienlijk verbetert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente, ongelooflijk snelle, maar ietwat chaotische persoonlijke assistent hebt ingehuurd om je te helpen een huis te bouwen. Deze assistent is een AI, en hij is geweldig in het leggen van stenen en het schilderen van muren. Maar soms raakt hij in de war. Hij kan besluiten om een deur te bouwen waar een raam zou moeten zitten, of hij kan een type hout gebruiken dat je hem specifiek hebt verboden te gebruiken.
Om dit op te lossen, geef je de assistent een Regelboek. Dit is niet zomaar een eenmalige notitie; het is een levend document dat voor altijd bij het project blijft. Elke keer als de assistent aan het werk gaat, leest hij dit Regelboek om te onthouden hoe jouw huis er precies uit moet zien.
Dit artikel is een diepe duik in hoe echte ontwikkelaars deze "Regelboeken" (genaamd Rules in AI IDE's) gebruiken en hoe ze deze door de tijd heen veranderen. De onderzoekers keken naar 83 echte projecten en spraken 99 ontwikkelaars om te zien wat er werkelijk gebeurt.
Hier is wat zij ontdekten, eenvoudig uitgelegd:
1. De "Regelboek" Taxonomie (Wat staat er in het boek?)
De onderzoekers sorteerden duizenden regels in een enorme archiefkast met 5 hoofdlades en 25 kleinere mappen:
- Architectuur & Ontwerp: Het grote plaatje (bijv. "Gebruik deze specifieke blauwdrukstijl").
- Code Implementatie: De details (bijv. "Schrijf code op deze manier," "Gebruik geen klassen").
- Workflow & Management: Hoe het team werkt (bijv. "Voer altijd tests uit voordat je opslaat").
- Kwaliteitsborging: Veiligheidscontroles (bijv. "Test alles," "Geen beveiligingslekken").
- AI Samenwerking: Hoe de AI zich moet gedragen (bijv. "Wees beknopt," "Ga niet gokken").
De Grote Verrassing:
Er was een enorme kloof tussen wat ontwikkelaars zeiden dat belangrijk was en wat ze daadwerkelijk opschreven.
- Wat zij waarderen: Ontwikkelaars zeiden in de enquête: "Het belangrijkste is de Architectuur (het grote plaatje) en Context (hoe de AI het project begrijpt)."
- Wat ze daadwerkelijk schreven: De Regelboeken in de echte projecten waren vooral gevuld met laagniveau-details zoals "Gebruik dit lettertype," "Zet bestanden in deze map," en "Voer eerst deze test uit."
- De Analogie: Het is alsof je een architect inhuurt om een wolkenkrabber te ontwerpen, maar 90% van je tijd besteedt aan het schrijven van een memo over welk merk koffie hij moet drinken en hoe hij de nietmachine moet organiseren, terwijl je nauwelijks iets zegt over het constructiestaal.
2. Hoe de Regels Evolueren (Hoe het boek verandert)
Regels zijn niet statisch; ze worden constant bijgewerkt. De onderzoekers observeerden 1.540 wijzigingen.
- De Hoofdactie: Meestal zijn ontwikkelaars bezig met het toevoegen van nieuwe regels. Ze zijn meestal niet bezig met het herschrijven van oude regels; ze plakken er gewoon nieuwe instructies aan vast.
- De "Waarom"-kloof:
- Wat de data zegt: Bij het bekijken van de feitelijke code-wijzigingen, voegden ontwikkelaars vooral regels toe om het project uit te breiden (nieuwe functies toevoegen) of om de context te verrijken (de AI meer achtergrondinformatie geven).
- Wat ontwikkelaars zeggen: In de enquête zeiden ontwikkelaars dat ze regels vooral aanpassen om fouten van de AI te herstellen.
- De Analogie: Het is als een ouder die zegt: "Ik voeg vooral nieuwe klusjes toe aan de lijst om de kinderen te helpen nieuwe vaardigheden te leren," terwijl de kinderen zeggen: "We voegen alleen klusjes toe wanneer we de afwas hebben verpest." De realiteit is constructieve groei, maar het gevoel is enkel schadebeperking.
- De "Correctie"-gewoonte: Wanneer ontwikkelaars echt proberen een fout van de AI te herstellen, bewerken ze zelden de oude regel. In plaats daarvan voegen ze een nieuwe regel toe die zegt: "Doe X NIET." Het is als het plaatsen van een "Niet betreden"-bord naast een deur in plaats van de deur opnieuw te schilderen.
3. Werkt het eigenlijk? (De Compliance Check)
De onderzoekers wilden weten: Als je het Regelboek bijwerkt, volgt de AI de nieuwe instructies dan beter op?
- Het Resultaat: Ja, aanzienlijk.
- De Cijfers: Vóór een regelupdate volgde de AI de instructies ongeveer 49% van de tijd op. Direct na de update steeg dat naar 72%. Dat is een verbetering van 23%.
- De Kanttekening: Dit werkt het beste voor concrete, gemakkelijk te controleren zaken (zoals "Bestandsnamen moeten eindigen op .ts"). Het werkt veel minder goed voor vage, hoogwaardige ideeën (zoals "Volg goede architecturale principes").
- De Analogie: Als je de assistent vertelt: "Draag altijd een rode hoed," dan zal hij dat perfect doen zodra je hem eraan herinnert. Maar als je zegt: "Wees een goed leider," dan kan hij nog steeds in de war raken. Het Regelboek is geweldig voor specifieke commando's, maar minder effectief voor abstracte filosofie.
Samenvatting van de bevindingen van de studie
- Ontwikkelaars geven om het grote plaatje, maar schrijven over de kleine dingen. Ze hechten waarde aan architectuur, maar besteden hun tijd aan het fixen van opmaak en workflow-details.
- De "Toevoegen, Niet Bewerken"-strategie. Ontwikkelaars geven de voorkeur aan het opstapelen van nieuwe regels om problemen op te lossen, in plaats van de oude regels op te schonen. Dit zorgt ervoor dat de Regelboeken in de loop van de tijd lang en rommelig worden.
- Updates werken, maar alleen voor specifieke zaken. Het aanpassen van de regels zorgt ervoor dat de AI instructies veel beter opvolgt, maar alleen als die instructies duidelijk en concreet zijn.
- Het "Negatieve Beperking"-probleem. Ontwikkelaars lossen AI-fouten vaak op door "Doe dit niet"-regels toe te voegen. Dit is een snelle oplossing, maar het kan het Regelboek op de lange termijn rommelig en verwarrend maken.
Kortom, AI IDE's zijn krachtig, maar de "Regelboeken" die we gebruiken om ze te besturen, zijn momenteel een beetje rommelig. We gebruiken ze om directe, kleine problemen op te lossen in plaats van het grote, complexe ontwerp te sturen, en we bouwen ze stukje bij beetje op in plaats van ze schoon en georganiseerd te houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.