Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study
Diese Arbeit präsentiert eine Mixed-Methods-Studie, die durch das Mining von 7.310 Regeln aus 83 Open-Source-Projekten und die Befragung von 99 Praktikern eine Taxonomie für KI-IDE-Regeln erstellt, wobei eine Diskrepanz zwischen Entwicklerprioritäten und tatsächlichen Konfigurationen aufgezeigt wird, während gleichzeitig demonstriert wird, dass die Evolution von Regeln die Compliance von Software-Artefakten signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten, unglaublich schnellen, aber etwas chaotischen persönlichen Assistenten eingestellt, der Ihnen beim Bau eines Hauses helfen soll. Dieser Assistent ist eine KI und sie ist großartig darin, Ziegel zu legen und Wände zu streichen. Aber manchmal wird sie verwirrt. Sie entscheidet sich vielleicht dazu, eine Tür zu bauen, wo eigentlich ein Fenster sein sollte, oder sie verwendet eine Holzart, die Sie ihr ausdrücklich untersagt haben.
Um das zu beheben, geben Sie dem Assistenten ein Regelbuch. Dies ist kein einmaliges Notizblatt; es ist ein lebendiges Dokument, das das Projekt für immer begleitet. Jedes Mal, wenn der Assistent mit der Arbeit beginnt, liest er dieses Regelbuch, um sich genau daran zu erinnern, wie Ihr Haus aussehen soll.
Dieses Papier ist eine tiefgehende Untersuchung darüber, wie Entwickler in der realen Welt diese „Regelbücher“ (in KI-IDEs als Rules bezeichnet) verwenden und wie sie diese im Laufe der Zeit verändern. Die Forscher untersuchten 83 reale Projekte und sprachen mit 99 Entwicklern, um zu sehen, was tatsächlich passiert.
Hier ist das, was sie herausgefunden haben, einfach aufgeschlüsselt:
1. Die „Regelbuch“-Taxonomie (Was steht im Buch?)
Die Forscher sortierten tausende Regeln in einen riesigen Aktenschrank mit 5 Hauptschubladen und 25 kleineren Ordnern:
- Architektur & Design: Das große Ganze (z. B. „Verwenden Sie diesen spezifischen Bauplan-Stil“).
- Code-Implementierung: Die Details (z. B. „Schreibe Code auf diese Weise“, „Verwende keine Klassen“).
- Workflow & Management: Wie das Team arbeitet (z. B. „Führe immer Tests aus, bevor du speicherst“).
- Qualitätssicherung: Sicherheitsprüfungen (z. B. „Teste alles“, „Keine Sicherheitslücken“).
- KI-Kollaboration: Wie die KI sich verhalten soll (z. B. „Sei prägnant“, „Rate nicht“).
Die große Überraschung:
Es gab eine enorme Diskrepanz zwischen dem, was Entwickler als wichtig behaupteten, und dem, was sie tatsächlich aufschrieben.
- Was sie schätzen: Entwickler sagten in der Umfrage: „Das Wichtigste ist die Architektur (das große Ganze) und der Kontext (wie die KI das Projekt versteht).“
- Was sie tatsächlich schrieben: Die Regelbücher in den realen Projekten waren hauptsächlich gefüllt mit Detailfragen auf niedriger Ebene wie „Verwende diese Schriftart“, „Lege Dateien in diesen Ordner“ und „Führe zuerst diesen Test aus“.
- Die Analogie: Es ist, als würde man einen Architekten engagieren, um einen Wolkenkratzer zu entwerfen, aber 90 % der Zeit damit verbringen, ihm ein Memo darüber zu schreiben, welche Marke von Kaffee er trinken soll und wie er den Tacker zu organisieren hat, während man die Tragwerksstahlkonstruktion kaum erwähnt.
2. Wie die Regeln evolvieren (Wie verändert sich das Buch?)
Regeln sind nicht statisch; sie werden ständig aktualisiert. Die Forscher beobachteten 1.540 Änderungen.
- Die Hauptaktion: Meistens fügen Entwickler neue Regeln hinzu. Sie schreiben bestehende Regeln normalerweise nicht um; sie heften einfach nur neue Anweisungen an.
- Die „Warum“-Lücke:
- Was die Daten sagen: Beim Blick auf die tatsächlichen Code-Änderungen fügten Entwickler Regeln meist hinzu, um das Projekt zu erweitern (neue Funktionen hinzuzufügen) oder den Kontext zu bereichern (der KI mehr Hintergrundinformationen zu geben).
- Was Entwickler sagen: In der Umfrage sagten Entwickler, dass sie Regeln meist ändern, um Fehler der KI zu beheben.
- Die Analogie: Es ist wie ein Elternteil, der sagt: „Ich füge meistens neue Aufgaben hinzu, um den Kindern zu helfen, neue Fähigkeiten zu lernen“, aber die Kinder sagen: „Wir fügen nur Aufgaben hinzu, wenn wir beim Abwaschen Mist gebaut haben.“ Die Realität ist konstruktives Wachstum, aber das Gefühl ist reine Schadensbegrenzung.
- Die „Korrektur“-Gewohnheit: Wenn Entwickler versuchen, einen Fehler der KI zu beheben, bearbeiten sie selten die alte Regel. Stattdessen fügen sie eine neue Regel hinzu, die besagt: „Mache NICHT X“. Es ist, als würde man ein „Eintritt verboten“-Schild neben eine Tür hängen, anstatt die Tür neu zu streichen.
3. Funktioniert es tatsächlich? (Der Compliance-Check)
Die Forscher wollten wissen: Wenn man das Regelbuch aktualisiert, folgt die KI den neuen Anweisungen dann tatsächlich besser?
- Das Ergebnis: Ja, signifikant.
- Die Zahlen: Vor einer Regel-Aktualisierung befolgte die KI die Anweisungen zu etwa 49 % der Zeit. Unmittelbar nach der Aktualisierung stieg dieser Wert auf 72 %. Das ist eine Verbesserung um 23 %.
- Der Haken: Dies funktioniert am besten bei konkreten, leicht überprüfbaren Dingen (wie „Dateinamen müssen auf .ts enden“). Bei vagen, hochgradig abstrakten Ideen (wie „Folge guten Architekturprinzipien“) funktioniert es viel schlechter.
- Die Analogie: Wenn Sie dem Assistenten sagen: „Trage immer einen roten Hut“, wird er das perfekt machen, sobald Sie ihn daran erinnern. Aber wenn Sie sagen: „Sei eine gute Führungspersönlichkeit“, wird er wahrscheinlich immer noch verwirrt sein. Das Regelbuch ist gut für spezifische Befehle, aber weniger effektiv für abstrakte Philosophien.
Zusammenfassung der Kernerkenntnisse der Studie
- Entwickler kümmern sich um das große Ganze, schreiben aber über die Kleinigkeiten. Sie schätzen die Architektur, verbringen ihre Zeit aber mit der Korrektur von Formatierungs- und Workflow-Details.
- Die „Hinzufügen statt Bearbeiten“-Strategie. Entwickler bevorzugen es, neue Regeln anzuhäufen, um Probleme zu lösen, anstatt die alten aufzuräumen. Dies führt dazu, dass die Regelbücher mit der Zeit lang und unordentlich werden.
- Updates funktionieren, aber nur für spezifische Dinge. Das Ändern der Regeln verbessert das Befolgen der Anweisungen durch die KI erheblich, aber nur, wenn diese Anweisungen klar und konkret sind.
- Das Problem der „Negativen Einschränkung“. Entwickler beheben KI-Fehler oft, indem sie „Tu dies nicht“-Regeln hinzufügen. Das ist eine schnelle Lösung, kann aber das Regelbuch langfristig überladen und verwirrend machen.
Kurz gesagt: KI-IDEs sind leistungsstark, aber die „Regelbücher“, die wir zur Steuerung von ihnen verwenden, sind derzeit etwas chaotisch. Wir nutzen sie, um unmittelbare, kleine Probleme zu lösen, anstatt das große, komplexe Design zu leiten, und wir bauen sie Stück für Stück auf, anstatt sie sauber und organisiert zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.