In-IDE Toolkit for Developers of AI-Based Features
Dieser Artikel stellt ein AI-Toolkit-Plugin für JetBrains-IDEs vor, das Tracing und Evaluation direkt in den Entwicklungsworkflow integriert und es Softwareingenieuren ohne ML-Hintergrund ermöglicht, KI-basierte Funktionen durch einen nutzerzentrierten, IDE-nativen Ansatz effektiv zu testen, zu debuggen und zu reproduzieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Koch, der versucht, ein neues, komplexes Gericht mit einem mysteriösen, superscharfsinnigen Sous-Chef (einem KI-Agenten) zu kreieren. Sie geben dem Sous-Chef Anweisungen, und er beginnt zu hacken, zu braten und zu anrichten. Aber manchmal schmeckt das Gericht hervorragend; manchmal ist es eine Katastrophe. Das Problem? Der Sous-Chef führt Dinge nicht immer auf die gleiche Weise aus, und wenn das Essen schlecht schmeckt, haben Sie keine Ahnung, warum es passiert ist. War es das Salz? Die Temperatur? Wurde der Sous-Chef von einer bestimmten Zutat verwirrt?
Dies ist der tägliche Kampf für Softwareingenieure, die KI-Funktionen entwickeln. Sie sind die Köche, und die KI ist der unvorhersehbare Sous-Chef.
Das Problem: Die „Black-Box"-Küche
Derzeit müssen Entwickler, wenn sie sehen wollen, was ihre KI tut, das Kochen unterbrechen, ihre Küche (ihren Code-Editor) verlassen und zu einem separaten, komplizierten Dashboard im Internet gehen. Es ist so, als würde man die Küche verlassen, um in ein anderes Gebäude zu gehen, nur um die Temperatur des Ofens zu überprüfen. Es ist umständlich, verwirrend, und die meisten Entwickler lassen es einfach aus. Sie geraten ins Raten, warum etwas schiefgelaufen ist, oder sie warten, bis sich Kunden beschweren, um es herauszufinden.
Die Lösung: Die „Smarte Schürze" (KI-Toolkit)
Die Autoren dieses Papiers, ein Team von JetBrains (dem Unternehmen hinter beliebten Codierungstools wie PyCharm), haben ein Plugin namens AI Toolkit entwickelt. Stellen Sie sich dies als eine „smarte Schürze" vor, die Sie während des Kochens in Ihrer eigenen Küche tragen. Sie verlangt nicht, dass Sie Ihren Arbeitsplatz verlassen.
So funktioniert es, mit einfachen Analogien:
1. Die „Instant-Replay"-Kamera (Tracing)
Wenn Sie auf „Ausführen" klicken, um Ihren Code zu starten, schaltet das Toolkit automatisch eine Kamera ein. Es zeichnet nicht nur das fertige Gericht auf, sondern jeden einzelnen Schritt, den die KI unternommen hat.
- Die Analogie: Stellen Sie sich eine Kamera vor, die Ihren Sous-Chef aufzeichnet, wie er sagt: „Ich füge Salz hinzu", „Ich prüfe den Timer" und „Ich bin bei diesem Gemüse verwirrt".
- Der Vorteil: Sie können das Video pausieren, zurückspulen und genau sehen, wo der Fehler passiert ist, ohne Ihre IDE (Ihre Codierungsumgebung) zu verlassen. Es verwandelt ein „Black-Box"-Mysterium in einen klaren, schrittweisen Film.
2. Der „Rezept-Tester" (Evaluation)
Auf die alte Weise war das Testen, ob Ihre KI funktioniert, wie das einmalige Probieren der Suppe und Hoffen, dass sie gut schmeckt. Das Toolkit verwandelt dies in einen professionellen Rezept-Tester.
- Die Analogie: Sie können ein spezifisches Beispiel aus Ihrem „Instant-Replay"-Video (z. B. „Der Moment, in dem die KI das Gemüse vermasselt hat") nehmen und als „Testfall" speichern. Jetzt führt das Toolkit jedes Mal, wenn Sie Ihr Rezept ändern, automatisch diesen spezifischen Testfall aus, um zu sehen, ob Sie das Problem behoben oder verschlimmert haben.
- Der Vorteil: Es behandelt das KI-Testen genauso wie einen Standard-Softwaretest. Sie müssen kein Mathematik-Genie oder KI-Experte sein, um es zu tun; Sie klicken einfach auf einen Button, und es führt eine Reihe von Prüfungen für Sie durch.
3. Der „Ein-Klick"-Workflow
Die größte Innovation ist, dass dies innerhalb des Tools passiert, das Entwickler bereits verwenden.
- Die Analogie: Anstatt ein ganz neues Labor einzurichten, ein neues Team zu engagieren und eine neue Sprache zu lernen, um Ihr Kochen zu testen, fügt das Toolkit einfach ein paar neue Buttons zu Ihrer bestehenden Küchenarbeitsplatte hinzu.
- Der Vorteil: Entwickler müssen nicht den Kontext wechseln. Sie führen ihren Code aus, sehen den „Film" dessen, was passiert ist, und speichern einen Testfall, alles ohne jemals einen Webbrowser zu öffnen.
Was sie herausfanden
Das Team testete diese neue „smarte Schürze" mit echten Entwicklern:
- Hohe Interessen: Als Entwickler einen Pop-up sahen, der ihnen vorschlug, es direkt nach dem Klicken auf „Ausführen" zu installieren, installierten etwa 58 % es sofort.
- Tatsächliche Nutzung: Einmal installiert, nutzten etwa 40 % dieser Benutzer es tatsächlich, um ihren ersten „Film" (Trace) aufzuzeichnen.
- Haltbarkeit: Menschen, die es nutzten, blieben dabei. Sie deinstallierten es nicht. Dies deutet darauf hin, dass das Vorhandensein dieser Tools genau dort, wo sie arbeiten, einen großen Unterschied macht.
Der Haken (Einschränkungen)
Das Papier gibt zu, dass diese „smarte Schürze" derzeit nur zu einer bestimmten Art von „Sous-Chef" passt (ein Framework namens LangGraph). Wenn ein Entwickler ein anderes KI-Framework verwendet, kann das Toolkit sie noch nicht sehen. Das Team plant, es bald mit mehr Frameworks kompatibel zu machen.
Das Fazit
Dieses Papier argumentiert, dass wir, um die KI-Entwicklung zuverlässig zu machen, aufhören müssen, sie wie ein mysteriöses Wissenschaftsexperiment zu behandeln, das in einem separaten Labor stattfindet. Stattdessen müssen wir die Werkzeuge für Beobachtung und Testing direkt in den täglichen Arbeitsbereich des Entwicklers bringen. Indem wir es einfach machen, die KI zu „beobachten" und ihre Rezepte direkt dort zu „testen", wo der Code geschrieben wird, können sogar Entwickler, die keine KI-Experten sind, bessere, zuverlässigere KI-Funktionen entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.