Verifier Warnings Do Not Improve Comprehensibility Prediction
Obwohl eine Korrelation zwischen Verifizierungsfehlermeldungen und der Code-Verständlichkeit besteht, zeigt diese Studie, dass die Einbeziehung der Anzahl dieser Warnungen als Merkmal die Vorhersagegenauigkeit von Machine-Learning-Modellen zur Bewertung der Code-Verständlichkeit nicht signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Rätsel der „schwierigen Gebrauchsanweisungen“: Warum Computer-Warnungen uns nicht helfen, Code zu verstehen
Stellen Sie sich vor, Sie stehen vor einem riesigen, komplizierten IKEA-Regal. Sie haben eine Anleitung, aber sie ist so schlecht geschrieben, dass Sie nicht wissen, ob Sie Schraube A oder B nehmen sollen. Das ist genau das Problem, das Softwareentwickler jeden Tag haben: Manchmal ist der Programmcode (die „Anleitung“ für den Computer) so verwirrend, dass man Stunden braucht, um ihn zu verstehen.
Die Ausgangslage: Die „Detektive“ der Software
Forscher versuchen seit Jahren, mit Künstlicher Intelligenz (KI) vorherzusagen, welche Code-Abschnitte „leicht“ und welche „schwer“ zu lesen sind. Bisher haben sie dafür zwei Arten von Hinweisen benutzt:
- Die Optik (Syntaktische Merkmale): Wie lang ist der Text? Wie viele Klammern gibt es? Wie viele Leerzeilen sind da? (Das ist so, als würde man sagen: „Ein Buch mit 500 Seiten ist wahrscheinlich schwerer zu lesen als eines mit 10 Seiten.“)
- Der Autor (Entwickler-Merkmale): Wer hat es geschrieben? Ein Profi oder ein Student? (Das ist wie: „Ein Text von einem Professor ist vielleicht komplizierter als ein Kinderbuch.“)
Die neue Idee: Die „Fehlersuch-Warnungen“
Vor kurzem gab es eine spannende Theorie: Was ist, wenn wir spezielle „Prüf-Werkzeuge“ (sogenannte Verifier) benutzen? Diese Werkzeuge sind wie extrem strenge Korrektoren. Sie scannen den Code und geben Warnungen aus, wenn sie etwas Unlogisches finden.
Die Theorie lautete: „Wenn der strenge Korrektor viele rote Linien unter den Text zieht, muss der Text für den Menschen auch besonders schwer zu verstehen sein.“ Man dachte, diese Warnungen lieferten eine Art „Geheimtipp“ über die Tiefe und Komplexität des Codes, den die reine Optik nicht erfassen kann.
Das Experiment: Der Test der Theorie
Die Forscher aus den USA (William & Mary und NJIT) haben das nun getestet. Sie haben eine KI mit den alten Hinweisen (Optik & Autor) trainiert und dann eine zweite KI mit dem „Geheimtipp“ (den Korrektur-Warnungen) gefüttert. Sie wollten wissen: Wird die zweite KI dadurch schlauer und kann die Schwierigkeit besser vorhersagen?
Das Ergebnis: Ein „Nieten“-Urteil
Die Antwort der Forscher ist überraschend: Nein.
Es ist, als würde man versuchen, die Schwierigkeit eines Kochrezepts vorherzusagen. Man hat die KI mit der Anzahl der Seiten und der Erfahrung des Kochs trainiert. Dann hat man ihr zusätzlich gesagt: „Achtung, der Gesundheitskontrolleur hat hier drei Warnungen wegen Hygiene aufgeschrieben!“
Man hätte glauben können, dass die KI nun besser versteht, dass das Rezept kompliziert ist. Aber die Ergebnisse zeigten: Die KI wurde nicht besser. Die Warnungen der Korrektoren halfen der KI nicht dabei, die menschliche Verwirrung besser vorherzusagen.
Warum ist das so? (Die Metapher)
Die Forscher vermuten, dass das menschliche Gehirn beim Lesen von Code auf eine ganz andere, viel subtilere Weise arbeitet.
Ein Korrektur-Werkzeug ist wie ein Roboter, der nur nach formalen Regeln sucht (z. B. „Hier fehlt ein Punkt“). Ein Mensch aber versteht die Logik und den Zusammenhang. Ein Code kann formal perfekt sein (keine Warnungen), aber trotzdem so unlogisch geschrieben sein, dass ein Mensch trotzdem verzweifelt. Umgekehrt kann ein Code Warnungen auslösen, die für einen erfahrenen Menschen völlig trivial sind. Die Warnungen sind also ein zu „stumpfes Werkzeug“, um die feinen Nuancen des menschlichen Verstandes zu treffen.
Was bedeutet das für die Zukunft?
Die Forscher sagen: Wir können nicht einfach nur „Warnungen zählen“, um zu wissen, ob Code gut ist. Wir müssen tiefer graben. Wir brauchen vielleicht KI-Modelle, die nicht nur zählen, wie oft ein Fehler vorkommt, sondern die wirklich verstehen, wie die „Geschichte“ des Codes erzählt wird.
Kurz gesagt: Die roten Linien des Korrektors sagen uns zwar, ob der Text Fehler hat, aber sie sagen uns leider nicht, ob er uns den Kopf zerbrechen lässt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.