AI Policy, Disclosure, and Human in the Loop: How Are Contribution Guidelines Adapting to GenAI?
Diese empirische Studie von 1.000 GitHub-Repositories zeigt, dass zwar die Mehrheit der Open-Source-Projekte mittlerweile KI-gestützte Beiträge zulässt, die meisten jedoch strikte Anforderungen für die Offenlegung der KI-Nutzung und die Aufrechterhaltung menschlicher Aufsicht im Entwicklungsprozess durchsetzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Softwareentwicklung als eine riesige, geschäftige Stadt vor, in der Millionen von Menschen ständig an einem gigantischen, gemeinsamen Wolkenkratzer namens „Open Source“ bauen, ihn reparieren und erweitern. Jahrelang funktionierte diese Stadt nach einer einfachen Regel: Wenn man ein neues Zimmer hinzufügen oder ein kaputtes Fenster reparieren will, muss man die Arbeit selbst erledigen, und die freiwilligen Inspektoren der Stadt (die sogenannten „Maintainer“) prüfen Ihre Baupläne, um sicherzustellen, dass sie sicher sind. Aber vor kurzem ist eine neue Art von Baucrew eingetroffen: Generative KI. Betrachten Sie diese als superschnelle, magische Roboter, die in Sekundenschnelle ganze Baupläne entwerfen können. Während dies wie ein Traum klingt, hat es einen Verkehrsstau verursacht. Die Roboter sind so schnell, dass sie die Stadt täglich mit Tausenden neuer Baupläne überfluten und so die menschlichen Inspektoren überfordern. Einige dieser von Robotern entworfenen Pläne sind brillant, aber andere sind „KI-Slop“ – unordentliche, minderwertige Entwürfe, die auf den ersten Blick ganz ordentlich aussehen, aber in sich zusammenbrechen, wenn man versucht, mit ihnen zu bauen. Die große Frage für die Stadt ist nicht mehr nur: „Können wir bauen?“, sondern: „Wie lassen wir die Roboter helfen, ohne dass sie die Baustelle übernehmen?“
Dieses Paper taucht genau in diese Frage ein, indem es die „Regelbücher“ (Beitragsrichtlinien) von 1.000 der populärsten Softwareprojekte auf GitHub untersucht. Die Forscher wollten sehen, wie sich diese Projekte an die Roboter-Arbeftsgruppe anpassen. Sie fanden heraus, dass die meisten Projekte die Roboter nicht verbieten; stattdessen versuchen sie, ein „Human-in-the-Loop“-System einzurichten. Stellen Sie sich eine Baustelle vor, auf der der Roboter den Beton mischen und die Ziegel legen kann, aber ein menschlicher Vorarbeiter direkt daneben stehen muss, den Kelle in der Hand, jeden Schritt versteht und die Arbeit abzeichnet, bevor sie Teil des Gebäudes wird. Die Studie analysierte 118 spezifische Regelbücher, die KI erwähnen, und entdeckte ein klares Muster: Während 78 % der Projekte sagen: „Ja, du darfst KI verwenden“, verlangen sie fast immer zwei Dinge. Erstens: Du musst die Hand heben und sagen: „Ich habe einen Roboter dafür benutzt“ (Offenlegung). Zweitens: Du musst beweisen, dass du, der Mensch, tatsächlich verstehst, was der Roboter gebaut hat (Human in the Loop).
Die Forscher fanden heraus, dass 5-1 % der Projekte explizit verlangen, dass man offenlegt, wenn man KI verwendet hat, was sie wie ein Sicherheitsetikett auf einer Lebensmittelverpackung behandeln. Sie wollen, dass die Inspektoren wissen: „Hey, dieser Teil wurde von einer KI entworfen, also bitte überprüfe ihn doppelt.“ Weitere 27 % erlauben KI, freuen sich aber nicht ausdrücklich darüber, während eine kleinere Gruppe (22 %) sagt: „Keine Roboter erlaubt; wir wollen 100 % menschengemachten Code.“ Die auffälligste Erkenntnis ist jedoch, dass 74 % der Projekte darauf bestehen, dass ein Mensch im Prozess involviert ist (Human in the Loop). Das bedeutet, dass selbst wenn ein Roboter den Code schreibt, ein Mensch ihn lesen, verstehen und die volle Verantwortung dafür übernehmen muss. Das Paper legt nahe, dass die Stadt ohne diese menschliche Aufsicht Gefahr läuft, von „KI-Slop“ überflutet zu werden – minderwertigem Code, der die Zeit aller verschwendet.
Interessanterweise stellt das Paper fest, dass viele Projekte zwar diese Regeln haben, die Anweisungen aber manchmal etwas vage sind. Einige Regelbücher sagen: „Offenlegen, wenn die KI einen signifikanten Teil der Arbeit geleistet hat“, aber sie definieren nicht immer genau, was „signifikant“ bedeutet. Es ist, als würde ein Lehrer sagen: „Sag mir Bescheid, wenn du einen Taschenrechner benutzt hast“, aber nicht sagen, ob das bedeutet, dass man ihn für eine einzige Matheaufgabe oder für den gesamten Test benutzt hat. Die Autoren schlagen vor, dass Projekte präziser werden müssen, um Verwirrung zu vermeiden. Sie warnen auch davor, dass einige Projekte versuchen, minderwertige KI-Einreichungen durch automatisches Schließen zu blockieren, was aber versehentlich echte menschliche Mitwirkende verärgern könnte, die lediglich KI-Tools nutzen. Letztendlich kommt das Paper zu dem Schluss, dass die Zukunft von Open Source nicht die Wahl zwischen Menschen und Robotern ist, sondern sicherzustellen, dass der Mensch fest am Steuer sitzt und den Roboter als ein mächtiges Werkzeug nutzt, anstatt ihn das Auto fahren zu lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.