Machine Learning in the Wild: Early Evidence of Non-Compliant ML-Automation in Open-Source Software
Diese Studie untersucht die Nutzung von Machine-Learning-Modellen in 173 Open-Source-Projekten auf GitHub, um potenzielle Verstöße gegen Nutzungsbedingungen und Vorschriften sowie das Fehlen notwendiger Risikominderungsmaßnahmen in autonomen Systemen aufzudecken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen ein riesiges, globales Werkzeugkasten-Regal, gefüllt mit tausenden von offenen Schränken. Jeder Schrank ist ein Software-Projekt, das von Entwicklern auf der ganzen Welt erstellt wurde. In den letzten Jahren haben diese Entwickler angefangen, in ihre Schränke „künstliche Intelligenz" (KI) zu packen – quasi wie kleine, super-intelligente Roboter-Assistenten, die Aufgaben erledigen sollen.
Die Autoren dieses Papiers, Zohaib Arshid und sein Team von der Universität Sannio in Italien, haben sich dieses Regal genauer angesehen. Sie wollten wissen: Werden diese Roboter-Assistenten wirklich eingesetzt, um wichtige Entscheidungen zu treffen, und halten sie sich dabei an die Regeln?
Hier ist die Geschichte ihrer Entdeckungen, erzählt mit ein paar einfachen Vergleichen:
1. Das große Experiment: Wer steuert das Auto?
Die Forscher haben 173 dieser „Schrank-Projekte" untersucht, die in 16 verschiedenen Bereichen tätig sind – von der Medizin über autonomes Fahren bis hin zu Finanzgeschäften.
Stellen Sie sich vor, Sie geben einem Roboter die Aufgabe, ein Auto zu fahren oder einen Patienten zu diagnostizieren.
- Die gute Nachricht: Die meisten Projekte (40 von 45, die KI für Entscheidungen nutzten) waren nicht so dumm, den Roboter einfach alles machen zu lassen. Sie haben eine Art „Sicherheitsgurt" eingebaut.
- Die Analogie: Es ist, als würden Sie einem Autopiloten nicht erlauben, einfach loszufahren, ohne dass ein menschlicher Fahrer daneben sitzt und die Bremsen im Auge behält. Oder als würde ein Koch (der Roboter) einen Salat werfen, aber ein erfahrener Küchenchef (der Mensch) prüft vorher, ob die Zutaten noch frisch sind.
- Die Ergebnisse: Viele Projekte nutzen KI, um Dinge zu empfehlen (wie ein smarter Einkaufsberater) oder Systeme zu steuern (wie ein selbstfahrendes Auto). Aber oft gibt es noch einen menschlichen „Kontrolleur", der sagt: „Moment mal, das sieht komisch aus, ich prüfe das nochmal."
2. Der „Sicherheitsgurt": Was passiert nach der KI-Entscheidung?
Wenn die KI eine Entscheidung trifft (z. B. „Bremse jetzt!" oder „Dieser Patient hat eine Krankheit"), passiert das nicht immer sofort. Die Forscher haben gesehen, dass die Entwickler oft eine Art „Zwischenschritt" einbauen.
- Die Analogie: Stellen Sie sich vor, die KI ist ein sehr schneller, aber manchmal etwas chaotischer Übersetzer. Bevor er den Text an den Chef weitergibt, läuft er ihn durch einen Filter:
- Format-Check: „Hast du die richtige Form?" (Wie ein Brief, der nicht zerknüllt sein darf).
- Logik-Check: „Macht das überhaupt Sinn?" (Ein Roboter darf nicht vorschlagen, ein Auto mit 500 km/h durch eine Fußgängerzone zu fahren).
- Vertrauens-Check: „Bist du dir zu 90 % sicher?" Wenn die KI nur zu 50 % sicher ist, wird die Entscheidung blockiert.
Nur 5 der untersuchten Projekte ließen die KI völlig unkontrolliert entscheiden. Das ist wie ein Auto ohne Bremsen – sehr gefährlich!
3. Das große Problem: Die versteckten Verbote
Hier wird es kritisch. Jede KI hat eine „Benutzungsanleitung" (die sogenannten Terms of Use oder Nutzungsbedingungen). Diese sagen oft: „Du darfst mich nicht für medizinische Diagnosen nutzen" oder „Du darfst mich nicht für rechtliche Ratschläge verwenden, es sei denn, ein Anwalt prüft das."
Die Forscher haben entdeckt, dass über die Hälfte (56 %) der Projekte diese Regeln bricht.
- Die Analogie: Stellen Sie sich vor, Sie haben einen sehr talentierten, aber strengen Koch namens „GPT". Er sagt: „Ich koche gerne für dich, aber ich darf keine Medikamente mischen oder Gesetze schreiben."
- Viele Entwickler nehmen diesen Koch aber und lassen ihn genau das tun: Sie lassen ihn Rezepte für Medikamente schreiben oder Gesetze für Banken ausarbeiten, ohne dass jemand anderes nachschaut.
- Es ist, als würden Sie einen Koch, der nur Pizza macht, bitten, eine Herzoperation durchzuführen, nur weil er sehr schnell ist. Die Anleitung sagt „Nein", aber die Entwickler machen es trotzdem.
Besonders häufig passiert das bei den großen, proprietären KIs (wie GPT von OpenAI oder Gemini von Google). Bei den offenen Modellen (die jeder frei nutzen kann) war das weniger ein Problem, einfach weil deren Regeln oft weniger streng oder weniger klar formuliert sind.
Warum ist das wichtig?
Die EU hat ein neues Gesetz (den EU AI Act), das sagt: „Wenn KI in gefährlichen Bereichen wie Medizin, Justiz oder Autos eingesetzt wird, muss ein Mensch immer die letzte Kontrolle haben."
Die Studie zeigt uns, dass viele Open-Source-Entwickler diese Regeln noch nicht wirklich verstehen oder befolgen. Sie bauen hochriskante Systeme, bei denen die KI die Hauptentscheidung trifft, ohne dass die gesetzlichen Sicherheitsvorkehrungen (wie menschliche Aufsicht) eingebaut sind.
Fazit in einem Satz
Die Forscher sagen im Grunde: „Wir haben gesehen, dass viele Entwickler ihre KI-Roboter in gefährliche Situationen schicken, ohne die Sicherheitsgurte anzulegen und ohne die Bedienungsanleitung zu lesen. Das muss sich ändern, bevor jemand zu Schaden kommt."
Dieser Bericht ist ein erster Weckruf, um Regeln zu schaffen und Werkzeuge zu bauen, die automatisch prüfen, ob Software-Entwickler die KI-Regeln einhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.