How Humans, Bots, and Agents Communicate About Vulnerabilities in Pull Requests
Dieser registrierte Bericht skizziert eine groß angelegte empirische Studie, die untersucht, wie Menschen, Bots und Coding-Agenten über Schwachstellen in Pull Requests kommunizieren, indem sie sowohl explizite Identifikatoren als auch implizite Sicherheitssprache über verschiedene Projektartefakte hinweg analysiert, um deren Auswirkungen auf Review-Ergebnisse zu verstehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, globale Baustelle vor, auf der tausende Teams ständig digitale Wolkenkratzer (Software) bauen und reparieren. In dieser Welt gibt es drei Arten von Arbeitern: Menschen (die ursprünglichen Architekten), Bots (automatisierte Roboter, die Routineaufgaben wie das Aktualisieren von Materialien übernehmen) und Coding Agents (intelligente KI-Assistenten, die in der Lage sind, aus eigener Kraft neue Baupläne zu entwerfen).
Dieses Papier ist ein „Registered Report“, was bedeutet, dass es ein detaillierter Plan für eine Studie ist, die die Forscher gerade erst durchführen wollen. Sie möchten verstehen, wie diese drei Arten von Arbeitern über Sicherheitsrisiken (Schwachstellen) sprechen, wenn sie Änderungen an den Bauplänen (Pull Requests) einreichen.
Hier ist die Aufschlüsselung ihres Plans unter Verwendung einfacher Analogien:
1. Die zwei Arten, wie Arbeiter über Gefahr sprechen
Wenn ein Arbeiter einen Riss in der Wand oder einen schwachen Balken findet, muss er dies melden. Die Forscher haben festgestellt, dass Arbeiter dies auf zwei sehr unterschiedliche Arten tun:
Die Methode mit dem „Offiziellen Ausweis“ (Explizite Referenzen):
Manchmal weist ein Arbeiter auf eine spezifische Gefahr hin und sagt: „Dies ist CVE-2024-1234.“ Es ist, als würde man einen Barcode oder eine Seriennummer vorzeigen. Jeder weiß genau, was diese spezifische Nummer bedeutet, weil sie in einer riesigen, offiziellen Datenbank gelistet ist.- Die Beobachtung des Papers: Frühere Studien haben sich hauptsächlich auf diese „Ausweise“ konzentriert.
Die Methode der „Lässigen Warnung“ (Implizite Signale):
Andere Male sagt ein Arbeiter einfach: „Hey, diese Tür könnte Unbefugten den Zutritt ermöglichen“ oder „Dieses Rohr sieht so aus, als könnte es SQL-Daten lecken.“ Er beschreibt das Problem in einfachem Englisch, ohne eine spezifische ID-Nummer zu verwenden.- Die Beobachtung des Papers: Die Forscher vermuten, dass wir durch das Ignorieren dieser „lässigen Warnungen“ einen riesigen Teil der Sicherheitsgespräche übersehen.
2. Die große Frage: Wer sagt was?
Die Forscher wollen wissen: Reden Menschen, Bots und KI-Agents unterschiedlich über Sicherheit?
- Nutzen KI-Agents (die Neulinge auf dem Gebiet) mehr „Offizielle Ausweise“, weil sie darauf programmiert sind, präzise zu sein?
- Verlassen sich Menschen eher auf „Lässige Warnungen“, weil sie den Kontext besser verstehen?
- Halten sich Bots strikt an die Regeln und verwenden nur die IDs?
3. Die drei Dinge, die sie untersuchen wollen
Die Studie basiert auf drei Hauptfragen (Research Questions):
RQ1: Die Verteilung (Wer spricht?)
Sie werden zählen, wie oft jeder Typ von Arbeiter „Offizielle IDs“ gegenüber „Lässigen Warnungen“ in verschiedenen Teilen der Konversation (im Titel der Anfrage, in der Beschreibung oder in den Kommentaren) verwendet.- Analogie: Es ist wie das Zählen, wie oft der Architekt, der Roboter und der KI-Assistent einen formellen Sicherheitscode verwenden oder stattdessen einfach nur im Pausenraum „Pass auf!“ rufen.
RQ2: Der Realitätscheck (Ist die Gefahr real?)
Dies ist der kritischste Teil. Nur weil jemand sagt, dass eine Gefahr besteht, heißt das noch lange nicht, dass auch eine existiert.- Die Forscher werden einen „Sicherheitsscanner“ (ein Tool namens Semgrep) verwenden, um die tatsächlichen Code-Änderungen zu untersuchen.
- Sie wollen sehen: Wenn eine KI sagt: „Ich habe eine Sicherheitslücke behoben“, hat sie dann tatsächlich eine Lücke behoben? Oder hat sie nur eine Behauptung aufgestellt, die nicht der Wahrheit entspricht?
- Analogie: Wenn ein Arbeiter sagt: „Ich habe die Brücke verstärkt“, werden die Forscher die Brücke physisch inspizieren, um zu sehen, ob sie tatsächlich stärker ist oder ob der Arbeiter lediglich einen Riss übermalt hat.
RQ3: Die Reaktion (Wie reagieren die Leute?)
Wie beeinflusst die Art und Weise, wie eine Gefahr beschrieben wird, die Reaktion des Teams?- Wenn ein Arbeiter eine formelle „Offizielle ID“ verwendet, vertrauen die Prüfer der Änderung schneller und führen sie schneller zusammen (merge)?
- Wenn ein Arbeiter eine „Lässige Warnung“ nutzt, führt dies zu längeren Debatten, mehr Fragen oder wird die Änderung abgelehnt, weil sie schwerer zu verifizieren ist?
- Analogie: Hört der Bauleiter sofort zu, wenn man ihm einen Barcode zeigt, oder lässt er einen warten, während man darüber streitet, ob die Beschreibung des Lecks korrekt ist?
4. Wie sie es machen (Das Toolkit)
- Der Datensatz: Sie verwenden eine riesige Sammlung von über 33.000 Pull Requests aus populären Open-Source-Projekten. Dazu gehört die Arbeit bekannter KI-Agents wie GitHub Copilot, Devin und Cursor.
- Die Erkennung:
- Für „Offizielle IDs“ werden sie eine digitale Lupe (Reguläre Ausdrücke) verwenden, um Muster wie „CVE-...“ oder „GHSA-...“ zu finden.
- Für „Lässige Warnungen“ werden sie eine Liste von Sicherheits-Keywords (wie „insecure“, „hack“, „bypass“) verwenden, um Diskussionen in natürlicher Sprache zu finden.
- Die Verifizierung: Da Computer Fehler machen können, werden sie eine intelligente KI (Gemini) und menschliche Experten nutzen, um eine Stichprobe der Funde zu überprüfen, um sicherzustellen, dass die „Gefahrensignale“ echt sind.
5. Die Grenzen (Was diese Studie nicht aussagt)
Die Forscher sind sehr ehrlich über die Grenzen ihrer Studie:
- Sie schauen nur auf populäre Projekte (jene mit vielen „Stars“ oder Followern). Kleine, ruhige Projekte könnten andere Regeln haben.
- Sie schauen nur auf GitHub. Sie prüfen keine privaten E-Mails, Chaträume oder andere Websites, auf denen Sicherheitsfragen diskutiert werden könnten.
- Sie betrachten die Konversation und den Code, können aber nicht garantieren, dass ihr „Sicherheitsscanner“ wirklich jede mögliche Schwachstelle in der Welt erfasst.
Zusammenfassung
Kurz gesagt ist dieses Papier ein Bauplan für eine Studie, die fragt: Wie sprechen Menschen, Roboter und KI in der digitalen Baustelle der Zukunft über Sicherheit? Verwenden sie formelle Codes oder einfache Sprache? Und beeinflusst die Art und Weise, wie sie sprechen, ob ihre Sicherheitsbehauptungen geglaubt oder umgesetzt werden? Das Ziel ist es, sicherzustellen, dass wir die „lässigen Warnungen“ nicht ignorieren, nur weil ihnen kein Barcode beigefügt ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.