Correctness, confidence, and context: Framing software assurance in the AI age

Das große Software-Rätsel: Warum „Perfektion“ nicht das Ziel ist

Stellen Sie sich vor, Sie bauen eine riesige, unsichtbare Burg aus Logik und Anweisungen. Das ist es, was Softwareentwickler jeden Tag tun. Sie schreiben Code, um Computer Dinge tun zu lassen – vom Bestellen einer Pizza bis hin zum Fliegen von Flugzeugen. Lange Zeit war der Traum, diese Burgen so perfekt zu bauen, dass sie niemals, wirklich niemals einen Fehler machen könnten. Ingenieure wollten mathematisch beweisen, dass jeder einzelne Ziegelstein an der richtigen Stelle sitzt. Aber hier liegt der Haken: Die reale Welt ist chaotisch. Sie ist voller ungeschriebener Regeln, kultureller Gewohnheiten und „gesunden Menschenverstand“, den man nicht in einer Liste von Anweisungen festhalten kann.

Nun ist ein neuer Typ von Helfer eingetroffen: Künstliche Intelligenz (KI). Diese KI ist unglaublich geschickt darin, zu erraten, was als Nächstes kommt – wie ein superschneller Ratender, der fast jedes Buch gelesen hat, das jemals geschrieben wurde. Aber im Gegensatz zu den traditionellen Ingenieuren, die Dinge beweisen wollten, arbeitet diese KI auf Basis von Wahrscheinlichkeiten. Sie sagt: „Ich bin mir zu 90 % sicher, dass dies die richtige Antwort ist“, anstatt zu sagen: „Ich weiß mit Sicherheit, dass dies die richtige Antwort ist.“ Dies schafft ein großes Problem: Wie können wir einem System vertrauen, das auf Vermutungen basiert, wenn wir absolute Sicherheit und Sicherheit benötigen? Dies ist das Rätsel, das Mary Shaw lösen möchte. Sie will unser Verständnis von „Korrektheit“ in der Software verändern – weg vom unmöglichen Traum der Perfektion, hin zu einem praktischeren, ingenieurtypischen Ansatz, bei dem es darum geht, sicherzustellen, dass Dinge für die jeweilige Aufgabe „gut genug“ sind.

---

Die Kernidee des Papers: Von „Perfekt“ zu „Gut genug“

In dieser Keynote-Präsentation für Softwareentwickler argumentiert Mary Shaw, dass wir aufhören müssen zu versuchen, unsere Software zu 100 % perfekt zu beweisen, und statfangen sollten, uns darauf zu konzentrieren, ob sie für ihren Zweck geeignet ist. Sie schlägt vor, dass die alte Denkweise – zu versuchen, eine perfekte Menge an Regeln zu schreiben, um zu beweisen, dass ein Programm korrekt ist – veraltet ist, besonders jetzt, da wir KI nutzen.

Hier ist die Geschichte ihres Arguments, unterteilt in einfache Abschnitte:

1. Das Schatten-Problem: Was die KI nicht sehen kann

Stellen Sie sich vor, Sie versuchen, einem Freund, der noch nie einen faltbaren Papierbecher gesehen hat, diesen zu beschreiben. Sie können ihm nur die Schatten zeigen, die er an eine Wand wirft. Von vorne betrachtet sieht der Schatten wie ein Quadrat aus. Von der Seite sieht er aus wie ein Dreieck. Von oben sieht er aus wie ein Kreis. Wenn Sie nur die Schatten hätten, würden Sie vielleicht vermuten, dass es ein seltsamer Block ist, aber Sie würden die Tatsache übersehen, dass es ein Becher ist, der Wasser halten kann.

Shaw sagt, dass KI-Modelle wie dieser Freund sind, der die Schatten betrachtet. Sie werden mit „digitalen Schatten“ trainiert – den Texten, dem Code und den Daten, die online existieren. Aber die reale Welt ist voll von implizitem Wissen (tacit knowledge): Dinge, die wir wissen, aber nicht aufschreiben. Dazu gehören die „Vibe“ eines Arbeitsplatzes, die ungeschriebenen Regeln einer Kultur oder das Bauchgefühl eines erfahrenen Mechanikers, wenn er ein seltsames Geräusch in einem Motor hört. Weil dieses Wissen nicht aufgeschrieben ist, kann die KI es nicht sehen. Sie sieht nur den Schatten, nicht das reale Objekt. Wenn eine KI versucht, Software zu bauen, übersieht sie möglicherweise diese entscheidenden, unsichtbaren Details, was zu Fehlern führt, die ein menschlicher Experte sofort bemerkt hätte.

2. Der „Cargo-Kult“ des Codierens

Shaw erzählt die Geschichte von Menschen auf Inseln, die sahen, wie während eines Krieges Flugzeuge mit Lebensmitteln landeten. Als der Krieg endete und die Flugzeuge ausblieben, bauten die Einheimischen Bambus-Kontrolltürme und marschierten in Formation, in der Hoffnung, die Flugzeuge zurückzurufen. Sie kopierten die Schatten der Aktivität (das Marschieren, die Türme), aber sie verstanden nicht die wirkliche Ursache (die Logistik und die Planung des Militärs).

Sie warnt davor, dass die Nutzung von KI zum Schreiben von Code manchmal zu einem „Cargo-Kult“ werden kann. Wir könnten die KI bitten, Code zu schreiben, der richtig aussieht (der Schatten), ohne zu verstehen, warum der Code im Kern so sein muss (der Grund). Wenn wir nur nach „Vibe Coding“ fragen (Code schreiben, der auf einem Gefühl oder einem einfachen Prompt basiert), ohne die verborgenen Regeln zu verstehen, bauen wir unter Umständen Systeme, die zwar gut aussehen, aber zusammenbrechen, sobald reale Probleme auftreten.

3. „Zeugnisse“ statt „Spezifikationen“

Traditionell versuchen Ingenieure, eine perfekte „Spezifikation“ zu schreiben – ein riesiges, starres Regelwerk, das genau festlegt, was die Software tun muss. Shaw schlägt vor, dass dies unmöglich ist, da sich die Welt verändert und wir nicht alles vorhersehen können.

Stattdessen schlägt sie vor, Software wie eine Person zu behandeln, die sich auf eine Stelle bewirbt. Wir brauchen nicht ihre gesamte Lebensgeschichte; wir brauchen nur ihre Qualifikationen bzw. Zeugnisse (credentials).

• Ein Taucher zeigt eine Karte mit der Aufschrift: „Ich kann bis zu 30 Meter tief tauchen.“
• Ein Pilot zeigt eine Lizenz mit der Aufstellung: „Ich kann dieses Flugzeug fliegen.“
• Ein Softwaresystem sollte ein „Zeugnis“ vorweisen können, das besagt: „Ich bin zu 90 % zuversichtlich, dass ich 1.000 Nutzer handhaben kann“ oder „Ich wurde getestet, um für diese spezifische Aufgabe sicher zu sein.“

Diese Zeugnisse sind keine perfekten Beweise; sie sind ehrliche Aussagen darüber, wie sicher wir uns sind, woher dieses Vertrauen stammt und wo die Grenzen liegen. Es ist eine Art zu sagen: „Wir haben das geprüft, und hier ist, wie sicher wir uns sind.“

4. Die Wahl des Ingenieurs: Satisficing

Das Paper legt nahe, dass wir aufhören sollten, nach Perfektion zu streben, und stattdessen mit Satisficing beginnen sollten. Dies ist ein Fachbegriff für „eine Lösung finden, die gut genug ist“.

• Wenn Sie ein Spiel entwickeln, benötigen Sie vielleicht keine 100 %ige Perfektion. Ein paar Fehler sind akzeptabel, wenn das Spiel Spaß macht und kostengünstig zu erstellen ist.
• Wenn Sie ein medizinisches Gerät entwickeln, benötigen Sie ein viel höheres Maß an Zuverlässigkeit.

Shaw argumentt, dass Ingenieure wie echte Ingenieure handeln sollten: Sie sollten die Kosten, das Risiko und den Zweck betrachten und dann die richtige Mischung aus Werkzeugen wählen, um die Aufgabe zu erfüllen. Manchmal ist es günstiger, ein Problem zu beheben, nachdem es aufgetreten ist, als zu versuchen, es jemals ganz zu verhindern. Das Ziel ist nicht die Eliminierung aller Fehler (was unmöglich ist); das Ziel ist das Management des Risikos, damit das System für seinen spezifischen Job sicher und nützlich ist.

Was das für die Zukunft bedeutet

Mary Shaw sagt nicht, dass KI schlecht ist. Sie sagt, dass wir KI nicht wie einen Zauberstab behandeln können, der alles löst. Wir müssen klüger darin werden, wie wir sie einsetzen. Wir müssen akzeptieren, dass KI auf Vermutungen (Statistiken) basiert und dass sie die unsichtbaren „Schatten“ der menschlichen Kultur und Erfahrung nicht sehen kann.

Ihre Hauptbotschaft ist ein Aufruf an die Software-Community: Hören wir auf vorzugeben, wir könnten alles perfekt beweisen. Lassen Sie uns stattdessen ehrliche Ingenieure sein. Lassen Sie uns Systeme bauen, bei denen wir genau wissen, worüber wir uns sicher sind, worüber nicht und warum. Indem wir dies tun, können wir KI nutzen, um bessere Software zu bauen, ohne in die Falle zu tappen, zu glauben, wir hätten das Unlösbare gelöst.

Kurz gesagt: Das Paper legt nahe, dass die Zukunft der Software nicht darin besteht, im Sinne eines Mathematik-Lehrbuchs „korrekt“ zu sein. Es geht darum, für den Zweck geeignet zu sein, die eigenen Grenzen zu kennen und kluge, kosteneffiziente Entscheidungen zu treffen, um unsere digitale Welt sicher am Laufen zu halten.