Stellen Sie sich vor, Sie versuchen, die Zukunft einer komplexen Maschine vorherzusagen, wie etwa eines selbstfahrenden Autos oder eines Roboters, der Obst pflückt. Um dies zu tun, verwenden Ingenieure eine „Landkarte“ der Wahrscheinlichkeiten, ein Markov-Modell. Betrachten Sie diese Landkarte als ein riesiges Brettspiel, bei dem jedes Feld ein Zustand ist, in dem sich die Maschine befinden kann, und die Würfelwürfe bestimmen, wie sie sich von einem Feld zum nächsten bewegt. Das Problem ist jedoch, dass man das Spiel korrekt spielen muss, indem man genau weiß, wie wahrscheinlich es ist, dass die Würfel auf jede einzelne Zahl landen. In der realen Welt sind dies die Übergangswahrscheinlichkeiten – wie etwa die Chance, dass ein Roboterarm abrutscht oder ein Server abstürzt.

Traditionell müssen Experten, um diese Zahlen zu ergänzen, die exakten Quoten für jeden einzelnen winzigen Schritt der Maschine erraten. Es ist, als würde man einen Koch bitten, die exakte Temperatur jedes einzelnen Reiskorns in einem Topf zu erraten, nur um zu wissen, wann das Abendessen fertig ist. Dies ist unglaublich schwierig, und wenn die Schätzung auch nur geringfügig falsch ist, kann die gesamte Vorhersage über die Zuverlässigkeit oder Geschwindigkeit der Maschine falsch sein. Hier kommt das Bayesianische Lernen ins Spiel. Es ist eine mathematische Methode, um die eigenen Vermutungen zu aktualisieren, sobald man neue Informationen erhält, aber es benötigt dennoch einen Ausgangspunkt, oder einen „Prior“, um zu funktionieren. Wenn diese erste Schätzung schlecht ist, wird auch das Endergebnis schlecht sein.

Hier kommt EPIK ins Spiel, ein neuer Ansatz, der von Simos Gerasimou und Xingyu Zhao vorgestellt wurde. Anstatt Experten zu zwingen, die winzigen, unsichtbaren Würfelwürfe innerhalb der Maschine zu erraten, fragt EPIK sie nach den großen, beobachtbaren Ergebnissen, die sie tatsächlich sehen können. Es ist, als würde man den Koch fragen: „Wie lange dauert es normalerweise, bis der Reis gar ist?“ oder „Wie oft kocht der Topf über?“, anstatt ihn nach der Temperatur jedes einzelnen Korns zu fragen. Die Forscher fanden heraus, dass sie durch die Verwendung dieser übergeordneten, realen Beobachtungen rückwärts arbeiten konnten, um die verborgenen Würfelwürfe mit wesentlich größerer Genauigkeit zu bestimmen. Sie testeten dies an einem Obstpflückroboter und einem Devisenhandelssystem und zeigten, dass diese Methode nicht nur funktioniert, sondern auch hilft, schwierige, schwer messbare Dinge wie den Energieverbrauch oder seltene Ausfälle vorherzusagen, zu denen bisher keine Daten vorlagen.

Die Kernidee: Die Würfel erraten, indem man das Spiel beobachtet

Das Paper befasst sich mit einem schwierigen Problem im Software Engineering: Wie stellen wir sicher, dass unsere Computermodelle komplexer Systeme genau sind? Wenn wir ein Modell eines Roboters oder eines Cloud-Dienstes erstellen, nutzen wir Mathematik, um Dinge wie „Wird es abstürzen?“ oder „Wie schnell wird es fertig sein?“ vorherzusagen. Aber diese Vorhersagen sind nur so gut wie die Zahlen, die wir hineinfüttern. Normalerweise sind dies die Wahrscheinlichkeiten dafür, dass das System von einem Zustand in einen anderen wechselt.

Die Autoren argumentieren, dass die Aufforderung an menschliche Experten, diese spezifischen, niedrigschwelligen Wahrscheinlichkeiten zu erraten, so ist, als würde man einen Menschen bitten, die exakte Windgeschwindigkeit an jedem einzelnen Blatt eines Baumes zu erraten, nur um vorherzusagen, ob ein Drachen fliegen wird. Das ist zu viel Detail, und Experten liegen oft falsch oder verfügen nicht über die Daten. Wenn die Ausgangszahlen falsch sind, scheitert der gesamte Verifizierungsprozess, was zu schlechten ingenieurtechnischen Entscheidungen führt.

EPIK: Der „Detektiv im Rückwärtsgang“

Das Paper stellt EPIK (Eliciting Prior Knowledge) vor, ein kluges Werkzeug, das die Perspektive umkehrt. Anstatt Experten zu fragen: „Wie hoch ist die Wahrscheinlichkeit, dass der Roboter beim Pflücken einer Frucht versagt?“, fragt EPIK: „Wie oft schafft es der Roboter Ihrer Erfahrung nach, eine Mission erfolgreich abzuschließen, und wie lange dauert dies im Durchschnitt?“

Dies sind Systemeigenschaften. Es sind die Ergebnisse auf hoher Ebene, die Experten tatsächlich verstehen und für die sie Daten haben. EPIK behandelt diese bekannten Ergebnisse als Hinweise. Es nutzt einen mathematischen Prozess namens Bayesianisches Lernen, um von diesen großen Hinweisen rückwärts zu arbeiten, um die verborgenen, winzigen Wahrscheinlichkeiten zu ermitteln, die sie verursacht haben.

So funktioniert der Prozess Schritt für Schritt:

1. Das Setup: Stellen Sie sich einen Roboter vor, der Früchte pflückt. Er hat einen „Zustand“, in dem er sich positioniert, einen Zustand, in dem er pflückt, und einen Zustand, in dem er entscheidet, es erneut zu versuchen oder aufzugeben. Die genaue Chance, dass er beim Pflücken einer Frucht scheitert, ist unbekannt (nennen wir dies die „verborgenen Würfel“).
2. Die Hinweise: Experten sagen zu EPIK: „Wir wissen aus 200 vergangenen Missionen, dass der Roboter in 80 % der Fälle erfolgreich ist und im Durchschnitt etwa 4,75 Sekunden benötigt.“ Dies sind die PK-informierten Eigenschaften (Prior Knowledge-informed).
3. Das Reverse Engineering: EPIK führt eine komplexe Suche durch (unter Verwendung von evolutionären Algorithmen, die wie digitale Versionen der natürlichen Selektion funktionieren), um die Menge der verborgenen Würfelwürfe zu finden, die jene 8-Prozent-Erfolgsquote und die 4,75-Sekunden-Ergebnisse am besten hervorbringen würden. Es findet nicht nur eine Antwort, sondern eine ganze Familie möglicher Antworten, die zu den Hinweisen passen.
4. Der Nutzen: Sobald EPIK die verborgenen Würfelwürfe basierend auf den bekannten Hinweisen ermittelt hat, kann es diese nutzen, um Dinge vorherzusagen, die wir noch nicht wissen. Dies sind sogenannte elusive Eigenschaften (schwer fassbare Eigenschaften). Zum Beispiel hat niemand jemals den Batterieverbrauch des Roboters für diese spezifische Aufgabe gemessen. Aber da EPIK nun weiß, wie sich der Roboter bewegt, kann es den wahrscheinlichen Batterieverbrauch berechnen, obwohl dies zuvor nie aufgezeichnet wurde.

Was die Experimente zeigten

Die Forscher testeten EPIK in zwei realen Szenarien: dem Obstpflückroboter und einem Devisenhandelssystem. Sie erstellten verschiedene Versionen dieser Systeme mit unterschiedlichen Komplexitätsgraden und unbekannten Variablen.

• Genauigkeit: Als sie die Vorhersagen von EPIK mit der „Ground Truth“ (den tatsächlich mathematisch korrekten Werten) verglichen, waren die Ergebnisse unglaublich nah beieinander. Der Unterschied zwischen EPIks Schätzung und der realen Antwort war minimal (weniger als 0,00389 in den Testfällen). Dies deutet darauf hin, dass EPIK in der Lage ist, die verborgenen Mechanismen eines Systems allein durch die Betrachtung des Gesamtbildes zuverlässig zu rekonstruieren.
• Der „Konflikt“-Test: Das Team testete auch, was passiert, wenn Experten widersprüchliche Ratschläge geben (z. B. sagt ein Experte, der Roboter sei sehr zuverlässig, während ein anderer sagt, er sei langsam). Sie fanden heraus, dass EPIK Schwierigkeiten hatte, eine perfekte Übereinstimmung zu finden, wenn die Hinweise widersprüchlich waren, und dass der „Fehler“ in seinen Schätzungen anstieg. Dies ist eine gute Sache, denn es fungt als Warnleuchte: Wenn die Hinweise nicht übereinstimmen, erkennt das Modell, dass etwas mit den Eingangsdaten nicht stimmt.
• Der „Elusive“-Sieg: Der spannendste Teil war die Verifizierung der „elusive“ Eigenschaften. Im Test mit dem Obstpflückroboter gab es zwar Daten zur Erfolgsquote und Zeit, aber keine Daten zum Energieverbrauch. EPIK nutzte die bekannten Daten, um den Energieverbrauch zu schätzen. Die resultierende Verteilung des Energieverbrauchs war eine vernünftige, gut begründete Schätzung, die Entscheidungsträger tatsächlich nutzen konnten, während man ohne EPIK eine blinde Schätzung hätte vornehmen oder das Problem ganz ignorieren müssen.

Warum das wichtig ist

Das Paper behauptet nicht, jedes Problem der Softwareverifizierung gelöst zu haben, aber es bietet einen leistungsstarken neuen Weg, um das Gespräch zu beginnen. Es legt nahe, dass wir nicht Experten für die mikroskopischen Details eines Systems sein müssen, um ein gutes Modell zu bauen; wir müssen lediglich Experten für die Ergebnisse des Systems sein.

Indem der Fokus von der Frage „Wie errate ich die Würfel?“ hin zur Beobachtung des „Spiels“ verschoben wird, macht EPIK es einfacher, vertrauenswürdige Modelle für komplexe Systeme wie selbstfahrende Autos, medizinische Geräte oder Cloud-Dienste zu erstellen. Es verwandelt die schwierige Aufgabe, jede einzelne Wahrscheinlichkeit zu definieren, in die handhabbarere Aufgabe, zu beschreiben, was wir bereits über das Verhalten des Systems in der realen Welt wissen. Und für die Dinge, die wir noch nicht wissen, bietet es eine mathematisch fundierte Möglichkeit für eine fundierte Schätzung statt einer bloßen Vermutung.