Conflict inherits the frame: bin geometry and BPA construction in evidential fusion of quantised continuous evidence
Diese Arbeit zeigt auf, dass bei der Dempster-Shafer-Evidenzfusion quantisierter kontinuierlicher Daten die Geometrie des Binning-Rahmens Maß für einen künstlichen Zusammenhang zwischen Konfliktmaßen und der Position der Evidenz ist, was zu einem vorgeschlagenen Überschuss-Konflikt-Statistikwert zur Korrektur dieses Bias führt, während gleichzeitig aufgezeigt wird, dass Standard-Kombinationsregeln oft zu Bayes'schen Produkten mit vernachlässigbaren Effektivitätsunterschieden bei der Vorhersage der Ausnutzung von Software-Schwachstellen reduziert werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie müssten entscheiden, wie gefährlich eine Software-Schwachstelle ist, indem Sie drei verschiedene Experten fragen. Jeder Experte nennt eine Zahl, aber sie stimmen selten überein. Manchmal bezeichnet der eine die Schwachstelle als geringfügige Unannehmlichkeit, während ein anderer sie als kritische Bedrohung bezeichnet. Um diese Uneinigkeit begreifbar zu machen, nutzen Forscher oft ein mathematisches System, das darauf ausgelegt ist, unsichere Meinungen zu einem einzigen, klareren Bild zu kombinieren. Dieses System funktioniert dadurch, dass es einen kontinuierlichen Bereich von Möglichkeiten – wie eine Skala von null bis zehn – nimmt und diesen in distinkte Eimer unterteilt, wie etwa „niedrig“, „mittel“, „hoch“ und „kritisch“. Die Idee dahinter ist, dass das System, sobald die Zahlen in diese Eimer sortiert sind, berechnen kann, wie sehr die Experten voneinander abweichen, und diese Uneinigkeit nutzt, um das Risiko zu beurteilen. Seit Jahrzehnten ist diese Methode ein Standardwerkzeug in Bereichen, die von der medizinischen Diagnose bis zur Sicherheitsanalyse reichen, und sie wird darauf vertraut, ungeordnete, widersprüchliche Daten in ein zuverlässiges Urteil zu verwandeln.
Eine neue Studie deutet jedoch darauf an, dass die Art und Weise, wie diese Eimer dimensioniert sind, die Ergebnisse heimlich verzerrt. Die Forscher Elena Udrescu, Alexandru Udrescu, Ana-Maria Suduc und Mihai Bîzoi von der Valahia Universität von Târgoviște untersuchten diesen Prozess anhand von Realdaten zu Software-Schwachstellen. Sie analysierten tausende Datensätze, in denen verschiedene Organisationen Schweregrad-Scores für dieselben Sicherheitslücken zugewiesen hatten. Ihr Ziel war es zu sehen, ob die Kombination dieser Scores unter Verwendung der Standard-Mathematik tatsächlich half, jene Schwachstellen zu identifizieren, die aktiv von Hackern ausgenutzt wurden, oder ob die Methode lediglich eine Illusion von Erkenntnis erzeugte. Sie fanden heraus, dass die Form der Eimer selbst den Großteil der Arbeit leistete und oft dazu führte, dass das System an Stellen eine hohe Uneinigkeit meldete, an denen die Experten sich tatsächlich einig waren, und umgekehrt.
Die Forscher begannen mit der Untersuchung der Daten aus dem Common Vulnerability Scoring System, welches der Standard für die Beschreibung von Software-Schwachstellen ist. Dieses System unterteilt die Scores in vier Bänder: niedrig, mittel, hoch und kritisch. Das Problem ist, dass diese Bänder nicht gleich groß sind. Das „niedrige“ Band deckt einen weiten Zahlenbereich ab, während das „kritische“ Band sehr schmal ist. Als die Forscher die Daten in das Standard-Kombinationssystem einspeisten, entdeckten sie einen verborgenen Fehler in der Logik. Das System behandelte die Schmalheit eines Eimers als ein Zeichen von Konflikt. Wenn zwei Experten Scores vergaben, die nahe am Rand eines schmalen Eimers lagen, berechnete das System eine hohe Uneinigkeit, selbst wenn die Experten in ihrer Einschätzung eigentlich sehr nah beieinander lagen. Umgekehrt, wenn die Scores in der Mitte eines breiten Eimers lagen, meldete das System eine geringe Uneinigkeit, selbst wenn die Scores betragsmäßig weit auseinanderlagen. Die Geometrie der Eimer überlagerte die tatsächlichen Meinungen der Experten.
Um dies zu beweisen, entwickelte das Team eine neue Methode zur Messung von Uneinigkeit, die den Einfluss der Eimergrößen eliminierte. Sie verglichen die Standardmethode mit dieser korrigierten Version. Die Ergebnisse waren frappierend. Die Standardmethode suggerierte, dass Experten bei den schwerwiegendsten Schwachstellen stärker uneinig waren als bei den weniger schweren, ein Muster, das oberflächlich betrachtet sinnvoll erschien. Doch die korrigierte Methode zeigte genau das Gegenteil: Experten waren tatsächlich uneiniger bei den moderaten Schwachstellen und stimmten bei den kritischen am häufigsten überein. Die ursprüngliche Methode war durch die Tatsache getäuscht worden, dass die kritische Kategorie so schmal war, dass jede kleine Differenz in den Scores die Berechnung in einen Zustand hoher Konfliktivität drängte. Durch das Entfernen dieser geometrischen Verzerrung zeigten die Forscher, dass das Standardwerkzeug eher die Form der Kategorien berichtete als den wahren Zustand der Evidenz.
Die Studie untersuchte auch, wie die Scores der Experten in den Input des Systems umgewandelt wurden. Eine gängige Praxis besteht darin, einen spezifischen Score zu nehmen und ihn vollständig dem einzelnen Eimer zuzuweisen, in den er fällt, wobei ignoriert wird, dass der Score ein Punkt auf einer kontinuierlichen Linie ist. Die Forscher fanden heraus, dass dieser „scharfe“ (crisp) Ansatz das gesamte Konzept der Uneinigkeit auf ein einfaches Ja-oder-Nein-Flag reduzierte. Wenn die Experten im selben Eimer landeten, sah das System keinen Konflikt. Wenn sie in unterschiedlichen Eimern landeten, sah es maximalen Konflikt. Diese binäre Sichtweise verpasste alle Nuancen dazwischen. Als die Forscher einen „gestuften“ (graded) Ansatz verwendeten, der den Score über benachbarte Eimer verteilt, um Unsicherheit widerzuspiegeln, gewann das System die Fähigkeit zurück, subtile Unterschiede zu erkennen. Doch selbst mit dieser Verbesserung verzerrte die zugrunde liegende Geometrie der Eimer die Ergebnisse weiterhin, sofern die neue Korrektur nicht angewendet wurde.
Als das Team testete, ob die Kombination der Expertenansichten tatsächlich half, vorherzusagen, welche Schwachstellen in der realen Welt ausgenutzt wurden, waren die Ergebnisse ernüchternd. Sie analysierten über 13.000 Paare von Bewertungen aus verschiedenen Organisationen und prüften, ob der kombinierte Score besser darin war, die 70 bekannten ausgenutzten Schwachstellen zu identifizieren als sich einfach auf den besten einzelnen Experten zu verlassen. Die Antwort lautete: Nein. Unabhängig davon, wie sie die Scores kombinierten, ob unter Verwendung der Standardregeln oder der neuen Korrekturen, lieferte das fusionierte Ergebnis nicht besser ab als die beste einzelne Quelle. Die einzige Methode, die geringfügig besser abschnitt, war ein einfacher Trick, nämlich den niedrigeren der beiden Scores zu nehmen, doch die Forscher warnten davor, dass dies eher ein Artefakt der Datenerhebung als eine echte Erkenntnis sein könnte. Tatsächlich stellte die Studie fest, dass die Standard-Kombinationsregeln in vielen Fällen mathematisch äquivalent zu einem einfachen Durchschnitt waren, was bedeutete, dass die komplexe Maschinerie keinen wirklichen Mehrwert bot.
Ein erheblicher Teil der Studie deckte zudem ein Datenproblem auf, das bisher unbemerkt geblieben war. Viele der „Zweitmeinungen“ in der Datenbank waren gar keine unabhängigen Bewertungen der Organisationen, die die Schwachstellen ursprünglich gemeldet hatten. Stattdessen handelte es sich um automatisierte Updates einer Regierungsbehörde, die oft nur den ursprünglichen Score kopierten. Als die Forscher diese herausfilterten, sprang die Uneinigkeit zwischen den echten unabhängigen Quellen signifikant an. Dies offenbarte, dass frühere Studien die Uneinigkeit zwischen Experten unterschätzt haben könnten, da sie unbeabsichtigt eine Quelle mit einer Kopie derselben verglichen hatten.
Die Forscher kamen zu dem Schluss, dass die Werkzeuge, die zur Fusion unsicherer Evidenz verwendet werden, weitaus sensibler auf das Design der Kategorien reagieren als bisher angenommen. Sie zeigten, dass das Standardmaß für Konflikt oft ein Spiegel der Eimergrößen ist und kein Abbild menschlicher Uneinigkeit. Während die komplexen mathematischen Regeln zur Kombination von Evidenz in diesem speziellen Fall nicht die Fähigkeit verbesserten, reale Gefahr vorherzusagen, lieferte die Studie eine lebenswichtige Korrektur für die Interpretation der Daten. Durch die Anpassung an die Größe der Eimer können Analysten nun das wahre Ausmaß der Uneinigkeit zwischen Quellen erkennen. Die Lehre daraus ist, dass bei der Kombination unsicherer Informationen die Definition der Kategorien ebenso wichtig ist wie die Information selbst. Ohne Beachtung der Form der Eimer riskieren wir, Muster zu sehen, die lediglich der Schatten unserer eigenen Messinstrumente sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.