Exploring Semantic Labeling Strategies for Third-Party Cybersecurity Risk Assessment Questionnaires

Diese Arbeit untersucht semantische Kennzeichnungsstrategien für Cybersecurity-Fragebögen zur Bewertung von Drittanbieterrisiken und zeigt, dass ein hybrides halbüberwachtes Verfahren (SSSL) in Kombination mit semantischen Labels die Genauigkeit der Fragebogenabfrage verbessert und gleichzeitig die Kosten für den Einsatz von Large Language Models (LLMs) erheblich senkt.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungspaper, die wie eine Geschichte aus dem Alltag erzählt ist – ganz ohne technisches Fachchinesisch.

Das große Problem: Der Suchturm im Dschungel

Stellen Sie sich vor, Sie sind ein Sicherheitsbeauftragter in einem großen Unternehmen. Sie müssen prüfen, ob ein neuer Lieferant (z. B. eine Cloud-Firma) sicher genug ist. Dafür gibt es riesige Listen mit hunderten von Fragen: „Haben Sie Passwörter?", „Werden Daten verschlüsselt?", „Was passiert bei einem Hackerangriff?"

Das Problem: Diese Fragen sind wie ein riesiger, ungeordneter Dschungel. Wenn Sie eine spezifische Frage suchen (z. B. nur über „Verschlüsselung von Kundendaten"), müssen Sie durch den ganzen Dschungel waten.

• Der alte Weg: Man sucht nach ähnlichen Wörtern. Das ist wie ein Suchroboter, der nur auf das Wort „Hund" achtet. Wenn Sie aber nach „Welpen" suchen, findet er nichts, obwohl es dasselbe Tier ist. Oder er findet Fragen, die zwar das Wort „Sicherheit" enthalten, aber eigentlich nichts mit Ihrem spezifischen Problem zu tun haben.
• Die Folge: Man verbringt Stunden damit, die richtigen Fragen manuell zusammenzusuchen. Das ist mühsam, teuer und langsam.

Die Lösung: Ein cleveres Bibliothekssystem (SSSL)

Die Autoren dieses Papiers haben eine neue Methode entwickelt, die sie SSSL nennen. Man kann sich das wie den Bau einer super-intelligenten Bibliothek vorstellen, die nicht nur Bücher nach Titel sortiert, sondern nach Inhalt und Zweck.

Hier ist, wie sie das machen, Schritt für Schritt:

1. Der Clou: Fragen gruppieren (Die „Nachbarschaften")

Statt jede einzelne Frage einzeln zu lesen, werfen sie alle Fragen in einen Mixer und sortieren sie nach ihrer Bedeutung.

• Die Analogie: Stellen Sie sich vor, Sie haben 1.000 verschiedene Rezepte. Statt jedes Rezept einzeln zu lesen, legen Sie alle Rezepte mit „Hühnchen" in einen Korb, alle mit „Vegan" in einen anderen und alle mit „Scharf" in einen dritten. Ein Rezept kann in mehreren Körben liegen (z. B. „Scharfes Hühnchen").
• Die Technik: Sie nutzen Computer, die erkennen, welche Fragen sich ähnlich anfühlen, auch wenn sie andere Wörter benutzen.

2. Der Experte kommt nur einmal vorbei (Der „Chef-Koch")

Normalerweise müsste man für jede der 1.000 Fragen einen teuren KI-Experten (einen „Großen Sprachmodell"-Bot) fragen: „Was ist das hier für ein Thema?" Das kostet viel Geld und Zeit.

• Die Innovation: Die Autoren lassen den KI-Experten nur einen einzigen Blick auf jeden der oben genannten Körfe werfen.
• Die Analogie: Der Chef-Koch schaut sich den Korb mit den „Hühnchen-Rezepten" an und sagt: „Ah, das hier ist alles über Geflügelzubereitung." Er muss nicht jedes einzelne Rezept lesen. Er gibt dem ganzen Korb ein Etikett.
• Das Ergebnis: Der KI-Experte muss viel weniger arbeiten, spart Geld und Zeit, liefert aber trotzdem sehr genaue Etiketten für ganze Gruppen von Fragen.

3. Die Nachbarn helfen sich (Das „Kopier-Prinzip")

Jetzt haben wir viele Fragen, die noch kein Etikett haben. Aber wir wissen, welche Fragen in welchen Körben liegen.

• Die Analogie: Wenn eine neue Frage in den „Hühnchen"-Korb fällt, schaut man sich die anderen Rezepte in diesem Korb an. Wenn 9 von 10 Rezepten dort das Etikett „Geflügelzubereitung" tragen, bekommt auch das neue Rezept dieses Etikett.
• Der Trick: Man muss den teuren KI-Experten gar nicht mehr rufen. Ein einfacher, schneller Algorithmus (wie ein Nachbarschafts-Check) reicht aus, um die Etiketten zu verteilen. Das geht blitzschnell und kostet fast nichts.

4. Die Suche wird präzise

Jetzt, da jede Frage ein klares Etikett hat (z. B. „Zugriffskontrolle" oder „Notfallplan"), kann man viel besser suchen.

• Der alte Weg: „Ich suche nach etwas, das wie 'Passwort' klingt." -> Der Computer gibt Ihnen 500 Fragen, die das Wort enthalten, aber 400 davon sind irrelevant.
• Der neue Weg: „Ich suche nach Fragen zum Thema 'Zugriffskontrolle'." -> Der Computer filtert sofort alle Fragen heraus, die dieses Etikett tragen. Er findet genau das, was Sie brauchen, auch wenn die Frage anders formuliert ist.

Was haben sie herausgefunden?

1. Geld und Zeit: Durch diese Methode sparen sie etwa 40 % der Kosten und 33 % der Zeit im Vergleich zu dem, wenn man jede Frage einzeln von der KI beschriften lässt.
2. Qualität: Die Etiketten sind sehr konsistent. Da der KI-Experte ganze Gruppen betrachtet, vergisst er nicht, dass „Passwort" und „Anmelde-Code" eigentlich dasselbe Thema sind.
3. Die Schwäche: Wenn man Fragen aus völlig verschiedenen Welten mischt (z. B. Fragen aus einem amerikanischen Standard mit Fragen aus einem europäischen Standard), kann der einfache „Nachbarschafts-Check" manchmal etwas danebenliegen. Aber für den Alltag ist es trotzdem ein riesiger Fortschritt.

Fazit in einem Satz

Statt jede einzelne Frage mühsam einzeln zu beschriften, ordnet man sie in thematische Gruppen ein, lässt einen KI-Experten nur die Gruppen beschriften und verteilt die Etiketten dann automatisch an die einzelnen Fragen – so wird die Suche nach Sicherheitsfragen schnell, billig und präzise.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Exploring Semantic Labeling Strategies for Third-Party Cybersecurity Risk Assessment Questionnaires" auf Deutsch:

1. Problemstellung

Bei der Bewertung von Drittanbieterrisiken (Third-Party Risk Assessment, TPRA) müssen Organisationen große Mengen an Sicherheitsfragen aus Repositories (oft basierend auf Standards wie ISO/IEC 27001 oder NIST) auswählen und anpassen.

• Herausforderung: Die manuelle Auswahl relevanter Fragen ist zeitaufwendig, nicht skalierbar und fehleranfällig.
• Limitierung bestehender Ansätze: Automatisierte Methoden basieren meist auf rein textbasierter Ähnlichkeit (z. B. Cosine-Similarity von Embeddings). Diese erfassen oft nicht die implizite Absicht der Bewertung (Assessment Scope) oder das spezifische Kontrollgebiet (Control Domain, z. B. Zugriffskontrolle vs. Incident Response).
• Folge: Die Retrieval-Ergebnisse sind zwar thematisch ähnlich, aber häufig nicht präzise genug für die spezifischen Anforderungen der Risikobewertung. Zudem fehlt es an strukturierten semantischen Labels in den Repositories.

2. Methodik: Hybrid Semi-Supervised Semantic Labeling (SSSL)

Die Autoren schlagen ein hybrides Framework vor, das unlabeled Daten in ein strukturiertes, label-basiertes System überführt, um die Kosten von Large Language Models (LLMs) zu senken und die Skalierbarkeit zu erhöhen. Der Prozess gliedert sich in drei Phasen:

A. Annotationsphase (Label Discovery)

1. Embedding & Clustering:
   • Fragen werden mittels eines vortrainierten Sentence-Embedding-Modells (text-embedding-3-large) in Vektoren transformiert.
   • Statt harter Clusterbildung wird Possibilistic C-Means (PCM) verwendet. Dies erlaubt es, dass Fragen zu mehreren Clustern gehören (Überlappung), was der Natur von Compliance-Fragen gerecht wird.
   • Ein automatischer Schwellenwert (basierend auf der „Elbow"-Methode) bestimmt, welche Zugehörigkeiten als Cluster-Mitgliedschaft gelten.
2. LLM-gestützte Labeling:
   • Anstatt jede Frage einzeln zu labeln, wird das LLM nur einmal pro Cluster aufgerufen.
   • Das LLM erhält den Kontext aller Fragen eines Clusters und generiert eine kleine Menge wiederverwendbarer, semantischer Labels (z. B. „Zugriffskontrolle", „Incident Response").
   • Jede Frage erbt die Vereinigung der Labels aller Cluster, denen sie angehört (Multi-Labeling).

B. Vorhersagephase (Label Propagation)

• Für neue Fragen wird das LLM nicht erneut aufgerufen.
• Stattdessen wird ein k-Nearest Neighbors (kNN)-Ansatz verwendet:
  • Die Embedding des neuen Frage wird berechnet.
  • Die $k$ ähnlichsten bereits gelabelten Fragen werden im Embedding-Raum gesucht.
  • Die Labels dieser Nachbarn werden per Mehrheitsvoting auf die neue Frage übertragen.
  • Fallback: Wenn keine eindeutige Übereinstimmung (z. B. < 2 Stimmen) vorliegt, wird die Frage als „Out-of-Distribution" markiert und manuell/LLM-basiert nachgelabelt.

C. Label-basiertes Retrieval

• Statt Fragen direkt über Text-Ähnlichkeit zu suchen, wird im Label-Raum gesucht.
• Der Benutzerinput (z. B. „Wir brauchen Fragen zur Incident Response") wird embeddet und mit den Embeddings der semantischen Labels abgeglichen.
• Fragen werden basierend auf der Übereinstimmung ihrer Labels mit der Suchintention gerankt.

3. Wichtige Beiträge

• Hybrides Framework (SSSL): Eine Kombination aus unsupervised Clustering (PCM) und selektivem LLM-Einsatz, um semantische Labels kosteneffizient zu generieren.
• Kostenreduktion: Durch die Beschränkung des LLM-Einsatzes auf Cluster-Ebene statt Frage-Ebene wird die Token-Nutzung drastisch reduziert.
• Verbessertes Retrieval: Der Nachweis, dass Retrieval über semantische Labels (Control Domains & Scope) präziser ist als reines Text-Matching.
• Open Source: Bereitstellung des Codes, der Datensätze und der Evaluierungsskripte.

4. Ergebnisse

Die Evaluation erfolgte auf Basis des Consensus Assessments Initiative Questionnaire (CAIQ) und synthetischer Datensätze.

• Label-Qualität:
  • LLM-only: Hohe Korrektheit (4,8/5), aber hohe Kosten und Inkonsistenz bei der Benennung.
  • SSSL (Cluster-Phase): Sehr hohe Konsistenz (4,8/5) und gute Generalisierung, da der Kontext des Clusters genutzt wird.
  • SSSL (kNN-Phase): Hohe Konsistenz (4,7/5), aber geringere Korrektheit (1,8/5) und Generalisierung (3,4/5) bei der Übertragung über verschiedene Standards hinweg. Dies liegt an semantischem Drift bei nicht perfekt überlappenden Taxonomien.
• Effizienz & Skalierbarkeit:
  • Token-Reduktion: SSSL reduziert den Token-Verbrauch um ca. 40 % (von 57.146 auf 34.527) im Vergleich zum reinen LLM-Ansatz.
  • Laufzeit: Die kNN-Phase ist extrem schnell (0,22 s vs. 322 s für LLM-only) und verbraucht 0 Tokens.
  • Energie: Reduktion des Energieverbrauchs um den Faktor ~1500 in der Propagierungsphase.
• Retrieval-Leistung:
  • Label-basiertes Retrieval (Score: 75/100) übertrifft sowohl BM25 (58/100) als auch reine semantische Ähnlichkeit (70/100), insbesondere bei komplexen, mehrdeutigen Abfragen (Multi-Domain Queries).

5. Bedeutung und Fazit

Das Paper zeigt, dass die Entkopplung der semantischen Label-Entdeckung (teuer, aber kontextreich) von der Label-Zuweisung (günstig, schnell) ein effektiver Weg ist, um TPRA-Fragebögen zu automatisieren.

• Praktischer Nutzen: Organisationen können große, unstrukturierte Frage-Repositorien schnell in strukturierte, durchsuchbare Datenbanken umwandeln, ohne jedes Mal teure LLM-Abfragen zu tätigen.
• Limitationen: Die Genauigkeit der kNN-Propagierung leidet, wenn die Ziel-Fragebögen aus Standards stammen, die sich nur teilweise mit den Quelldaten überschneiden (Cross-Standard-Transfer).
• Zukunftsausblick: Die Autoren planen, das Framework um automatisierte Antworten zu erweitern und die Gruppierung auf Label-Ebene statt Frage-Ebene zu untersuchen, um die Generalisierung über verschiedene Standards hinweg zu verbessern.

Zusammenfassend bietet SSSL einen skalierbaren, kosteneffizienten Ansatz, um die Lücke zwischen rohen Compliance-Fragen und präzisen, kontextbewussten Risikobewertungen zu schließen.