🤖 machine learning

Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

Dieses Paper schlägt einen auf Transformern basierenden kontrastiven Lernansatz vor, um Sequenzen von Netzwerkflussdatensätzen ohne semantische Annotationen einzubetten und zu clustern, wobei die Effektivität bei der Identifizierung von Beziehungen zwischen Internet-Scannern und der Generalisierung auf ungesehene Quellen demonstriert wird.

Ursprüngliche Autoren: Jannik Presberger, Alexander Männel, Maynard Koch, Thomas C. Schmidt, Matthias Wählisch, Bjoern Andres

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jannik Presberger, Alexander Männel, Maynard Koch, Thomas C. Schmidt, Matthias Wählisch, Bjoern Andres

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet als eine riesige, chaotische Stadt vor, in der Millionen von Menschen (Computern) ständig Briefe (Datenpakete) aneinander versenden. Die meisten dieser Briefe sind normale Post. Aber manchmal gibt es „Scanner“ – wie aggressive Türgeschäftsmacher oder Sicherheitstester –, die an jede einzelne Tür in der Stadt klopfen, um zu sehen, welche davon unverschlossen ist.

Das Problem für Sicherheitsexperten ist, dass es zu viele dieser Geschäftsmacher gibt und sie alle unterschiedlich sind. Einige klopfen schnell, andere langsam, manche benutzen unterschiedliche Werkzeuge. Zu versuchen, manuell herauszufinden, welcher Geschäftsmacher zu welcher Firma gehört, ist unmöglich, da sie keine Namensschilder (Labels) tragen und die Stadt zu groß ist, um jeden zu beobachten.

Dieses Paper schlägt einen cleveren Weg vor, dies mithilfe eines „intelligenten Spiegels“ und eines „Gruppenspiels“ zu lösen.

Der intelligente Spiegel (Das Transformer-Modell)

Die Forscher haben ein spezielles Computerprogramm (ein Transformer-Modell) gebaut, das wie ein intelligenter Spiegel fungiert. Anstatt den Inhalt der Briefe zu betrachten, betrachtet es das Muster, wie ein bestimmter Geschäftsmacher an die Türen klopft.

Wie es lernt: Normalerweise benötigt man, um einem Computer beizubringen, Muster zu erkennen, einen Lehrer, der sagt: „Das ist Geschäftsmacher A, das ist Geschäftsmacher B.“ Aber hier gibt es keinen Lehrer.
Der Trick: Das Programm nutzt eine Technik namens Kontrastives Lernen (Contrastive Learning). Stellen Sie sich vor, Sie haben einen Stapel Fotos. Sie sagen dem Computer: „Nimm zwei Fotos derselben Person (selbst wenn sie verschiedene Hüte trägt oder an verschiedenen Stellen steht) und sorge dafür, dass sie sich in deinem Kopf sehr ähnlich sehen. Nimm Fotos von verschiedenen Personen und sorge dafür, dass sie sich sehr unterschiedlich sehen.“
Das Ergebnis: Der Computer lernt, einen „Fingerabdruck“ für jeden Geschäftsmacher basierend auf seinen Klopfgewohnheiten zu erstellen, ohne jemals gesagt bekommen zu haben, wer sie sind. Er lernt, dass „An 100 Türen in 5 Sekunden klopfen“ ein spezifischer Stil ist und „An 10 Türen in 1 Minute klopfen“ ein anderer.

Das Gruppenspiel (Korrelationsclustering)

Sobrem der Computer diese Fingerabdrücke erstellt hat, spielen die Forscher ein Spiel namens Korrelationsclustering (Correlation Clustering).

Das Ziel: Sie wollen alle Geschäftsmacher basierend auf der Ähnlichkeit ihrer Fingerabdrücke in Gruppen sortieren.
Die Herausforderung: Sie wissen nicht, wie viele Gruppen es geben sollte, und sie wissen nicht, wie groß die Gruppen sind.
Die Lösung: Der Algorithmus betrachtet den „Abstand“ zwischen den Fingerabdrücken. Wenn zwei Geschäftsmacher sehr ähnliche Fingerabdrücke haben, sagt der Algorithmus: „Steckt sie in denselben Raum.“ Wenn sie unterschiedlich sind, steckt er sie in verschiedene Räume. Er macht dies automatisch und findet natürliche Cluster, ohne dass eine vorgegebene Anzahl von Gruppen erforderlich ist.

Was sie herausgefunden haben

Die Forscher testeten dies an einem massiven Datensatz des Internetverkehrs (als ob man eine ganze Stadt eine Stunde lang beobachtet hätte). Dies geschah:

Erkennen derselben Person: Als sie dem Computer zwei verschiedene Sätze von Klopfmustern desselben Geschäftsmachers zeigten (den der Computer während des Trainings noch nicht gesehen hatte), identifizierte der Computer diese korrekt als „ähnlich“. Er wusste, dass es dieselbe Person war, obwohl die Muster nicht identisch waren.
Erkennen verschiedener Personen: Wenn sie ihm Muster von verschiedenen Geschäftsmachern zeigten, identifizierte der Computer diese korrekt als „unterschiedlich“.
Gruppierung nach „Unternehmen“: Der spannendste Teil war, dass wenn sie die Geschäftsmacher basierend auf diesen Fingerabdrücken gruppierten, die Gruppen mit realen Scanner-Unternehmen (wie Censys oder Shodan) übereinstimmten, die die Forscher kannten. Obwohl der Computer nie die Namen dieser Unternehmen erfahren hatte, gruppierte er die „Censys“-Geschäftsmacher und die „Shodan“-Geschäftsmacher ganz natürlich zusammen.

Der Haken (Die „Grauzone“)

Das Paper stellt fest, dass die Gruppierung nicht perfekt war. Manchmal sahen Geschäftsmacher von verschiedenen Unternehmen so ähnlich aus (vielleicht weil sie dieselben Werkzeuge verwendeten oder an dieselben Türen klopften), dass der Computer verwirrt wurde und sie vermischte. Dies deutet darauf hin, dass der Computer zwar viel gelernt hat, der „Fingerabdruck“ aber kein perfekter Ausweis ist; er erfasst den Stil des Angriffs, der sich manchmal zwischen verschiedenen Gruppen überschneiden kann.

Das Fazit

Das Paper zeigt, dass man einem Computer beibringen kann, die „Persönlichkeit“ von Internet-Scannern allein durch das Beobachten ihres Verhaltens zu verstehen, ohne die Daten vorher manuell beschriften zu müssen. Indem sie einen intelligenten Spiegel nutzen, um Ähnlichkeiten zu lernen, und ein Gruppenspiel verwenden, um zu sortieren, können sie den chaotischen Internetverkehr automatisch in aussagekräftige Gruppen organisieren, was Sicherheitsexperten hilft, Muster zu erkennen, die sie zuvor nicht sehen konnten.

Kurz gesagt: Sie haben einem Computer beigebracht, zu erkennen, „wer klopft“ und „wer zu welcher Gang gehört“, indem er einfach nur dem Rhythmus der Klopfzeichen zuhörte, ohne jemals die Namen der Gangs zu kennen.

Technisches Resümee: Kontrastives Lernen und Korrelationsclustering für Sequenzen von Netzwerk-Teleskop-Daten

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, die Aktivitäten von Internet-Scannern innerhalb der riesigen, heterogenen und weitgehend unbeschrifteten Daten zu analysieren, die von Netzwerk-Teleskopen generiert werden. Traditionelle Ansätze zur Erkennung von Netzwerk-Scans verlassen sich oft auf manuell entworfene statistische Modelle, Heuristiken oder überwachtes Lernen, die alle erhebliche Einschränkungen aufweisen. Überwachte Methoden werden durch den Mangel an hochwertigen Annotationen und die dynamische Natur des Scanning-Verhaltens behindert, das selbst innerhalb desselben organisatorischen Kontextes variiert. Bestehende unüberwachte Repräsentationslernmethoden (z. B. Word2Vec-basierte Ansätze wie IP2Vec oder DarkVec) sind oft an spezifische Trainingsdaten gebunden, was ihre Fähigkeit einschränkt, auf ungesehene Quellen zu generalisieren oder semantische Beziehungen ohne synthetische Datenausweitung zu erfassen. Die zentrale Forschungsfrage ist, ob semantisch bedeutsame paarweise Beziehungen zwischen Sequenzen von Netzwerkfluss-Datensätzen mittels kontrastivem Lernen in einem vollständig unüberwachten Setting, ohne Vortraining oder Annotationen, geschätzt werden können.

Methodik
Die Autoren schlagen ein Framework vor, das eine Transformer-basierte Architektur mit kontrastivem Lernen und Korrelationsclustering kombiniert:

Datenvorverarbeitung: Netzwerkfluss-Datensätze (Quell-IP, Ziel-IP, Port, Protokoll, Zeitstempel), die vom UCSD-Netzwerk-Teleskop gesammelt wurden, werden nach der Quell-IP gruppiert. Diese werden chronologisch sortiert und in fest vorgegebene Subsequenzen von 128 Datensätzen segmentiert.
Transformer-Encoder-Modell:
- Datensatz-Embedding: Einzelne Datensätze werden durch die separate Verarbeitung ihrer Komponenten eingebettet. IP-Adress-Oktette werden in $\mathbb{R}^8$ eingebettet, um die Struktur des IP-Raums zu erfassen. Ziel-Ports, Protokolle und logarithmisch skalierte Zeitdifferenzen werden in $\mathbb{R}^{16}$ , $\mathbb{R}^4$ bzw. $\mathbb{R}^{16}$ eingebettet. Diese werden konkateniert und über eine lineare Schicht auf einen 128-dimensionalen Vektor abgebildet.
- Sequenz-Kodierung: Ein Standard-Transformer-Encoder (4 Schichten, 4 Attention-Heads) verarbeitet die Sequenz der Datensatz-Embeddings, um Abhängigkeiten zu erfassen. Zur Erzeugung einer repräsentativen Sequenz-Repräsentation wird Mean-Pooling angewendet, welche durch einen Projection Head weiter zu dem finalen Sequenz-Embedding verarbeitet wird.
Kontrastives Lernziel:
- Das Modell wird unter Verwendung des NT-Xent-Loss (Normalized Temperature-scaled Cross-Entropy) trainiert.
- Positive Paare: Definiert als unterschiedliche Subsequenzen, die von derselben Quell-IP-Adresse stammen. Dies nutzt die natürlich vorkommende Konsistenz anstelle von synthetischer Datenausweitung.
- Negative Paare: Definiert als Subsequenzen von unterschiedlichen Quell-IP-Adressen.
- Sampling-Strategie: Um die Long-Tail-Verteilung der Quell-IP-Aktivität zu handhaben, wird eine gewichtete Sampling-Strategie eingesetzt, bei der die Wahrscheinlichkeit der Auswahl einer Quelle proportional zur Anzahl der Datensätze hoch einem Exponenten ( $\alpha=0.5$ ) ist, was den Einfluss häufiger und seltener Quellen ausbalanciert.
Korrelationsclustering:
- Um Sequenzen basierend auf den gelernten Ähnlichkeiten zu gruppieren, formulieren die Autoren ein Korrelationsclustering-Problem. Im Gegensatz zum metrikbasierten Clustering (z. B. k-Means) erfordert dies keine Vorannahmen über die Anzahl oder Größe der Cluster.
- Eine Kostenfunktion wird basierend auf der Kosinus-Ähnlichkeit der Embeddings definiert, die durch einen Offset-Parameter $\delta$ verschoben wird, um ähnliche von unähnlichen Paaren zu unterscheiden.
- Das Problem wird lokal mithilfe eines gierigen (greedy) additiven Edge-Kontraktionsalgorithmus gelöst.

Wichtigste Ergebnisse
Experimente wurden auf Datensätzen durchgeführt, die aus dem UCSD-Teleskop stammen, einschließlich Trainingsdaten, ungesehener Sequenzen aus gesehenen Quellen sowie ungesehener Sequenzen aus ungesehenen Quellen.

Quellen-Diskriminierung: Das Modell lernt erfolgreich quellspezifische Informationen. Sequenzen derselben Quell-IP weisen eine signifikant höhere Kosinus-Ähnlichkeit auf (mittler $\approx$ 0,93 für gesehene Quellen, $\approx$ 0,89 für ungesehene Quellen) im Vergleich zu Sequenzen von unterschiedlichen Quellen (mittler $\approx$ 0,03 bzw. $\approx$ 0,02). Dies gilt auch für Sequenzen von Quellen, die während des Trainings nicht gesehen wurden.
Semantische Konsistenz mit Annotationen: Bei der Evaluierung gegenüber spärlichen Scanner-Netzwerk-Annotationen (z. B. Censys, Shodan) zeigen Sequenzen desselben Scanner-Netzwerks eine höhere Intra-Klassen-Ähnlichkeit als Inter-Klassen-Ähnlichkeit. Die Trennung ist jedoch weniger ausgeprägt als bei der Identität der Quelle, und die Intra-Klassen-Verteilung ist bimodal. Die Autoren führen dies darauf zurück, dass Scanner-Netzwerke keine perfekt homogenen Gruppen sind und unterschiedliche Infrastrukturen potenziell ähnliche Scanning-Strategien anwenden.
Clustering-Leistung: Das auf den gelernten Embeddings angewendete Korrelationsclustering erzielt eine hohe Leistung. Auf Testdatensätzen mit 50 % unannotiziertem Hintergrundverkehr lagen die gewichteten F1-Scores für die Wiederherstellung von Scanner-Netzwerk-Gruppen bei 0,913 (ungesehene Sequenzen aus gesehenen Quellen) und 0,917 (ungesehene Sequenzen aus ungesehenen Quellen).
Generalisierung: Die gelernten Repräsentationen generalisieren effektiv auf ungesehene Quellen und ungesehene Sequenzen, was zeigt, dass das Modell strukturelle Eigenschaften des Scanner-Verhaltens erfasst, anstatt lediglich spezifische IP-Adressen zu memorieren.

Bedeutung und Behauptungen
Das Paper behauptet, dass kontrastives Lernen semantisch bedeutsame Strukturen aus minimal vorverarbeiteten Netzwerkfluss-Sequenzen ohne jegliche Überwachung extrahieren kann. Die primäre Bedeutung liegt in der Fähigkeit:

Quellspezifische Informationen und Scanner-bezogene Strukturen rein aus Rohdaten zu extrahieren.
Explorative Analysen und das Clustering von Scanner-Aktivitäten selbst in Gegenwart erheblicher unannotizierter Hintergrund-Verkehrs zu durchführen.
Auf zuvor ungesehene Quellen und Verhaltensweisen zu generalisieren, womit eine Schlüsselbeschränkung überwachter Ansätze adressiert wird.

Die Autoren wahren einen bescheidenen Ton und merken an, dass die verwendeten Scanner-Annotationen spärlich und grobkörnig sind. Sie räumen ein, dass die Überlappung zwischen Intra-Klassen- und Inter-Klassen-Ähnlichkeit darauf hindeutet, dass der Embedding-Raum eine Struktur enthält, die durch die verfügbaren Annotationen nicht vollständig erfasst wird. Folglich wird die Arbeit als explorativ präsentiert, um die Machbarkeit von unüberwachtem Repräsentationslernen für die Netzwerkverkehrsanalyse zu etablieren und gleichzeitig die Notwendigkeit weiterer Forschung hervorzuheben, um die semantische Struktur innerhalb des Embedding-Raums vollständig zu verstehen.