How Far Does Entropy Go? Duplicates, Confounding, Drift and Padding in Entropy-Based Detection of Malicious PE Files
Diese Arbeit zeigt auf, dass die entropiebasierte Erkennung bösartiger PE-Dateien durch Datenduplikate, Größenkonfundierung und adversarielles Padding massiv beeinträchtigt wird, was offenlegt, dass solche Modelle weitgehend bekannte Sektionen auswendig lernen und durch das Anhängen unauffälliger Bytes leicht umgangen werden können, wodurch robustere Erkennungsstrategien erforderlich werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der digitalen Welt verlassen sich Sicherheitsexperten oft auf eine einfache mathematische Idee namens Entropie, um gefährliche Software aufzuspüren. Stellen Sie sich eine Datei als eine lange Kette von Zahlen vor. Wenn diese Zahlen einem vorhersehbaren Muster folgen, wie etwa einer Geschichte, die in klarem Englisch geschrieben ist, oder einem Standardprogramm, hat die Zeichenkette eine niedrige Entropie; sie ist geordnet und lässt sich leicht beschreiben. Aber wenn die Zahlen durcheinandergewürfelt sind, wie eine Nachricht, die in einem Tresor eingeschlossen ist, oder eine Datei, die komprimiert wurde, um Platz zu sparen, hat die Zeichenkette eine hohe Entropie; sie wirkt zufällig und chaotisch. Da bösartige Programme oft ihre wahre Natur verbergen, indem sie ihren Code durcheinanderwürfeln, scannen Sicherheitstools häufig nach diesem hohen Grad an Zufälligkeit. Wenn eine Datei zu chaotisch aussieht, markiert das Tool sie als verdächtig. Diese Methode ist schnell, kostengünstig und wird weit verbreitet eingesetzt, um Millionen von Dateien zu sortieren und zu entscheiden, welche eine genauere Untersuchung benötigen und welche ignoriert werden können.
Eine neue Studie von Forschern der Universität Florenz und der Universität Pisa stellt jedoch eine kritische Frage: Wie sehr können wir dieses Maß an Chaos wirklich vertrauen? Das Team untersuchte, ob die Zufälligkeit eines spezifischen Teils einer Windows-Ausführbarkeitsdatei – des ersten Abschnitts ihres Codes – tatsächlich ein zuverlässiges Anzeichen für Gefahr ist oder ob es ein Trick ist, der leicht überlistet werden kann. Sie analysierten fast 43.000 Datei-Header und fast 800.000 gelabelte Proben aus einem bedeutenden Sicherheitsdatensatz. Ihre Arbeit zeigt, dass die derzeitige Abhängigkeit von diesem einzelnen Maß weit fragiler ist als bisher angenommen; es verwechselt oft Wiederholung mit Gefahr und versagt völlig, wenn es mit neuen, unbekannten Bedrohungen konfrontiert wird.
Die Forscher begannen damit, nach einem verborgenen Fehler in der Art und Weise zu suchen, wie diese Sicherheitstools getestet werden. Sie entdeckten, dass in beiden Datensätzen etwa 64 Prozent der bösartigen Dateien den ersten Abschnitt ihres Codes mit mindestens einer anderen Datei teilten. Das bedeutet, dass viele verschiedene bösartige Programme aus exakt demselben verschlüsselten Template gebaut wurden. Wenn Sicherheitstools unter Verwendung von zufälliger Durchmischung getestet werden, erscheint dasselbe Template oft sowohl in der Trainingsgruppe als auch in der Testgruppe. Das Tool lernt nicht wirklich, Gefahr zu erkennen; es merkt sich einfach dieses spezifische Template. Als die Forscher dies korrigierten, indem sie identische Dateien gruppierten, sank die Fähigkeit des Tools, neue Bedrohungen zu erkennen, erheblich. In einem Test, der reale Bedingungen nachahmte, bei denen das Tool mit Dateien konfrontiert wird, die es noch nie zuvor gesehen hat, wurde der auf Entropie basierende Detektor fast nutzlos und erfasste weniger als ein Prozent der Malware bei einer sicheren Fehlerrate.
Die Studie deckte auch auf, dass die Tools oft auf die Größe der Datei statt auf deren Chaos vertrauten. In einem Datensatz waren bösartige Dateien zufällig größer als sichere Dateien, sodass der Detektor lernte, große Dateien als gefährlich einzustufen. Doch als die Forscher dies in einem anderen, größeren Datensatz testeten, verschwand dieser Größenunterschied, und die Leistung des Tools brach zusammen. Dies bewies, dass der Detektor keine universelle Regel über Malware fand, sondern stattdattdessen einen Zufall ausnutzte, der spezifisch für eine bestimmte Sammlung von Daten war. Darüber hinaus fanden sie, dass Dateien mit leeren ersten Abschnitten – ein häufiges Anzeichen für Packing-Software, die dazu dient, Code zu verbergen – auch häufig in sicheren Programmen vorkamen, was bedeutet, dass dieses Merkmal allein nicht zwischen einem Virus und einer legitimen Anwendung unterscheiden kann.
Der vielleicht frappierendste Befund betrifft die Leichtigkeit, mit der diese Detektoren umgangen werden können. Die Forscher berechneten die mathematischen Grenzen dessen, was passiert, wenn ein Angreifer zusätzliche, harmlose Bytes am Ende des ersten Abschnitts einer Datei hinzufügt. Sie fanden heraus, dass ein Angreifer fast immer genug Padding (Auffüllmaterial) hinzufügen kann, um das Erscheinungsbild der Datei gerade so weit zu verändern, dass der Detektor getäuscht wird, ohne das Programm tatsächlich zu beschädigen. Wenn der Angreifer in der Lage ist, eine große Menge an Padding hinzuzufügen, kann er garantieren, dass der Detektor die Bedrohung in über 90 Prozent der Fälle übersieht. Selbst wenn der Angreifer versucht, subtil vorzugehen und nur eine kleine Menge an Padding hinzufügt, kann er die Erkennung in einer signifikanten Anzahl von Fällen umgehen, insbesondere wenn er das Padding sorgfältig auswählt, damit es wie normale, sichere Daten aussieht.
Die Forscher untersuchten auch, ob sie einen Detektor bauen könnten, der immun gegen diese Tricks ist. Sie fanden heraus, dass ein Modell, das auf einer strengen mathematischen Regel basiert – nämlich, dass die Gesamtmenge der Information in einer Datei nicht abnimmt, wenn Bytes hinzugefügt werden –, in der Tat unmöglich durch das Hinzufügen von Padding zu täuschen wäre. Dieses „unhackbare“ Modell war jedoch so vorsichtig, dass es fast keine Malware entdeckte. Es war eine perfekte Verteidigung gegen Umgehungsversuche, aber ein schreckliches Werkzeug, um Bedrohungen zu finden. Die Studie kommt zu dem Schluss, dass Entropie zwar ein nützlicher Hinweis ist, die alleinige Abhängigkeit von ihr jedoch ein Fehler ist. Das Signal, das sie liefert, ist oft ein Abbild von wiederholtem Code oder der Dateigröße statt wahrer Bösartigkeit, und es kann mit einfachen, vorhersehbaren Änderungen entfernt werden. Damit Sicherheit effektiv ist, müssen Experten über dieses einzelne Maß hinausblicken und es mit vielen anderen Faktoren kombinieren, um das vollständige Bild zu sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.