Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering

Stellen Sie sich vor, Sie versuchen, eine geheime Nachricht zu lesen, die in einer Sprache geschrieben wurde, die verschlüsselt, ihrer Interpunktion beraubt und bei der alle Namen der beteiligten Personen gelöscht wurden. Dies ist das, was passiert, wenn Sicherheitsexperten versuchen, Computerprogramme zu verstehen, die in „Binärcode“ kompiliert wurden – den rohen, maschinenlesbaren Anweisungen, die auf Ihrem Telefon oder Laptop laufen. Normalerweise kommen diese Programme mit einem hilfreichen „Quellcode“-Handbuch, aber wenn Hacker oder Malware-Autoren ihre Spuren verwischen, verschwindet dieses Handbuch. Experten müssen spezielle Werkzeuge verwenden, um diesen verschlüsselten Binärcode zurück in etwas zu übersetzen, das wie Code aussieht, aber oft kommt dabei ein chaotisches, verwirrendes Durcheinander aus Zahlen und generischen Namen wie „sub_401B20“ heraus. Um dies zu verstehen, müssen sie es in eine menschenfreundliche Geschichte umschreiben, einen Prozess, der „Human-Oriented Binary Reverse Engineering“ genannt wird. Aber hier ist der knifflige Teil: Woher wissen Sie, ob die neue, aufgeräumte Geschichte tatsächlich gut ist? Sie können nicht einfach einen Computer bitten, zu zählen, wie viele Wörter mit einer perfekten Antwort übereinstimmen, weil die perfekte Antwort nicht existiert (das ursprüngliche Handbuch ist weg). Und einen menschlichen Experten zu bitten, jede einzelne Zeile zu lesen, ist zu langsam, zu teuer, und sie werden müde. Also stellt sich die große Frage: Können wir eine superintelligente KI dazu bringen, als Richter zu fungieren und uns zu sagen, ob die Übersetzung gut ist, ohne das ursprüngliche Handbuch zum Vergleich zu benötigen?

Dieses Paper taucht genau in diese Frage ein und untersucht, ob Large Language Models (LLMs) – dieselbe Art von KI, die Gedichte schreiben oder Matheaufgaben lösen kann – die „Schiedsrichter“ für diese chaotischen Code-Übersetzungen sein können. Die Forscher fanden heraus, dass diese KI-Richter tatsächlich viel besser darin sind, die Bedeutung des Codes zu verstehen als die herkömmlichen Computermetriken, die lediglich nach übereinstimmenden Wörtern suchen. Tatsächlich stimmten diese KI-Richter in 63,20 % der Fälle mit menschlichen Experten überein, während die alten Computermethoden nur in 35,04 % der Fälle übereinstimmten. Das Paper entdeckte jedoch auch eine überraschende Wendung: Es gibt kein einzelnes „bestes“ KI-Setup, das in jeder Situation funktioniert. Manchmal funktioniert eine spezifische KI mit einer spezifischen Art der Fragestellung großartig für die Benennung von Funktionen, scheitert aber kläglich bei der Zusammenfassung von Code. Es ist, als würde man versuchen, ein einziges Paar Schuhe zum Laufen, Schwimmen und Wandern zu benutzen; man braucht die richtige Ausrüstung für den richtigen Job.

Um dies zu lösen, entwickelten die Autoren ein cleveres System namens „BinJudge“. Denken Sie an BinJudge als einen smarten Verkehrskontrolleur, der jedes spezifische Stück Code betrachtet und sofort den perfekten KI-Richter und die beste Art der Fragestellung auswählt. Dieses System wählt nicht einfach einen „besten“ Richter für alle; es passt sich im laufenden Betrieb an. Durch dies erreichte BinJudge eine noch größere Nähe zu menschlichen Experten (Verbesserung der Übereinstimmung um bis zu 24,7 %) und sparte gleichzeitig eine massive Menge Geld ein – es kostete nur einen winzigen Bruchteil (zwischen 0,06 und 0,84 Mal) dessen, was es kosten würde, ein statisches, teures Setup zu verwenden. Das Paper beweist, dass wir zwar keinen magischen Knopf wählen können, der alles behebt, aber dass wir ein intelligentes, flexibles System bauen können, das diese schwierigen Code-Übersetzungen schnell, günstig und überraschend genau bewertet.

Der Hintergrund: Das entschlüsselte Dokument dechiffrieren

Bevor wir zum Hauptereignis kommen, legen wir die Bühne mit ein paar Schlüsselideen fest.

Binary Reverse Engineering ist wie der Versuch, einen Kuchen wieder aufzubauen, nachdem er gebacken, flachgedrückt und die gesamte Glasur abgeschabt wurde. Sie haben das Endprodukt (die Binärdatei), aber Sie haben nicht das Rezept (den Quellcode). Experten nutzen Werkzeuge, um den Prozess umzukehren und den Maschinencode zurück in etwas zu verwandeln, das wie Programmiercode aussieht. Da das ursprüngliche „Rezept“ jedoch verloren gegangen ist, ist das Ergebnis oft chaotisch.

Human-Oriented Binary Reverse Engineering (HOBRE) ist der nächste Schritt. Es ist die Kunst, diesen chaotischen, maschinenartigen Code aufzupeppen und so zu polieren, dass ein Mensch ihn tatsächlich lesen kann. Dies beinhaltet das Vergeben von coolen, beschreibenden Namen für Funktionen (anstatt „sub_401B20“), das Schreiben klarer Zusammenfassungen darüber, was der Code tut, und das Korrigieren der Struktur, damit er wie eine gut geschriebene Geschichte aussieht.

Das Evaluierungsproblem: Wie weiß man, ob das „Aufpeppen“ funktioniert hat?

• Der alte Weg (Textabgleich): Stellen Sie sich vor, Sie bewerten den Aufsatz eines Schülers, indem Sie zählen, wie viele Wörter mit dem Antwortschlüssel des Lehrers übereinstimmen. Wenn der Schüler sagt: „Die Katze rannte schnell“ und der Schlüssel sagt: „Die Felide sprintete hastig“, sagt der alte Computer: „Falsch! Null Punkte!“, weil die Wörter nicht übereinstimmen. Das ist schlecht für Code, da es viele Möglichkeiten gibt, dasselbe auszudrücken.
• Der menschliche Weg: Ein menschlicher Experte liest den Code und sagt: „Ja, das ergibt Sinn.“ Dies ist der „Goldstandard“, aber er ist langsam, teuer und schwer skalierbar.
• Die neue Idee (LLM-as-a-Judge): Was wäre, wenn wir eine KI, die Millionen von Büchern und Code-Snippets gelesen hat, bitten würden, als Lehrer zu fungieren? Anstatt nur Wörter zu zählen, versteht die KI die Bedeutung. Sie weiß, dass „Katze“ und „Felide“ dasselbe sind, und sie kann erkennen, ob eine Zusammenfassung tatsächlich den Code erklärt oder nur geschwollen klingt.

Die Reise des Papers: Die KI-Richter testen

Die Forscher, angeführt von Xiuwei Shang und seinem Team, beschlossen, diese „KI-Richter“-Idee auf die Probe zu stellen. Sie haben nicht nur geraten; sie bauten einen massiven, hochwertigen Spielplatz namens BinJudgeBench auf.

Den Spielplatz aufbauen:
Sie nahmen 51 reale Softwareprojekte, kompilierten sie in Binärcode und entfernten dann alle hilfreichen Namen und Kommentare. Dann baten sie 8 verschiedene KI-Modelle, den Code wieder aufzubereiten. Um zu wissen, wer eine gute Arbeit geleistet hat, ließen sie drei menschliche Experten (die im Grunde Code-Detektive sind) die Ergebnisse lesen und auf einer Skala von 1 bis 5 bewerten. Sie prüften auf Dinge wie:

• Ergibt es Sinn? (Semantische Korrektheit)
• Hilft es einem Menschen, den Code schneller zu verstehen? (Nützlichkeit)
• Ist es in einem natürlichen, menschlichen Stil geschrieben? (Idiomatik)

Dies schuf einen „Goldstandard“-Datensatz mit über 1.200 sorgfältig bewerteten Beispielen.

Die erste Entdeckung: KI-Richter vs. alte Metriken
Das Team verglich die KI-Richter mit den alten „Wortzählungs“-Metriken. Die Ergebnisse waren eindeutig: Die KI-Richter waren viel besser darin, die menschliche Seite der Dinge zu verstehen.

• Die KI-Richter stimmten in 63,20 % der Fälle mit den menschlichen Experten überein.
• Die alten Computermetriken stimmten nur in 35,04 % der Fälle überein.

Dies deutet darauf hin, dass KI tatsächlich die Bedeutung des Codes „verstehen“ kann, nicht nur die Rechtschreibung. Es ist wie der Unterschied zwischen einem Roboter, der zählt, wie oft Sie „Hallo“ sagen, und einem Freund, der versteht, dass Sie gerade jemanden herzlich grüßen.

Die zweite Entdeckung: Der Mythos vom „Einheitsmodell“
Hier wird es interessant. Die Forscher testeten verschiedene Einstellungen für die KI-Richter:

• Verschiedene Modelle: Einige KIs sind riesig und teuer (wie GPT-4o), andere sind kleiner und günstiger.
• Verschiedene Prompts: Einigen wurde gesagt, sie sollen nur eine Punktzahl vergeben (Zero-Shot), anderen wurden Beispiele gezeigt, was eine „5“ oder eine „1“ ist (Few-Shot), und einige wurden gebeten, ihre Argumentation Schritt für Schritt zu erklären (Chain-of-Thought).
• Verschiedene Temperaturen: Dies steuert, wie „kreativ“ oder „zufällig“ die KI bei der Antwort ist.

Sie fanden heraus, dass es kein einziges bestes Setup gibt.

• Für Aufgaben wie die Zusammenfassung von Code funktionierte es am besten, der KI Beispiele zu zeigen (Few-Shot).
• Für andere Aufgaben, wie die Benennung von Funktionen, half es kleineren Modellen, Schritt für Schritt zu denken (Chain-of-Thought).
• Manchmal war ein riesiges, teures Modell das Beste; ein anderes Mal war ein kleineres, günstigeres Modell genauso gut.

Das bedeutet, man kann nicht einfach eine einzige „beste“ KI auswählen und sie für alles verwenden. Es ist, als würde man versuchen, einen Hammer zu benutzen, um eine Uhr zu reparieren; manchmal braucht man einen winzigen Schraubendreher und manchmal einen schweren Hammer.

Die Lösung: BinJudge (Der smarte Verkehrskontrolleur)
Da es kein einziges bestes Setup gibt, entwickelten das Team BinJudge. Dies ist ein leichtgewichtiges System, das wie ein smarter Router fungiert.

1. Es betrachtet ein spezifisches Stück Code.
2. Es fragt sich selbst: „Welches KI-Modell und welcher Fragestil werden für dieses spezifische Stück Code am besten funktionieren?“
3. Es wählt diese spezifische Kombination aus und sendet den Code an diesen Richter.

Die Ergebnisse von BinJudge:

• Bessere Genauigkeit: Durch die Wahl des richtigen Richters für die Aufgabe verbesserte BinJudge die Übereinstimmung mit menschlichen Experten um 4,5 % bis 24,7 % im Vergleich zu einem einfachen, statischen Setup.
• Günstiger: Da es oft kleinere, günstigere Modelle wählt, wenn diese gut genug sind, reduzierte es die Kosten auf zwischen 0,06x und 0,84x der Kosten des teuersten „besten“ Setups.

Was dies bedeutet

Das Paper kommt zu dem Schluss, dass wir uns nicht auf teure menschliche Experten für jedes einzelne Stück Code verlassen müssen, noch dass wir uns mit „dummen“ Computermetriken begnügen müssen, die nur Wörter zählen. Wir können KI-Richter verwenden, aber wir müssen dabei klug vorgehen. Wir können nicht einfach die eine „beste“ KI auswählen; wir brauchen ein System, das sich anpasst und das richtige Werkzeug für den richtigen Job wählt.

Die Autoren weisen vorsichtshalber darauf hin, dass KI-Richter zwar großartig sind, aber nicht perfekt. Sie können manchmal verwirrt sein, wenn der Code zu vage ist oder wenn die KI zu „flüssig“, aber inhaltlich falsch schreibt. Aber insgesamt legt diese Arbeit nahe, dass wir mit dem richtigen adaptiven System Code-Übersetzungen auf eine Weise bewerten können, die schnell, günstig und überraschend nah an dem ist, was ein menschlicher Experte sagen würde. Dies ist ein großer Schritt, um die dunkle, chaotische Welt des Binärcodes für alle lesbarer zu machen.