🤖 AI

Decaf: Improving Neural Decompilation with Automatic Feedback and Search

Das Papier stellt Decaf vor, ein System, das Compiler-Rückmeldungen und Suche nutzt, um die semantische Korrektheit von neuronalen Dekompilierungsausgaben erheblich zu verbessern, wodurch die Erfolgsrate beim Real-O2-Split von 26,0 % auf 83,9 % gesteigert wird, ohne die Ähnlichkeit zum ursprünglichen Quellcode zu beeinträchtigen.

Ursprüngliche Autoren: Alexander Shypula, Osbert Bastani, Edward Schwartz

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander Shypula, Osbert Bastani, Edward Schwartz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die "verlorene Übersetzung"

Stellen Sie sich vor, Sie haben ein Buch, das in einer komplexen, hochleveligen Sprache geschrieben ist (wie Englisch). Eine Maschine übersetzt dieses Buch in einen geheimen Code (Maschinencode), damit er auf einem Computer ausgeführt werden kann. Sobald die Übersetzung stattgefunden hat, wirft die Maschine das Originalbuch, die Kapitelüberschriften, die Charakternamen und sogar die Grammatikregeln weg.

Stellen Sie sich nun vor, Sie sind ein Detektiv, der herausfinden soll, wie die ursprüngliche Geschichte lautete, aber Sie haben nur den geheimen Code. Das ist Dekompilierung.

Traditionelle Tools (wie Ghidra) sind wie ein sehr wortwörtlicher Übersetzer. Sie können den geheimen Code zurück in Wörter verwandeln, aber das Ergebnis ist ein Chaos. Die Sätze sind holprig, die Namen werden durch "Variable_1" und "Variable_2" ersetzt, und die Logik ist schwer nachzuvollziehen. Es ist technisch korrekt, aber unmöglich zu lesen.

Andererseits ist moderne KI (Large Language Models) wie ein kreativer Schriftsteller. Sie kann die Geschichte erraten, coole Charakternamen erfinden und flüssige Sätze schreiben. Aber weil sie so kreativ ist, halluziniert sie manchmal. Sie könnte eine Handlungswendung erfinden, die nie stattgefunden hat, oder ein entscheidendes Detail übersehen, wodurch die Geschichte faktisch falsch ist, auch wenn sie schön zu lesen ist.

Die Lösung: "Decaf" (Dekompilierung mit automatischem Feedback)

Die Autoren dieses Papiers, Alexander Shypula und sein Team, erkannten, dass es nicht ausreicht, sich nur auf einen einzigen Ratschlag der KI zu verlassen. Sie entwickelten ein System namens Decaf, das wie eine Talentshow mit einem strengen Richter funktioniert.

So funktioniert der Decaf-Prozess, Schritt für Schritt:

1. Die "Talentshow" (Viele Kandidaten auswählen)

Anstatt die KI zu bitten, die Geschichte nur einmal zu schreiben und auf das Beste zu hoffen, bittet Decaf die KI, 32 verschiedene Versionen der Geschichte zu schreiben.

Analogie: Stellen Sie sich vor, Sie bitten 32 verschiedene Köche, dasselbe Gericht zu kochen. Einige könnten es verbrennen, andere könnten es zu salzig machen, aber einer von ihnen könnte zufällig die perfekte Version zubereiten.
Das Papier ergab, dass, wenn Sie nur nach einem Gericht fragen, Sie eine 60-prozentige Chance haben, etwas Essbares zu bekommen. Wenn Sie nach 32 fragen, haben Sie eine 88-prozentige Chance, dass mindestens eines davon perfekt ist.

2. Der "Geschmackstest" (Automatisches Feedback)

Jetzt haben Sie 32 verschiedene Versionen des Codes. Wie wissen Sie, welche die echte Originalversion ist? Sie können sie nicht einfach lesen; sie sehen alle wie Code aus.

Der Trick: Decaf nimmt jede einzelne von der KI generierte Version und kompiliert sie erneut. Es verwandelt den Code zurück in den geheimen Maschinencode.
Der Vergleich: Dann vergleicht es diesen neuen geheimen Code mit dem geheimen Code, mit dem Sie begonnen haben.
Analogie: Stellen Sie sich vor, Sie haben das originale geheime Rezept. Sie nehmen die Gerichte der 32 Köche, verwandeln sie zurück in Zutaten und schauen, welche Zutatengruppe exakt mit der ursprünglichen Liste übereinstimmt. Wenn die Zutaten übereinstimmen, ist das Gericht korrekt.

3. Der "Hauptrichter" (Der neuronale Neu-Ranker)

Manchmal reicht der Neukompilierungsschritt nicht aus, weil die Zutaten vielleicht etwas anders aussehen, aber gleich schmecken. Daher verwendet Decaf eine zweite KI, einen Reranker, als Hauptrichter.

Dieser Richter betrachtet den "geheimen Code" des Originals und den "geheimen Code" der KI-Vermutung.
Er schaut nicht nur auf die Wörter; er betrachtet die Logik. Er fragt: "Machen diese beiden Code-Stücke exakt dasselbe?"
Der Richter wählt den Gewinner aus und verwirft den Rest.

Die Ergebnisse: Warum es wichtig ist

Das Papier testete dieses System an einem massiven Benchmark namens ExeBench. Hier ist, was passierte:

Vor Decaf: Die besten KI-Modelle konnten die Logik nur etwa 26 % der Zeit richtig hinbekommen. Sie waren entweder zu unordentlich (wie traditionelle Tools) oder zu kreativ (mit Halluzinationsfehlern).
Mit Decaf: Das System sprang auf 83,9 % Genauigkeit.
Die "perfekte Übereinstimmung": Noch besser war, dass der von Decaf erzeugte Code so ähnlich dem Original war, dass er in 70,9 % der Fälle, wenn man ihn neu kompilierte, Byte für Byte identisch mit dem Original war.

Ein reales Beispiel aus dem Papier

Das Papier zeigt eine spezifische Funktion (ein kleines Code-Stück), das Zahlen berechnet.

Traditionelles Tool (Ghidra): Gab eine korrekte, aber hässliche Antwort mit Namen wie iVar1 und iVar2.
Standard-KI (LLM4Decompile): Gab eine schöne, lesbare Antwort, aber sie übersprang einen kritischen Schritt (eine "break"-Bedingung), wodurch die Logik falsch wurde.
Decaf: Generierte 32 Versionen. Es fand diejenige, die sowohl schöne Namen als auch die korrekte Logik hatte. Es wählte erfolgreich den Gewinner mit seinem "Geschmackstest" und seinem "Hauptrichter".

Der "Stresstest"

Die Autoren testeten auch, ob ihr System funktionierte, wenn sich die "Zutaten" änderten. Sie versuchten, einen anderen Compiler (Clang statt GCC) zu verwenden, um die Antworten zu überprüfen.

Ergebnis: Das System funktionierte immer noch gut, obwohl es etwas weniger genau wurde. Das ist wie ein Richter, der es gewohnt ist, italienisches Essen zu probieren, aber gebeten wird, französisches Essen zu beurteilen; er kann immer noch sagen, ob das Gericht gut ist, aber er ist nicht ganz so perfekt wie bei der Beurteilung seiner heimischen Küche.

Zusammenfassung

Decaf versucht nicht, die KI intelligenter zu machen, indem es ihr mehr Daten zuführt. Stattdessen ändert es die Strategie:

Viele Optionen generieren (sich nicht mit dem ersten Ratschlag zufriedengeben).
Sie automatisch verifizieren, indem man sie zurück in Maschinencode verwandelt.
Einen klugen Richter einsetzen, um diejenige auszuwählen, die sowohl lesbar als auch faktisch korrekt ist.

Dieser Ansatz verwandelt ein "Raten-Spiel" in einen "Such- und Verifizierungs"-Prozess und verbessert dramatisch die Fähigkeit, kompilierten Computercode zu verstehen, der von seiner ursprünglichen Bedeutung befreit wurde.

Technische Zusammenfassung: DECAF – Verbesserung der neuronalen Dekompilierung durch automatisches Feedback und Suche

1. Problemstellung

Dekompilierung ist der Prozess der Übersetzung von Low-Level-Assembly-Code zurück in High-Level-Quellcode. Während traditionelle Dekompilierer (z. B. Ghidra, Hex-Rays) fortgeschrittene Programmanalyse einsetzen, um Variablen und Kontrollfluss wiederherzustellen, scheitern sie häufig daran, idiomatische Syntax, aussagekräftige Bezeichner und benutzerdefinierte Datentypen zu rekonstruieren. Im Gegensatz dazu zeichnen sich neuere neuronale Dekompilierungsmodelle, insbesondere solche auf Basis von Large Language Models (LLMs), durch die Generierung lesbarer, idiomatischer Code aus, leiden jedoch unter „Halluzinationen". Diese Modelle erzeugen häufig semantisch inkorrekten Code, lassen kritische Logik (wie Abbruchbedingungen) aus oder generieren Code, der nicht kompiliert oder nicht korrekt ausgeführt wird.

Die zentrale Herausforderung, die in diesem Papier adressiert wird, ist der Kompromiss zwischen Idiomatik (Lesbarkeit und Struktur) und funktionaler Korrektheit (semantische Äquivalenz zum ursprünglichen Binärcode). Bestehende neuronale Ansätze generieren typischerweise eine einzige Kandidaten-Ausgabe, wodurch das Potenzial für korrekte Lösungen ungenutzt bleibt, falls der erste Versuch des Modells fehlerhaft ist. Darüber hinaus ist die Verifizierung der Korrektheit von dekompiliertem Code im allgemeinen Fall ein unentscheidbares Problem, was es schwierig macht, automatisch den besten Kandidaten aus einer Reihe von Möglichkeiten auszuwählen.

2. Methodik

Die Autoren schlagen DECAF (DECompilation with Automated Feedback) vor, ein System, das die neuronale Dekompilierung verbessert, indem es mehrere Kandidaten-Dekompilierungen generiert und die vielversprechendste davon mithilfe von Compiler-Feedback und einem trainierten neuronalen Neu-Ranker automatisch auswählt.

2.1. Die DECAF-Pipeline

Das System arbeitet in drei Hauptphasen:

Initiale Dekompilierung: Ein traditioneller Dekompilierer (Ghidra) verarbeitet das Ziel-Binary, um eine initiale, oft nicht-idiomatische, C-ähnliche Darstellung zu erzeugen.
Kandidatengenerierung: Diese Ausgabe wird in ein neuronales Generator-Modell (ein LLM) eingespeist. Anstatt einer einzelnen Inferenz verwendet das System Temperature Sampling, um eine vielfältige Menge von $N$ Kandidaten-Dekompilierungen zu generieren (z. B. $N=32$ ).
Automatisches Feedback und Neu-Ranking:
- Kompilierungsfilter: Jeder Kandidat wird kompiliert (z. B. mit gcc -c). Kandidaten, die nicht kompilieren, werden verworfen.
- Neu-Ranking: Die verbleibenden Kandidaten werden gegen das ursprüngliche Binary bewertet. Die Autoren schlagen drei Neu-Ranking-Strategien vor:
  - Log-Wahrscheinlichkeit: Ranking basierend auf der normalisierten Log-Wahrscheinlichkeit des Generator-Modells.
  - Byte-Distanz: Kompilierung des Kandidaten und Berechnung einer modifizierten Levenshtein-Distanz zwischen den Binärbytes des Kandidaten und den Bytes des ursprünglichen Binaries. Diese Distanz berücksichtigt Relokationsartefakte, indem bestimmte Offsets als Wildcards behandelt werden.
  - Neuronaler Neu-Ranker: Ein dediziertes LLM (Decaf-ReRanker), das trainiert wurde, um die Wahrscheinlichkeit vorherzusagen, dass zwei Assembly-Sequenzen (das Original und der rekompilierte Kandidat) funktional äquivalent sind.

2.2. Daten und Training

Generator-Modell: Die Autoren haben LLM4Decompile-Ref-22b-v2 (22B Parameter) auf dem EXEBENCH-Datensatz feinabgestimmt. Sie führten typbewusste Überwachung ein, indem sie das Modell trainierten, notwendige #include-Anweisungen, Vorwärtsdeklarationen und Typdefinitionen zu generieren, um sicherzustellen, dass die Ausgabe kompilierbar ist. Sie trainierten Modelle zudem auf gestreiften (stripped) Binaries, um reale Reverse-Engineering-Szenarien zu simulieren.
Neu-Ranker-Modell: Ein 32-Milliarden-Parameter-Modell (QWEN3-32B) wurde trainiert, um zwischen funktional äquivalenten und nicht-äquivalenten Assembly-Paaren zu unterscheiden. Die Trainingsdaten wurden erstellt, indem mehrere Kandidaten generiert, gegen Testfälle ausgeführt und erfolgreiche Ausführungen (positiv) mit Fehlern oder Nicht-Übereinstimmungen (negativ) gepaart wurden.
Wiederherstellung von Schwachstellen: Für spezifische Experimente nutzten die Autoren den Juliet Test Suite, um die Fähigkeit des Systems zu bewerten, Code mit bekannten Schwachstellen (CWE-Klassen) aus gestreiften Binaries wiederherzustellen.

3. Hauptbeiträge

DECAF-System: Ein neuartiges Framework, das neuronale Generierung mit Compiler-Feedback und Suche (Sampling mehrerer Kandidaten) kombiniert, um den Kompromiss zwischen Lesbarkeit und Korrektheit zu lösen.
Decaf-Gen-22b: Ein neues LLM-Generator-Modell, das bestehende State-of-the-Art-neuronale Dekompilierer (einschließlich LLM4Decompile und Idioms-Gemma-7b) in Bezug auf funktionale Genauigkeit und Byte-zu-Byte-Übereinstimmung übertrifft, insbesondere wenn es mit typbewusster Überwachung und Eingaben gestreifter Binaries trainiert wird.
Decaf-ReRanker-32b: Ein spezialisierter Neu-Ranker, der funktional korrekte Dekompilierungen effektiv aus einem Pool von Kandidaten identifiziert und in vielen Szenarien einfache Log-Wahrscheinlichkeits- oder Byte-Distanz-Heuristiken deutlich übertrifft.
Methodische Erkenntnis: Der Nachweis, dass das Sampling mehrerer Kandidaten (z. B. 32) die Wahrscheinlichkeit, eine funktional korrekte Lösung zu finden, dramatisch erhöht (in einigen Aufteilungen die Obergrenze von ca. 60 % auf ca. 88 % anhebend), sofern ein effektiver Neu-Ranking-Mechanismus vorhanden ist.
Generalisierbarkeit: Belege dafür, dass die Neu-Ranking-Methodik schwächere Modelle verstärken kann (z. B. liefert die Anwendung des DECAF-Neu-Rankers auf LLM4Decompile-Ausgaben signifikante Gewinne).

4. Experimentelle Ergebnisse

Die Autoren bewerteten ihren Ansatz auf dem EXEBENCH-Datensatz über verschiedene Aufteilungen hinweg (Real/Synth, Stripped/Unstripped, -O0/-O2).

Funktionale Korrektheit: Auf der Aufteilung Stripped REAL -O2 erreichte DECAF eine funktionale Korrektheitsrate von 83,9 % mit Neu-Ranking, verglichen mit 26,0 % für das beste bisherige neuronale Modell (Idioms-Gemma-7b) und 59,1 % für den Generator allein (einzelnes Sample).
Byte-zu-Byte-Übereinstimmung: DECAF erreichte auf derselben Aufteilung eine exakte Byte-zu-Byte-Übereinstimmung von 70,9 % und übertraf damit deutlich die 19,1 % von Idioms-Gemma-7b.
Ähnlichkeit zum Quellcode: Entgegen der Intuition, dass die Optimierung auf Korrektheit die Lesbarkeit verringern könnte, stellten die Autoren fest, dass das Neu-Ranking auf funktionale Korrektheit die Ähnlichkeit (geringere Editierdistanz) zum ursprünglichen Quellcode im Allgemeinen verbesserte.
Wiederherstellung von Schwachstellen: Auf dem Juliet-Test-Suite erreichte DECAF einen F1-Score von 29,8 % für die Wiederherstellung von Schwachstellen und übertraf Ghidra (1,7 %) deutlich, wobei eine hohe Präzision (95,5 %) demonstriert wurde.
Robustheit: Bei Tests mit einem anderen Compiler (Clang) für das Feedback als dem für die Generierung verwendeten (GCC) sank die Leistung des neuronalen Neu-Rankers bei ungestreiften Aufteilungen aufgrund von Verteilungsverschiebungen, was eine Abhängigkeit von der Vielfalt der Trainingsdaten unterstreicht.

5. Bedeutung und Behauptungen

Das Papier argumentiert, dass die Grenzen aktueller neuronaler Dekompilierer nicht allein auf einen Mangel an Daten oder Modellgröße zurückzuführen sind, sondern vielmehr auf das Fehlen von Verifizierung und Suche. Indem Dekompilierung als Suchproblem behandelt wird, bei dem mehrere Kandidaten generiert und über Compiler-Feedback gefiltert werden, kann das System hochwertige Quellcode wiederherstellen, der sowohl lesbar als auch semantisch korrekt ist.

Die Autoren behaupten, dass DECAF einen bedeutenden Fortschritt im State-of-the-Art der neuronalen Dekompilierung darstellt und über das Paradigma des „besten einzelnen Versuchs" hinausgeht. Sie betonen, dass ihr Ansatz allgemein ist und angewendet werden kann, um jeden neuronalen Dekompilierer zu verstärken, der in der Lage ist, vielfältige Kandidaten zu produzieren. Die Arbeit hebt zudem den praktischen Nutzen dieser Methoden in Sicherheitsaufgaben hervor, wie z. B. die Wiederherstellung von Schwachstellen aus gestreiften Binaries, bei denen traditionelle Werkzeuge oft versagen, handlungsrelevanten High-Level-Code bereitzustellen.

Die Autoren erkennen Einschränkungen an, darunter die Abhängigkeit vom Zugriff auf die Referenz-Compiler-Konfiguration für Byte-zu-Byte-Übereinstimmungen und die Herausforderungen bei der Generalisierung auf verschiedene Compiler-Architekturen (z. B. Clang vs. GCC) ohne spezifisches Training. Sie schließen, dass zukünftige Arbeiten darauf fokussieren sollten, Neu-Ranker auf vielfältigeren Compiler-Konfigurationen zu trainieren und Reinforcement Learning für iterative Verfeinerung zu erforschen.