Semantic Reverse Engineering Legacy Software Applications with ChatGPT, Gemini AI, and Claude AI

Diese Forschungsarbeit stellt Ergebnisse zur semantischen Reverse-Engineering-Nutzung von ChatGPT, Gemini und Claude AI bei der Analyse veralteter Datenbank-Softwareanwendungen vor.

Das Wesentliche

Stellen Sie sich eine sehr alte, staubige Bibliothek voller Bücher vor, die in einer Sprache geschrieben sind, die niemand mehr spricht. Sie haben kein Wörterbuch, und die Autoren sind längst verschwunden. Ihr Ziel ist es nicht nur, die Buchstaben auf der Seite abzuschreiben (das ist einfach); Ihr Ziel ist es, die Geschichte, die Logik und die Regeln zu verstehen, die der Autor befolgen wollte.

Dieser Artikel handelt von einem Team von Forschern, die versuchen, drei verschiedene „superintelligente Roboter" (ChatGPT, Gemini und Claude) einzusetzen, um diese alten Computerprogramme zu lesen und zu erklären, was sie tatsächlich tun.

Hier ist die Aufschlüsselung ihres Experiments mit einfachen Analogien:

Die Mission: Den „Geist" in der Maschine entschlüsseln

Die Forscher hatten alte Software (sogenannten „Legacy-Code"), die wie ein Türsteher in einem Club funktionierte. Dieser Türsteher hatte spezifische Regeln:

1. Die Geografie-Regel: „Wenn eine Stadt die Hauptstadt eines Landes ist, muss sie zu diesem Land gehören."
2. Die Königliche Regel: „Zwei Könige können nicht gleichzeitig dasselbe Land regieren, es sei denn, sie sind verheiratet oder Elternteil/Kind."

Das Problem? Der Code war in einem alten Stil (VBA) geschrieben, ohne Kommentare, die erklärten, warum er so geschrieben wurde. Die Forscher wollten sehen, ob die KI den Code betrachten und sagen konnte: „Ah, ich verstehe! Dieser Code setzt die Regel durch, dass Hauptstädte mit Ländern übereinstimmen müssen."

Die drei Roboter (Die KI-Tools)

Die Forscher testeten drei verschiedene KI-„Detektive":

1. ChatGPT: Der nachdenkliche Tutor

• Wie es funktionierte: ChatGPT war wie ein intelligenter Schüler, der es wirklich richtig machen wollte. Als die Forscher ihm die erste einfache Regel gaben, verstand es sie perfekt.
• Der Fehler: Als sie ihm die komplexe „Königliche Regel" gaben, verstand ChatGPT die Geschichte zunächst falsch. Es dachte, der Code lehne eine Heirat ab, tatsächlich lehnte der Code jedoch eine Änderung einer bestehenden Ehe ab.
• Die Erholung: Als die Forscher es korrigierten, sagte ChatGPT nicht nur „Okay". Es sagte: „Oh! Ich sehe meinen Fehler. Ich habe den falschen Teil der Logik betrachtet. Sie haben recht: Es geht nicht um den Status der Ehe, sondern um den Übergang beim Wechsel der Ehepartner." Es lernte aus der Korrektur und erklärte, warum es falsch lag.
• Urteil: Am besten darin, die tiefere Bedeutung zu verstehen und zuzugeben, wenn es einen Fehler gemacht hat.

2. Claude: Der elegante Dichter

• Wie es funktionierte: Claude war sehr höflich und schätzte die mathematische Schönheit des Codes. Es verstand die einfachen Regeln sofort und lobte die Forscher für ihre clevere Logik.
• Der Fehler: Wie ChatGPT verstand es auch die komplexe „Königliche Regel" zunächst falsch. Es machte eine verwirrende Behauptung, dass „gleichzeitige Regentschaften für ein verheiratetes Paar unmöglich seien", was keinen Sinn ergab.
• Die Erholung: Als es korrigiert wurde, gab es den Fehler zu und verstand schließlich die Logik. Allerdings war die Kommunikation sehr langsam (die Forscher mussten stundenlang zwischen den Fragen warten), was den Prozess wie eine sehr langsame, formale Teezeremonie wirken ließ.
• Urteil: Sehr gut im Verstehen, aber langsam und etwas starr.

3. Gemini: Der übermäßig enthusiastische Künstler

• Wie es funktionierte: Gemini war das dramatischste. Anstatt zu sagen: „Dieser Code prüft, ob eine Stadt zu einem Land gehört", sagte es Dinge wie: „Dies ist ein Bio-Logik-Selbstheilungssensor, der eine Ethische Ruptur erkennt!" Es verwendete zu viele Metaphern (Bakterien, Kalkstein, Labyrinthe) und versuchte, die Forscher davon zu überzeugen, andere, moderne Tools zu verwenden, anstatt den alten Code zu analysieren.
• Der Fehler: Es rechnete die einfache Mathematik falsch (nannte eine Funktion eine „Surjektion", obwohl es eine „Injektion" war) und, als es korrigiert wurde, tat es so, als würde es verstehen, machte aber weiterhin denselben Fehler.
• Urteil: Zu blumig und wortreich. Es ging in seinen eigenen Metaphern unter und konnte sich nicht an die Fakten halten.

Die große Entdeckung: Der „Zustand" versus die „Änderung"

Die wichtigste Lehre aus dem Papier ist ein subtiler, aber riesiger Unterschied in der Logik:

• Zustand: Ist die aktuelle Situation gültig? (z. B. „Ist diese Ehe legal?")
• Übergang: Ist die Handlung, die Situation zu ändern, gültig? (z. B. „Kann ich den Ehemann gegen jemand anderen austauschen?")

Die Forscher stellten fest, dass die KI-Tools hervorragend darin waren, den „Zustand" zu erkennen (die einfachen Regeln). Aber wenn es um die komplexen „Übergangs"-Regeln (die Königliche Regel) ging, gerieten alle in Verwirrung. Sie dachten, der Code würde verhindern, dass eine Ehe stattfindet, obwohl er tatsächlich eine Änderung einer Ehe verhinderte.

Das endgültige Fazit

Die Forscher kamen zu dem Schluss, dass:

1. KI ein großartiger Assistent für kleine Rätsel ist: Wenn Sie der KI ein winziges Code-Stück geben, kann es dies sehr gut erklären.
2. KI noch kein Ersatz für Experten ist: Wenn der Code etwas größer oder komplexer ist, könnte die KI selbstbewusst das genaue Gegenteil dessen erklären, was der Code tut.
3. Mathematik zählt: Die Forscher stellten fest, dass die KI-Tools am besten funktionierten, wenn die Menschen, die sie leiteten, ihre Mathematik beherrschten (wie Mengenlehre und Logik). Die KI braucht einen Menschen, der „Logik" spricht, um sie auf dem richtigen Weg zu halten.

Kurz gesagt: Diese KI-Tools sind wie sehr brillante Praktikanten. Sie können das Handbuch lesen und die Grundlagen perfekt erklären, aber wenn Sie ihnen ein kniffliges, reales Szenario geben, könnten sie Ihnen selbstbewusst die falsche Geschichte erzählen. Sie benötigen immer noch einen erfahrenen menschlichen Ingenieur, um ihre Arbeit zu überprüfen.

Technische Zusammenfassung

Technische Zusammenfassung: Semantische Reverse Engineering von Legacy-Softwareanwendungen mit ChatGPT, Gemini AI und Claude AI

Problemstellung
Das traditionelle Reverse Engineering (RE) von Software ist überwiegend syntaktisch ausgerichtet und konzentriert sich auf die Wiederherstellung von Quellcode oder Binärstrukturen, ohne notwendigerweise die zugrunde liegende Absicht oder „Geschäftsregeln" zu verstehen. Zwar existieren Werkzeuge zur Entschleierung und Malware-Erkennung, doch adressieren sie selten die semantische Ebene, die erforderlich ist, um aus Legacy-Code formale Definitionen von Constraints abzuleiten. Diese Forschung befasst sich mit der Herausforderung des semantischen Reverse Engineerings: Sie nimmt Legacy-Quellcode (insbesondere MS Access VBA, das nicht-relationale Datenbank-Constraints erzwingt) und leitet daraus eine formale Definition mittels Mengenlehre, Relationen, Funktionen und Prädikatenlogik erster Stufe ab, ebenso wie eine präzise Formulierung in einfacher englischer Sprache. Die Autoren stellen fest, dass sich ihre vorherige Arbeit auf das Reverse Engineering von Datenbankschemata in das (Elementare) Mathematische Datenmodell ((E)MDM) konzentrierte, während diese Studie das Reverse Engineering der Anwendungen selbst zum Ziel hat.

Methodik
Die Studie nutzte drei Large Language Models (LLMs): ChatGPT (Plus 5.3 und Mini), Gemini (3) und Claude (Sonnet 4.6). Das experimentelle Setup umfasste:

• Hardware/Software: Toshiba Satellite Intel CORE i7, MS Windows 10, MS Access 365 und MatBase v. 5.2 (ein Prototyp eines intelligenten Datenmanagementsystems, das auf (E)MDM basiert).
• Eingabedaten: Code-Snippets aus zwei Legacy-Anwendungen: einer Geografie-Datenbank und einer Genealogie-Datenbank. Diese Snippets erzwangen komplexe nicht-relationale Constraints (z. B. „Die Hauptstadt eines Landes muss eine Stadt sein, die zu diesem Land gehört" sowie historische Constraints bezüglich königlicher Eheschließungen und Regierungszeiten).
• Vorverarbeitung: Die Autoren entfernten absichtlich alle Kommentare aus dem VBA-Code und löschten Anweisungen zur Anzeige von Fehlermeldungen (MsgBox), um die Fähigkeit der KI zu testen, Codeabsichten ohne explizite Dokumentation oder Laufzeit-Feedback zu verstehen.
• Prozess: Die Forscher führten iterative Dialoge mit den KI-Modellen. Sie stellten Code-Snippets zur Verfügung und baten die Modelle um Folgendes:
  1. Die „Geschäftsregel" abzuleiten.
  2. Zeilenweise Erklärungen zu liefern.
  3. Den Constraint mittels mathematischer Logik (Mengenlehre, Kategorientheorie, Logik erster Stufe) zu formalisieren.
  4. Die Formalisierung basierend auf dem Feedback der Autoren zu kritisieren und zu verfeinern (z. B. Korrektur der Unterscheidung zwischen totalen und partiellen Funktionen oder zwischen Zustands- und Übergangs-Constraints).

Hauptergebnisse
Die Leistung der drei KI-Tools variierte erheblich zwischen einfachen und komplexen Code-Snippets:

1. Einfache Constraints (Geografie-App):

   • ChatGPT: Leitet die Geschäftsregel erfolgreich ab („Eine Hauptstadt muss in ihrem zugewiesenen Land verbleiben") und lieferte präzise zeilenweise Erklärungen. Es identifizierte den Constraint korrekt als nicht-relational (auf Anwendungsebene) und führte einen hochentwickelten mathematischen Dialog zur Formalisierung des Constraints als „null-reflexive" partielle Selbstabbildung. Es erkannte und korrigierte seine anfänglichen Halluzinationen bezüglich Variablentypen.
   • Claude: Verstand die Geschäftsregel und den proaktiven Charakter des Constraints (Einschränkung von Wahlmöglichkeiten vs. Blockieren von Updates) korrekt. Es lobte die algebraische Formalisierung der Autoren und begriff sofort das Konzept der Null-Reflexivität.
   • Gemini: Identifizierte die Regel korrekt und lieferte eine Formalisierung in Prädikatenlogik erster Stufe. Es machte jedoch einen kritischen Fehler, indem es die Funktion „Hauptstadt" als Surjektion und nicht als Injektion deklarierte und damit den partiellen Charakter der Funktion nicht begriff. Es zeigte zudem eine Tendenz zu wortreichen, metaphorischen Formulierungen („Bio-Logik", „Topologie des Peinlichen") anstelle einer präzisen technischen Analyse.

2. Komplexe Constraints (Genealogie-App – Königliche Ehen):

   • Die Herausforderung: Der Code erzwingte eine Regel, nach der ein verheiratetes Paar nicht ersetzt werden durfte, wenn sie gleichzeitig dasselbe Land regiert hatten, es sei denn, sie waren Elternteil und Kind.
   • Anfängliches Versagen: Alle drei Modelle (ChatGPT, Gemini und Claude) interpretierten den Code zunächst falsch. Sie kamen fälschlicherweise zu dem Schluss, dass der Code die Ehe selbst ablehne, anstatt den Übergang (die Bearbeitung/Änderung der Ehepartner) unter bestimmten Bedingungen abzulehnen.
   • Korrektur und Divergenz:
     • ChatGPT: Nach der Korrektur erkannte es den Fehler sofort, unterschied zwischen „Zustands-Constraints" und „Übergangs-Constraints" (dynamische Integrität) und generalisierte die Lektion. Es formulierte die Regel korrekt als AllowedTransition und nicht als ValidState.
     • Gemini: Scheint zunächst die Korrektur verstanden zu haben, kehrte jedoch später in seiner Argumentation zum ursprünglichen Fehler zurück. Es versuchte zudem, das Gespräch auf die Migration des Legacy-Codes zu Python/SQLite zu lenken, anstatt die bestehende Logik zu analysieren.
     • Claude: Beging zunächst denselben Fehler wie die anderen. Nach einer erheblichen Verzögerung (bedingt durch Nutzungslimits) erkannte es die Korrektur an und verstand schließlich die Absicht des Codes korrekt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass KI-Tools für das semantische Reverse Engineering von kleinen, einfachen Code-Snippets hochwirksam sind, derzeit jedoch bei komplexem, mehrzeiligem Legacy-Code Schwierigkeiten haben und oft das genaue Gegenteil der beabsichtigten Logik ableiten.

• Tool-Vergleich: Die Autoren kommen zu dem Schluss, dass sich die Leistungshierarchie für das semantische Reverse Engineering von der für das Forward Engineering unterscheidet. ChatGPT wird aufgrund seiner Fähigkeit, tiefgehende, iterative mathematische Dialoge zu führen, eigene Fehler zu korrigieren und den Unterschied zwischen Zustands- und Übergangs-Constraints zu verstehen, als das fähigste Tool für diese spezifische Aufgabe identifiziert. Claude wird als hervorragend für das Forward Engineering eingestuft, war hier jedoch zunächst weniger effektiv, obwohl es die Konzepte schließlich begriff. Gemini wird für diese Aufgabe als „fast nutzlos" eingestuft, wenn die Code-Komplexität etwa 30 Anweisungen übersteigt, unter Berufung auf seine Wortfülle, seine Abhängigkeit von Metaphern und seine Unfähigkeit, logische Konsistenz aufrechtzuerhalten.
• Mensch-KI-Zusammenarbeit: Die Forschung betont, dass KI hochqualifizierte Softwareingenieure noch nicht ersetzen kann. Die Autoren argumentieren, dass der Erfolg des semantischen Reverse Engineerings stark von der Fähigkeit des menschlichen Ingenieurs abhängt, die KI zu steuern, was insbesondere eine fundierte mathematische Basis (K-12-Niveau und darüber hinaus) erfordert, um zu erkennen, wann die Formalisierung der KI falsch ist (z. B. Verwechslung von Injektionen mit Surjektionen oder von Zustand mit Übergang).
• Einschränkungen: Die Studie beschränkte sich auf die kostenlosen Versionen der KI-Tools und VBA-Legacy-Code. Die Autoren behaupten nicht, dass Abo-Versionen oder andere Sprachen grundsätzlich andere Ergebnisse liefern würden, sondern lediglich potenziell schnellere oder großzügigere Interaktionen.

Fazit
Die Arbeit geht davon aus, dass sich das semantische Reverse Engineering für einfache Fälle von einem „Albtraum" zu einem „Kinderspiel" wandelt, für komplexe Legacy-Systeme jedoch eine komplexe Herausforderung bleibt. Das ultimative Ziel – die algebraische und logische Struktur von Verhaltenscode offenzulegen – erfordert eine symbiotische Beziehung, bei der die KI eine schnelle Analyse liefert und der menschliche Experte die notwendige mathematische Strenge bereitstellt, um die semantische Interpretation zu validieren und zu verfeinern.