Semantic Reverse Engineering Legacy Software Applications with ChatGPT, Gemini AI, and Claude AI

Questo articolo di ricerca presenta risultati sull'utilizzo di ChatGPT, Gemini e Claude AI per il reverse engineering semantico di applicazioni software di database legacy.

L'essenziale

Immagina di avere una biblioteca molto antica e polverosa di libri scritti in una lingua che nessuno parla più. Non hai il dizionario e gli autori sono da tempo scomparsi. Il tuo obiettivo non è semplicemente copiare le lettere sulla pagina (questo è facile); il tuo obiettivo è comprendere la storia, la logica e le regole che l'autore stava cercando di seguire.

Questo articolo riguarda un team di ricercatori che cerca di utilizzare tre diversi "robot super-intelligenti" (ChatGPT, Gemini e Claude) per leggere questi vecchi programmi informatici e spiegare cosa fanno effettivamente.

Ecco la suddivisione del loro esperimento utilizzando semplici analogie:

La Missione: Decodificare il "Fantasma" nella Macchina

I ricercatori avevano un software vecchio (chiamato "codice legacy") che agiva come un buttafuori in un club. Questo buttafuori aveva regole specifiche:

1. La Regola Geografica: "Se una città è la capitale di un paese, deve appartenere a quel paese."
2. La Regola Reale: "Due re non possono governare lo stesso paese contemporaneamente, a meno che non siano sposati o genitore/figlio."

Il problema? Il codice era scritto in uno stile vecchio (VBA) senza commenti che spiegassero perché era stato scritto in quel modo. I ricercatori volevano vedere se l'IA poteva guardare il codice e dire: "Ah, capisco! Questo codice sta applicando la regola secondo cui le capitali devono corrispondere ai paesi."

I Tre Robot (Gli Strumenti di IA)

I ricercatori hanno testato tre diversi "detective" di IA:

1. ChatGPT: Il Tutor Riflessivo

• Come ha funzionato: ChatGPT era come uno studente intelligente che voleva davvero fare le cose bene. Quando i ricercatori gli hanno dato la prima regola semplice, l'ha capita perfettamente.
• L'errore: Quando gli hanno dato la complessa "Regola Reale", ChatGPT inizialmente ha frainteso la storia. Ha pensato che il codice stesse rifiutando un matrimonio, mentre in realtà il codice stava rifiutando un cambiamento a un matrimonio esistente.
• Il recupero: Quando i ricercatori l'hanno corretto, ChatGPT non ha detto solo "Ok". Ha detto: "Oh! Ho capito il mio errore. Stavo guardando la parte sbagliata della logica. Hai ragione: non si tratta dello stato del matrimonio, ma della transizione di cambiare i coniugi." Ha imparato dalla correzione e ha spiegato perché aveva sbagliato.
• Verdetto: Il migliore nel comprendere il significato profondo e nell'ammettere quando ha sbagliato.

2. Claude: L'Elegante Poeta

• Come ha funzionato: Claude era molto gentile e apprezzava la bellezza matematica del codice. Ha capito le regole semplici immediatamente e ha elogiato i ricercatori per la loro logica astuta.
• L'errore: Come ChatGPT, ha sbagliato anche lui inizialmente la complessa "Regola Reale". Ha fatto un'affermazione confusa secondo cui "i regni concorrenti sono impossibili per una coppia sposata", il che non aveva senso.
• Il recupero: Quando corretto, ha ammesso l'errore e ha finalmente capito la logica. Tuttavia, era molto lento da consultare (i ricercatori dovevano aspettare ore tra una domanda e l'altra), rendendo il processo simile a una cerimonia del tè molto lenta e formale.
• Verdetto: Molto bravo a comprendere, ma lento e un po' rigido.

3. Gemini: L'Artista Eccessivamente Entusiasta

• Come ha funzionato: Gemini era il più drammatico. Invece di dire "Questo codice verifica se una città appartiene a un paese", diceva cose come: "Questo è un sensore Bio-Logico Auto-Riparante che rileva una Rottura Etica!" Usava troppe metafore (batteri, calcare, labirinti) e cercava di convincere i ricercatori a utilizzare strumenti diversi e moderni invece di analizzare il vecchio codice.
• L'errore: Ha sbagliato la matematica semplice (chiamando una funzione una "suriezione" quando era un'"iniezione") e, quando corretto, ha finto di capire ma continuava a commettere lo stesso errore.
• Verdetto: Troppo fiorito e verboso. Si è perso nelle sue stesse metafore e non è riuscito a attenersi ai fatti.

La Grande Scoperta: Lo "Stato" vs Il "Cambiamento"

La lezione più importante tratta dall'articolo è una differenza sottile ma enorme nella logica:

• Stato: La situazione attuale è valida? (ad esempio, "È questo matrimonio legale?")
• Transizione: L'azione di cambiare la situazione è valida? (ad esempio, "Posso sostituire il marito con qualcun altro?")

I ricercatori hanno scoperto che gli strumenti di IA erano ottimi nel rilevare lo "Stato" (le regole semplici). Ma quando si trattava delle complesse regole di "Transizione" (la Regola Reale), tutti si sono confusi. Pensavano che il codice stesse impedendo che un matrimonio avvenisse, mentre in realtà stava impedendo un cambiamento a un matrimonio.

La Conclusione Finale

I ricercatori hanno concluso che:

1. L'IA è un ottimo assistente per piccoli enigmi: Se dai all'IA un piccolo frammento di codice, può spiegarlo molto bene.
2. L'IA non è ancora un sostituto degli esperti: Se il codice è un po' più grande o complesso, l'IA potrebbe spiegare con sicurezza l'esatto opposto di ciò che il codice sta facendo.
3. La matematica conta: I ricercatori hanno notato che gli strumenti di IA funzionavano meglio quando gli umani che li guidavano conoscevano la matematica (come la teoria degli insiemi e la logica). L'IA ha bisogno di un umano che parli "logica" per tenerla sulla retta via.

In sintesi: Questi strumenti di IA sono come stagisti molto brillanti. Possono leggere il manuale e spiegare le basi perfettamente, ma se gli dai uno scenario complicato e reale, potrebbero dirti con sicurezza la storia sbagliata. Hai ancora bisogno di un ingegnere umano esperto per verificare il loro lavoro.

Sommario tecnico

Riepilogo Tecnico: Ingegneria Inversa Semantica di Applicazioni Software Legacy con ChatGPT, Gemini AI e Claude AI

Enunciato del Problema
L'ingegneria inversa (RE) del software tradizionale è prevalentemente sintattica, focalizzata sul recupero del codice sorgente o delle strutture binarie senza necessariamente comprendere l'intento sottostante o le "regole di business". Sebbene esistano strumenti per la deoffuscazione e il rilevamento di malware, raramente affrontano il livello semantico necessario per inferire definizioni formali di vincoli dal codice legacy. Questa ricerca affronta la sfida dell'ingegneria inversa semantica: prendere codice sorgente legacy (in particolare VBA di MS Access che impone vincoli su database non relazionali) e inferirne la definizione formale utilizzando teoria degli insiemi, relazioni, funzioni e logica del primo ordine, nonché esprimerla accuratamente in inglese comune. Gli autori notano che, mentre il loro lavoro precedente si è concentrato sull'ingegneria inversa degli schemi di database nel Modello Matematico dei Dati (Elementare) ((E)MDM), questo studio mira all'ingegneria inversa delle applicazioni stesse.

Metodologia
Lo studio ha utilizzato tre Modelli Linguistici di grandi dimensioni (LLM): ChatGPT (Plus 5.3 e Mini), Gemini (3) e Claude (Sonnet 4.6). La configurazione sperimentale ha coinvolto:

• Hardware/Software: Toshiba Satellite Intel CORE i7, MS Windows 10, MS Access 365 e MatBase v. 5.2 (un prototipo di sistema intelligente di gestione dati basato su (E)MDM).
• Dati di Input: Frammenti di codice da due applicazioni legacy: un database di Geografia e un database di Genealogia. Questi frammenti imponevano vincoli complessi non relazionali (ad esempio, "Una capitale di un paese deve essere una città appartenente a quel paese" e vincoli storici riguardanti i matrimoni reali e i regni).
• Preprocessing: Gli autori hanno deliberatamente rimosso tutti i commenti dal codice VBA e le istruzioni di visualizzazione dei messaggi di errore (MsgBox) per testare la capacità dell'AI di comprendere l'intento del codice senza documentazione esplicita o feedback a runtime.
• Processo: I ricercatori hanno intrattenuto dialoghi iterativi con i modelli AI. Hanno fornito frammenti di codice e chiesto ai modelli di:
  1. Inferire la "regola di business".
  2. Fornire spiegazioni riga per riga.
  3. Formalizzare il vincolo utilizzando la logica matematica (teoria degli insiemi, teoria delle categorie, logica del primo ordine).
  4. Criticare e perfezionare la formalizzazione in base al feedback degli autori (ad esempio, correggendo la distinzione tra funzioni totali e parziali, o vincoli di stato rispetto a vincoli di transizione).

Risultati Chiave
Le prestazioni dei tre strumenti AI sono variate significativamente tra frammenti di codice semplici e complessi:

1. Vincoli Semplici (Applicazione Geografia):

   • ChatGPT: Ha inferito con successo la regola di business ("Una città capitale deve rimanere nel suo paese assegnato") e fornito spiegazioni accurate riga per riga. Ha correttamente identificato il vincolo come non relazionale (a livello di applicazione) e ha intrattenuto un dialogo matematico sofisticato riguardo alla formalizzazione del vincolo come una "auto-mappatura parziale null-riflessiva". Ha riconosciuto e corretto le sue allucinazioni iniziali riguardanti i tipi di variabili.
   • Claude: Ha compreso correttamente la regola di business e la natura proattiva del vincolo (limitare le scelte rispetto a bloccare gli aggiornamenti). Ha elogiato la formalizzazione algebrica degli autori e ha afferrato immediatamente il concetto di null-riflessività.
   • Gemini: Ha correttamente identificato la regola e fornito una formalizzazione in logica del primo ordine. Tuttavia, ha commesso un errore critico dichiarando la funzione "Capitale" una suriezione invece di un'iniezione, non cogliendo la natura parziale della funzione. Ha anche mostrato una tendenza verso un linguaggio verboso e metaforico ("Bio-Logica", "Topologia dell'Imbarazzo") piuttosto che un'analisi tecnica precisa.

2. Vincoli Complessi (Applicazione Genealogia - Matrimoni Reali):

   • La Sfida: Il codice imponeva una regola per cui una coppia sposata non poteva essere sostituita se avevano governato lo stesso paese simultaneamente, a meno che non fossero genitore e figlio.
   • Fallimento Iniziale: Tutti e tre i modelli (ChatGPT, Gemini e Claude) hanno inizialmente interpretato male il codice. Hanno concluso erroneamente che il codice rifiutava il matrimonio stesso, piuttosto che rifiutare la transizione (la modifica/cambiamento dei coniugi) in condizioni specifiche.
   • Correzione e Divergenza:
     • ChatGPT: Dopo la correzione, ha immediatamente riconosciuto l'errore, distinto tra "vincoli di stato" e "vincoli di transizione" (integrità dinamica) e generalizzato la lezione. Ha correttamente riformulato la regola come TransizioneConsentita piuttosto che come StatoValido.
     • Gemini: Inizialmente sembrava comprendere la correzione, ma successivamente è tornato all'errore originale nel suo ragionamento. Ha anche tentato di deviare la conversazione verso la migrazione del codice legacy in Python/SQLite invece di analizzare la logica esistente.
     • Claude: Ha inizialmente commesso lo stesso errore degli altri. Dopo un ritardo significativo (dovuto ai limiti di utilizzo), ha riconosciuto la correzione e alla fine ha compreso correttamente l'intento del codice.

Significato e Affermazioni
Il documento afferma che, sebbene gli strumenti AI siano altamente efficaci per l'ingegneria inversa semantica di frammenti di codice piccoli e semplici, attualmente faticano con codice legacy complesso e multi-istruzione, spesso inferendo l'esatto opposto della logica intesa.

• Confronto degli Strumenti: Gli autori concludono che per l'ingegneria inversa semantica, la gerarchia delle prestazioni differisce dall'ingegneria in avanti. ChatGPT è identificato come il più capace per questo compito specifico grazie alla sua capacità di intrattenere dialoghi matematici profondi e iterativi, correggere i propri errori e comprendere la distinzione tra vincoli di stato e di transizione. Claude è notato come eccellente per l'ingegneria in avanti ma meno efficace qui inizialmente, sebbene alla fine abbia afferrato i concetti. Gemini è considerato "quasi inutile" per questo compito quando la complessità del codice supera circa 30 istruzioni, citando la sua verbosità, la dipendenza da metafore e l'incapacità di mantenere la coerenza logica.
• Collaborazione Uomo-AI: La ricerca sottolinea che l'AI non può ancora sostituire ingegneri software altamente qualificati. Gli autori sostengono che il successo dell'ingegneria inversa semantica dipende fortemente dalla capacità dell'ingegnere umano di guidare l'AI, richiedendo specificamente una solida base in matematica (livello K-12 e oltre) per riconoscere quando la formalizzazione dell'AI è errata (ad esempio, confondere iniezioni con suriezioni o stato con transizione).
• Limitazioni: Lo studio è stato limitato alle versioni gratuite degli strumenti AI e al codice legacy VBA. Gli autori non affermano che le versioni in abbonamento o altri linguaggi produrrebbero risultati fondamentalmente diversi, solo interazioni potenzialmente più rapide o generose.

Conclusione
Il documento postula che l'ingegneria inversa semantica sta passando da un "incubo" a una "passeggiata" per i casi semplici, ma rimane una sfida complessa per i sistemi legacy intricati. L'obiettivo finale – rivelare la struttura algebrica e logica del codice comportamentale – richiede una relazione simbiotica in cui l'AI fornisce un'analisi rapida e l'esperto umano fornisce il rigore matematico necessario per convalidare e perfezionare l'interpretazione semantica.