Semantic Reverse Engineering Legacy Software Applications with ChatGPT, Gemini AI, and Claude AI

Este artigo de pesquisa apresenta descobertas sobre o uso do ChatGPT, do Gemini e do Claude AI para realizar engenharia reversa semântica de aplicações de software de banco de dados legadas.

O essencial

Imagine que você tem uma biblioteca muito antiga e empoeirada de livros escritos em uma língua que ninguém mais fala. Você não tem o dicionário, e os autores já se foram há muito tempo. Seu objetivo não é apenas copiar as letras na página (isso é fácil); seu objetivo é entender a história, a lógica e as regras que o autor tentava seguir.

Este artigo trata de uma equipe de pesquisadores tentando usar três diferentes "robôs superinteligentes" (ChatGPT, Gemini e Claude) para ler esses antigos programas de computador e explicar o que eles realmente fazem.

Aqui está a divisão de seu experimento usando analogias simples:

A Missão: Decodificando o "Fantasma" na Máquina

Os pesquisadores tinham um software antigo (chamado "código legado") que atuava como um porteiro de um clube. Esse porteiro tinha regras específicas:

1. A Regra da Geografia: "Se uma cidade é a capital de um país, ela deve pertencer a esse país."
2. A Regra Real: "Dois reis não podem governar o mesmo país ao mesmo tempo, a menos que sejam casados ou pais/filhos."

O problema? O código foi escrito em um estilo antigo (VBA) sem comentários explicando por que foi escrito daquela maneira. Os pesquisadores queriam ver se a IA poderia olhar para o código e dizer: "Ah, entendi! Este código está aplicando a regra de que capitais devem corresponder a países."

Os Três Robôs (As Ferramentas de IA)

Os pesquisadores testaram três diferentes "detetives" de IA:

1. ChatGPT: O Tutor Pensativo

• Como funcionou: O ChatGPT era como um estudante inteligente que realmente queria acertar. Quando os pesquisadores deram a ele a primeira regra simples, ele entendeu perfeitamente.
• O Erro: Quando deram a ele a complexa "Regra Real", o ChatGPT inicialmente entendeu a história errada. Ele pensou que o código estava rejeitando um casamento, quando, na verdade, o código estava rejeitando uma mudança em um casamento existente.
• A Recuperação: Quando os pesquisadores o corrigiram, o ChatGPT não disse apenas "Ok". Ele disse: "Oh! Vejo meu erro. Eu estava olhando para a parte errada da lógica. Você está certo: não se trata do estado do casamento, mas da transição de trocar os cônjuges." Ele aprendeu com a correção e explicou por que estava errado.
• Veredito: O melhor em entender o significado profundo e admitir quando errou.

2. Claude: O Poeta Elegante

• Como funcionou: O Claude era muito educado e apreciava a beleza matemática do código. Entendeu as regras simples imediatamente e elogiou os pesquisadores por sua lógica engenhosa.
• O Erro: Assim como o ChatGPT, também errou a complexa "Regra Real" no início. Fez uma afirmação confusa de que "reinados simultâneos são impossíveis para um casal casado", o que não fazia sentido.
• A Recuperação: Quando corrigido, admitiu o erro e finalmente entendeu a lógica. No entanto, era muito lento para conversar (os pesquisadores tiveram que esperar horas entre as perguntas), tornando o processo como uma festa de chá muito lenta e formal.
• Veredito: Muito bom em entender, mas lento e um pouco rígido.

3. Gemini: O Artista Excessivamente Entusiasta

• Como funcionou: O Gemini foi o mais dramático. Em vez de dizer "Este código verifica se uma cidade pertence a um país", ele dizia coisas como: "Este é um sensor de Bio-Lógica Auto-Cura detectando uma Ruptura Ética!" Usava muitas metáforas (bactérias, calcário, labirintos) e tentava convencer os pesquisadores a usar ferramentas modernas diferentes em vez de analisar o código antigo.
• O Erro: Errou a matemática simples (chamando uma função de "sobrejeção" quando era uma "injeção") e, quando corrigido, fingiu entender mas continuou cometendo o mesmo erro.
• Veredito: Muito florido e verboso. Perdeu-se em suas próprias metáforas e não conseguiu manter-se aos fatos.

A Grande Descoberta: O "Estado" vs. A "Mudança"

A lição mais importante do artigo é uma diferença sutil, mas enorme, na lógica:

• Estado: A situação atual é válida? (Ex: "Este casamento é legal?")
• Transição: A ação de mudar a situação é válida? (Ex: "Posso trocar o marido por outra pessoa?")

Os pesquisadores descobriram que as ferramentas de IA eram ótimas em identificar o "Estado" (as regras simples). Mas, quando se tratava das complexas regras de "Transição" (a Regra Real), todas ficaram confusas. Elas pensaram que o código estava impedindo um casamento de acontecer, quando na verdade estava impedindo uma mudança em um casamento.

A Conclusão Final

Os pesquisadores concluíram que:

1. A IA é uma ótima assistente para pequenos quebra-cabeças: Se você der à IA um pequeno pedaço de código, ela pode explicá-lo muito bem.
2. A IA ainda não é um substituto para especialistas: Se o código for um pouco maior ou mais complexo, a IA pode explicar com confiança o exato oposto do que o código está fazendo.
3. A matemática importa: Os pesquisadores notaram que as ferramentas de IA funcionaram melhor quando os humanos que as guiavam conheciam sua matemática (como teoria dos conjuntos e lógica). A IA precisa de um humano que fale "lógica" para mantê-la no caminho certo.

Em resumo: Essas ferramentas de IA são como estagiários muito brilhantes. Elas podem ler o manual e explicar os fundamentos perfeitamente, mas se você der a elas um cenário complicado do mundo real, elas podem contar com confiança a história errada. Você ainda precisa de um engenheiro humano qualificado para revisar seu trabalho.

Resumo técnico

Resumo Técnico: Engenharia Reversa Semântica de Aplicações Legadas de Software com ChatGPT, Gemini AI e Claude AI

Declaração do Problema
A engenharia reversa (ER) de software tradicional é predominantemente sintática, focando na recuperação de código-fonte ou estruturas binárias sem necessariamente compreender a intenção subjacente ou as "regras de negócio". Embora existam ferramentas para desofuscação e detecção de malware, elas raramente abordam a camada semântica necessária para inferir definições formais de restrições a partir de código legado. Esta pesquisa aborda o desafio da engenharia reversa semântica: tomar código-fonte legado (especificamente VBA do MS Access que impõe restrições a bancos de dados não relacionais) e inferir sua definição formal usando teoria dos conjuntos, relações, funções e lógica de predicados de primeira ordem, bem como expressá-la com precisão em inglês comum. Os autores observam que, embora seu trabalho anterior se concentrasse na engenharia reversa de esquemas de banco de dados para o Modelo de Dados Matemático (Elementar) ((E)MDM), este estudo visa a engenharia reversa dos próprios aplicativos.

Metodologia
O estudo utilizou três Modelos de Linguagem de Grande Porte (LLMs): ChatGPT (Plus 5.3 e Mini), Gemini (3) e Claude (Sonnet 4.6). A configuração experimental envolveu:

• Hardware/Software: Toshiba Satellite Intel CORE i7, MS Windows 10, MS Access 365 e MatBase v. 5.2 (um protótipo de sistema inteligente de gerenciamento de dados baseado em (E)MDM).
• Dados de Entrada: Trechos de código de dois aplicativos legados: um banco de dados de Geografia e um banco de dados de Genealogia. Esses trechos impunham restrições não relacionais complexas (por exemplo, "A capital de um país deve ser uma cidade pertencente a esse país" e restrições históricas relativas a casamentos reais e reinados).
• Pré-processamento: Os autores removeram deliberadamente todos os comentários do código VBA e eliminaram instruções de exibição de mensagens de erro (MsgBox) para testar a capacidade da IA de compreender a intenção do código sem documentação explícita ou feedback em tempo de execução.
• Processo: Os pesquisadores envolveram-se em diálogos iterativos com os modelos de IA. Eles forneceram trechos de código e pediram aos modelos para:
  1. Inferir a "regra de negócio".
  2. Fornecer explicações linha por linha.
  3. Formalizar a restrição usando lógica matemática (teoria dos conjuntos, teoria das categorias, lógica de primeira ordem).
  4. Criticar e refinar a formalização com base no feedback dos autores (por exemplo, corrigindo a distinção entre funções totais e parciais, ou restrições de estado versus transição).

Principais Resultados
O desempenho das três ferramentas de IA variou significativamente entre trechos de código simples e complexos:

1. Restrições Simples (Aplicativo de Geografia):

   • ChatGPT: Inferiu com sucesso a regra de negócio ("Uma cidade capital deve permanecer em seu país designado") e forneceu explicações precisas linha por linha. Identificou corretamente a restrição como não relacional (nível de aplicação) e envolveu-se em um diálogo matemático sofisticado sobre a formalização da restrição como um "auto-mapeamento parcial nulo-reflexivo". Reconheceu e corrigiu suas alucinações iniciais sobre tipos de variáveis.
   • Claude: Compreendeu corretamente a regra de negócio e a natureza proativa da restrição (limitar escolhas versus bloquear atualizações). Elogiou a formalização algébrica dos autores e compreendeu imediatamente o conceito de nulo-reflexividade.
   • Gemini: Identificou corretamente a regra e forneceu uma formalização em lógica de primeira ordem. No entanto, cometeu um erro crítico ao declarar a função "Capital" uma sobrejeção em vez de uma injeção, falhando em compreender a natureza parcial da função. Também exibiu uma tendência para linguagem verbosa e metafórica ("Bio-Lógica", "Topologia do Vergonhoso") em vez de análise técnica precisa.

2. Restrições Complexas (Aplicativo de Genealogia - Casamentos Reais):

   • O Desafio: O código impunha uma regra onde um casal casado não poderia ser substituído se tivessem governado o mesmo país simultaneamente, a menos que fossem pai e filho.
   • Falha Inicial: Os três modelos (ChatGPT, Gemini e Claude) interpretaram erroneamente o código inicialmente. Concluíram incorretamente que o código rejeitava o casamento em si, em vez de rejeitar a transição (a edição/mudança de cônjuges) sob condições específicas.
   • Correção e Divergência:
     • ChatGPT: Após a correção, reconheceu imediatamente o erro, distinguiu entre "restrições de estado" e "restrições de transição" (integridade dinâmica) e generalizou a lição. Reformulou corretamente a regra como uma TransiçãoPermitida em vez de um EstadoVálido.
     • Gemini: Inicialmente pareceu entender a correção, mas subsequentemente retornou ao erro original em seu raciocínio. Também tentou desviar a conversa para migrar o código legado para Python/SQLite em vez de analisar a lógica existente.
     • Claude: Cometeu inicialmente o mesmo erro que os outros. Após um atraso significativo (devido a limites de uso), reconheceu a correção e, eventualmente, compreendeu corretamente a intenção do código.

Significado e Alegações
O artigo afirma que, embora as ferramentas de IA sejam altamente eficazes para a engenharia reversa semântica de pequenos trechos de código simples, elas atualmente lutam com código legado complexo e multi-instrucional, frequentemente inferindo a lógica exata oposta à pretendida.

• Comparação de Ferramentas: Os autores concluem que, para engenharia reversa semântica, a hierarquia de desempenho difere da engenharia direta. O ChatGPT é identificado como o mais capaz para esta tarefa específica devido à sua capacidade de envolver-se em diálogos matemáticos profundos e iterativos, corrigir seus próprios erros e compreender a distinção entre restrições de estado e transição. O Claude é notado como excelente para engenharia direta, mas menos eficaz aqui inicialmente, embora eventualmente tenha compreendido os conceitos. O Gemini é considerado "quase inútil" para esta tarefa quando a complexidade do código excede ~30 instruções, citando sua verbosidade, dependência de metáforas e incapacidade de manter consistência lógica.
• Colaboração Humano-IA: A pesquisa enfatiza que a IA ainda não pode substituir engenheiros de software altamente qualificados. Os autores argumentam que o sucesso da engenharia reversa semântica depende fortemente da capacidade do engenheiro humano de orientar a IA, exigindo especificamente uma base sólida em matemática (nível K-12 e além) para reconhecer quando a formalização da IA está incorreta (por exemplo, confundindo injeções com sobrejeções ou estado com transição).
• Limitações: O estudo foi limitado às versões gratuitas das ferramentas de IA e ao código legado VBA. Os autores não afirmam que versões por assinatura ou outras linguagens produziriam resultados fundamentalmente diferentes, apenas interações potencialmente mais rápidas ou mais generosas.

Conclusão
O artigo postula que a engenharia reversa semântica está transitando de um "pesadelo" para uma "brisa" para casos simples, mas permanece um desafio complexo para sistemas legados intrincados. O objetivo final — revelar a estrutura algébrica e lógica do código comportamental — requer uma relação simbiótica onde a IA fornece análise rápida e o especialista humano fornece o rigor matemático necessário para validar e refinar a interpretação semântica.