Semantic Reverse Engineering Legacy Software Applications with ChatGPT, Gemini AI, and Claude AI

Este artículo de investigación presenta hallazgos sobre el uso de ChatGPT, Gemini y Claude AI para realizar ingeniería inversa semántica de aplicaciones de software de bases de datos heredadas.

Lo esencial

Imagina que tienes una biblioteca muy antigua y polvorienta de libros escritos en un idioma que ya nadie habla. No tienes el diccionario y los autores han desaparecido hace mucho. Tu objetivo no es simplemente copiar las letras de la página (eso es fácil); tu objetivo es comprender la historia, la lógica y las reglas que el autor intentaba seguir.

Este artículo trata sobre un equipo de investigadores que intenta utilizar tres "robots superinteligentes" diferentes (ChatGPT, Gemini y Claude) para leer estos antiguos programas informáticos y explicar lo que realmente hacen.

Aquí tienes el desglose de su experimento utilizando analogías sencillas:

La Misión: Descifrando al "Fantasma" en la Máquina

Los investigadores tenían un software antiguo (llamado "código heredado") que actuaba como un portero en un club. Este portero tenía reglas específicas:

1. La Regla Geográfica: "Si una ciudad es la capital de un país, debe pertenecer a ese país".
2. La Regla Real: "Dos reyes no pueden gobernar el mismo país al mismo tiempo, a menos que estén casados o sean padre/hijo".

¿El problema? El código estaba escrito en un estilo antiguo (VBA) sin comentarios que explicaran por qué estaba escrito de esa manera. Los investigadores querían ver si la IA podía observar el código y decir: "¡Ah, ya veo! Este código está haciendo cumplir la regla de que las capitales deben coincidir con los países".

Los Tres Robots (Las Herramientas de IA)

Los investigadores probaron a tres "detectives" de IA diferentes:

1. ChatGPT: El Tutor Reflexivo

• Cómo funcionó: ChatGPT fue como un estudiante inteligente que realmente quería hacerlo bien. Cuando los investigadores le dieron la primera regla simple, lo entendió perfectamente.
• El Error: Cuando le dieron la compleja "Regla Real", ChatGPT inicialmente entendió mal la historia. Pensó que el código estaba rechazando un matrimonio, cuando en realidad, el código estaba rechazando un cambio en un matrimonio existente.
• La Recuperación: Cuando los investigadores lo corrigieron, ChatGPT no solo dijo "De acuerdo". Dijo: "¡Oh! Veo mi error. Estaba mirando la parte incorrecta de la lógica. Tienes razón: no se trata del estado del matrimonio, sino de la transición de cambiar a los cónyuges". Aprendió de la corrección y explicó por qué se había equivocado.
• Veredicto: El mejor entendiendo el significado profundo y admitiendo cuando se equivocó.

2. Claude: El Poeta Elegante

• Cómo funcionó: Claude fue muy educado y apreció la belleza matemática del código. Entendió las reglas simples de inmediato y elogió a los investigadores por su lógica ingeniosa.
• El Error: Al igual que ChatGPT, también se equivocó al principio con la compleja "Regla Real". Hizo una afirmación confusa de que "los reinados concurrentes son imposibles para una pareja casada", lo cual no tenía sentido.
• La Recuperación: Cuando se le corrigió, admitió el error y finalmente entendió la lógica. Sin embargo, fue muy lento para conversar (los investigadores tuvieron que esperar horas entre preguntas), lo que hizo que el proceso se sintiera como una téa muy lenta y formal.
• Veredicto: Muy bueno entendiendo, pero lento y un poco rígido.

3. Gemini: El Artista Sobreentusiasta

• Cómo funcionó: Gemini fue el más dramático. En lugar de decir "Este código verifica si una ciudad pertenece a un país", decía cosas como: "¡Esto es un sensor de auto-curación bio-lógico detectando una Ruptura Ética!". Usó demasiadas metáforas (bacterias, piedra caliza, laberintos) e intentó convencer a los investigadores de usar herramientas modernas y diferentes en lugar de analizar el código antiguo.
• El Error: Se equivocó en las matemáticas simples (llamando a una función una "sobreyección" cuando era una "inyección") y, cuando se le corrigió, fingió entender pero siguió cometiendo el mismo error.
• Veredicto: Demasiado florido y verboso. Se perdió en sus propias metáforas y no pudo ceñirse a los hechos.

El Gran Descubrimiento: El "Estado" frente al "Cambio"

La lección más importante del artículo es una diferencia sutil pero enorme en la lógica:

• Estado: ¿Es la situación actual válida? (Por ejemplo: "¿Es legal este matrimonio?")
• Transición: ¿Es válida la acción de cambiar la situación? (Por ejemplo: "¿Puedo cambiar al esposo por otra persona?")

Los investigadores descubrieron que las herramientas de IA eran excelentes detectando el "Estado" (las reglas simples). Pero cuando se trataba de las reglas complejas de "Transición" (la Regla Real), todas se confundieron. Pensaron que el código estaba impidiendo que ocurriera un matrimonio, cuando en realidad estaba impidiendo un cambio en un matrimonio.

La Conclusión Final

Los investigadores concluyeron que:

1. La IA es un gran asistente para pequeños acertijos: Si le das a la IA un pedazo diminuto de código, puede explicarlo muy bien.
2. La IA no es un reemplazo para los expertos todavía: Si el código es un poco más grande o complejo, la IA podría explicar con confianza lo exactamente opuesto de lo que el código está haciendo.
3. Las matemáticas importan: Los investigadores notaron que las herramientas de IA funcionaron mejor cuando los humanos que las guiaban conocían sus matemáticas (como la teoría de conjuntos y la lógica). La IA necesita un humano que hable "lógica" para mantenerla en el camino correcto.

En resumen: Estas herramientas de IA son como becarios muy brillantes. Pueden leer el manual y explicar los fundamentos perfectamente, pero si les das un escenario complicado del mundo real, podrían decirte con confianza la historia equivocada. Todavía necesitas un ingeniero humano experto para verificar su trabajo.

Resumen técnico

Resumen Técnico: Ingeniería Inversa Semántica de Aplicaciones de Software Legado con ChatGPT, Gemini AI y Claude AI

Enunciado del Problema
La ingeniería inversa (IR) de software tradicional es predominantemente sintáctica, centrándose en recuperar el código fuente o las estructuras binarias sin necesariamente comprender la intención subyacente o las "reglas de negocio". Aunque existen herramientas para la desofuscación y la detección de malware, raramente abordan la capa semántica necesaria para inferir definiciones formales de restricciones a partir de código legado. Esta investigación aborda el desafío de la ingeniería inversa semántica: tomar código fuente legado (específicamente VBA de MS Access que impone restricciones de bases de datos no relacionales) e inferir su definición formal utilizando teoría de conjuntos, relaciones, funciones y lógica de predicados de primer orden, así como expresarla con precisión en inglés llano. Los autores señalan que, aunque su trabajo anterior se centró en la ingeniería inversa de esquemas de bases de datos hacia el Modelo de Datos Matemático (Elemental) ((E)MDM), este estudio tiene como objetivo la ingeniería inversa de las propias aplicaciones.

Metodología
El estudio utilizó tres Modelos de Lenguaje Grande (LLM): ChatGPT (Plus 5.3 y Mini), Gemini (3) y Claude (Sonnet 4.6). La configuración experimental involucró:

• Hardware/Software: Toshiba Satellite Intel CORE i7, MS Windows 10, MS Access 365 y MatBase v. 5.2 (un prototipo de sistema de gestión de datos inteligente basado en (E)MDM).
• Datos de entrada: Fragmentos de código de dos aplicaciones legadas: una base de datos de Geografía y una base de datos de Genealogía. Estos fragmentos imponían restricciones no relacionales complejas (por ejemplo, "La capital de un país debe ser una ciudad que pertenezca a ese país" y restricciones históricas sobre matrimonios reales y reinados).
• Preprocesamiento: Los autores eliminaron deliberadamente todos los comentarios del código VBA y las instrucciones de visualización de mensajes de error (MsgBox) para probar la capacidad de la IA de comprender la intención del código sin documentación explícita ni retroalimentación en tiempo de ejecución.
• Proceso: Los investigadores participaron en diálogos iterativos con los modelos de IA. Proporcionaron fragmentos de código y pidieron a los modelos que:
  1. Inferieran la "regla de negocio".
  2. Proporcionaran explicaciones línea por línea.
  3. Formalizaran la restricción utilizando lógica matemática (teoría de conjuntos, teoría de categorías, lógica de primer orden).
  4. Criticaran y refinaran la formalización basándose en la retroalimentación de los autores (por ejemplo, corrigiendo la distinción entre funciones totales y parciales, o restricciones de estado frente a restricciones de transición).

Resultados Clave
El rendimiento de las tres herramientas de IA varió significativamente entre fragmentos de código simples y complejos:

1. Restricciones Simples (Aplicación de Geografía):

   • ChatGPT: Inferió con éxito la regla de negocio ("Una ciudad capital debe permanecer en su país asignado") y proporcionó explicaciones precisas línea por línea. Identificó correctamente la restricción como no relacional (a nivel de aplicación) y participó en un diálogo matemático sofisticado sobre la formalización de la restricción como un "auto-mapeo parcial nulo-reflexivo". Reconoció y corrigió sus alucinaciones iniciales sobre los tipos de variables.
   • Claude: Comprendió correctamente la regla de negocio y la naturaleza proactiva de la restricción (limitar opciones frente a bloquear actualizaciones). Alabó la formalización algebraica de los autores y comprendió inmediatamente el concepto de nulo-reflexividad.
   • Gemini: Identificó correctamente la regla y proporcionó una formalización en lógica de primer orden. Sin embargo, cometió un error crítico al declarar la función "Capital" como una sobreyección en lugar de una inyección, fallando en comprender la naturaleza parcial de la función. También mostró una tendencia hacia un lenguaje verboso y metafórico ("Bio-Lógica", "Topología de la Vergüenza") en lugar de un análisis técnico preciso.

2. Restricciones Complejas (Aplicación de Genealogía - Matrimonios Reales):

   • El Desafío: El código imponía una regla donde una pareja casada no podía ser reemplazada si habían gobernado el mismo país simultáneamente, a menos que fueran padre e hijo.
   • Fallo Inicial: Los tres modelos (ChatGPT, Gemini y Claude) interpretaron incorrectamente el código inicialmente. Concluyeron erróneamente que el código rechazaba el matrimonio en sí mismo, en lugar de rechazar la transición (la edición/cambio de cónyuges) bajo condiciones específicas.
   • Corrección y Divergencia:
     • ChatGPT: Tras la corrección, reconoció inmediatamente el error, distinguió entre "restricciones de estado" y "restricciones de transición" (integridad dinámica), y generalizó la lección. Reformuló correctamente la regla como una TransiciónPermitida en lugar de un EstadoVálido.
     • Gemini: Inicialmente pareció comprender la corrección, pero posteriormente regresó al error original en su razonamiento. También intentó desviar la conversación hacia la migración del código legado a Python/SQLite en lugar de analizar la lógica existente.
     • Claude: Inicialmente cometió el mismo error que los demás. Tras un retraso significativo (debido a límites de uso), reconoció la corrección y finalmente comprendió correctamente la intención del código.

Significado y Afirmaciones
El artículo afirma que, si bien las herramientas de IA son altamente efectivas para la ingeniería inversa semántica de fragmentos de código pequeños y simples, actualmente luchan con código legado complejo y de múltiples declaraciones, a menudo inferiendo la lógica exactamente opuesta a la intención.

• Comparación de Herramientas: Los autores concluyen que, para la ingeniería inversa semántica, la jerarquía de rendimiento difiere de la ingeniería directa. ChatGPT se identifica como el más capaz para esta tarea específica debido a su capacidad para participar en diálogos matemáticos profundos e iterativos, corregir sus propios errores y comprender la distinción entre restricciones de estado y de transición. Claude se destaca como excelente para la ingeniería directa pero menos efectivo aquí inicialmente, aunque finalmente comprendió los conceptos. Gemini se considera "casi inútil" para esta tarea cuando la complejidad del código supera aproximadamente 30 declaraciones, citando su verbosidad, dependencia de metáforas e incapacidad para mantener la coherencia lógica.
• Colaboración Humano-IA: La investigación enfatiza que la IA aún no puede reemplazar a los ingenieros de software altamente cualificados. Los autores argumentan que el éxito de la ingeniería inversa semántica depende en gran medida de la capacidad del ingeniero humano para guiar a la IA, requiriendo específicamente una sólida base en matemáticas (nivel K-12 y superior) para reconocer cuándo la formalización de la IA es incorrecta (por ejemplo, confundir inyecciones con sobreyecciones o estado con transición).
• Limitaciones: El estudio se limitó a las versiones gratuitas de las herramientas de IA y al código legado VBA. Los autores no afirman que las versiones de suscripción o otros lenguajes arrojen resultados fundamentalmente diferentes, solo interacciones potencialmente más rápidas o generosas.

Conclusión
El artículo postula que la ingeniería inversa semántica está transitando de una "pesadilla" a una "brisa" para casos simples, pero sigue siendo un desafío complejo para sistemas legados intrincados. El objetivo final —revelar la estructura algebraica y lógica del código de comportamiento— requiere una relación simbiótica donde la IA proporciona un análisis rápido y el experto humano aporta el rigor matemático necesario para validar y refinar la interpretación semántica.