Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark

En el mundo del software moderno, un número creciente de empresas está intentando automatizar la creación de programas informáticos utilizando inteligencia artificial. En lugar de contratar a un equipo de ingenieros para escribir cada línea de código desde cero, proporcionan una descripción escrita detallada de lo que el software debe hacer, conocida como especificación, y le piden a una IA que lo construya. Este enfoque, llamado desarrollo basado en especificaciones, trata al plan escrito como el manual de instrucciones principal para la máquina. La esperanza es que, si el plan es lo suficientemente claro, la IA produzca software perfecto en cada ocasión. Sin embargo, una pregunta crítica permanece: ¿un mejor plan hace que la IA sea más inteligente, o los sistemas de IA ya conocen las respuestas basándose en su entrenamiento? Si la IA está de acuerdo con el plan simplemente porque ha visto planes similares anteriormente, el plan en sí no está realizando ningún trabajo real. Esta incertidumbre dificulta saber si una especificación es verdaderamente de alta calidad o si es solo un documento que resulta coincidir con lo que la máquina ya iba a hacer.

Un equipo de investigadores se propuso resolver este problema de medición probando una tarea específica y compleja: mover una base de datos masiva de un tipo de sistema a otro. Crearon una especificación formal y estructurada para migrar datos de una base de datos Oracle a una PostgreSQL, un proceso que implica traducir miles de reglas sobre cómo se almacenan y procesan los datos. Para probar si esta especificación realmente ayudaba, no se limitaron a pedirle a la IA que escribiera código y verificar si parecía correcto. En su lugar, construyeron un experimento riguroso donde el mismo grupo de sistemas de IA tuvo que realizar la migración dos veces: una con la especificación detallada y otra sin ella. Los investigadores utilizaron una base de datos Oracle en vivo y un sistema PostgreSQL nuevo como un juez estricto. Ejecutaron el código generado por la IA contra los datos originales para ver si los resultados eran idénticos, tratando el comportamiento real del software como la única medida verdadera de éxito.

El estudio involucró a tres sistemas de IA diferentes actuando como implementadores independientes, todos trabajando en las mismas 75 tareas de migración específicas. Cuando los investigadores compararon los resultados, encontraron una división clara entre lo que el software podía hacer y qué tan bien se ponían de acuerdo los sistemas de IA entre sí. La especificación mejoró drásticamente la capacidad del software para ejecutarse sin colapsar. Sin la especificación, solo el 72 por ciento del código generado podía cargarse en la nueva base de datos con éxito. Con la especificación completa, ese número saltó al 97.3 por ciento. El plan actuó como una guía que ayudó a la IA a evitar errores fatales y a producir código que realmente funcionara.

Sin embargo, la historia tomó un giro diferente cuando los investigadores observaron si la especificación hacía que los sistemas de IA estuvieran más de acuerdo entre sí. Antes del estudio, existía la esperanza de que un plan perfecto obligaría a todos los sistemas de IA a tomar exactamente las mismas decisiones, creando una solución unificada. Los datos mostraron que este no fue el caso. Incluso sin la especificación, los sistemas de IA ya estaban de acuerdo entre sí el 83 por ciento de las veces, probablemente porque habían aprendido las mismas prácticas estándar de la industria durante su entrenamiento. Cuando se añadió la especificación, esta tasa de acuerdo apenas se movió, cambiando solo al 83.8 por ciento. El plan no cambió la opinión de la IA sobre las decisiones que ya estaba tomando; simplemente ayudó a la IA a ejecutar esas decisiones sin romperse.

Los investigadores también descubrieron que la forma en que se presentaba la información importaba más que la cantidad de información que se entregaba. En un experimento, tomaron una regla única y la colocaron en diferentes partes del documento. Cuando la regla estaba enterrada en un párrafo al final de una sección, la IA la seguía solo el 23 por ciento de las veces. Cuando la misma regla se colocó en una tabla estructurada en la parte superior de la sección, el cumplimiento aumentó al 42 por ciento. Sorprendentemente, repetir la regla en ambos lugares en realidad redujo la tasa de cumplimiento al 34 por ciento, lo que sugiere que la redundancia puede confundir al sistema en lugar de reforzar la instrucción. Este hallazgo indica que la estructura del documento es más influyente que el volumen de texto.

Quizás el hallazgo más significativo fue que una especificación a veces puede empeorar las cosas. En un caso específico, una regla en la especificación instruía a la IA a usar un cierto tipo de contenedor de datos. La IA siguió esta regla perfectamente, pero el resultado fue un código que era inválido y no funcionaría. Sin la especcción, la IA había ignorado esa instrucción específica y había usado un método diferente y funcional por su cuenta. Esto demostró que seguir una regla no garantiza un resultado correcto, y que una especificación puede introducir nuevos errores incluso mientras arregla otros. El estudio también encontró que los sistemas de IA tenían un límite natural de consistencia; cuando los investigadores ejecutaron la misma prueba varias veces, los resultados variaron aproximadamente 14 puntos porcentuales debido simplemente a la naturaleza aleatoria de cómo la IA genera texto. Esta variabilidad significaba que las pequeñas mejoras no podían confiarse como progreso real.

En última instancia, la investigación concluye que una especificación es una herramienta poderosa para hacer que el software sea ejecutable y para ayudar a los humanos a encontrar dónde faltan las instrucciones, pero no es una varita mágica que obliga a diferentes sistemas de IA a pensar igual. La especificación logró reducir con éxito el número de programas rotos en casi una cuarta parte, demostrando su valor para asegurar que el código se ejecute. Sin embargo, no logró aumentar el acuerdo entre diferentes sistemas de IA ni mejorar la precisión de los datos en sí, que permaneció sin cambios en 19 resultados correctos de 42 pruebas tanto en los grupos controlados como en los no controlados. El estudio sugiere que para la generación actual de IA, una especificación actúa más como una red de seguridad que evita fallos catastróficos que como una guía que eleva la calidad de la solución más allá de lo que la IA ya sabe. El verdadero poder de la especificación no reside en forzar a la IA a estar de acuerdo, sino en hacer que el proceso de construcción de software sea lo suficientemente confiable como para ser comprobado y verificado.